В мире

В КНР выпустили первую масштабную модель ИИ для исследования древних книг

LLM был опубликован на таких веб-сайтах, как github.com и modelscope.cn, в виде ПО с открытым исходным кодом, что позволяет пользователям загружать и использовать его бесплатно.

Автор: Александр Кондратьев

14 декабря 2023

Фото: © Maksim Konstantinov / Global Look Press

Недавно ученые из колледжа в восточно-китайской провинции Цзянсу представили первую в стране мощную языковую модель на основе искусственного интеллекта (ИИ), LLM, ориентированную на анализ древних китайских текстов. Эта модель, использующая методы глубокого обучения и большие объемы данных, предназначена для изучения и сохранения древних китайских книг, способствуя тем самым сохранению традиционной китайской культуры и интеграции LLM в обработку древних текстов.

Модель, названная в честь известного древнекитайского философа Сюнь-цзы, включает огромное количество древних китайских книг и документов, в том числе из коллекций «Полная библиотека в четырех разделах» или «Сику Цюаньшу», с корпусом, содержащим более 2 миллиардов китайских иероглифов и слов.

По информации Центральной Службы Новостей, благодаря этой модели исследователи могут быстро анализировать древние тексты и изучать темы древних книг. Модель способна извлекать ключевую информацию из текстов, такую как персонажи, события и места, что облегчает сортировку и обработку информации.

Также модель может автоматически создавать древние стихи, соблюдая правила грамматики и просодии, на основе подсказок от пользователей, вдохновляя таким образом любителей поэзии. Кроме того, LLM может точно переводить древние тексты на современный китайский язык, помогая исследователям понять первоначальный смысл и контекст древних произведений.

Разработка модели была возглавлена Ван Дунбо, профессором Колледжа информационного менеджмента Нанкинского сельскохозяйственного университета. Группа, занимающаяся оцифровкой древних книг уже более десяти лет, воспользовалась мощными вычислительными ресурсами университета и сценариями использования, предложенными издательством Zhonghua, для создания первой в Китае программы LLM с открытым исходным кодом для древних текстов в области ИИ.