Искусственный интеллект МТС научился писать на татарском языке

MTS AI, один из ведущих центров компетенций по искусственному интеллекту в России, показал новую версию своей большой языковой модели Cotype на форуме Kazan Digital Week. LLM способна обрабатывать документы объёмом до 8 тысяч токенов (примерно 5 листов A4), извлекать и суммаризировать данные за несколько секунд.

Cotype Rehmet можно использовать в архивах, библиотеках, в государственных и частных организациях — везде, где есть потребность в обработке информации и анализе документов на татарском. Например, с помощью большой языковой модели можно ускорить обработку заявлений в государственные органы. Cotype извлечёт ключевую информацию, такую как тематика запроса, местоположение и личные данные заявителя, и передаст их в соответствующую базу данных. Как и другие модели семейства Cotype, эту версию можно устанавливать в контуре организации, что позволяет исключить утечки информации.

— Создавая большую языковую модель на татарском, разработчики MTS AI преследовали несколько целей, — рассказал исполнительный директор MTS AI Дмитрий Марков. — Во-первых, мы хотели поддержать многообразие языков, существующих в России, помочь им развиваться и быть востребованными в цифровую эпоху. Во-вторых, этот проект показал, что мы умеем адаптировать наши модели под любые научные и бизнес-задачи, в том числе и такие нетривиальные как обработка информации на языках народов России.

Чтобы модель Cotype Rehmet смогла понимать незнакомый язык, разработчики собрали датасет и перевели его с русского на татарский. После этого все данные и ответы модели проверили специалисты-тюркологи и носители языка.

По словам разработчиков, Cotype Rehmet входит в число лучших LLM в своём классе: она содержит 8 миллиардов параметров. При необходимости MTS AI может создать LLM на татарском с большим количеством параметров — до 70 миллиардов параметров, а также большим контекстным окном до 32 тысяч токенов, — чтобы модель умела выполнять такие задачи как перевод и генерация длинных текстов. Также компания MTS AI готова адаптировать модели семейства Cotype для других региональных языков России.

MTS AI — дочерняя структура ПАО «МТС» и один из крупнейших в России центров компетенций в сфере искусственного интеллекта. Компания разрабатывает продукты и решения на базе генеративного ИИ, технологии обработки естественного языка, синтеза и распознавания речи, а также компьютерного зрения. MTS AI также проводит научные и прикладные исследования, консультирует корпорации по вопросам внедрения искусственного интеллекта в бизнес-процессы. В структуре компании есть венчурный фонд, который инвестирует в перспективные разработки.

Ранее стало известно, что искусственный интеллект от МТС начнёт анализировать звонки и чаты с клиентами экосистемы.