Сбер объявил о создании сильной продакшен-модели для русского языка с 29 миллиардами параметров
На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию сервиса GigaChat, в основе которого лежит одна из наиболее продвинутых моделей для русского языка с 29 миллиардами параметров. В числе первых доступ к API новинке вскоре получат бизнес-клиенты Сбера — для реализации собственных решений, а также участники академического сообщества — для проведения исследований.
Благодаря новой LLM, GigaChat лучше следует инструкциям и может выполнять более сложные задания: значительно улучшилось качество суммаризации, рерайтинга и редактирования текстов, ответов на различные вопросы. Команда сравнила ответы новой и предыдущей моделей и зафиксировала общее повышение качества на 23%. При этом с фактологией анонсированная модель справляется на 25% лучше предыдущей версии.
Для достижения таких результатов было проведено множество экспериментов по улучшению модели и повышению эффективности её обучения. В частности, использовался фреймворк для обучения больших языковых моделей с возможностью шардирования весов нейросети по видеокартам, что позволило сократить потребление памяти на них.
По результатам внутренней оценки в бенчмарке MMLU (Massive Multitask Language Understanding) модель новой версии GigaChat с 29 миллаирдами параметров превосходит самый популярный открытый аналог LLaMA 2 34B.
— Обучение моделей, лежащих в основе GigaChat, — это масштабный и сложный вычислительный проект, прежде мы не делали ничего подобного, — рассказал старший вице-президент, СТО, руководитель блока «Технологии» Сбербанка Андрей Белевцев. — Суммарное количество вычислительных операций почти в шесть раз превысило количество операций при обучении модели ruGPT-3 с 13 миллиардами параметров в 2021 году. Также специально для GigaChat мы собрали и развиваем уникальный датасет, над которым работают сотни сотрудников Сбера, помогая развивать и улучшать качество ответов в самых разных доменах. Благодаря этим усилиям пользователи с каждым новым релизом GigaChat получают максимум от сервиса для решения своих задач.
Узнать больше о возможностях GigaChat и посмотреть примеры удачных запросов можно в базе знаний о сервисе. В разработке GigaChat участвуют команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI и ряда отраслевых экспертов, привлечённых для передачи GigaChat различных предметных знаний.
Также Сбер представил обновлённую нейросеть Kandinsky 3.0, которая за секунды создаёт реалистичные арты.
Лента новостей
Врачи рассказали жителям Челябинской области о скрытой опасности диет в зрелом возрасте
В Челябинской области расширили список территорий с особым противопожарным режимом
Коммунальная авария привела к провалу асфальта на одной из центральных улиц Челябинска
Новые микрорайоны Челябинска оснастят современными системами оповещения за 21 миллион рублей
Владимир Путин отметил самоотверженность челябинского медика медалью Луки Крымского
Известный челябинский силач Дмитрий Кононец остался в одиночестве после телешоу «Давай поженимся»
В Челябинске отменили один из автобусных маршрутов и обновили транспорт на другом
В Челябинске спасли жизнь знаменитой трёхлапой пуме из приюта Карена Даллакяна
Эксперты Роскачества изучили феномен оранжевых вин и назвали лучшие марки 2026 года
Синоптики рассказали, когда в Челябинскую область вернётся весеннее тепло
В Челябинске из-за непогоды отменили салют в честь Дня Победы
В Челябинске могут отменить салют на День Победы
Вокальный ансамбль МВД поздравил жителей Челябинской области клипом и песней о Победе
Из-за ливней и мощного ветра в Челябинской области на 9 и 10 мая объявили штормовое предупреждение
Что происходит с копытными параллельно с рогопадом, показали в челябинском зоопарке
На Аллее Славы в Челябинске почтили память павших героев Великой Отечественной войны