Мотоциклист погиб в ДТП в Приморье, а пассажирка скончалась по пути в больницу
18:12
Футбольное "Динамо" проиграло в первом домашнем матче во Владивостоке
17:39
Деньги нарушителей потекут рекой: паркрайты выходят на 67 новых маршрутов по Владивостоку
17:32
Создавший тигриный диптих (18+) во Владивостоке Слава Птрк* внесен в реестр иноагентов
16:52
Проигравшего в бою воронам соболя выходили волонтеры на Сахалине - видео
16:11
"Выселенных" с Батарейной пираний и сомов начали экспонировать в Приморском океанариуме
15:19
Полиция в Приморье довела до суда уголовное дело в отношении банды из Артема
14:22
"Город Солнца везде. И денег, как в Москве". Будущее Дальнего Востока от академика Ларина
13:23
Приморская мода в Москве: леопардовый принт, азиатский флер и ультра-женственность
12:19
Стахановцы выращивали капусту и картофель на полях Якутии в военные годы
12:00
В Приморье со дна реки Раздольной извлекли более 200 тысяч кубометров грунта
11:55
В ночном ДТП в Находке погиб пешеход
11:20
"Сегодня я не узнавал команду": "Адмирал" проиграл "Нефтехимику"
09:51
Резидент СПВ запустит во Владивостоке производство САП-бордов к 2028 году
09:50
Время согреваться после зимы: погода порадует приморцев 22 марта
09:15

Сбер открыл доступ к модели генерации текста для русского языка ruGPT-3.5

Также доступна расширенная версия нейросети mGPT, способной генерировать тексты на 61 языке
25 июля 2023, 12:31 Общество
Сбербанк ИА ChitaMedia
Сбербанк
Фото: ИА ChitaMedia
Нашли опечатку?
Ctrl+Enter

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B (6+). Её дообученная версия лежит в основе сервиса GigaChat (6+). Также банк выложил новую версию модели mGPT 13B (6+) — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

Андрей Белевцев, старший вице-президент, CTO, руководитель блока "Технологии" Сбербанка:

"Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами".

*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.

16842
43
37

Электронный ресурс (Сайт) использует cookies и метрические программы. Продолжая посещение настоящего сайта, пользователь соглашается на смешанную обработку, сбор, использование, хранение, уточнение (обновление, изменение), обезличивание, блокирование, уничтожение своих персональных данных владельцем Электронного ресурса в соответствии с Политикой обработки персональных данных и Согласием на обработку персональных данных Пользователей.
На сайте используются рекомендательные технологии