День ластоногих, чайная церемония и танцы: что ждёт владивостокцев на выходных
21 марта, 12:34
"Дальтрансуголь" построил первый из двух железнодорожных стрелочных переводов
21 марта, 19:01
Как люди и технологии проходят цифровую трансформацию бизнеса на Дальнем Востоке
21 марта, 18:50
В ДТП в поселке Тавричанка пострадали двое малолетних детей
21 марта, 18:36
Приморское отделение Русского географического общества посетил известный китайский ученый
21 марта, 18:02
В Приморье возобновили ремонт дороги на Арсеньев
21 марта, 17:57
В Приморье взяли под стражу фигуранта дела о хищении при стройке коттеджей
21 марта, 17:40
Рабочий сорвался с крыши во время ремонта дома в Дальнегорске
21 марта, 17:30
Празднование 145-летия, модернизация и амбициозные планы: ВМТП на выставке TransRussia
21 марта, 17:25
Дни финтеха с реальными бизнес-кейсами Альфа-Банка прошли во Владивостоке
21 марта, 17:25
В Артёме внедорожник сбил 8-летнего мальчика
21 марта, 17:15
"УРСА" наградила победителей конкурса на разработку названий "тигриного" мороженого
21 марта, 17:15
Ремонт в тренде: какие услуги стали самыми востребованными в Приморье
21 марта, 17:10
Премьера для "Динамо": владивостокцы готовятся к первому домашнему матчу в новой лиге
21 марта, 17:04
В Приморье растёт угроза пожаров — на юге края вводят третий класс опасности
21 марта, 17:00
"Боевая вахта" и ИА PrimaMedia подписали соглашение о сотрудничестве
21 марта, 16:59

Сбер открыл доступ к модели генерации текста для русского языка ruGPT-3.5

Также доступна расширенная версия нейросети mGPT, способной генерировать тексты на 61 языке
25 июля 2023, 12:31 Общество
Сбербанк ИА ChitaMedia
Сбербанк
Фото: ИА ChitaMedia
Нашли опечатку?
Ctrl+Enter

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B (6+). Её дообученная версия лежит в основе сервиса GigaChat (6+). Также банк выложил новую версию модели mGPT 13B (6+) — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

Андрей Белевцев, старший вице-президент, CTO, руководитель блока "Технологии" Сбербанка:

"Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами".

*Лицензия MIT (англ. MIT License) — лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом.

16842
43
37

Электронный ресурс (Сайт) использует cookies и метрические программы. Продолжая посещение настоящего сайта, пользователь соглашается на смешанную обработку, сбор, использование, хранение, уточнение (обновление, изменение), обезличивание, блокирование, уничтожение своих персональных данных владельцем Электронного ресурса в соответствии с Политикой обработки персональных данных и Согласием на обработку персональных данных Пользователей.
На сайте используются рекомендательные технологии