Генерируйте на здоровье: Сбер открыл доступ к нейросетям для русского и ещё 60 языков

Обновлённые версии доступны под открытой лицензией MIT

Команда СберБанка открыла доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. 

Генерируйте на здоровье: Сбер открыл доступ к нейросетям для русского и ещё 60 языков
Сгенерировано нейросетью Midjourney

Обе модели доступны на платформе HuggingFace, и их могут использовать все разработчики, модели опубликованы под открытой лицензией MIT.

Russian Generative Pretrained Transformer версии 3.5 (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B. Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 млрд параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 ТБ, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. 

Также в открытом доступе опубликована многоязычная модель mGPT 13B. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 ГБ текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

 

20 июля 2023 в 13:02

Автор:

| Источник: Сбер

Все новости за сегодня

Календарь

июль
Пн
Вт
Ср
Чт
Пт
Сб
Вс