Команда CберБанка представила мультимодальную нейросеть Kandinsky. По словам пресс-службы, это самая большая на данный момент модель создания изображений по текстовому описанию на русском языке.
Kandinsky представляет собой улучшенную версию мультимодальной нейросети ruDALL-E, которая генерирует картинки по описанию на русском языке. Как отмечают разработчики, использовать её можно для создания любых видов изображений — иллюстраций, материалов для рекламы, архитектурного и промышленного дизайна и даже дизайна в области цифрового искусства.
В ноябре была выпущена модель ruDALL-E XL, содержащая 1,3 млрд параметров. Её параметры и код были выложены в открытый доступ, был разработан сервис генерации изображений. За полгода этим сервисом воспользовались 2 млн уникальных пользователей, которые суммарно сгенерировали 125 млн изображений. Также в ноябре была анонсирована, а в декабре опубликована в маркетплейсе AI Services платформы SberCloud ML Space эксклюзивная модель ruDALL-E XXL c 12 миллиардами параметров.
Дообученная модель Kandinsky умеет генерировать изображения с произвольным соотношением сторон и использовать новый способ повышения разрешения сгенерированных картинок на основе диффузионного процесса для изображений с соотношением сторон 1 : 1 (помимо стандартного подхода с использованием Real-ESRGAN). Как отмечают разработчики, теперь модель значительно лучше справляется с созданием реалистичных изображений, качественно передавая различные текстуры, тени и отражения.
Модель доступна в мобильном приложении «Салют» и на умных устройствах Sber по запросу «Включи художника».