Пять новых моделей для изображений и видео на Python

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

В библиотеку Diffusers для Python добавили поддержку пяти моделей, которые создают изображения и видео. Diffusers помогает запускать эти модели из своего кода. Например, можно взять один кадр и записанный голос, чтобы получить ролик с говорящим персонажем, или задать сцену текстом и сгенерировать видео вместе со звуком.

Это пригодится тем, кто делает свои инструменты для обработки изображений или видео. В версии 0.43 две модели рисуют и редактируют изображения, Pika создаёт ролик со звуком, Kandinsky оживляет персонажа под готовую запись, а PAN 2 показывает, как сцена может измениться после заданного действия. У каждой задачи свои входные данные и требования к видеокарте.

В Python у всех пяти моделей общий способ загрузки. Дальше всё зависит от задачи. Для правки картинки передайте исходное изображение, для анимации под речь понадобятся портрет и запись, а для Pika нужно дополнительно загрузить набор весов под выбранный режим.

Проверьте, сколько памяти есть на видеокарте. Она нужна для параметров модели, которые называют весами, и для самих вычислений. Чем крупнее кадр и длиннее ролик, тем больше памяти может понадобиться. В некоторых примерах часть модели держат в оперативной памяти и переносят на видеокарту по мере работы.

Числа ниже относятся к конкретным режимам из документации. Для PAN 2 можно посчитать размер весов трансформера и понять, сколько памяти понадобится только для их размещения. Для всего прогона понадобятся дополнительные ресурсы.

Собрать или отредактировать изображение

MiniMax-H3-Image подходит для генерации по тексту и редактирования с одним или несколькими изображениями-референсами. Например, можно задать композицию по одному кадру и указать, какие детали изменить. Генерация проходит за шесть шагов. В примере Diffusers при 4736 x 3552 пикселях пиковое потребление составляет около 65 ГБ с выгрузкой компонентов в оперативную память. Трансформер и текстовый энкодер занимают примерно по 62 ГБ в BF16, поэтому одновременно на карту с 80 ГБ они не помещаются. У весов отдельная MiniMax-H3-Image Community License Agreement.

P-H3-Image от Pruna AI тоже генерирует и редактирует изображения. В режиме редактирования принимает до восьми входных картинок. Конвейер сначала расширяет текстовый запрос, а затем выполняет восемь шагов генерации. По документации в режиме 8 Мп с точностью BF16 одновременная загрузка компонентов требует около 101 ГБ. Пример рассчитан на карту с 80 ГБ за счёт поочерёдной загрузки компонентов. Веса распространяются по MiniMax H3 Community License.

Получить новый звук или использовать готовую речь

Pika H3 Flex генерирует и видео, и синхронизированный стереозвук за шесть шагов. Для текста, начального или конечного кадра и мультимодальных референсов предусмотрены разные режимы. В примере с референсами при 768p документация показывает запуск на одной карте с 80 ГБ. Блоки трансформера по очереди переносятся из оперативной памяти на GPU. Без такой подгрузки документация предлагает для этого режима ограничиться 480p. Базовые веса и адаптеры распространяются по MiniMax H3 Community License Agreement.

Kandinsky S2V 1.0 принимает кадр с персонажем и запись речи. Модель анимирует движения, в том числе движения тела, а в готовом ролике звучит переданная запись. Видео строится пятисекундными отрезками с сохранением информации о предыдущих кадрах. У Lite трансформер на 2 млрд параметров, у Pro на 21 млрд. Для Pro документация описывает пример с выгрузкой компонентов и пиком около 50 ГиБ при 512 x 768. Это ориентир для конкретной настройки. В карточках Lite и Pro для Diffusers указана лицензия MIT. Для зависимостей, включая речевой и текстовый энкодер, условия следует смотреть отдельно.

Задать, как меняется сцена

PAN 2 принимает текст или начальный кадр с текстом. В запросе можно расписать, что меняется в сцене и куда движется камера. В Diffusers добавили генератор видео, а отдельная модель, которая составляет для него описание действий, в эту интеграцию не входит.

Трансформер PAN 2 содержит около 29 млрд параметров. Если хранить их в BF16, по два байта на параметр, получается около 58 ГБ только на веса трансформера. Сюда не входят остальные компоненты и память, нужная во время генерации. Документация показывает пример с двумя GPU для распределённой обработки. Код и собственные веса PAN 2 доступны по Apache 2.0. Для сторонних компонентов действуют их лицензии.

Как выбрать первый прогон

Для технического старта у всех пяти есть ModularPipeline. from_pretrained(…) и load_components(…). Начните с тех входных данных, которые есть в проекте. Для серии правок одной картинки подойдёт режим редактирования по референсу. Если дорожка уже записана, проверьте на одном отрезке речи, устраивает ли синхронизация движения с голосом. Если звук должен появиться вместе с видео, выберите режим Pika под доступные входы. Для PAN 2 начните, например, с кадра пустой комнаты. Попросите, чтобы дверь открылась, а камера приблизилась к ней. В готовом видео можно отдельно проверить событие и движение камеры.

Перед длинным прогоном проверьте в документации именно выбранный вариант модели, режим и размер кадра. Сохраните параметры короткого теста вместе с результатом и замерьте пиковую видеопамять на своей конфигурации. Эти данные пригодятся, когда будете решать, увеличивать разрешение, включать выгрузку компонентов или переносить задачу на другую карту.

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Нашли ИИ-приложение, но пока неясно, куда его применить? Разбираю функции, настройки и рабочие сценарии. Выясняем, какие задачи оно решает и с какими инструментами его полезно связать

Сейчас на главной

Новости

Публикации

Дача без хозяев: фотоловушка, GSM-сигнализация и таймер света — что они умеют и чего им не хватает

Участки пустеют до весны, и защиту на них многие ставят сами. Из того, что можно поставить самостоятельно за выходные, популярны три устройства: фотоловушка, GSM-комплект и розетка с таймером....

Крымская АЭС: 80% строительной готовности без реактора ВВЭР-1000 и снос шахты за 230 млн евро

Строительство первого блока Крымской АЭС остановили при 80% готовности, но эти проценты относились только к бетону: реактор так и не установили в шахту, а спустя годы порезали на металлолом....

Нижнее белье как конструкция: почему боди может быть неудобным при верном размере

Нижнее белье сложного кроя нельзя оценивать только по размеру на бирке. Боди одновременно должно подходить по груди, талии, бёдрам и длине корпуса. Если хотя бы один параметр не совпал с...

ТС-АЦП: пожарный вездеход с цистерной

ТС-АЦП — это не просто вездеход, а специализированная пожарная автоцистерна на четырёхгусеничном шасси, созданная для работы там, где обычная пожарная техника просто не проедет. По сути,...

✦ ИИ  Жидкий металл, фазовый переход и дорогая термопаста: как правильный термоинтерфейс превращается в убийцу железа

Стоит температурам процессора или видеокарты подползти к 85-90 °C, как в ход идёт стандартный рецепт: разобрать, счистить заводской термоинтерфейс и намазать что-нибудь «топовое» — от...

Зачем инженеры Hoover выпустили пылесос на воздушной подушке

Круглый Hoover Constellation было легче сдвинуть с места, когда он работал. Достаточно было слегка потянуть за шланг, и металлический шар скользил следом за щёткой. Стоило выключить мотор, и корпус...