Пять новых моделей для изображений и видео на Python

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

В библиотеку Diffusers для Python добавили поддержку пяти моделей, которые создают изображения и видео. Diffusers помогает запускать эти модели из своего кода. Например, можно взять один кадр и записанный голос, чтобы получить ролик с говорящим персонажем, или задать сцену текстом и сгенерировать видео вместе со звуком.


Это пригодится тем, кто делает свои инструменты для обработки изображений или видео. В версии 0.43 две модели рисуют и редактируют изображения, Pika создаёт ролик со звуком, Kandinsky оживляет персонажа под готовую запись, а PAN 2 показывает, как сцена может измениться после заданного действия. У каждой задачи свои входные данные и требования к видеокарте.

В Python у всех пяти моделей общий способ загрузки. Дальше всё зависит от задачи. Для правки картинки передайте исходное изображение, для анимации под речь понадобятся портрет и запись, а для Pika нужно дополнительно загрузить набор весов под выбранный режим.

Проверьте, сколько памяти есть на видеокарте. Она нужна для параметров модели, которые называют весами, и для самих вычислений. Чем крупнее кадр и длиннее ролик, тем больше памяти может понадобиться. В некоторых примерах часть модели держат в оперативной памяти и переносят на видеокарту по мере работы.

Числа ниже относятся к конкретным режимам из документации. Для PAN 2 можно посчитать размер весов трансформера и понять, сколько памяти понадобится только для их размещения. Для всего прогона понадобятся дополнительные ресурсы.

Собрать или отредактировать изображение

MiniMax-H3-Image подходит для генерации по тексту и редактирования с одним или несколькими изображениями-референсами. Например, можно задать композицию по одному кадру и указать, какие детали изменить. Генерация проходит за шесть шагов. В примере Diffusers при 4736 x 3552 пикселях пиковое потребление составляет около 65 ГБ с выгрузкой компонентов в оперативную память. Трансформер и текстовый энкодер занимают примерно по 62 ГБ в BF16, поэтому одновременно на карту с 80 ГБ они не помещаются. У весов отдельная MiniMax-H3-Image Community License Agreement.

P-H3-Image от Pruna AI тоже генерирует и редактирует изображения. В режиме редактирования принимает до восьми входных картинок. Конвейер сначала расширяет текстовый запрос, а затем выполняет восемь шагов генерации. По документации в режиме 8 Мп с точностью BF16 одновременная загрузка компонентов требует около 101 ГБ. Пример рассчитан на карту с 80 ГБ за счёт поочерёдной загрузки компонентов. Веса распространяются по MiniMax H3 Community License.

Получить новый звук или использовать готовую речь

Pika H3 Flex генерирует и видео, и синхронизированный стереозвук за шесть шагов. Для текста, начального или конечного кадра и мультимодальных референсов предусмотрены разные режимы. В примере с референсами при 768p документация показывает запуск на одной карте с 80 ГБ. Блоки трансформера по очереди переносятся из оперативной памяти на GPU. Без такой подгрузки документация предлагает для этого режима ограничиться 480p. Базовые веса и адаптеры распространяются по MiniMax H3 Community License Agreement.


Kandinsky S2V 1.0 принимает кадр с персонажем и запись речи. Модель анимирует движения, в том числе движения тела, а в готовом ролике звучит переданная запись. Видео строится пятисекундными отрезками с сохранением информации о предыдущих кадрах. У Lite трансформер на 2 млрд параметров, у Pro на 21 млрд. Для Pro документация описывает пример с выгрузкой компонентов и пиком около 50 ГиБ при 512 x 768. Это ориентир для конкретной настройки. В карточках Lite и Pro для Diffusers указана лицензия MIT. Для зависимостей, включая речевой и текстовый энкодер, условия следует смотреть отдельно.

Задать, как меняется сцена

PAN 2 принимает текст или начальный кадр с текстом. В запросе можно расписать, что меняется в сцене и куда движется камера. В Diffusers добавили генератор видео, а отдельная модель, которая составляет для него описание действий, в эту интеграцию не входит.

Трансформер PAN 2 содержит около 29 млрд параметров. Если хранить их в BF16, по два байта на параметр, получается около 58 ГБ только на веса трансформера. Сюда не входят остальные компоненты и память, нужная во время генерации. Документация показывает пример с двумя GPU для распределённой обработки. Код и собственные веса PAN 2 доступны по Apache 2.0. Для сторонних компонентов действуют их лицензии.

Как выбрать первый прогон

Для технического старта у всех пяти есть ModularPipeline. from_pretrained(…) и load_components(…). Начните с тех входных данных, которые есть в проекте. Для серии правок одной картинки подойдёт режим редактирования по референсу. Если дорожка уже записана, проверьте на одном отрезке речи, устраивает ли синхронизация движения с голосом. Если звук должен появиться вместе с видео, выберите режим Pika под доступные входы. Для PAN 2 начните, например, с кадра пустой комнаты. Попросите, чтобы дверь открылась, а камера приблизилась к ней. В готовом видео можно отдельно проверить событие и движение камеры.

Перед длинным прогоном проверьте в документации именно выбранный вариант модели, режим и размер кадра. Сохраните параметры короткого теста вместе с результатом и замерьте пиковую видеопамять на своей конфигурации. Эти данные пригодятся, когда будете решать, увеличивать разрешение, включать выгрузку компонентов или переносить задачу на другую карту.

Читайте также

Новости

Публикации