Deepfloyd IF: новая нейросеть, которая умеет генерировать картинки с текстом. И при этом совсем бесплатно

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Deepfloyd — новая нейросеть от StabilityAI с открытым исходным кодом, которая умеет генерировать картинки с текстом внутри. И это бесплатно: просто вставляете запрос с текстовым описанием будущей работы и получаете 4 варианта картинок через несколько секунд. Но есть ограничение: она умеет писать только на английском.

Промпт: a photo of a violet baseball cap with yellow text:
Промпт: a photo of a violet baseball cap with yellow text: "deep floyd". 50mm lens, photo realism, cine lens. violet baseball cap says "deep floyd". reflections, render. yellow stitch text "deep floyd"

Как пользоваться 

В самом интерфейсе нейросети есть два поля: для промпта и для негативного промпта.

В поле с обычным промптом нужно вписать тот запрос, который вы хотите нарисовать. А в негативный — те вещи, объекты и т.д., которые вы не хотите видеть после генерации.

Для примера попросим нейросеть нарисовать футболку с надписью IXBT. Но зададим ограничение — красные и белые футболки.

Сами футболки видны плохо. Но понятно одно: белых и красных нет.

Второй шаг после того, как вы получили картинки — кликнуть на понравившуюся и нажать Upscale. 

После этого нейросеть увеличит ваше фото до размера 1024 х 1024. Например, вот, что она сделала из второго варианта.

Футболка получилась довольно качественной и реалистичной.

У нейросети есть и другие, дополнительные функции.

Эти параметры отвечают за качество и детализацию картинки.

Seed показывает, чем нейросеть будет руководствоваться при генерации картинок. Разные значения — разные стартовые точки для генерации каждой из картинок. Если вы не хотите генерировать похожие картинки, ставьте значение минус 1. Так каждая картинка будет уникальной. А если вам нужно улучшить свой текстовый запрос, то зафиксируйте какое-то конкретное стартовое число и не меняйте его.

Guidance Scale показывает, насколько нейросеть будет придерживаться вашему запросу. Здесь есть своя градация: 

  • 2–6 — нейронка рисует, что хочет; 
  • 7–11 — нейронка обрабатывает только половину запроса, а вторую половину додумает;
  • 12–15 — постарается учесть почти весь запрос;
  • 16+ — будет следовать только запросу. 

В Stable diffusion по умолчанию рекомендуют использовать значение 8. А если вы точно уверены в том, что получите, ставьте 12. Здесь можно придерживаться таких же значений.

Важно! Рекомендую брать в кавычки тот текст, который вы хотите нарисовать. Например, не IXBT, а «IXBT». Так нейронка сгенерирует буквы лучше.

Вариант генерации с текстом в кавычках: только одна картинка не в тему

Вариант генерации с текстом без кавычек: две картинки с неправильным текстом

Что умеет нейросеть

А теперь настало время примеров, которые я смог создать совместно с нейросетью.

Вы посмотрите на эту кепку: буквы такие, будто бы их действительно вышили.Идем дальше.

Промпт: a subway train's digital sign saying
Промпт: a subway train's digital sign saying "open source", vsco preset, 35mm photo, film grain, in a dim subway station

Здесь слились буквы «u» и «r» но картинка все равно выглядит реалистично. 

Теперь пройдемся по еде.

Промпт: word «diet» from vegetables on a plate
Промпт: word «diet» from vegetables on a plate

Не знаю, что это за овощи, но выглядит даже аппетитно.

Попробуем сгенерировать какое-нибудь животное.

Промпт: a wide angle photo of a very happy dog in a hat giving a thumb up to the camera while holding a coffee cup and wearing a shirt reading
Промпт: a wide angle photo of a very happy dog in a hat giving a thumb up to the camera while holding a coffee cup and wearing a shirt reading "This is fine" in front of burning servers, servers in flames in the background, sharp focus, intricate details, ultra detailed, 8k

Здесь, конечно, нейросеть отразила не все, что я хотел: нет стаканчика кофе, неправильно написано выражение и у собаки нет рубашки. Но выглядит это все равно круто.

А это — второй вариант собаки с тем же промптом. Здесь все намного круче и эпичнее, только выражение снова написано с ошибкой.

Где попробовать

Модель представлена в виде открытого исходного кода, который лежит на GitHub. 

Но саму нейросеть можно попробовать на сайте Hugging Face.

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Главный редактор медиа о неросетях. Автор телеграм-канала о нейросетях Миша, давай по новой

2 комментария

grebnebo
Интересно, как русским удалось обучить модель без поддержки русского языка...
Our research band: Mikhail Konstantinov,Alex Shonenkov,Daria Bakshandaeva,Ksenia Ivanova.
https://github.com/deep-floyd/IF
mikeshu
Да, самому интересно стало))
Ну, скорее всего, базу иностранную просто использовали (SD ведь на ней и обучена)

Добавить комментарий

Сейчас на главной

Новости

Публикации

✦ ИИ  Средний класс наносит ответный удар: почему «народные» смартфоны за 25 тысяч всё чаще делают выбор очевидным

Рынок смартфонов давно разделился на два полюса: ультимативные флагманы, ценник которых улетел за пределы здравого смысла для обычного сценария использования, и бюджетные модели, где экономия...

Дача без хозяев: фотоловушка, GSM-сигнализация и таймер света — что они умеют и чего им не хватает

Участки пустеют до весны, и защиту на них многие ставят сами. Из того, что можно поставить самостоятельно за выходные, популярны три устройства: фотоловушка, GSM-комплект и розетка с таймером....

Крымская АЭС: 80% строительной готовности без реактора ВВЭР-1000 и снос шахты за 230 млн евро

Строительство первого блока Крымской АЭС остановили при 80% готовности, но эти проценты относились только к бетону: реактор так и не установили в шахту, а спустя годы порезали на металлолом....

Нижнее белье как конструкция: почему боди может быть неудобным при верном размере

Нижнее белье сложного кроя нельзя оценивать только по размеру на бирке. Боди одновременно должно подходить по груди, талии, бёдрам и длине корпуса. Если хотя бы один параметр не совпал с...

ТС-АЦП: пожарный вездеход с цистерной

ТС-АЦП — это не просто вездеход, а специализированная пожарная автоцистерна на четырёхгусеничном шасси, созданная для работы там, где обычная пожарная техника просто не проедет. По сути,...

✦ ИИ  Жидкий металл, фазовый переход и дорогая термопаста: как правильный термоинтерфейс превращается в убийцу железа

Стоит температурам процессора или видеокарты подползти к 85-90 °C, как в ход идёт стандартный рецепт: разобрать, счистить заводской термоинтерфейс и намазать что-нибудь «топовое» — от...