Яндекс представил единую нейросеть для генерации и редактирования изображений

Яндекс разработал первую версию единой нейросетевой модели Alice AI ART 2.0, которая совмещает генерацию изображений по текстовому запросу и их редактирование по инструкции пользователя. Ранее эти функции развивались как независимые технологические стеки, теперь знания, полученные при обучении генерации, автоматически применяются и при редактировании.

Как сообщили в пресс-службе компании, переход к единой архитектуре позволил объединить оба сценария, благодаря чему улучшения в генерации автоматически улучшают и редактирование. Особенно заметен эффект при работе с редкими визуальными концептами: если модель научилась создавать изображения с элементами хохломской росписи или самоваром, она сможет корректно использовать эти же объекты при редактировании без дополнительного обучения.

Технической основой стала архитектура на базе трансформера с единым механизмом обработки текста и изображений. Разработчики также внедрили отдельный модуль, который преобразует короткий запрос пользователя в более подробное описание задачи для модели. По внутренним оценкам компании, это повысило точность следования инструкциям при редактировании примерно на 12% без изменения самой генеративной модели.

Отдельное внимание уделили генерации текста внутри изображений: для обучения модели были подготовлены специализированные наборы данных на русском и английском языках, что повысило качество работы с надписями. Alice AI ART 2.0 уже используется в приложениях «Алиса AI» и «Шедеврум».