Нейросеть научили превращать текст в картинки. Она изобразила редиску с собачкой и кресло-авокадо!

Американская команда разработчиков OpenAI создала нейросеть, способную превращать текст в картинки. В ее основе — алгоритм последнего поколения для обработки языка GPT-3, который уже обучали генерировать идеи для бизнеса, тексты песен, статьи и даже отвечать на философские вопросы.

Новая разработка получила название DALL·E. Принцип ее работы следующий: человек описывает некий предмет или ситуацию, к примеру, «редиска выгуливает собаку» или «кресло в форме авокадо», а алгоритм изображает это на картинке.

При одном и том же запросе результат каждый раз получается разным. Некоторые из сгенерированных картинок будут неотличимы от созданных человеком, другие — едва связными и понятными. Однако серьезных ошибок и абсолютной бессмыслицы алгоритм не допускает.

На сайте OpenAI показаны десятки примеров работы алгоритма, в которых можно самостоятельно поменять параметры. Например, «профессиональную высококачественную иллюстрацию химеры жирафа и черепахи» можно превратить в не менее качественно нарисованную смесь кота и слона или льва и цыпленка, создавая сотни различных версий мутантов (иногда милых, иногда пугающих).

Все примеры на сайте — это 30 лучших, по мнению разработчиков, изображений из 512, сгенерированных нейросетью по указанному запросу. Никакой ретуши к картинкам не применялось.

DALL·E учитывает 12 млрд параметров (цвет, высота, названия предметов, их расположение и так далее) и может создавать антропоморфных животных, фотографически точные изображения, а также комбинировать несвязанные понятия.

К примеру, нейросеть способна понять фразу «эмодзи пингвина, который одет в синюю шапку, красные перчатки, зеленую футболку и желтые штаны». Однако разработчики подчеркивают, что результат сильно зависит от формулировки запроса. Часто идентичные по смыслу предложения интерпретируются алгоритмом по-разному и приводят к неверной визуализации.

Программа также может изобразить объект с разных ракурсов — она видит различие между «капибарой крупным планом» и «капибарой, сидящей в поле». Более того, изображения гипсового бюста под разными углами, сгенерированные DALL·E, позволили создать плавную 3D-анимацию вращающейся головы.

Исследователи считают, что работа с генеративными моделями, такими как DALL·E, может оказать серьезное влияние на общество. В будущем они планируют проанализировать связь подобных моделей с социальными проблемами, к примеру с воздействием экономики на рабочие процессы и профессии, а также изучат долгосрочные этические последствия, к которым может привести технология.