Ученые компании «попросили» компьютер нарисовать «желтую птичку с черными крыльями и коротким клювом», и он нарисовал. Что получилось, можно посмотреть в заголовке статьи. При этом, компьютер создал изображение с нуля, не выбирая подходящее из базы данных, пишет Engadget.
Разработчикам, таким образом, удалось показать эффективность нового алгоритма создания изображений на основе описания и отдельно — эффективность добавления в нейросеть «внимательной» составляющей. В Microsoft идут дальше и видят применение своего алгоритма в анимационных фильмах, созданных компьютером только по сценарию. Однако точно также она может использоваться для создания фейковых видео.
Текущая технология состоит из 2-х частей: одна, Generative Adversarial Network (GAN), генерирует изображения, а другая, дискриминатор, оценивает их качество.
Основой ее является ШИ-система CaptionBot, которая распознает фото и делает подписи к ним в автоматическом режиме. Данная система «стравливает» между собой две нейросети: ту, что непосредственно делает изображение («генератор»), и которая его анализирует («дискриминатор»), сравнивая получившуюся работу с картинками-эталонами.
Как отмечается, CaptionBot обучался на фотографиях и подписях, которые подсказывают, какие слова соотносятся с какими фотоснимками.
Нынешние ИИ-алгоритмы умеют определять объекты, изображённые на картинах и фотографиях с непревзойденной точностью, которая часто доходит до 80 процентов, однако именно ИИ от Microsoft стал первым алгоритмом, способным самостоятельно выполнять обратную задачу — воссоздавать изображения, основываясь на текстовом описании предмета. Мы же используем математику, чтобы сделать внимание «машинной», — говорит Сяодун Хе.
