Команда исследователей искусственного интеллекта из Google Research разработала генератор текста в видео нового поколения на основе искусственного интеллекта под названием Lumiere. Группа опубликовала документ, описывающий свои усилия по созданию сервера препринтов arXiv.
За последние несколько лет приложения искусственного интеллекта перешли из исследовательских лабораторий в сообщество пользователей в целом: например, LLM, такие как ChatGPT, были интегрированы с браузерами, что позволяет пользователям генерировать текст беспрецедентными способами.
Совсем недавно генераторы текста в изображение позволили пользователям создавать сюрреалистические изображения. А генераторы текста в видео позволили пользователям создавать короткие видеоклипы, используя всего несколько слов. В этом новом проекте команда Google подняла эту последнюю категорию на новую высоту, анонсировав генератор текста в видео под названием Lumiere .
Lumiere, названный, вероятно, в честь братьев Люмьер, которые стали пионерами первой фототехники, позволяет пользователям ввести простое предложение, например «два енота вместе читают книги», и получить полностью готовое видео, показывающее, как два енота делают именно это, — и делает это в потрясающе высокое разрешение. Новый генератор представляет собой следующий шаг в развитии генераторов преобразования текста в видео, обеспечивая гораздо более привлекательные результаты.
Google описывает технологию, лежащую в основе нового генератора, как «революционную архитектуру пространства-времени U-Net». Он был разработан для создания анимированного видео за один проход модели.
Демонстрационное видео показывает, что Google добавил дополнительные функции, такие как разрешение пользователям редактировать существующее видео, выделив его часть и набрав инструкции, такие как «изменить цвет платья на красный». Генератор также выдает различные типы результатов, например стилизацию, при которой создается стиль объекта, а не его полноцветное представление. Он также допускает подстили, например ссылки на различные стили. Он также занимается кинематографией, в которой пользователь может выделить часть или все неподвижное изображение и анимировать его.
В своем объявлении Google не уточнил, планируют ли они выпустить или распространить Люмьера среди публики, вероятно, из-за очевидных юридических последствий, которые могут возникнуть из-за потенциального создания видео, нарушающих законы об авторском праве.
Теги: Google, ИИ, Интернет
