Facebook работает над новой системой на основе искусственного интеллекта (ИИ), которая сможет анализировать вашу жизнь через видео от первого лица, записывая то, что человек видит, делает и слышит, чтобы помочь ему в решении повседневных задач.
BBC: «Представьте, что ваше AR-устройство покажет вам, как правильно держать палочки во время урока игры на барабанах, подскажет рецепт, найдет потерянные ключи или предложит воспоминания в виде оживающих перед вами голограмм».
«Ego4D» от Facebook — долгосрочный проект, направленный на решение исследовательских задач в области «эгоцентрического восприятия» (восприятие направления или положения себя на основе визуальной информации).
«Мы объединили консорциум из 13 университетов и лабораторий в девяти странах, которые собрали более 2 200 часов видео от первого лица в естественных условиях с участием более 700 участников, занимающихся своей повседневной жизнью», — говорится в заявлении социальной сети.
«Системы ИИ следующего поколения должны будут учиться на совершенно других данных — видео, которые показывают мир из центра событий, а не со стороны», — говорит Кристен Грауман, ведущий научный сотрудник Facebook.
Facebook AI в сотрудничестве с консорциумом и Facebook Reality Labs Research (FRL Research) разработал пять эталонных задач, сосредоточенных на визуальном восприятии от первого лица, которые будут стимулировать продвижение к реальным приложениям для будущих ассистентов ИИ.
Пять эталонов Ego4D — это эпизодическая память, прогнозирование, манипулирование руками и предметами, аудиовизуальная «дневниковая запись» и социальное взаимодействие.
«Эти эталоны станут катализатором исследований строительных блоков, необходимых для разработки более умных помощников ИИ, способных понимать и взаимодействовать не только в реальном мире, но и в метавселенной, где физическая реальность, AR и VR объединяются в единое пространство», — уточнили в Facebook.
Наборы данных будут обнародованы в ноябре этого года для исследователей, которые подпишут соглашение об использовании данных Ego4D.
«Чтобы системы ИИ могли взаимодействовать с миром так, как это делаем мы, область ИИ должна перейти к совершенно новой парадигме восприятия», — сказал Грауман.
Теги: ИИ, распознавание
