Snapfeet — это новое приложение для мобильных телефонов, которое показывает, насколько хорошо подойдет обувь, на основе 3D-формы стопы пользователя. Он также предлагает простую визуализацию дополненной реальности (AR) того, как обувь будет выглядеть на ноге.
Технология приложения предназначена для онлайн-обувных ритейлеров, чтобы предложить своим покупателям точную примерку обуви разных стилей и возможность увидеть, как обувь будет смотреться на ноге покупателя. Это должно привести к меньшему количеству возвращаемой обуви. Прибыль сопряжена с огромными издержками, как денежными, так и экологическими. Многие продавцы обуви получают очень небольшой доход от онлайн-продаж из-за высокой нормы прибыли, поэтому цель этого приложения — изменить это.
Профессор Роберто Чиполла и его команда доктор Джеймс Чарльз и доктор философии. Студент Олли Бойн из группы Machine Intelligence создал приложение в сотрудничестве с Джорджио Ракканелли и командой Snapfeet .
Приложение Snapfeet позволяет покупателю надевать обувь виртуально через свой телефон благодаря дополненной реальности (AR) и за несколько мгновений находить идеальную обувь.
Snapfeet создает в режиме реального времени точную трехмерную копию ног пользователя. За несколько секунд можно сделать 3D-модель обеих стоп, просто сделав несколько фотографий на мобильный телефон с разных точек зрения.
Используя форму стопы пользователя и сравнивая ее с геометрией обуви, Snapfeet может порекомендовать правильный размер для каждого типа обуви, сообщая пользователю степень комфорта, которая может быть достигнута в различных частях стопы: носок, подъем, пятка и подошва.
Джорджио Ракканелли говорит: «Вы загружаете приложение Snapfeet, регистрируетесь, делаете несколько снимков всей стопы, и появляется 3D-модель стопы, что позволяет вам сразу же приступить к покупкам. Приложение автоматически сравнивает трехмерное изображение стопы. ногу с выбранным стилем обуви, показывая вам, как она будет сидеть, или прямо предложит стиль, который больше всего подходит для вашей формы ноги».
У Snapfeet есть первые крупные клиенты в лице Hugo Boss и Golden Goose.
Материнская компания Snapfeet, Trya, начала с лицензирования нового программного обеспечения для фотограмметрии от группы профессора Чиполлы в 2011 году через Cambridge Enterprise.
Первоначальная технология фотограмметрии использовала фотографии с калибровочным шаблоном. После того, как эти фотографии были сделаны, они загружаются на сервер, и алгоритм многоракурсного стерео, разработанный в Кембридже, находит множественные соответствия точек и создает 3D-модель, которая объясняет все различные точки обзора и размещает камеры в мировом пространстве. Это был современный уровень точности реконструкции еще в 2011 году.
С 2019 года команда профессора Чиполлы работает с Snapfeet, чтобы превратить оригинальную технологию фотограмметрии в приложение для мобильного телефона, которое реконструирует трехмерную форму стопы в реальном времени на телефоне и без необходимости в каком-либо шаблоне калибровки, а также правильно определяет размер и визуализирует обувь в AR.
Исходное программное обеспечение для фотограмметрии было очень точным до 1 мм, но оно было медленным и сложным в обработке. Точность была, а удобства нет. Он также не использовал никаких знаний об объекте, который пытался реконструировать.
Команда искала, как сделать это быстрее и удобнее для пользователя, и родилась идея сделать все это на мобильном телефоне без шаблона калибровки и без обработки на сервере. Они смогли использовать захватывающие новые разработки в области машинного обучения и мощные процессоры на современных мобильных телефонах.
«Мы смогли использовать новые разработки в области машинного обучения (глубокого обучения) для распознавания трехмерных объектов, а также усовершенствованные датчики и мощные процессоры на современных мобильных телефонах для запуска алгоритмов реконструкции в режиме реального времени на телефоне. Таким образом, мы можем комбинировать параметризованный модель стопы и новые алгоритмы глубокого обучения для распознавания кривых и поверхностей, позволяющие нам запускать алгоритм 3D-реконструкции в режиме реального времени на устройстве», — сказал профессор Чиполла.
Они использовали параметризованную модель стопы, полученную из множества 3D-сканирований стоп с использованием оригинальной технологии фотограмметрии. Трехмерная модель стопы, которую создает приложение, может быть визуализирована в любом графическом движке, чтобы визуализировать ее внешний вид. Форма стопы может быть изменена и контролируется с помощью 10 различных параметров, которые изучаются с помощью машинного обучения. Цель состоит в том, чтобы выяснить, какой из этих параметров создает трехмерную стопу, которая лучше всего подходит пользователю. «Основная» модель стопы называется «априорной», что означает предварительное знание того, как выглядят стопы. Пользователь приложения по-прежнему делает несколько изображений стопы, но вместо построения облаков точек (как в фотограмметрии) приложение использует машинное обучение для прогнозирования функций более высокого уровня, которые контролируют форму стопы. Преимущества заключаются в том, что пользователю приложения нужно делать меньше фотографий, возвращенная модель стопы содержит меньше артефактов, а процесс более надежен, если во время сканирования возникнут ошибки. Модель также создается намного быстрее благодаря элементу глубокого обучения приложения в реальном времени.
Команда только что выпустила новую версию приложения, которое может делать все на мобильном устройстве. Сервер больше не нужен.
Рассказывая о приложении, Джеймс Чарльз говорит: «У меня всегда были трудности с поиском обуви нужного размера. Мне не нравится процесс примерки в магазинах, а воздействие на окружающую среду заказа большого количества обуви в Интернете было для меня большой проблемой. до этого приложения действительно не было другого выхода. Поэтому я очень мотивирован на решение этой проблемы и думаю, что у нас уже есть довольно хорошее решение».
Первоначально, когда пользователь открывает приложение, выполняется этап калибровки, когда пользователь начинает отслеживать камеру, используя новейшие функции дополненной реальности на мобильных телефонах. На телефоне iOS, который представляет собой AR Kit, а на телефоне Android — AR Core, они используют тот же набор процедур, что и приложение для дизайна интерьера, чтобы отобразить комнату и представить физическое пространство в графической форме.
На этапе калибровки камера телефона отслеживается. Приложение основано на технологии AR, чтобы отслеживать камеру и вычислять, как далеко она движется, оно также определяет ногу и пол, обеспечивая хорошее представление о мировом пространстве. Приложение знает, где находится телефон, с точностью до 2 мм, и все это делается в течение нескольких секунд после загрузки приложения.
Когда телефон перемещается по стопе, определяются определенные ключевые точки интереса, которые помогают определить длину и ширину стопы, затем на основе этих измерений создается трехмерная сетка, а затем модель накладывается на стопу пользователя в дополненной реальности, чтобы они могли визуально подтвердите, если это правильно.
Это еще один ключевой шаг, отличающийся от конкурентов. На рынке есть приложения, которые также могут проверять реконструкцию модели таким образом, но они не позволяют вам активно настраивать модель. Snapfeet позволяет вам настроить модель в режиме реального времени, а затем сразу же получить 3D-модель вашей стопы на самом телефоне без необходимости использования сервера.
В игре есть три алгоритма машинного обучения. Один строит параметризованную модель стопы; второй — машинное обучение, которое восстанавливает параметры модели из многоракурсных изображений, когда вы перемещаете мобильный телефон. Наконец, в приложении есть третий алгоритм машинного обучения, который сравнивает 3D-модель стопы со всеми формами обуви или «колодками», которые интересуют покупателя, а затем возвращает размер этой обуви, который лучше всего подходит для стопы пользователя. . Это виртуальная примерка.
Когда производители создают обувь, они создают колодку, которая представляет собой твердую модель внутренней части обуви. Вокруг колодки создается дизайн обуви. Обувная колодка вместе с материалом, из которого изготовлена обувь, определяют размер и уровень комфорта, который будет у кого-то, когда он наденет эту обувь.
Алгоритм возьмет модель стопы и в цифровом виде поместит ее во все интересующие вас туфли и даст вам оценку комфорта. Затем вы можете сделать виртуальную обувь на ногах с помощью дополненной реальности. Приложение также определяет, где находятся ноги/брюки, чтобы получить правильный эффект окклюзии, используя машинное обучение для отслеживания движения стопы.
Приложение также использует дополненную реальность после того, как вы восстановили форму своей стопы, чтобы пользователь мог почувствовать, что вы должны чувствовать, когда примеряете обувь. Затем элемент AR приложения позволяет пользователю увидеть, как обувь будет выглядеть на его ноге и хорошо ли она сочетается с конкретным нарядом.
Snapfeet щедро профинансировали докторскую степень. стипендия позволила Олли Бойну расширить исследования по моделированию ног по фотографиям. Приложение уже доступно в App Store, и его используют и тестируют многие продавцы обуви , чтобы снизить прибыль от онлайн-продаж.
Теги: VR, ИИ, приложение
