В Quest Pro Meta (признана экстремистской организацией в России) представляет новые интерфейсы для аватаров, которые могут лучше отражать выражения лица и движения тела своих пользователей.
На Meta Connect 2022 был представлен Movement SDK, который разработчики могут использовать для реализации следующих функций в своих VR-приложениях:
Эта функция использует пять новых инфракрасных датчиков внутри Quest Pro: три нацелены на глаза и верхнюю часть лица, а два — на нижнюю часть лица.
Предварительно обученная модель ИИ получает выражения лица из абстрактных данных датчиков, которые основаны на «Системе кодирования лицевых действий» (FACS), широко используемом методе кодирования выражений лица человека.
Разработчики могут сопоставлять выражения лица с самыми разными аватарами. Будь то комический или реалистичный, человеческий или созданный воображением: это не имеет значения.
Разработчики создали два образца аватаров для экспериментов. Одним из них является Aura, который, как было показано, демонстрирует впечатляющий диапазон выражений лица.
Отслеживание взгляда также обеспечивает зрительный контакт или новые формы взаимодействия.
Отслеживание лиц и глаз отключено по умолчанию и должно быть включено пользователями в настройках гарнитуры. Согласно разработчикам, данные датчиков остаются на устройстве и удаляются, как только они больше не нужны для обработки.
Отслеживание тела также поддерживается и Quest 2 в дополнение к Quest Pro. Выражение несколько обманчиво. На самом деле эта функция включает в себя только движения головы и рук. Гарнитуры не записывают движения бедер, ног и ступней.
Функция отслеживания тела отвечает за передачу данных о движении аватарам таким образом, чтобы они выглядели максимально естественно.
Здесь также используется машинное обучение. «Мы использовали большой набор данных о реальных движениях человека, чтобы исправить ошибки, распространенные в инверсной кинематике или подходах на основе IK», — объясняет менеджер по продуктам Meta Вибхор Саксена. Метод инверсной кинематики пришел из робототехники и описывает механическую оценку пространственного соотношения конечностей на основе ограниченных точек данных.
Функция отслеживания тела ранее использовалась только в продуктах Meta Horizon. Теперь она доступна для разработчиков и позволит создавать более реалистичные аватары в других приложениях виртуальной реальности, помимо Horizon Home, Worlds и Workrooms, без необходимости разработчикам программировать свои собственные модели IK. Система гибкая: она может легко переключаться между отслеживанием руки и контроллера и может быть сопоставлена со скелетами различной формы.
«Мы прилагаем все усилия, чтобы в ближайшие годы улучшить отслеживание тела», — обещает Саксена. Он может иметь в виду, среди прочего, аватары с симулированными ногами.
Полезно знать: Movement SDK является частью Presence Platform, собирательного термина Meta для иммерсивных интерфейсов и SDK. Meta делит их на три столпа смешанной реальности (Insight SDK), взаимодействия (Interaction SDK и Voice SDK) и социального присутствия.
