Простое отслеживание всего тела для конечных пользователей — это одна из самых сложных проблем виртуальной реальности, которую еще предстоит решить. Facebook пробует электромагнитные датчики.
Камеры, встроенные в очки виртуальной реальности, не являются оптимальным решением для отслеживания всего тела, поскольку тело часто закрывает себя или вообще выпадает из зоны видимости. С другой стороны, внешние камеры имеют проблему ограниченной мобильности: если вы выйдете из поля зрения камеры, вы более не будете отслеживаемы.
Поэтому команда исследователей из Facebook Reality Labs и ETH Zurich пытается использовать электромагнитные датчики, поскольку они не требуют визуального контакта.
Для этого типа отслеживания требуется базовая станция, которая генерирует опорное электромагнитное поле, и ряд электромагнитных датчиков, расстояние от которых до базовой станции и ориентация могут быть точно измерены. Для исследовательской работы команда разработала собственную систему слежения с особо легкими и компактными ЭМ-датчиками.
Испытания проводились один раз с шестью и один раз с двенадцатью датчиками. Чем меньше требуется датчиков, тем проще их использовать, но тогда также снижается точность отслеживания всего тела.
Исследователи пишут, что разработка собственной системы электромагнитного отслеживания — непростая задача, еще одна задача — вывести позы на основе данных измерений. Если вы используете только шесть датчиков, модель ИИ должна заполнить пробелы в данных измерений. Например, пространственное положение предплечий больше не измеряется.
Для этого команда разработала решение, состоящее из двух частей: сначала на основе данных тренировки выводится поза, затем оптимизируется точность.
Исследователи довольны результатами: с двенадцатью датчиками точность датчиков отклоняется максимум на 31,8 миллиметра и 13,3 градуса, с шестью датчиками лишь немногим больше — на 35,4 миллиметра и 14,9 градуса.
На следующем видео показано в действии электромагнитное отслеживание всего тела. В правой части изображения аватар, включая производные позы, был помещен непосредственно над испытуемым, так что реальное положение и движение можно было сравнить с реконструированным.
