TapID — браслет для отслеживания рук в VR

До сих пор ввод в приложениях VR в основном осуществлялся через контроллеры. Если у вас есть самодостаточные VR-очки Oculus Quest 2, вы можете управлять некоторыми VR-приложениями руками. Как и его предшественник, Quest 2 поддерживает отслеживание рук. Однако у обоих методов ввода есть общая черта: текст нужно набирать на цифровой клавиатуре, которая парит в воздухе.

 

Виртуальный набор текста в комнате подходит для большинства приложений. Однако многие пользователи работают значительно медленнее как с контроллером, так и с отслеживанием рук, чем на реальной клавиатуре. Особенно при вводе вручную отсутствует тактильное сопротивление реальной поверхности. Теперь исследователи хотят изменить это с помощью нового инструмента ввода.

 

 

Виртуальная клавиатура как препятствие для продуктивности

 

ETH Zurich показывает новый способ сделать работу с помощью отслеживания рук в VR гораздо более точно. В соответствующем исследовательском документе команда представляет тезис: ввод данных через контроллер виртуальной реальности или вручную в воздухе является основным препятствием для сценариев продуктивности в виртуальной реальности.

 

Оба метода ввода затрудняют непрерывное взаимодействие в течение длительных периодов времени, что является основным требованием для продуктивной работы. По мнению исследователей, быстрое сенсорное взаимодействие на пассивных поверхностях лучше всего соответствует этому требованию в виртуальном пространстве. Пользователи привыкли к этому методу ввода, набирая текст на смартфонах и планшетах.

 

Это стало возможным благодаря сенсорной системе, которую можно носить на запястье. TapID состоит из двух гибких повязок, каждая с двумя датчиками движения и чипом со встроенной системой искусственного интеллекта для обработки данных.

 

TapID: браслет улучшает отслеживание рук

 

Если пользователь касается реальной поверхности, такой как стол или собственное предплечье, браслет распознает движения отдельных пальцев. Это достигается с помощью алгоритма машинного обучения, который анализирует уникальные вибрации соответствующих костей пальцев.

 

 

Датчики на браслетах регистрируют мельчайшие движения точнее, чем камеры в очках VR. TapID сравнивает сигналы кончиков пальцев с движениями рук, записанными очками VR. Это запускает ввод кончиков пальцев в правильном месте виртуального пространства. TapID должен упростить работу с виртуальными клавишами и обеспечить точный ввод на цифровых клавиатурах, включая игру на пианино. Все должно быть похоже на набор текста на планшете. Система может быть легко интегрирована в существующие очки VR с отслеживанием рук. Однако до сих пор TapID распознавал только отдельные движения пальцев.

 

Он не поддерживает мультисенсорный ввод, такой как масштабирование изображения двумя пальцами, как это возможно на смартфонах. К тому же система тестировалась только сидя. Влияние движения тела, например, стоя, все равно необходимо оценивать, как и другие поверхности. Во время исследования люди печатали на гладких офисных столах и на собственных предплечьях.

 

Эффективный ввод текста VR — это вообще возможно?

 

В Oculus Quest есть несколько бизнес-приложений, предназначенных для совместной и продуктивной работы. Такие приложения предлагают очень обширные виртуальные рабочие среды. Постоянный переход от реального к виртуальному рабочему пространству для многих по-прежнему затруднен.

 

Виртуальная клавиатура в приложении Immersed.

 

Поэтому критика швейцарских исследователей контроллеров виртуальной реальности и отслеживания рук в сценариях продуктивной работы кажется оправданной, даже если это скорее вопрос привычки. Сенсорное управление, знакомое по планшету, также вряд ли будет хорошо принято, например, когда дело доходит до быстрой обработки большого количества текста.

 

Многие люди могут эффективно работать только с традиционными устройствами ввода — с мышью и клавиатурой. Поэтому Immersed пытается перенести настоящую клавиатуру в виртуальную реальность. Клавиатура VR в погруженной рабочей среде синхронизируется с реальной клавиатурой на столе. Используя отслеживание рук, пользователи вводят текст на клавиатуре компьютера и видят «виртуальную клавиатуру» в том же физическом месте в VR.

 

Источник