В то время как производители гарнитур смешанной реальности с каждым годом постепенно приближаются к объединению реального и цифрового миров, когда пользователи видят и слышат их, ввод — способность взаимодействовать в средах VR или AR — остается сложной задачей, так как контроллеры все еще необходимы для большинства взаимодействий. На прошлой неделе исследователи из Университета штата Аризона продемонстрировали потенциальную альтернативу под названием FMKit, позволяющую гарнитурам точно отслеживать движения отдельных пальцев, а также распознавать рукописный текст в воздухе.
Работа Университета выходит за рамки отслеживания рук, наблюдаемого в аксессуарах Leap Motion и гарнитурах Oculus Quest, позволяя записывать путь отдельного пальца в трехмерном пространстве и сравнивать его с четырьмя наборами данных образцов почерка. Письмо кончиком пальца может использоваться для идентификации отдельных пользователей, безопасной аутентификации пользователей по паролю и создания ввода текста в качестве альтернативы вводу, разговору или выбору слов с помощью ручного контроллера.
Помимо ценности системы как способа превращения написанных в эфире слов в текст — функция, на которой сосредоточены исследователи, — потенциальные бизнес-приложения. В воздухе можно нарисовать отличительную подпись, чтобы разблокировать защищенную гарнитуру XR или индивидуально защищенное приложение, что позволяет компаниям персонализировать защиту цифрового контента. С другой стороны, компании могут позволить командам использовать общую систему паролей, которая выходит за рамки просто цифр или букв, распознавая такие символы, как, например, пятиконечные звезды или другие отличительные знаки.
В настоящее время FMKit поддерживает два типа устройств ввода: контроллер Leap Motion и специальную перчатку для данных измерения инерции с модулями Python для сбора, предварительной обработки и визуализации отсканированных сигналов. Как система идентификации пользователей, FMKit достигает точности более 93% с помощью Leap Motion и почти 96% точности с перчаткой. Но для распознавания рукописного ввода результаты Leap Motion лучше, и система в лучшем случае идентифицирует слова точно в 87,4% случаев. Этого недостаточно, чтобы заменить голосовой ввод диктовкой, но это хорошее начало для системы, которую можно использовать только с датчиком, установленным на пальце и голове.
Исследователи разместили FMKit на GitHub в качестве проекта с открытым исходным кодом, включая библиотеку и наборы данных, в надежде, что другие исследователи расширят свою работу. Авторы представили свои исследования в рамках семинара CVPR 2020 по компьютерному зрению для дополненной и виртуальной реальности.
