Специалисты SciFi Lab Корнелльского университета совместно с Университетом Висконсин-Мэдисон разработали уникальное устройство в виде браслета, в котором используются четыре маленькие (9,30 мм) синхронизированные тепловизионные камеры для более точного отслеживания VR и AR.
Устройство называется FingerTrak, и оно фиксирует движения рук, а затем передает эти данные на привязанное устройство Raspberry Pi, подключенное к компьютеру. Затем этот компьютер запускает модель глубокого обучения, которая может предсказать все 20 положений суставов пальцев.
Каждая тепловизионная камера отслеживает движения верхней, нижней, левой и правой частей руки, а затем объединяет их в одно сшитое тепловое изображение в режиме реального времени. Поскольку FingerTrak использует тепловые изображения, система способна более точно отслеживать движение рук по сравнению с такими устройствами, как Leap Motion или Oculus Quest.
Чтобы объявить о своих достижениях в технологии отслеживания рук, SciFi Lab выпустила официальный документ вместе с видео, подробно описывающим их работу на устройстве слежения за тепловизионной камерой. В этом видео представлены руки пользователя, поскольку этот человек выполняет повседневные действия, такие как перелистывание записной книжки и запись в журнале, поднесение чашки кофе и снятие мобильного устройства.
Даже тонкие движения рук могут быть отслежены. Тепловизионные камеры с низким разрешением (32 x 24) способны оценить положение голой руки, отслеживая контур силуэтов.
Видео также показывает, как FingerTrak дает возможность управлять роботизированной рукой в режиме реального времени. Когда пользователь двигает пальцами, сжимает кулак, закрывает и открывает свои кисти, роботизированная рука отражает каждое движение в режиме реального времени. Такая технология может оказаться невероятно полезной в различных опасных ситуациях, таких как обезвреживание бомбы, исследование опасных условий или даже дистанционное предоставление ухода на дому.
Однако, согласно Sci-Fi Lab, предстоит еще много работы, прежде чем их продукт будет готов к массовому производству. Подобно большинству других форм технологии отслеживания рук потребителя, FingerTrak не может обеспечить какую-либо тактильную обратную связь, что затрудняет выполнение задач, которые зависят от способности «чувствовать» мир вокруг нас. Другая проблема заключается в том, что FingerTrak имеет небольшую угловую погрешность, которая колеблется от 6,46 до 8,06 градусов. Хотя это может показаться не таким уж большим недостатком, это может иметь огромное значение во время действий, требующих точности, таких как, например, разрезание определенных проводов на бомбе.
SciFi Lab представит свою работу на Международной совместной конференции ACM 2020 по распространенным и повсеместным вычислениям в сентябре. Вы также можете получить доступ к их документации здесь.
