Meta (признана экстремистской организацией в России) предлагает сильно улучшенную версию отслеживания рук Quest 2 с искусственным интеллектом.
Meta представила экспериментальное отслеживание рук в декабре 2019 года для Oculus Quest. В мае 2020 года оптическое отслеживание рук и пальцев вышло из бета-версии и стало обычной функцией.
В апреле 2021 года компания добавила в Quest 2 высокочастотное отслеживание рук, что улучшило распознавание жестов и уменьшило задержку. Минусы этой дополнительной функции в том, что руки чуть больше дрожат, а производительность чипа XR2 искусственно занижена во избежание перегрева, что может негативно сказаться на производительности VR-приложений.
Почти через год после этого обновления следует Handtracking 2.0, заменяющий высокочастотное отслеживание рук и устраняющий его недостатки. Новое отслеживание рук поддерживается только Oculus Quest 2.
Handtracking 2.0 — это результат «нового подхода к компьютерному зрению и машинному обучению», — пишет Meta. Он улучшает отслеживание рук и пальцев следующими способами:
Высококачественные взаимодействия рук, представленные ранее в этом году , выигрывают от отслеживания рук 2.0, как и жесты, реализованные разработчиками.
«Независимо от того, берете ли вы виртуального персонажа, бьете по боксерской груше или играете на музыкальном инструменте, это обновление приближает вас к плавному воссозданию естественных движений рук в виртуальной реальности», — пишет Meta в блоге разработчиков Oculus.
Следующие видеоролики показывают, насколько улучшилось отслеживание рук:
Handtracking 2.0 запустился 19 апреля в виде обновления SDK и ОС. Потребуется некоторое время, прежде чем вы сможете испытать улучшенную технологию в приложениях виртуальной реальности: разработчики должны сначала активировать их и опубликовать соответствующее обновление для своих приложений виртуальной реальности.
Старая версия отслеживания рук 1.0 пока останется стандартом и будет заменена новой версией только в течение года. С этого момента разработчики по умолчанию будут использовать отслеживание рук 2.0, если решат использовать эту функцию.
Meta разработала и протестировала технологию с рядом разработчиков и студий, которые интегрировали отслеживание рук в свои VR-приложения. Разработчик 3D-игры-головоломки Cubism Томас Ван Боувель пишет об отслеживании рук 2.0:
«Это обновление — большой шаг вперед в качестве отслеживания и делает игру в кубизм руками более стабильной и последовательной. Раньше отслеживание рук в Cubism основывалось на сглаживании движений. Кроме того, игроков нужно было научить не скрещивать руки, так как это негативно сказывалось на отслеживании. Все это было улучшено благодаря последнему отслеживанию рук, которое настолько стабильно, что я отключил сглаживание рук по умолчанию».
От студий, стоящих за Unplugged и Hand Physics Lab, больше положительных отзывов, о которых вы можете прочитать в блоге разработчиков Oculus.
