Отслеживание рта в VR: аватары становятся ещё реалистичнее

VR-разработчик интегрировал экспериментальный Lip Tracker от HTC («трекер губ») в свое социальное VR-приложение и продемонстрировал, что с ним возможно сделать.

 

Tomáš Mariančík под ником Frooxius работает над своим приложением для виртуальной реальности Neos VR с 2016 года, которое он называет «творческой социальной VR-песочницей». В нем пользователи могут играть, строить вещи, работать или просто проводить время вместе.

 

Особенностью платформы является широкая поддержка аппаратного и программного обеспечения для отслеживания. Следующее видео демонстрирует отслеживание всего тела с помощью восьми трекеров Vive. Они прикреплены к груди, локтям, бедрам, коленям и ступням.

 

Движения пальцев считываются с помощью контроллеров Valve Index, движения глаз — в очках HTC Vive Pro Eye. В результате получился особенно выразительный аватар.

 

 

HTC экспериментирует с отслеживанием лица

 

Однако для Frooxius и этого оказывается мало. В настоящее время разработчик виртуальной реальности работает над поддержкой Lip Tracker от HTC (трекер губ). Весной 2019 года на GDC был анонсирован Vive Pro Devkit, целевой группой которого являются разработчики и исследователи.

 

Frooxious показывает результаты своих экспериментов на Reddit и Twitter.

 

Модуль фиксирует больше, чем следует из названия: разработчик показывает зубы, высовывает язык и раздувает щеки, и все это передается в симуляцию виртуальной реальности в реальном времени. Это делает его человеческий или животный аватар еще более реалистичным.

 

 

Больше социального присутствия

 

Реальная запись и видео VR были синхронизированы, но задержка является максимально низкой. Отслеживание является «достаточно надежным», если модуль имеет четкое расположение напротив области рта.

 

Разработчик получает положительные отзывы: с тех пор, как он начал использовать отслеживание глаз и губ, пользователи VR стали обращаться к нему.

 

«Людям нравится, когда происходит что-то смешное, а я улыбаюсь в виртуальной реальности. Или они говорят мне, чтобы я ложился спать, когда я зеваю», — пишет Фроксиус на Reddit.

 

Неизвестно, когда технология попадет в очки VR. Во всяком случае, её следует сначала использовать в устройствах B2B, таких как Vive Pro Eye.

 

NeosVR все еще находится в раннем доступе и доступно бесплатно в Steam. В статье Steam Frooxius описывает, какие другие функции ожидают пользователей в 2020 году.

 

Источник