Компания Microsoft Research представила виртуальное наложение роботов для онлайн-встреч (VROOM), способ объединить AR и VR для переноса аватаров в натуральную величину на рабочее место в виде роботов телеприсутствия. Создатели VROOM подробно описали систему и сказали, что она предназначена для того, чтобы человек, работающий удаленно в VR, и человек, работающий в офисе и носящий AR гарнитуру HoloLens, чувствовали, что они в одном месте.
Поскольку гарнитура Windows Mixed Reality отслеживает позу и движение головы удаленного работника, они получают 360-градусный обзор окружения и любых движений с помощью робота дистанционного присутствия. Приложение Unity используется для анимации аватара человека, носящего HoloLens, на основе движения удаленного работника.
Жесты рук и движения рук фиксируются контролерами и видны обоим участникам. Система добавляет движение рта, когда люди разговаривают, а также мигающие и бездействующие движения, чтобы аватар казался более реалистичным. VROOM преобразует 2D-изображение в 3D-аватар, чтобы поместить лицо удаленного работника на голову аватара.
Система VROOM также дает пользователю VR вид от первого лица, чтобы удаленный работник мог видеть движения и жесты своих рук. Затем появляется аватар, когда удаленный работник дает команду роботу двигаться.
Создателями VROOM являются доктор наук Саймона Фрейзера, кандидат и стажер Microsoft Research Бреннан Джонс, инженер-исследователь Microsoft Яинг Чжан, старший исследователь Microsoft Research по социальным коммуникациям Шон Ринтел и исследователь Microsoft Присцилла Вонг.
«Хотя мы использовали робота телеприсутствия с экраном, чтобы можно было провести сравнение между стандартным роботизированным телеприсутствием и VROOM (об этом сообщается в будущем документе), экран будет ненужным в пространстве, где все локальные пользователи носят гарнитруы. Таким образом, в будущей итерации может использоваться любой управляемый робот с 360-градусной камерой, достигающем высоты головы», — сообщают авторы.
VROOM демонстрирует взаимодействие только «один на один». Будущая работа с VROOM может включать в себя приложения с несколькими людьми, эксперименты в общих рабочих пространствах смешанной реальности или работу с менее дорогими мобильными роботами.
