Стереоскопическая передача цвета, пространственная привязка и понимание сцены обеспечат более реалистичные впечатления от смешанной реальности.
По словам Сартака Рэя, менеджера по продукту в Meta*, возможность видеть окружающий мир и взаимодействовать с ним посредством смешанной реальности открывает новые возможности для виртуальной реальности. «Вы можете играть с друзьями в одной физической комнате или работать с огромными виртуальными мониторами с физическими инструментами, и это шаг к нашему долгосрочному видению дополненной реальности».
Вопреки распространенному мнению, смешанная реальность наиболее эффективна, если устройство VR/AR может убедительно сочетать физический и виртуальный миры. Это означает, что гарнитура должна делать больше, чем просто передавать 2D-видео, согласно недавнему сообщению в блоге на Oculus.com.
Чтобы поддержать свою приверженность разработке передовых технологий виртуальной реальности, Meta* объявила о запуске Meta Reality, новой системы смешанной реальности, которая предлагает взглянуть изнутри на то, что нужно для создания исключительного опыта.
Meta* осознает важность сквозной цветопередачи и стереоскопической 3D-технологии, когда речь идет о создании комфортной и захватывающей смешанной реальности.
«Quest Pro сочетает в себе два вида камеры для воссоздания реалистичной глубины, что обеспечивает удобство для людей в смешанной реальности, созданной с использованием цветного сквозного пропуска», — пояснил Рикардо Сильвейра Кабрал, руководитель отдела разработки Meta Computer Vision. «Кроме того, подсказки стереотекстуры позволяют мозгу пользователя делать все остальное и определять глубину, даже если реконструкция глубины не идеальна или находится за пределами возможностей системы».
Например, при использовании Passthrough ваш мозг узнает, что кофейная чашка находится примерно так же далеко от вашей руки, как и от ручки, которая находится рядом с вами.
Oculus Insight, который мог захватить только 100 точек для определения положения гарнитуры в комнате, был технологией, которая предоставила первую автономную систему отслеживания для потребительского устройства виртуальной реальности. С тех пор он был модернизирован, чтобы включить глубокое зондирование. Для сравнения, Quest Pro может воспроизводить до 10 000 точек в секунду при различных условиях освещения, что позволяет вам создавать улучшенное трехмерное представление вашего физического пространства в режиме реального времени.
Благодаря этому процессу Meta* может создавать трехмерную модель физического мира, которая постоянно обновляется. Затем вы можете использовать эти данные для создания среды прогнозируемого рендеринга, которая может создавать изображения вашей реальной среды. Чтобы компенсировать задержку рендеринга, реконструкции корректируются в соответствии с представлениями левого и правого глаза пользователя с помощью алгоритма асинхронного искажения времени.
По словам Сильвейры Кабрал, использование цветной стереоскопической камеры позволяет команде более реалистично интерпретировать реальный мир.
Компонент Scene Understanding платформы Presence был представлен во время мероприятия Connect 2021. Эта технология позволяет разработчикам создавать сложные среды смешанной реальности с учетом сцен. По словам Вей Лю, менеджера по продукту Quest Pro, компонент Scene Understanding был создан, чтобы помочь разработчикам сосредоточиться на развитии своего бизнеса и опыте.
«Мы представили Scene Understanding как системное решение, — сказал Люу.
Понимание сцены разбито на три области:
«Понимание сцены снижает проблемы для разработчиков, позволяя им создавать максимально правдоподобные и захватывающие MR-опыты с эффектами окклюзии и столкновений в реальном времени», — добавил Рэй.
Разработчики могут легко создавать первоклассные приложения смешанной реальности, используя пространственные привязки, которые являются основной возможностью платформы Quest Pro. Например, дизайнер продукта может легко закрепить несколько 3D-моделей в физическом пространстве, используя такую платформу, как Gravity Sketch, чтобы создать единую среду для своего продукта.
«Если стереоскопическое прохождение цвета и понимание сцены делают тяжелую работу, позволяя MR сочетать физический и виртуальный мир, наши возможности привязки обеспечивают соединительную ткань, которая скрепляет все это вместе», — сказала менеджер по продуктам Meta* Лаура Ону.
Вместе с моделью сцены пространственные привязки можно использовать для создания богатой и автоматической среды для различных событий и ситуаций. Например, вы можете создать виртуальную дверь, соединенную с физической стеной. Это будет огромным шагом для компаний, которые рассматривают технологию XR для своих корпоративных решений в области цифровых двойников, автоматизации складов и даже робототехники.
На данный момент кажется, что Мета* больше ориентирована на социальный опыт. «Сочетая понимание сцены с пространственными привязками, вы можете смешивать и адаптировать свой опыт MR к среде пользователя, чтобы создать новый мир, полный возможностей», — говорит Ону, добавляя: «Вы можете стать секретным агентом в своей собственной гостиной, размещайте виртуальную мебель в своей комнате или нарисуйте пристройку к дому, создавайте физические игры и многое другое».
Кроме того, Meta* добавила в платформу Presence функцию общих пространственных привязок. Это позволяет вам создавать локальные многопользовательские игры, делясь своими якорями с другими пользователями в том же пространстве. Это позволит вам и другим друзьям играть в настольную виртуальную игру на физическом столе так же, как Tilt Five предоставляет свои игровые возможности.
Комбинация пространственных привязок, транзита и понимания сцены может помочь создать богатую и интерактивную среду, которая выглядит и ощущается как реальный мир. Авинав Пашин, менеджер по продукту Quest Pro, отметил, что существует множество компромиссов, связанных с созданием отличной и удобной среды смешанной реальности для пользователей.
Будущее Meta Reality все еще развивается, поскольку компания постоянно совершенствует платформу с помощью обновлений программного обеспечения и аппаратных инноваций, которые будут реализованы в следующем поколении их продуктов. Сильвейра Кабрал, менеджер по продукту Quest Pro, отметила, что первый продукт компании — важный шаг в развитии Meta Reality.
«Мы хотим учиться вместе с разработчиками, поскольку они создают захватывающий опыт, который переопределяет то, что возможно с гарнитурой VR. Эта история еще не завершена — это только первая страница».
