Meta* представляет систему смешанной реальности Meta Reality

Стереоскопическая передача цвета, пространственная привязка и понимание сцены обеспечат более реалистичные впечатления от смешанной реальности.

 

По словам Сартака Рэя, менеджера по продукту в Meta*, возможность видеть окружающий мир и взаимодействовать с ним посредством смешанной реальности открывает новые возможности для виртуальной реальности. «Вы можете играть с друзьями в одной физической комнате или работать с огромными виртуальными мониторами с физическими инструментами, и это шаг к нашему долгосрочному видению дополненной реальности».

 

Вопреки распространенному мнению, смешанная реальность наиболее эффективна, если устройство VR/AR может убедительно сочетать физический и виртуальный миры. Это означает, что гарнитура должна делать больше, чем просто передавать 2D-видео, согласно недавнему сообщению в блоге на Oculus.com.

 

Чтобы поддержать свою приверженность разработке передовых технологий виртуальной реальности, Meta* объявила о запуске Meta Reality, новой системы смешанной реальности, которая предлагает взглянуть изнутри на то, что нужно для создания исключительного опыта.

 

 

Стереоскопическая передача цвета

 

Meta* осознает важность сквозной цветопередачи и стереоскопической 3D-технологии, когда речь идет о создании комфортной и захватывающей смешанной реальности.

 

«Quest Pro сочетает в себе два вида камеры для воссоздания реалистичной глубины, что обеспечивает удобство для людей в смешанной реальности, созданной с использованием цветного сквозного пропуска», — пояснил Рикардо Сильвейра Кабрал, руководитель отдела разработки Meta Computer Vision. «Кроме того, подсказки стереотекстуры позволяют мозгу пользователя делать все остальное и определять глубину, даже если реконструкция глубины не идеальна или находится за пределами возможностей системы».

 

Например, при использовании Passthrough ваш мозг узнает, что кофейная чашка находится примерно так же далеко от вашей руки, как и от ручки, которая находится рядом с вами.

 

Oculus Insight, который мог захватить только 100 точек для определения положения гарнитуры в комнате, был технологией, которая предоставила первую автономную систему отслеживания для потребительского устройства виртуальной реальности. С тех пор он был модернизирован, чтобы включить глубокое зондирование. Для сравнения, Quest Pro может воспроизводить до 10 000 точек в секунду при различных условиях освещения, что позволяет вам создавать улучшенное трехмерное представление вашего физического пространства в режиме реального времени.

 

Благодаря этому процессу Meta* может создавать трехмерную модель физического мира, которая постоянно обновляется. Затем вы можете использовать эти данные для создания среды прогнозируемого рендеринга, которая может создавать изображения вашей реальной среды. Чтобы компенсировать задержку рендеринга, реконструкции корректируются в соответствии с представлениями левого и правого глаза пользователя с помощью алгоритма асинхронного искажения времени.

 

По словам Сильвейры Кабрал, использование цветной стереоскопической камеры позволяет команде более реалистично интерпретировать реальный мир.

 

 

Понимание сцены для смешивания виртуального контента с физическим миром

 

Компонент Scene Understanding платформы Presence был представлен во время мероприятия Connect 2021. Эта технология позволяет разработчикам создавать сложные среды смешанной реальности с учетом сцен. По словам Вей Лю, менеджера по продукту Quest Pro, компонент Scene Understanding был создан, чтобы помочь разработчикам сосредоточиться на развитии своего бизнеса и опыте.

 

«Мы представили Scene Understanding как системное решение, — сказал Люу.

 

Понимание сцены разбито на три области:

 

  • Модель сцены  единое комплексное, актуальное и управляемое системой представление окружающей среды, состоящее из геометрической и семантической информации. Основными элементами модели сцены являются якоря. Каждый якорь может быть прикреплен к различным компонентам. Например, гостиная пользователя организована вокруг отдельных якорей с семантическими метками, такими как пол, потолок, стены, стол и диван. Якоря прикрепляются с помощью простого геометрического представления: 2D-границы или 3D-ограничивающей рамки.

 

  • Захват сцены — управляемый системой процесс, который позволяет пользователям ходить и захватывать архитектуру своей комнаты и мебель для создания модели сцены. В будущем цель будет состоять в том, чтобы предоставить автоматизированную версию захвата сцены, которая не требует, чтобы люди вручную снимали свое окружение.

 

  • API сцены — интерфейс, который приложения могут использовать для доступа к пространственной информации в модели сцены для различных вариантов использования, включая размещение контента, физику, навигацию и т. д. С помощью API сцены разработчики могут использовать модель сцены, чтобы виртуальный мяч отскакивал от физических поверхностей в реальной комнате или виртуального робота, который может взбираться по физическим стенам.

 

«Понимание сцены снижает проблемы для разработчиков, позволяя им создавать максимально правдоподобные и захватывающие MR-опыты с эффектами окклюзии и столкновений в реальном времени», — добавил Рэй.

 

 

Пространственные привязки для размещения виртуальных объектов

 

Разработчики могут легко создавать первоклассные приложения смешанной реальности, используя пространственные привязки, которые являются основной возможностью платформы Quest Pro. Например, дизайнер продукта может легко закрепить несколько 3D-моделей в физическом пространстве, используя такую ​​платформу, как Gravity Sketch, чтобы создать единую среду для своего продукта.

 

«Если стереоскопическое прохождение цвета и понимание сцены делают тяжелую работу, позволяя MR сочетать физический и виртуальный мир, наши возможности привязки обеспечивают соединительную ткань, которая скрепляет все это вместе», — сказала менеджер по продуктам Meta* Лаура Ону.

 

Вместе с моделью сцены пространственные привязки можно использовать для создания богатой и автоматической среды для различных событий и ситуаций. Например, вы можете создать виртуальную дверь, соединенную с физической стеной. Это будет огромным шагом для компаний, которые рассматривают технологию XR для своих корпоративных решений в области цифровых двойников, автоматизации складов и даже робототехники.

 

На данный момент кажется, что Мета* больше ориентирована на социальный опыт. «Сочетая понимание сцены с пространственными привязками, вы можете смешивать и адаптировать свой опыт MR к среде пользователя, чтобы создать новый мир, полный возможностей», — говорит Ону, добавляя: «Вы можете стать секретным агентом в своей собственной гостиной, размещайте виртуальную мебель в своей комнате или нарисуйте пристройку к дому, создавайте физические игры и многое другое».

 

Общие пространственные привязки для совместной работы

 

Кроме того, Meta* добавила в платформу Presence функцию общих пространственных привязок. Это позволяет вам создавать локальные многопользовательские игры, делясь своими якорями с другими пользователями в том же пространстве. Это позволит вам и другим друзьям играть в настольную виртуальную игру на физическом столе так же, как Tilt Five предоставляет свои игровые возможности.

 

 

Выигрышная комбинация для смешанной реальности

 

Комбинация пространственных привязок, транзита и понимания сцены может помочь создать богатую и интерактивную среду, которая выглядит и ощущается как реальный мир. Авинав Пашин, менеджер по продукту Quest Pro, отметил, что существует множество компромиссов, связанных с созданием отличной и удобной среды смешанной реальности для пользователей.

 

Будущее Meta Reality все еще развивается, поскольку компания постоянно совершенствует платформу с помощью обновлений программного обеспечения и аппаратных инноваций, которые будут реализованы в следующем поколении их продуктов. Сильвейра Кабрал, менеджер по продукту Quest Pro, отметила, что первый продукт компании — важный шаг в развитии Meta Reality.

 

«Мы хотим учиться вместе с разработчиками, поскольку они создают захватывающий опыт, который переопределяет то, что возможно с гарнитурой VR. Эта история еще не завершена — это только первая страница».

 

Источник

 

*Признана экстремистской организацией в России.