Apple выпустила visionOS 26.4 с поддержкой VR Foveated Streaming и улучшенным пространственным аудио
Корпорация Apple представила обновление visionOS 26.4 для гарнитуры смешанной реальности Vision Pro. Новая версия операционной системы приносит две ключевые функции: технологию адаптивной потоковой передачи с учетом точки взгляда (foveated streaming) и усовершенствованную систему пространственного звука для работы в смешанной реальности.
Технология Foveated Streaming
Основное нововведение обновления — поддержка foveated streaming, о которой было объявлено еще в прошлом месяце с выходом первой бета-версии visionOS 26.4 для разработчиков.
Важно отметить, что foveated streaming не следует путать с foveated rendering (адаптивным рендерингом), хотя обе технологии могут использоваться совместно. Если foveated rendering предполагает, что хост-устройство рендерит область кадра, на которую смотрит пользователь, с повышенным разрешением, то foveated streaming отвечает за передачу этой области на гарнитуру с более высоким качеством изображения по сравнению с остальной частью кадра.
Этот термин стал широко известен в контексте Valve Steam Frame, где технология является фундаментальной функцией потоковой передачи PC VR и работает по умолчанию через беспроводной USB-адаптер для ПК.
Учитывая, что видеодекодеры в гарнитурах имеют ограничения по максимальному разрешению и битрейту, foveated streaming позволяет приоритезировать разрешение и качество компрессии именно в той области, куда в данный момент смотрит пользователь.
В отличие от macOS Spatial Rendering, представленной в основном релизе visionOS 26 в прошлом году, которая работает только с локальным Mac, Foveated Streaming представляет собой низкоуровневый фреймворк, не зависящий от хоста. Теоретически любой сервер PC VR может реализовать эту технологию. Для разработчиков, ищущих готовое решение, Apple совместно с Nvidia добавила поддержку SDK CloudXR. Несмотря на название, CloudXR подходит как для локальных, так и для облачных ПК.
Обычно для нативных приложений visionOS операционная система не предоставляет разработчикам информацию о том, куда смотрит пользователь — Apple объясняет это соображениями конфиденциальности. Вместо этого разработчики получают только события, например, на какой элемент смотрел пользователь при выполнении жеста pinch. Однако для работы foveated streaming API сообщает разработчику «примерную» область кадра, на которую направлен взгляд. Это первый случай, когда разработчики visionOS получают доступ к подобной информации.
Это позволит хосту также рендерить с более высоким разрешением в этой области, а не только передавать поток в высоком разрешении. Как и всегда, это потребует поддержки foveated rendering конкретной VR-игрой или инструментами, которые внедряют эту технологию.
За последние недели несколько компаний анонсировали поддержку foveated streaming для Vision Pro через Nvidia CloudXR SDK:
• X-Plane 12 и iRacing выпускают специализированные клиенты visionOS, которые автоматически подключаются к симулятору на ПК, автоматически выравнивают кабину относительно физических периферийных устройств с помощью компьютерного зрения и сегментируют эти устройства с использованием passthrough, позволяя видеть их в VR.
• Autodesk VRED уже добавил иммерсивный режим, который потоково передает высококачественные ассеты на Vision Pro. Технологию уже используют Kia, BMW, Volvo и Rivian.
• Clear XR — приложение от независимого разработчика, доступное в TestFlight, позволяет транслировать любые игры OpenXR VR с ПК с поддержкой foveated streaming.
Существенное ограничение: Nvidia CloudXR SDK поддерживает только графические архитектуры Ada и Blackwell, то есть видеокарты RTX 40-й и 50-й серий.
Улучшенное пространственное аудио в смешанной реальности
С момента запуска Apple Vision Pro поддерживает не только базовое позиционное пространственное аудио, но и звук, который сканирует особенности и материалы помещения для точного соответствия физической среде. Apple называет эту технологию Audio Ray Tracing (трассировка аудиолучей).
С выходом visionOS 26.4 Vision Pro теперь запоминает акустические свойства помещений, в которых используется гарнитура. Это позволяет функции Audio Ray Tracing инициализироваться быстрее и создавать более целостную модель окружающей среды без необходимости предварительно перемещаться по пространству.
