Динамическая окклюзия в Quest 3 в настоящее время поддерживается только в нескольких приложениях, но теперь она более качественная, использует меньше ресурсов центрального и графического процессоров и немного упрощена для разработчиков.
Под окклюзией понимается способность виртуальных объектов появляться за реальными объектами, что является важной возможностью для гарнитур смешанной реальности. Выполнение этого действия только для предварительно отсканированных декораций называется статической окклюзией, в то время как, если система поддерживает смену декораций и перемещение объектов, это называется динамической окклюзией.
Quest 3 был запущен с поддержкой статической окклюзии, но не динамической. Несколько дней спустя функция dynamic occlusion была выпущена в качестве «экспериментальной» функции для разработчиков, что означало, что ее нельзя было продавать в Quest Store или App Lab, а в декабре это ограничение было снято.
Разработчики реализуют динамическую окклюзию для каждого приложения, используя Meta* Depth API, который предоставляет приблизительную карту глубины для каждого кадра, генерируемую гарнитурой. Однако ее интеграция является относительно сложным процессом. Это требует от разработчиков изменять свои шейдеры для всех виртуальных объектов, которые они хотят закрыть, что далеко от идеального сценария решения в один клик. Таким образом, в настоящее время очень немногие приложения для смешанной реальности Quest 3 поддерживают динамическую блокировку.
Еще одна проблема с динамической окклюзией в Quest 3 заключается в том, что карта глубины имеет очень низкое разрешение, поэтому вы увидите пустые промежутки по краям объектов, и на ней не будут видны детали, такие как промежутки между вашими пальцами.
Однако с выходом версии 67 Meta* XR Core SDK, Meta* немного улучшила визуальное качество Depth API и значительно оптимизировала его производительность. Компания заявляет, что теперь использует на 80% меньше графического процессора и на 50% меньше центрального процессора CPU, что высвобождает дополнительные ресурсы для разработчиков.
Чтобы облегчить разработчикам интеграцию этой функции, в версии 67 также добавлена поддержка простого добавления окклюзии в шейдеры, созданные с помощью инструмента Shader Graph от Unity, и переработан код API глубины, чтобы упростить работу с ним.
Я опробовал Depth API на v67 и могу подтвердить, что он обеспеч
ивает несколько более качественную окклюзию, хотя все еще очень грубую. Но у v67 есть в запасе еще один трюк, который более важен, чем простое улучшение качества.
В API глубины теперь есть возможность исключить ваши отслеживаемые руки из карты глубины, чтобы их можно было замаскировать, используя вместо этого сетку отслеживания рук. Некоторые разработчики уже давно используют сетку отслеживания движений рук для выполнения окклюзии только руками, например, даже в Quest Pro, и в версии v67 Meta* представлен пример, показывающий, как это сделать, наряду с API глубины для окклюзии всего остального.
Я протестировал это и обнаружил, что это обеспечивает значительно более качественную окклюзию для ваших рук, хотя и добавляет некоторые визуальные несоответствия на запястье, где система переходит в режим окклюзии, основанный на карте глубины.
Для сравнения, Apple Vision Pro поддерживает динамическую окклюзию только для ваших кистей и предплечий, поскольку она маскирует их так же, как масштабирование маскирует вас, а не создает карту глубины. Это означает, что в гарнитуре Apple качество фиксации ваших кистей значительно выше, хотя вы заметите такие особенности, как то, что предметы, которые вы держите в руках, появляются за виртуальными объектами и становятся невидимыми в виртуальной реальности.
Разработчики Quest могут ознакомиться с документацией по API Depth для Unity здесь и для Unreal здесь.
*Meta запрещённая организация на территории РФ
