У гарнитур смешанной реальности, таких как Quest Pro или Apple Vision Pro, есть проблема. Наружные камеры находятся в нескольких сантиметрах от глаз пользователя. Внешний мир, обогащенный компьютерной графикой, запечатлен не в правильном ракурсе, поэтому алгоритмам приходится исправлять отклонение с помощью репроецирования изображения.
Meta* хочет решить эту проблему с помощью подхода, который делает пользователей похожими на насекомых. Технология камеры светового поля с множеством мелких линз, использованная в прототипе гарнитуры «Flamera», не нова, но компания адаптировала ее для своих целей. Исследователи разместили многочисленные апертуры за сеткой линз — по одной за каждой линзой. Они пропускают к датчику изображения только те световые лучи, которые попали бы в глаза даже без гарнитуры.
Компания называет эту технику «Прохождение светового поля». При таком подходе изображение также сначала захватывается датчиком и обрабатывается таким образом, чтобы оно правильно отображалось на дисплее и в объективе перед глазами пользователя. Однако, по словам Meta*, перспектива более правильная, так как внешний мир захватывает изогнутая сетка линз на передней части гарнитуры.
Свет, падающий через две соседние линзы, часто комбинируется. Здесь также апертуры помогают пропускать только те лучи, которые имеют отношение к направлению взгляда. В трейлере хорошо видно, как они блокируют оставшиеся лучи.
По словам Меta*, обычные камеры светового поля, с другой стороны, захватывают слишком много световых лучей, что приводит к слишком низкому разрешению изображения. Благодаря новому дизайну соответствующие части светового поля точно соответствуют ограниченным пикселям сенсора.
Необработанные данные датчика выглядят как маленькие круги света, каждый из которых содержит только часть желаемого изображения внешнего мира — почти как просмотр через дуршлаг. Flamera переупорядочивает пиксели и вычисляет реконструкцию всего изображения, используя карту глубины. По словам компании, результат искажается гораздо реже, чем у доступных на рынке гарнитур, и, таким образом, открываются новые возможности для приложений дополненной реальности.
«Создавая нашу гарнитуру с нуля, а не изменяя существующий дизайн, мы создали камеру, которая не только выглядит уникально, но и обеспечивает лучшее качество изображения и меньшую задержку», — объясняет ученый Грейс Куо. Кстати, название Flamera расшифровывается как «плоская камера».
На пути к нынешнему прототипу было совсем непросто убрать крупные по размеру комплектующие, вроде электроники на датчике камеры. «Оптическая конструкция Flamera лучше всего работает, когда гарнитура тонкая, что позволяет нам размещать передающие камеры как можно ближе к глазам пользователя», — говорит Куо.
Еще одним преимуществом новой конструкции является значительно меньшее количество вычислительных ресурсов. В старом проекте «Neural Passthrough» требовалась целая рабочая станция для компенсации артефактов посредством вычислений ИИ. С другой стороны, с новым дизайном Flamera аппаратное обеспечение камеры и алгоритмы перепроецирования должны работать вместе более эффективно с самого начала.
Директор по исследованиям систем отображения Дуглас Ланман признает, что дизайн прототипа и сегодня выглядит довольно сумасшедшим. Тем не менее, он уже показывает, как в будущем может работать перспективно корректный сквозной AR.
*Признана экстремистской организацией в России
