Фовеальный рендеринг является важной базовой технологией виртуальной реальности и следующим большим шагом в развитии очков VR. Теперь исследователи Facebook представили метод на основе искусственного интеллекта (ИИ), который дополнительно оптимизирует процесс рендеринга с низким энергопотреблением.
При фовеальном рендеринге только небольшая область поля зрения рассчитывается в полном разрешении, которое в настоящее время просматривает и видит пользователь виртуальной реальности. То, на чем фокусируется глаз, определяется в режиме реального времени путем отслеживания глаз.
Остальная часть поля зрения отображается с меньшей детализацией, что экономит много вычислительной мощности. Фовеальный рендеринг может обеспечить еще более сложную графику виртуальной реальности и снизить требования к оборудованию. Это также необходимо из-за VR-дисплеев с более высоким разрешением.
Исследователи из Facebook Reality Labs теперь представили метод, который позволяет снизить энергопотребление периферийной области изображения и по-прежнему оставаться визуально максимально приближенным к оригиналу. Систему на основе ИИ в Facebook исследователи называют DeepFovea. Как это работает?
Генеративно-состязательная нейросеть (Generative adversarial network) сперва просматривает большое количество отснятого материала, первоначально проанализировав около десяти процентов всех пикселей в видео неподвижного изображения. Из этого она затем создает менее детальную версию области периферийного изображения, которая визуально близка к оригиналу. Исследователи Facebook называют эту процедуру «реконструкцией нейронов».
Справа оригинальное изображение с фокусом на голове ящерицы. Слева изображение, реконструированное ИИ. Голова животного одинаково детализирована на обоих изображениях — в отличие от поверхности дерева в периферийной области изображения.
DeepFovea должен иметь возможность сжимать исходное видео в режиме реального времени и с низкой задержкой в 14 раз. Благодаря фовеальному рендерингу пользователь не заметит никакой разницы в качестве изображения.
Другое преимущество по сравнению с предыдущими методами: изображение, сжатое DeepFovea, меньше отклоняется от исходного материала, чем обычные методы рендеринга, как показано в следующем примере.
DeepFovea на примере GTA. Справа исходный фрагмент изображения, в середине изображение, отрисованное DeepFovea, слева изображение того же раздела игры, сжатое с помощью обычного рендеринга.
Facebook намекнул на рендеринг с использованием ИИ ещё на Oculus Connect 5. Когда технология будет использоваться в очках Oculus, не известно. На сегодняшний день ни одни из доступных очков от Facebook не предлагают отслеживание глаз.
DeepFovea была представлена на Siggraph Asia.
