Super Foveted Rendering: исследователи представляют новое улучшение изображения VR

С отслеживанием глаз и фовеальным рендерингом только область изображения VR, на которую в данный момент смотрит пользователь, рассчитывается в полном разрешении. Это экономит много вычислительной мощности, что может привести к более высокому разрешению изображения или более красивым графическим эффектам. Тайваньские исследователи сейчас делают еще один шаг вперед в этом направлении.

 

Ученые из Национального университета Тайваня разработали ИИ, который воспроизводит фовеальную область в гораздо более высоком разрешении и с большим количеством кадров в секунду без излишней вычислительной работы. В результате получается более четкое и спокойное изображение, от которого выигрывают даже очки VR, имеющие дисплеи с низким разрешением.

 

Дополнительные изображения и их более высокое разрешение в фовеальной области рассчитываются искусственным интеллектом, поэтому они являются синтетическими. Более высокая частота обновления уменьшается к краям фовеальной области. Результатом является более плавный переход к стандартной частоте обновления.

 

Повышение воспринимаемого разрешения дисплеев VR

Вот как работает синтетическое увеличение частоты обновления в фовеальной области: ИИ берет два последовательных фрагмента фовеального изображения (i0 и i1) из графика и вычисляет дополнительные промежуточные изображения (it), включая кадрирование с градуированными частотами обновления. В итоге все три компонента соединяются.

 

Фовеальный рендеринг еще не готов для рынка

 

Исследовательская группа проверила улучшение изображения ИИ в эксперименте с Playstation VR. В среднем, 83%  участников исследования заметили улучшение изображения без видимых краев.

 

Повышение воспринимаемого разрешения виртуальных дисплеев в эксперименте

 

Для эксперимента были использованы десять видео и фиксированная область изображения без отслеживания глаз. Возможная причина: фовеальный рендеринг требует чрезвычайно быстрого и точного обнаружения глаз, и соответствующая технология не всегда работает должным образом.

 

Так или иначе, улучшение ИИ-изображения не попадут в очки виртуальной реальности завтрашнего дня: для переменной частоты обновления внутри изображения, вероятно, придется сначала создать адаптированные конвейеры рендеринга или даже дисплеи.

 

В своей научной работе исследователи не раскрывают, как они смогли смоделировать различные частоты обновления. Результаты исследования были представлены на текущей конференции CVPR 2020.

 

 

 

 

Источник