С отслеживанием глаз и фовеальным рендерингом только область изображения VR, на которую в данный момент смотрит пользователь, рассчитывается в полном разрешении. Это экономит много вычислительной мощности, что может привести к более высокому разрешению изображения или более красивым графическим эффектам. Тайваньские исследователи сейчас делают еще один шаг вперед в этом направлении.
Ученые из Национального университета Тайваня разработали ИИ, который воспроизводит фовеальную область в гораздо более высоком разрешении и с большим количеством кадров в секунду без излишней вычислительной работы. В результате получается более четкое и спокойное изображение, от которого выигрывают даже очки VR, имеющие дисплеи с низким разрешением.
Дополнительные изображения и их более высокое разрешение в фовеальной области рассчитываются искусственным интеллектом, поэтому они являются синтетическими. Более высокая частота обновления уменьшается к краям фовеальной области. Результатом является более плавный переход к стандартной частоте обновления.
Исследовательская группа проверила улучшение изображения ИИ в эксперименте с Playstation VR. В среднем, 83% участников исследования заметили улучшение изображения без видимых краев.
Для эксперимента были использованы десять видео и фиксированная область изображения без отслеживания глаз. Возможная причина: фовеальный рендеринг требует чрезвычайно быстрого и точного обнаружения глаз, и соответствующая технология не всегда работает должным образом.
Так или иначе, улучшение ИИ-изображения не попадут в очки виртуальной реальности завтрашнего дня: для переменной частоты обновления внутри изображения, вероятно, придется сначала создать адаптированные конвейеры рендеринга или даже дисплеи.
В своей научной работе исследователи не раскрывают, как они смогли смоделировать различные частоты обновления. Результаты исследования были представлены на текущей конференции CVPR 2020.
