Компания Facebook разработала метод с помощью искусственного интеллекта для суперсэмплинга визуализируемого контента в реальном времени, который может стать неотъемлемым дополнением к играм, поступающим в будущие поколения VR-гарнитур с высоким разрешением.
Между технологией отображения и графическими процессорами идет непрерывная гонка вооружений, и добавление виртуальной реальности в эту смесь только подчеркивает неравенство. Речь идет не столько о том, чтобы поместить дисплеи с более высоким разрешением в VR-гарнитуры; эти панели существуют, и есть причина, по которой многие производители не используют самые последние и лучшие в своих гарнитурах. На самом деле речь идет скорее о достижении разумного баланса между разрешением дисплея и способностью конечного пользователя адекватно визуализировать этот VR-контент и заставить его хорошо выглядеть.
Вот почему Facebook исследует суперсэмплинг с помощью ИИ в недавно опубликованной статье под названием «Нейронный суперсэмплинг для рендеринга в реальном времени». Используя нейронные сети, исследователи Facebook разработали систему, способную вводить изображения с низким разрешением и получать выходные данные с высоким разрешением, подходящие для рендеринга в реальном времени. Это, по их словам, восстанавливает четкие детали при сохранении вычислительных затрат.
Исследователи утверждают, что этот подход является «первым изученным методом суперсэмплинга, который достигает значительного 16-кратного суперсэмплинга визуализированного контента с высокой пространственной и временной точностью, превосходя результаты предыдущей работы с большим отрывом».
«Чтобы снизить стоимость рендеринга для дисплеев с высоким разрешением, наш метод работает с входным изображением, которое имеет в 16 раз меньше пикселей, чем желаемый результат. Например, если разрешение целевого дисплея составляет 3840 × 2160, то наша сеть начинает с входного изображения 960 × 540, отрисованного игровыми движками, и увеличивает его до целевого разрешения экрана в качестве постобработки в режиме реального времени».
Если все это звучит знакомо, то это потому, что уж очень похоже на концепцию Nvidia Deep Learning Super Sampling (DLSS), которая в настоящее время доступна только на их графических процессорах RTX.
Исследователи Facebook утверждают, что такие методы, как DLSS, либо вводят «очевидные визуальные артефакты в изображения с повышенной дискретизацией, особенно при коэффициентах повышения дискретизации выше 2 × 2, либо используют собственные технологии и / или аппаратные средства, которые могут быть недоступны на всех платформах».
Кроме того, подход Facebook Neural Supersampling легко интегрируется в современные игровые движки, не требует специального аппаратного или программного обеспечения, такого как проприетарные драйвера (например, с DLSS). Он также разработан для совместимости с широким спектром программных платформ, аппаратного ускорения и дисплеев.
По общему признанию, это довольно трудная проблема для решения, и Facebook говорит, что еще нужно больше времени и мозгов, чтобы решить её, поэтому вряд ли мы увидим это в ближайшее время.
«Эта работа указывает на будущее виртуальной реальности с высоким разрешением, которая касается не только дисплеев, но и алгоритмов, необходимых для их практического применения», — заключают исследователи.
Больше информации об исследовании можно найти, посмотрев полный документ здесь , который планируется представить на выставке SIGGRAPH 2020 этим летом.
