Исследователи из Facebook, похоже, нашли способ использовать машинное обучение для того, чтобы дать приложениям Oculus Quest на 67% больше возможностей для работы с графическими процессорами.
Oculus Quest представляет собой автономные гарнитуры, что означает, что вычислительное аппаратное обеспечение находится внутри самого устройства. Из-за ограничений по размеру и мощности, а также желания продавать устройство по относительно доступной цене, Quest использует чип смартфона, значительно менее мощный, чем у игрового ПК.
«Создание нового поколения VR и AR потребует поиска новых, более эффективных способов рендеринга высококачественной графики с малой задержкой» (Facebook)
Новая техника работает при рендеринге с более низким разрешением, чем обычно, затем центр зрения масштабируется с использованием алгоритма «суперразрешения» машинного обучения. Эти алгоритмы стали популярными в последние несколько лет, при этом некоторые сайты даже позволяют пользователям загружать любое изображение на свой ПК или телефон для увеличения качества.
При наличии достаточного количества обучающих данных алгоритмы суперразрешения могут производить значительно более детальный вывод, чем традиционный апскейлинг (увеличение разрешения изображения). Хотя всего несколько лет назад «Zoom and Enhance» был мемом, который использовался для насмешек над теми, кто ошибочно полагал, что компьютеры могут это сделать, машинное обучение сделало эту идею реальностью.
Одним из авторов разработки является Бехнам Бастани, руководитель отдела графики Facebook в Core AR/VR Technologies. В период с 2013 по 2017 год Бастани работал в Google, разрабатывая «передовые системы отображения», а затем возглавлял разработку конвейера рендеринга Daydream.
Интересно отметить, что на самом деле речь идет не об алгоритме суперразрешения или об освобождении ресурсов графического процессора с его помощью. Прямая цель исследователей состояла в том, чтобы создать «основу» для запуска алгоритмов машинного обучения в режиме реального времени в рамках текущего конвейера рендеринга (с низкой задержкой), которого они достигли. Повышение разрешения до суперразрешения по сути является лишь первым примером того, что это работает.
Исследователи утверждают, что при рендеринге с 70% более низким разрешением в каждом направлении метод может сэкономить примерно 40% времени графического процессора, и разработчики могут «использовать эти ресурсы для создания лучшего контента».
В таких приложениях, как «media viewer», сохраненная мощность графического процессора может быть оставлена неиспользованной для увеличения времени автономной работы, поскольку на чипах Snapdragon (и большинстве других) DSP (используемый для таких задач машинного обучения, как этот) значительно более энергоэффективен, чем графический процессор.
По-видимому, использование суперразрешения для экономии энергии графического процессора является лишь одним из потенциальных применений этой инфраструктуры конвейера рендеринга:
«Помимо приложения с суперразрешением, платформа также может быть использована при удалении артефактов сжатия для потокового контента, прогнозирования кадров, анализа характеристик и обратной связи для управляемого рендеринга. Мы верим, что использование вычислительных методов и машинного обучения в конвейере мобильной графики откроет перед нами множество возможностей для мобильной графики следующего поколения» (Facebook)
