Facebook представляет достижения в области аудиотехнологий, призванные вывести человеческий слух на новый уровень и позволить «телепортироваться» в любую точку мира.
Аудио-исследователи Facebook преследуют две цели: создать виртуальный звук, неотличимый от реального и расширить человеческий слух. Первый должен обеспечивать присутствие звука, то есть ощущение пребывания в совершенно другом месте. Последний, как говорят, даcт людям «сверхспособности восприятия».
Чтобы добиться присутствия звука, исследовательская группа под руководством Равиша Мехра разработала специальные алгоритмы его обработки, а также прототипы наушников, которые оснащены микрофонами и миниатюрными динамиками, подобными Valve Index.
Испытуемому из исследовательской лаборатории разрешили надеть наушники, которые затем записывали окружающий шум в течение двух минут. Затем Facebook проиграл записи. По словам испытуемого, воспроизведение звука было практически неотличимо от ранее слышимого реального фонового шума.
Затем испытуемого вводили в комнату, в которой 54 вращающихся динамика издают звуковые сигналы в течение получаса, а исследователи Facebook измеряли, как звуки реагируют на индивидуальную форму уха испытуемого.
Результатом явилась цифровая копия личного слуха, технически именуемая HRTF (head-related transfer function, «Передаточная функция головы»), которая, моделируемая через наушники, обеспечивает чрезвычайно реалистичное звучание. В обычных аудиорешениях используется средний HRTF, который, в зависимости от формы уха, сильно влияет на воспроизведение звука и делает его неестественным.
Исследователи надеются, что однажды они смогут создавать индивидуальные HRTF более простым способом, например, используя алгоритм, который вычисляет персональные HRTF на основе фотографии ушей.
Персональный слух, основанный на форме вашего уха, — это лишь одна из двух составляющих головоломки звукового присутствия. Другой — максимально реалистичная имитация акустики помещения.
Для следующей демонстрации испытуемый снова надевал прототип наушников. Обычные громкоговорители были установлены вокруг него. Во время демонстрации тестируемый должен был сказать, исходят ли шумы из наушников или из динамиков. Ответы были верны только примерно в 50% случаев, так как 3D-звук и имитируемая акустика комнаты выглядели очень реалистично.
В другой демонстрации испытуемому была показана комбинация присутствия видео и звука. Для этого он надевал модифицированный Oculus Rift и специальные наушники.
В очках виртуальной реальности испытуемый сидел за столом с исследователями Facebook, находившимися в другой комнате. Устройство с 32 микрофонами подбирали звуки в этой комнате , и передавали их в наушники. Говорят, что 3D-звук выглядел настолько реальным, что испытуемый чувствовал себя сидящим в одной комнате с исследователями и мог точно видеть, с какой стороны говорили отдельные люди.
Второй важной целью помимо присутствия звука является расширение возможностей человеческого слуха. Технология, разработанная для этого, однажды найдет свое применение при создании AR-очков Facebook.
Ученые представляют себе устройство, оснащенное несколькими микрофонами. Движения головы и глаз регистрируются датчиками, чтобы очки AR могли определить, на чем пользователь фокусируется в окружающей среде. Затем устройство должно автоматически усилить источник звука, на котором сосредоточено внимание, и в то же время уменьшить окружающий шум.
Facebook хотел продемонстрировать зачатки этой технологии и привел испытуемого в комнату, которая должна была имитировать шумную атмосферу ресторана. В комнате также находился исследователь Facebook. Испытуемый надел наушники и систему отслеживания взгляда. Затем исследователи увеличили уровень искусственного шума.
Благодаря аудиотехнологии испытуемый мог продолжать нормально разговаривать с исследователем, поскольку громкие фоновые шумы были отфильтрованы. Беглый взгляд на телевизор усилил шум, исходящий от экрана. Когда он снова повернулся к исследователю, то снова отчетливо его услышал.
В следующей аудио-демонстрации испытуемого вызвал исследователь из другой комнаты. Исследователь носил очки со встроенными микрофонами и был окружен двумя шумными динамиками. Благодаря активному шумоподавлению Facebook тестируемый отлично слышал исследователя.
Когда-нибудь эта технология сможет обеспечить голосовое взаимодействие с помощниками ИИ в шумной обстановке.
Всё это, в свою очередь, работало только с помощью сложных механизмов защиты данных. Ведь с описанной технологией можно было бы отлично шпионить за людьми в кафе, ресторанах и на улице. В качестве одного из многих возможных решений Facebook упоминает протокол безопасности, с помощью которого владельцы очков сначала должны дать другим пользователям разрешение на прослушивание.
Предполагается, что шумы, записываемые такими очками AR, будут снабжать облачный проект Facebook AR LiveMaps слуховыми контекстами, чтобы система распознала, например, входил ли человек в ресторан, и автоматически отфильтровывала окружающий шум.
