Beat Sage превращает любую песню в пользовательскую карту Beat Saber

Новый инструмент, использующий нейронные сети и искусственный интеллект, может изменить всю пользовательскую сцену карты Beat Saber. Beat Sage , выпущенный на прошлой неделе, может создать собственную карту Beat Saber из любой песни на YouTube или загруженного на сайт своего MP3-файла. C правильно подобранной песней это на самом деле работает потрясающе хорошо.

 

Вы конечно же можете подумать, что такие инструменты, как Beat Sage, которые автоматически генерируют карты для ритм-игр, в лучшем случае средние, а в худшем мрачные. Они никогда не работают так, как вы надеетесь, верно? Однако, Beat Sage обеспечивает удивительно хорошие результаты, когда подобран правильный тип музыки. Он работает лучше, чем любые другие сравнительные инструменты, которые существуют сегодня, и в некоторых случаях он генерирует пользовательские карты, которые выглядят более последовательными и приятными, чем некоторые из созданных ранее vr-сообществом.

 

 

Загвоздка лишь в том, что хорошо работают только определенные типы музыки. Как и ожидалось, большинство медленных баллад или рок-музыки даст странные (или просто скучные) результаты. Однако, если вы дадите Beat Sage поп-трек с очень сильным ритмом и электронным тоном, результаты будут невероятными. Посмотрите несколько примеров в видео ниже.

 

 

Как видите, сгенерированные карты Beat Sage работают замечательно и играть действительно интересно. Хотя иногда бывает несколько заминок, карты часто воспроизводятся в том же стиле и уровне сложности, что и официальные треки Beat Saber. На это тоже есть особая причина — ИИ инструмента на самом деле устанавливает, что генерировать, основываясь на уровнях Beat Saber, созданных людьми, например, на официальных треках. Вот как разработчики Beat Sage объясняют это на своем сайте:

 

Beat Sage использует две нейронные сети для сопоставления аудиофайла с правдоподобным уровнем Beat Saber. Эти нейронные сети были обучены на уровнях Beat Saber, созданных людьми. Первая нейронная сеть прослушивает аудио и предсказывает, в какие моменты времени следует размещать блоки. Вторая нейронная сеть просматривает прогнозируемые моменты времени и сопоставляет каждую метку времени с типом блока (например, красный вверх, синий вниз, красный вверх + синий вниз).

 

Эти нейронные сети являются причиной того, что карты Beat Sage работают так хорошо, и в то же время им удается уловить суть и тонкости отображений Beat Games.

 

Всё это результат работы Криса Донахью и Абхая Агарвала, которые активно развивают Beat Sage наряду со своей повседневной работой. Они подчёркивают, что инструмент все еще находится в разработке, и улучшения будут продолжаться, хотя Beat Sage уже невероятно впечатляет.

 

В частности, предстоящие изменения в ИИ будут направлены на решение проблемных отображений, которые ограничивают видимость или мешают вашему потоку, что может быть проблемой с текущими треками. В настоящий момент Beat Sage поддерживает только стандартный режим, бомбы и сложности от «Нормальный» до «Эксперт +», но они планируют добавить больше возможностей (например, стены и режимы 90/360 градусов).

 

Хотя инструмент не идеален и не работает со всеми стилями музыки, он по-прежнему является абсолютно лучшим генератором треков ИИ, который представлен на сегодняшний день. Он производит уровни, которые являются похожими по стилю на официальные карты Beat Saber. Вы можете попробовать Beat Sage, с еще большим количеством улучшений для ИИ, которые появятся в будущем.

 

Источник