Nat Prides. Технолоджи | Нейронный синтезатор

Нейронный синтезатор NSynth Super

Корпорация Google не перестаёт удивлять своими ноу-хау в разных технических сферах. На сей раз прорыв был сделан в музыкально-технической области. Был презентован открытый план музыкального синтезатора. Его базисом послужил нейросетевой алгоритм NSynth

Эта инновация умеет создавать новые звучания из параметров звучаний нескольких действующих инструментов.

В публикациях разработчиков были отражены исходные коды данного алгоритма и детальный инструктаж по сборке аппарата.

Этот алгоритм был презентован гугловскими программистами в 2017 году. Он создан на базисе скрупулёзно точной нейросистемы WaveNet. Она и разрабатывалась для сотворения звуков.

Специфики алгоритма:

1. Совмещение минимум двух звуков инструментов.

2. Распознавание акустических качеств каждого инструмента. На их базе он создаёт новаторский звук, объединяющий характеристики нескольких иснтрументов.

Нейросистему нужно было натренировать . Для этой цели специалисты сделали особый датасет с разметками. В него вошло ориентировочно 300 000 шаблонов звуков.

Чтобы продемонстрировать функции алгоритма разработчики устроили специальную страницу. На ней можно в режиме онлайн творить звуки, но всего из пары инструментов.

Синтезатор NSynth Super, сотворённый на базисе указанного алгоритма, был отражён в публикациях на «ГитХаб». Точнее там были представлены очень точные инструкции по его сооружению и исходные коды всего требующегося ПО,

Аппарат сделан на Raspberry Pi 3. Это компьютер с одной платой. Ещё для сборочного процесса нужны две важнейшие составляющие:

1. Сенсорный монитор.

2. Печатная плата. Она создаётся самостоятельно или заказывается в специальной службе.

Был опубликован комплект файлов и инструктаж для сооружения данной платы, а ещё корпуса и кнопок синтезатора.

Проведя его сборку, следует подготовить комплект звуков: собираются звуки необходимых инструментов и обрабатываются. Здесь применяется специальный скрипт. Получается формат, пригодный для синтезатора. Далее звуки загружаются в память аппарата.

Когда он работает, во всех четырёх углах дисплея сосредотачивается один их задействованных инструментов.

Чтобы смешать звуки, можно просто двигать пальцем по дисплею. Также можно варьировать свойства и очерёдность звуков. Для этого используются кнопки и крутящиеся регуляторы.

У синтезатора есть очень полезная опция – к нему подключаются прочие девайсы, например секвенсоры и Миди-клавиатуры