Створюйте музику з нових звуків за допомогою машинного навчання

середа, 14 березня 2018 р.

Технології завжди відігравали певну роль у натхненні музикантів до створення чогось нового та креативного. Гітарний підсилювач давав рок-музикантам нову палітру звуків, які звучали зовсім по-іншому. А звуки, що створюються синтезаторами, допомогли сформувати звучання електронної музики. Але як щодо нових технологій, таких як машинне навчання та алгоритми, які допоможуть створювати нові інструменти для творчого вираження? Яку роль вони можуть зіграти у вдосконаленні процесу створення музики? Magenta, спільний дослідницький проект з Google, намагається знайти відповіді на ці питання.

Базуючись на минулих дослідженнях у галузі машинного навчання та музики, минулого року Magenta випустила NSynth (нейронний синтезатор). Це алгоритм машинного навчання, який використовує глибокі нейронні мережі для вивчення характеристик звуків, а потім створює абсолютно новий звук на основі цих характеристик. Замість того, щоб поєднувати або змішувати звуки, NSynth синтезує абсолютно новий звук, використовуючи акустичні якості оригінальних звуків таким чином, що ви можете отримати звук, який є частиною флейти та частиною ситари одночасно.

Відтоді Magenta продовжує експериментувати з різними музичними інтерфейсами та інструментами, щоб зробити алгоритм більш доступним і зручним у використанні. У рамках цих досліджень ми створили NSynth Super. Це експериментальний інструмент з відкритим кодом, який дає музикантам можливість створювати музику з використанням абсолютно нових звуків за допомогою алгоритму NSynth з 4 різних джерел звуків.

Використовуючи цифровий диск, музиканти можуть вибрати джерело звуків, які вони хотіли б поєднати, і рухаючи пальцем по сенсорному екрану, створювати нові унікальні звуки в акустичному звучанні.

На NSynth Super можна грати за допомогою будь-якого MIDI-інтерфейсу, наприклад DAW, секвенцеру або клавіатури.

Мета проекту Magenta полягає в тому, щоб зменшити відстань між художньою творчістю та машинним навчанням. Саме тому ми працюємо з спільнотою митців, кодерів та дослідників з машинного навчання, щоб дізнатись більше про те, які нові можливості можуть надати творцям інструменти машинного навчання. Саме для цього ми створюємо все можливе, у тому числі NSynth Super, з бібліотеками з відкритими кодами, включно з TensorFlow і openFrameworks. Якщо ви творець, музикант або і те і інше, всі вихідні коди, схеми та шаблони дизайну доступні для завантаження на GitHub.

Нові звуки вражаючі. Вони можуть надихати музикантів до креативного та несподіваного створення музики, і навіть до абсолютно нового музичного стилю або жанру. Неможливо передбачити, як нові звуки, які створюються за допомогою інструментів машинного навчання, можуть використовуватися музикантами, але ми сподіваємось, що вони допоможуть у нових експериментах та творчості.