Sztuczna inteligencja tworząca muzyke

05/10/2022

Badania nad tym czy sztuczna inteligencja może rozpoznawać style muzyczne, jak również komponować nową, nie są czymś odległym. Na Wydziale Elektroniki i Technik Informacyjnych PW prowadzone są analizy maszynowego przetwarzania muzyki.

Połączenie nauki z muzyką

Dr inż. Mateusz Modrzejewski, naukowiec z Wydziału Elektroniki i Technik Informacyjnych PW specjalizuje się w badaniach związanych z głębokimi sieciami neutronowymi. Są one podstawą uczenia maszynowego i zastosowań SI. Jego drugą pasją jest perkusja. Zagrał ponad 600 koncertów z czołowymi polskimi artystami. Występował na scenach muzycznych w Polsce, a także za granicą.

Jako perkusista jazzowy z bogatym doświadczeniem scenicznym Modrzejewski doskonale rozumie strukturę muzyki. Z kolei jako inżynier potrafi zapisać nuty w języku komputerowym. Postanowił połączyć obie pasje. Przeniósł świat muzyki do maszynowego przetwarzania, analizy i komponowania utworów w oparciu o algorytmy SI.

Próbuje znaleźć odpowiedzi na pytania o to czy algorytmy SI mogłyby kiedyś zastąpić dyrygenta. Czy instrumenty nauczą się same grać stworzoną przez siebie melodię. Czy muzyka napisana przez robota różniłaby się znacząco od skomponowanej przez człowieka. A może stanie się sprzymierzeńcem ludzkiego kompozytora, dostarczając nowe struktury i rozwiązania melodyczne.

Zdj. Mateusz Modrzejewski

Sztuczna inteligencja generująca melodie

Metoda komponowania i generowania krótkich fraz muzycznych, opiera się na głębokich sieciach neutronowych typu GAN. Wykorzystuje również duże zbiorniki danych w formacie audio oraz formatach symbolicznych typu MIDI. Zaczęto od analizy zbioru nagrań muzyki klasycznej i jazzowej w celu szkolenia sieci. Następnie wprowadzona została translacja danych MIDI na obrazy graficzne w formacie piano roll odpowiednim dla GAN. W badaniach wykorzystano kanały RGB jako dodatkowe nośniki informacji w celu poprawy wydajności.

Sieć nauczyła się generować obrazy, które są nie do odróżnienia od danych wejściowych, a po przetłumaczeniu z powrotem na MIDI i odtworzeniu zawierały kilka interesujących muzycznie struktur rytmicznych i harmonicznych. A zatem po przetworzeniu poszczególnych utworów z wykorzystaniem algorytmów sztucznej inteligencji możliwe jest wygenerowanie zupełnie nowej muzyki spełniającej określone założenia.

Style muzyki opisane algorytmem

Stworzona została też metoda klasyfikacji gatunków muzycznych z wykorzystaniem sieci neuronowych. Zastosowane są w niej dwa algorytmy (CNN i PRCNN) oraz dwie reprezentacje graficzne: chromogramy oraz spektrogramy.

Duży zbiór danych muzycznych podzielony został na osiem gatunków, z pewnymi nakładającymi się cechami muzycznymi. Kluczowe, definiujące styl elementy, jak również ogólny charakter poszczególnych gatunków jest rozpoznawany przez sieci, które nauczyły się rozróżniać gatunki na podstawie tych modeli. Dokonują klasyfikacji istniejącej muzyki według zadanych kryteriów, takich jak identyfikacja wokalisty, nastroju czy instrumentów.

Zobacz też: Czy SI zdiagnozuje choroby skóry