Určování geografického původu hudby Petr Palko Mária Běhalová Jan Hakl Václav Steiger

O čem budeme mluvit? I. Formulace problému II.Řešení problému III.Diskuze výsledků

I. Formulace problému Nalezení geografické polohy vzniku skladby Použití neuronové sítě Výstup: srozumitelný, GIS Dvojí data: Naučení sítě na datasetu Použití sítě nad daty získanými svépomocí

II. Řešení problému Toolchain: Python: learn.py Pybrain Dataset 1059*68 feat. Neural net.xml Python: use.py Pybrain Basemap Matplotlib.pyplot Traditional song (Youtube) VLC media player convert stream stream -> wav Marsyas bextract wav -> weka features file Python : prep.py Weka feat.file -> dataset-like file MAPA

II.Řešení problému Dataset Získán z lidových písní z 33 zemí světa Každá popsána 68 features + lat,lon hlavního města státu Zastoupení zemí:

Řešení problému: learn.py Pythonovský program, síť pomocí Pybrain Regresní přístup – aproximujeme bod na mapě, neurčujeme pravděpodobnost zařazení do státu Při vývoji testováno na trénovacím datasetu, po dosažení nejlepších výsledků předělání dle toolchain „Nejvhodnější“ konfigurace sítě = 68, 68, 32, 2 Learning rate = 0.08, Epoch = 100 „Zvláštně“ vypadající učící křivky, síť nelze přeučit (chyba nad 100 epoch fluktuuje a nezačne stoupat ani nad 2000 epoch) = problém povahy datasetu Metoda trainUntilConvergence() - sama si dělí data a provádí cross-validaci - ve snaze síť přeučit nahrazena hloupější metodou train() - žádné pozorovatelné změny v performance Naučená síť vyexportována

Řešení problému: learn.py

Řešení problému VLC VLC media player umí krom přehrávání souborů mnoho dalšího, např. otevřít síťový stream a uložit ho na lokální disk v libovolném formátu Elegantní řešení, VLC umí přímo *.wav nepotřebujeme internetové mp3 convertery

Řešení problému marsyas – peklo na zemi Framework napsaný v C++, podpora pro širokou škálu operací se zvukem Program bextract – umí extrahovat různé features ze zvukových souborů Největší kámen ůrazu celého projektu

V popisu datasetu není řečeno, jaké features obsahuje, pouze že jsou dosaženy defaultním nastavením bextract (nakonec nalezen paper, který to zhruba popisuje) Autoři datasetu používali marsyas 0.22, který defaultně generuje 68 features / track Marsyas 0.22 není nikde online dostupný ve funkční podobě (nelze přeložit) Dostupný je marsyas 0.5, jehož bextract který má ůplně jiné ovládácí rozhraní, vrací defaultně 116 features linuxová verze navíc vrací samé nuly Win32 verzi nelze vůbec spustit Win64 verze jediná funguje a nevrací nesmysly, nereaguje ale na přepínače volby extrakce – nelze vypnout extrakci nechtěných features Řešení problému marsyas – peklo na zemi

Řešení problému prep.py Nutnost vyřadit z dat nechtěné features, protože bextract nereaguje na přepínače, navíc pořadí dat je také jinak a původní pořadí neznáme Otázka – bude vůbec originální dataset použitelný? Pythonovský program,měl parsovat výstupní weka file z bextractu a tvořit výstupní data ve stejném formátu jako originální dataset

Řešení problému use.py Pythonovský program generující výsledky, knihovny: pybrain Načtení neuronové sítě a aktivace na vlastních datech basemap Vykreslení mapy světa a přepočet výsledků neuronové sítě (severní délky a jižní šířky) na souřadnice této mapy Matplotlib.pyplot Samotné kreslení bodů na mapu

Řešení problému use.py - mapa Mapa světa, světadíly bíle na šedém moři, vykresleny hranice států Mercatorova mapová projekce nedochází k deformaci – zmenšení plochy severní evropy, severní ameriky, nejnázornější zobrazení Přijdeme o antarktidu, na které stejně (v datasetu) nikdo hudbu nedělá

Překážka Bextract z Marsyas 0.5 nejen že nevrací správný počet hodnot, ale ani správné pořadí hodnot Význam features z Marsyas 0.5 je znám, je obsažen ve výstupním weka souboru Význam features z datasetu (Marsyas 0.22) znám není – v popisu datasetu chybí, v paperu je uveden, ale evidentně ne ve správném pořadí (např MFCC z vlastních dat a to, co má být dle pořadí MFCC z datasetu jsou na první pohled zcela jiná data) Dokonce nesedí ani počty typů features – dle paperu je v datasetu 32 MFCC features/ track, Marsyas 0.5 jich extrahuje 12*4 = 48

Diskuze výsledků Vzhledem k výše uvedenému není dataset ve spojení s daty získanými svépomocí použitelný Pro prověření funkce neuronové sítě byla tedy zvolena náhradní varianta – výběr testovacích dat z původního datasetu Testovací data zvolena: ze země s nejvíce vzorky – Indie Ze země s výrazně nižším počtem vzorků - Japonsko

Diskuze výsledku – Indie

Diskuze výsledku – Japonsko

Hodnocení Mínusy Nepodařilo se dosáhnout původně zamýšlené funkcionality – vliv nepředpokladatelné nekompatibility výstupu programu bextract Neuronová síť nefunguje uspokojivě pro většinu zemí v datasetu (málo dat) Plusy Neuronová síť je po naučení schopná s uspokojivou přesností určit polohu hudby – má-li dost dat pro danou oblast (Indie) Výkon našeho řešení je lepší než výkon řešení autorů původního datasetu – ti s použitím k-NN a celé řady postprocessingových operací s využitím dalších externích dat dosáhli nejlepší chyby cca 1500km, naše řešení má v Indii nejmenší chybu cca 500km

Co příště udělat lépe Nespoléhat na frameworky a postavit si vlastní dataset (Marsyas 0.5, >100 vzorků na zemi) Použít více vzorků – síť funguje uspokojivě v Indii se 116 vzorky, už méně uspokojivě funguje v japonsku se 17 vzorky Více features – podle tvaru křivky učení není síť schopná v datech najít příliš silné souvislosti, více dat by mohlo pomoct, ale Výstižnější features – používat např. chromatické ukazatele je spíše na škodu, síť pak bere v ůvahu tóninu skladby, což je většinou (kromě vsi Těrchová na Slovensku, kde hrají všechno v D dur) nepodstatná, až rušivá informace