Automatické rozpoznávání zpěvů ptáků

Prezentace na téma: "Automatické rozpoznávání zpěvů ptáků"— Transkript prezentace:

1 Automatické rozpoznávání zpěvů ptáků
Ladislav Ptáček, UFY, březen 2014

2 Osnova • Automatické rozpoznávání lidské řeči a automatická identifikace ptáků Teoretický základ Provádění experimentů Identifikace ptáků Kroužkování Budníček menší Použitá data Příklad dosažených výsledků Závěr

3 Automatické rozpoznávání lidské řeči
• Využití Identifikace osob Převod řeči na text Komunikace se strojem (ovládání PC, Call Centra, navigace) • Překážky Charakter lidské řeči Každý mluvčí je originál Nářečí, vady řeči, spisovně/nespisovně Vliv prostoru Hluk okolí

4 Automatické rozpoznávání lidské řeči
• Typy úloh Rozpoznávání Speaker recognition (SR) Identifikace SI Verifikace SV Množina Uzavřená / Otevřená Obsah promluvy Závislé / Nezávislé Speech dependent/independent

5 Automatické rozpoznávání Teoretický základ
• Postup získání vzorků z řeči/ze zpěvu

6 Automatické rozpoznávání Teoretický základ
• Výpočet cepstrálních koeficientů • Výpočet dalších koeficientů (energie, korelace, atd.) -> vznik modelu • Proces rozpoznávání je porovnáváním modelů

7 Automatické rozpoznávání Teorie, Feature vector

8 Automatické rozpoznávání Teoretický základ
• Model UBM Modeluje pozadí (hluk, ostatní ptáci, telefonní linka, atd.) • Model GMM Modeluje cílového řečníka (Target Bird) • Porovnávání Jsou porovnávány modely neznámého řečníka a GMM a UBM Na základě jejich porovnání resp. jejich vzájemné vzdálenosti doje k rozhodnutí: Accept x Reject

9 Automatické rozpoznávání Metody
• Rozpoznávání ptáků: Metody Parametry MFCCs → klasifikace GMM Parametry MFCC a PLP → klasifikace HMM s využitím HTK Parametry MFCC → klasifikátor ANN, s využitím NN Toolboxu v Matlabu Naše práci kombinují Neupravená data (raw records) Záznamy napříč časovým obdobím (roky a delší) GMM-UBM (Universal Background Model)

10 Automatické rozpoznávání Metody
• GMM - Gaussovské směsi (Gaussian Mixture Models) D..rozměr vektoru příznaků x (feature vector), M..počet Gaussiánů μy..vektor D x 1 Σy .. kovarianční matice D x D wS …váha pravděpodobnosti λS..model řečníka S UBM – Universal Background Model

11 Automatické rozpoznávání Metody, State of the Art
• JFA – Joint Factor Analysis Nalezení korelací řečník resp. kanál → snížení rozměru supervektoru. GMM supervektor lze vyjádřit jako součet dvou supervektorů: S…řečník, C..kanál i-Vector – Identity vector Oddělení dat kanál x řečník - využité v JFA - je úspěšné pouze částečně. Velké množství dat → není nutné je oddělit, dostaneme výsledky jako JFA m..supervektor, nezávislý na řečníkovi ani na kanálu T..Total variability matrix, získaná EM z velkého množství dat s velkou variabilitou w..i-Vector, záleží jak na řečníkovi tak na kanálu.

12 Automatické rozpoznávání Experimenty, třídění nahrávek
Nahrávky jsou rozděleny do několika sad Příprava dat katalogizace (700 minut nahrávek) třídění (eliminace nevhodných nahrávek, atd.) Nastavení konfiguračních souborů Training UBM Testování Spouštění testů 1 až 4 současně Vyhodnocení dat Matlab, EER

13 Automatické rozpoznávání Experimenty, postup
• Jednotlivé kroky experimentů s vyznačením využitých sad nahrávek

14 Automatické rozpoznávání Experimenty, procesní diagram
• Speaker / Bird verification system

15 Automatické rozpoznávání Experimenty, chyby rozpoznání
• Při verifikaci mohou nastat dva druhy chyb: FA…False Acceptance FR…False Rejection

16 Automatické rozpoznávání ptáků Typy úloh
• Rozpoznávání ptáků: Typ úloh Identifikace jedince (v rámci jednoho druhu) → Speaker Identification Rozpoznání druhu (zpěv/zvuk) → Language Identification Rozpoznání specifického zvuku → Speech recognition task (SV, SI) Optimalizace metod pro řeč → využití v ornitologii

17 Zpěvy ptáků Databáze • Databáze nahrávek zvuků ptáků
Komerční (např. Cornell Lab, Audio CD) Nekomerční (např. xeno-canto.org) • U nás AV ČR Amatérské databáze Vlastní databáze PřF

18 Ptáci Zpěv a sluch Hlasový trakt

19 Ptáci Sluch • vrabec o pěnkava

20 Ptáci Přenos zpěvu postředím
Lidská řeč x Ptačí zpěv • Přenos na velké vzdálenosti Ozvěna Posun fází. Větší vliv na zvuky s konstantní f než na modulované Odrazy od země, interference

21 Kroužkování • Sledování, rozpoznávání a identifikace jedinců v ornitologii • Kroužkování (1773, H. C. Mortensen) U nás 1910 Kurt Loos a dr. K. Richter Propagují Ing. Otta Kadlec, Hrabě B.K.Kinský ad. European Union for Bird Ringing (EURING) Spektrogram Novější metody Telemetrie, analýza stabilních izotopů z peří, radarové sledování

22 Kroužkování

23 Kroužkování

24 Ptáci Budníček menší, kroužkování

25 Ptáci Budníček menší Budníček menší (CZ),
Phylloscopus collybita (LAT), Chiffchaff (EN) Zpěv v lese Hluk v lese Zpěv město Zpěv → Fráze → Slabika → Elementy

26 Ptáci Budníček menší, spektrogram
• Budníček, jeden zpěv (single song), délka 5 s.

27 Ptáci Budníček menší, spektrogram
• Budníček, reálná nahrávka, hluk pozadí Zpěv → Fráze → Slabika → Elementy

28 Automatické rozpoznávání Experimenty, použitá data, 2011

29 Automatické rozpoznávání Experimenty, příklad vyhodnocení
• Příklad vyhodnocení výsledků Graf znázorňující EER Graf znázorňující závislost úspěšnosti na míře FA a FR (Equal Error Rate) svislá čára znázorňuje nastavení Treshold

30 Automatické rozpoznávání Experimenty, dosažené výsledky
• Příklad dosažených výsledků Budníček menší foto: Wikipedia

31 Automatické rozpoznávání Experimenty, dosažené výsledky
• Příklad dosažených výsledků Rypoši Foto Klaus Rudloff ,

32 Automatické rozpoznávání Současnost, směřování
ZČU, Fakulta aplikovaných věd, katedra kybernetiky KKY Příklady aplikací: Titulkování, převod řeči na text Poslanecká sněmovna ČR Televizní vysílání Znaková řeč Další využití Lékaři Polici Soudnictví Mobilní telefony (Google, Siri) …další využití? …budoucnost?

33 Závěr Děkuji vám za pozornost Ing. Ladislav Ptáček
Ústav fyziky a biofyziky Laboratoř elektroniky a akustiky Přírodovědecká fakulta Branišovská 31, České Budějovice Telefon: