Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Automatické rozpoznávání zpěvů ptáků Ladislav Ptáček, UFY, březen 2014.

Podobné prezentace


Prezentace na téma: "Automatické rozpoznávání zpěvů ptáků Ladislav Ptáček, UFY, březen 2014."— Transkript prezentace:

1 Automatické rozpoznávání zpěvů ptáků Ladislav Ptáček, UFY, březen 2014

2 Osnova Automatické rozpoznávání lidské řeči a automatická identifikace ptáků 1)Teoretický základ 2)Provádění experimentů 3)Identifikace ptáků 4)Kroužkování 5)Budníček menší 6)Použitá data 7)Příklad dosažených výsledků 8)Závěr

3 Automatické rozpoznávání lidské řeči Využití Identifikace osob Převod řeči na text Komunikace se strojem (ovládání PC, Call Centra, navigace) Překážky Charakter lidské řeči Každý mluvčí je originál Nářečí, vady řeči, spisovně/nespisovně Vliv prostoru Hluk okolí

4 Automatické rozpoznávání lidské řeči Typy úloh RozpoznáváníSpeaker recognition (SR) Identifikace SI Verifikace SV MnožinaUzavřená / Otevřená Obsah promluvyZávislé / Nezávislé Speech dependent/independent

5 Automatické rozpoznávání Teoretický základ Postup získání vzorků z řeči/ze zpěvu

6 Automatické rozpoznávání Teoretický základ Výpočet cepstrálních koeficientů Výpočet dalších koeficientů (energie, korelace, atd.) -> vznik modelu Proces rozpoznávání je porovnáváním modelů

7 Automatické rozpoznávání Teorie, Feature vector

8 Automatické rozpoznávání Teoretický základ Model UBM Modeluje pozadí (hluk, ostatní ptáci, telefonní linka, atd.) Model GMM Modeluje cílového řečníka (Target Bird) Porovnávání Jsou porovnávány modely neznámého řečníka a GMM a UBM Na základě jejich porovnání resp. jejich vzájemné vzdálenosti doje k rozhodnutí: Accept x Reject

9 Automatické rozpoznávání Metody Rozpoznávání ptáků: Metody 1.Parametry MFCCs → klasifikace GMM 2.Parametry MFCC a PLP → klasifikace HMM s využitím HTK 3.Parametry MFCC → klasifikátor ANN, s využitím NN Toolboxu v Matlabu Naše práci kombinují Neupravená data (raw records) Záznamy napříč časovým obdobím (roky a delší) GMM-UBM (Universal Background Model)

10 Automatické rozpoznávání Metody GMM - Gaussovské směsi (Gaussian Mixture Models) D..rozměr vektoru příznaků x (feature vector), M..počet Gaussiánů μ y..vektor D x 1 Σ y.. kovarianční matice D x D w S …váha pravděpodobnosti λ S..model řečníka S UBM – Universal Background Model

11 Automatické rozpoznávání Metody, State of the Art JFA – Joint Factor Analysis Nalezení korelací řečník resp. kanál → snížení rozměru supervektoru. GMM supervektor lze vyjádřit jako součet dvou supervektorů: S…řečník, C..kanál i-Vector – Identity vector Oddělení dat kanál x řečník - využité v JFA - je úspěšné pouze částečně. Velké množství dat → není nutné je oddělit, dostaneme výsledky jako JFA m..supervektor, nezávislý na řečníkovi ani na kanálu T..Total variability matrix, získaná EM z velkého množství dat s velkou variabilitou w..i-Vector, záleží jak na řečníkovi tak na kanálu.

12 Automatické rozpoznávání Experimenty, třídění nahrávek Nahrávky jsou rozděleny do několika sad Příprava dat katalogizace (700 minut nahrávek) třídění (eliminace nevhodných nahrávek, atd.) Nastavení konfiguračních souborů Training UBM Testování Spouštění testů 1 až 4 současně Vyhodnocení dat Matlab, EER

13 Automatické rozpoznávání Experimenty, postup Jednotlivé kroky experimentů s vyznačením využitých sad nahrávek

14 Automatické rozpoznávání Experimenty, procesní diagram Speaker / Bird verification system

15 Automatické rozpoznávání Experimenty, chyby rozpoznání Při verifikaci mohou nastat dva druhy chyb: FA…False Acceptance FR…False Rejection

16 Automatické rozpoznávání ptáků Typy úloh Rozpoznávání ptáků: Typ úloh 1.Identifikace jedince (v rámci jednoho druhu) → Speaker Identification 2.Rozpoznání druhu (zpěv/zvuk) → Language Identification 3.Rozpoznání specifického zvuku → Speech recognition task (SV, SI) 4.Optimalizace metod pro řeč → využití v ornitologii

17 Zpěvy ptáků Databáze Databáze nahrávek zvuků ptáků Komerční (např. Cornell Lab, Audio CD) Nekomerční (např. xeno-canto.org) U nás AV ČR Amatérské databáze Vlastní databáze PřF

18 Ptáci Zpěv a sluch Hlasový trakt

19 Ptáci Sluch vrabec o pěnkava

20 Ptáci Přenos zpěvu postředím Lidská řeč x Ptačí zpěv Přenos na velké vzdálenosti 1.Ozvěna 2.Posun fází. Větší vliv na zvuky s konstantní f než na modulované 3.Odrazy od země, interference

21 Kroužkování Sledování, rozpoznávání a identifikace jedinců v ornitologii Kroužkování (1773, H. C. Mortensen) U nás 1910 Kurt Loos a dr. K. Richter Propagují Ing. Otta Kadlec, Hrabě B.K.Kinský ad. European Union for Bird Ringing (EURING) Spektrogram Novější metody Telemetrie, analýza stabilních izotopů z peří, radarové sledování

22 Kroužkování

23

24 Ptáci Budníček menší, kroužkování

25 Ptáci Budníček menší Budníček menší (CZ), Phylloscopus collybita (LAT), Chiffchaff (EN) Zpěv v leseHluk v leseZpěv město Zpěv → Fráze → Slabika → Elementy

26 Ptáci Budníček menší, spektrogram Budníček, jeden zpěv (single song), délka 5 s.

27 Ptáci Budníček menší, spektrogram Budníček, reálná nahrávka, hluk pozadí Zpěv → Fráze → Slabika → Elementy

28 Automatické rozpoznávání Experimenty, použitá data, 2011

29 Automatické rozpoznávání Experimenty, příklad vyhodnocení Příklad vyhodnocení výsledků Graf znázorňující EER Graf znázorňující závislost úspěšnosti na míře FA a FR (Equal Error Rate)svislá čára znázorňuje nastavení Treshold

30 Automatické rozpoznávání Experimenty, dosažené výsledky Příklad dosažených výsledků Budníček menší foto: Wikipedia

31 Automatické rozpoznávání Experimenty, dosažené výsledky Příklad dosažených výsledků Rypoši Foto Klaus Rudloff,

32 Automatické rozpoznávání Současnost, směřování ZČU, Fakulta aplikovaných věd, katedra kybernetiky KKY Příklady aplikací: Titulkování, převod řeči na text Poslanecká sněmovna ČR Televizní vysílání Znaková řeč Další využití Lékaři Polici Soudnictví Mobilní telefony (Google, Siri) …další využití? …budoucnost?

33 Závěr Děkuji vám za pozornost Ing. Ladislav Ptáček Ústav fyziky a biofyziky Laboratoř elektroniky a akustiky Přírodovědecká fakulta Branišovská 31, České Budějovice Telefon:


Stáhnout ppt "Automatické rozpoznávání zpěvů ptáků Ladislav Ptáček, UFY, březen 2014."

Podobné prezentace


Reklamy Google