Řečové technologie – výzkum a využití

Prezentace na téma: "Řečové technologie – výzkum a využití"— Transkript prezentace:

1 Řečové technologie – výzkum a využití
Honza Černocký BUT Fakulta informačních technologií VUT v Brně ZRE #1,

2 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

3 Kdo jsme - Speech@FIT Skupina založena v 1997 (1 člověk) Teď ~20 lidí
Docentský projev Honzy Černockého 11/2003 „budeme-li dobří, podaří se nám přilákat šikovné lidi z Evropy a z celého světa a pro doktoranda na VUT přestane platit ta trochu nudná charakteristika: „běloch, muž, Čech“ – OK, MISSION ACOMPLISHED … alespoň ve speechi  “ ZRE#1, Honza Černocký

4 Co děláme ? Automatická extrakce informací ze spontánní řeči
Rozpoznávání mluvčího Identita Jan Novák Rozpoznávání pohlaví Pohlaví Muž nebo žena Řeč Rozpoznávání jazyka Jazyk Angličtina ? Němčina ? Rozpoznávání řeči Přepis Sejdeme se u Pavouka. Detekce klíčových slov Detekce “Pavouk” ZRE#1, Honza Černocký

5 Evaluace “Úspěšnost 100% ? Jasně!” … pokud si sami definujeme data, podmínky a evaluační metriky. <<< tak takto ne. NIST – agentura vlády USA Pravidelné „benchmark campaigns“ – evaluace – řečových technologií Všichni účastníci mají ta samá data a stejný časový rámec na jejich zpracování a zaslání výsledků => objektivní hodnocení Výsledky a detaily systémů jsou diskutovány na NIST workshopech BUT se účastní evaluací o Přepisu – Rich Transcription. Language ID Speaker Verification Spoken term detection Evaluace důležitých projektů - DARPA RATS a Lorelei, IARPA BABEL Proč to děláme? Někdy musíme Porovnání s ostatními, zajištění (občas i definice ) „state of the art“ Nechceme dělat hovadiny, které lidé vyzkoušeli a nefungovaly.

6 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

7 Trochu detailněji – jak se dělá rozpoznávač ?
Podle obecného receptu z jakékoliv knihy o detekci nebo rozpoznávání … Nasbírat data Zvolit parametry Apriorní znalost problému Zvolit model Natrénovat model Evaluaovat klasifikátor nasazení ZRE#1, Honza Černocký

8 Klasifikace a rozpoznávání
IKR Úterý 16:00 do 18:50, A113 Lukáš Burget ZRE#1, Honza Černocký

9 Vyhodnocení pravděpodobností nebo věrohodností (skóre hypotéz)
A co je výsledkem ? Už jste asi viděli … Modely Výpočet příznaků Vyhodnocení pravděpodobností nebo věrohodností (skóre hypotéz) “Dekódování” vstup rozhodnutí ZRE#1, Honza Černocký

10 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

11 Nejjednodušší případ – rozpoznávání pohlaví (GID)
Nejjednuší aplikace pro implementaci, trénování a nasazení. … a také nejpřesnější (>96% na reálných kanálech) Omezení vyhledávacího prostoru na 50% Sem dat obrazek spkID a zaramovat sloupec s pohlavim !!!

12 Gaussian Mixture models – kluci, holky
Jak se dělá ? Gaussian Mixture models – kluci, holky Vyhodnocení GMM skóre MFCC vstup Rozhodnutí kluk, holka ZRE#1, Honza Černocký

13 Parametry – Mel frekvenční cepstrální koeficienty
Signál není stacionární => rámce A slyšení není lineární – banka filtrů a log. ZRE#1, Honza Černocký

14 Matice parametrů O – sada čísel každých 10ms
ZRE#1, Honza Černocký

15 Vyhodenocení skóre kluků a holek
Směs Gaussovek se středními hodnotami, kovariančními maticemi a váhami Vyhodnocení modelu nad maticí parametrů O: ZRE#1, Honza Černocký

16 Rozhodnutí - „dekódování“
ZRE#1, Honza Černocký

17 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

18 Rozpoznávání mluvčího
Verifikace Je pan Vopička v nahrávce opravdu pan Vopička ? Enrollment Test Identifikace Mám nahrávku, kdo to je ? Search Najít pana Vopičku v tisících hovorů Identifikace i search se dají převést na N krát verifikaci. ZRE#1, Honza Černocký

19 Základní schéma 2 hypotézy Log likelihood ratio
H0: mluvčí v testovací nahrávce není ten, kterého jsme viděli v enrollmentu. H1: mluvčí v testovací nahrávce je ten, kterého jsme viděli v enrollmentu. Log likelihood ratio ZRE#1, Honza Černocký

20 Parametry ZRE#1, Honza Černocký

21 Směs Gaussovek se středními hodnotami, kovariančními maticemi a váhami
GMM Směs Gaussovek se středními hodnotami, kovariančními maticemi a váhami Vyhodnocení modelu nad maticí parametrů O: ZRE#1, Honza Černocký

22 UBM – background model Na co je ? Jak se trénuje ?
Produkuje likelihood hypotézy H0 „toto není cílový mluvčí“ – nutné pro normalizaci. Adaptuje se z něj model cílového mluvčího, protože pro plné trénování není dost cílových dat. Jak se trénuje ? Ideálně na nahrávkách všech > lidí, každý z několika různých kanálů. Reálně na stovkách mluvčích z dostupných databází (LDC, dotrénování na cílová data). ZRE#1, Honza Černocký

23 Inter-session variability
Popsaný systém dokáže postavit průměrně zdatný student s Matlabem za půl dne (IKR). Bude uspokojivě fungovat, pokud bude koherence mezi enrollmentem a testováním. ALE ONA NENÍ    - Inter-session variabilita Variabilita mluvčího Jazyk Emoce, stres, Lombard effect Zdravotní stav Obsah promluvy, atd Variabilita mimo mluvčího Šum Přenosový kanál – mikrofon, kodek, záznamové zařízení… Toto vše snižuje přesnost systému. Vyhrává ten, kdo Dokáže lépe popsat DOBROU VARIABILITU (rozdíly mezi mluvčími) Dokáže lépe zničit ŠPATNOU (inter-session) VARIABILITU ZRE#1, Honza Černocký

24 Boj s inter-session variabilitou
Feature domain Model domain Score domain Target model Adapt Front-end processing LR score normalization S L Background model Speaker Model Synthesis Eigenchannel compensation Joint Factor Analysis Nuisance Attribute Projection Noise removal Tone removal Cepstral mean subtraction RASTA filtering Mean & variance normalization Feature warping Feature Mapping Eigenchannel adaptation in feature domain Z-norm T-norm ZT-norm ZRE#1, Honza Černocký

25 Princip kompensace ŠPATNÉ variability 1.
Příklad: jedna Gaussovka s 2D parametry Model cílového mluvčího UBM Vysoká variabilita mezi mluvčími Rici, ze realny prostor není 2D, ale ze mame podpostory o nekolika stovkach dimensi – dobry a spatny. Vysoká inter-session variabilita 25 ZRE#1, Honza Černocký 25

26 Princip kompensace ŠPATNÉ variability 2.
Rozpoznávání: nech oba modely pohybovat ve směru vysoké inter-session variability a nastav je tak, aby dávaly co nejvíce pro testovací data Target speaker model Test data UBM Vysoká variabilita mezi mluvčími Vysoká inter-session variabilita 26 ZRE#1, Honza Černocký 26

27 Current state-of-the-art
Low-dimensional representation of whole recordings i-Vectors (for R&D), Voiceprints (for business) Allows for very fast scoring. Security Session Honza Cernocky 11/4/2015

28 NIST SRE 2006 - STBU BUT STBU consortium Spescom datavoice TNO
ZRE#1, Honza Černocký

29 NIST SRE 2008 ZRE#1, Honza Černocký

30 NIST SRE 2010 ABC systém: Agnitio (Jižní Afrika) BUT CRIM (Kanada)
2012 (také ABC) Také moc dobré! ZRE#1, Honza Černocký

31 NIST SRE 2012 ABC system ZRE#1, Honza Černocký

32 Umíme teorii klasifikace a rozpoznávání vzorů.
Jak to ? Umíme teorii klasifikace a rozpoznávání vzorů. Jsme v kontaktu s lidmi, kteří jsou světovými špičkami – Patrick Kenny, Niko Brümmer, další. dokážeme rychle implementovat nové nápady, a testovat Analyzujeme výsledky a přemýšlíme o nich Dokážeme se dívat mimo obor (uvnitř zpracování řeči – rozpoznávání jazyka, přepis, detekce klíčových slov) i jinde (grafika - Prince) a rychle aplikovat nápady. A máme hodně POČÍTAČŮ, takže kolegy občas pobijeme HRUBOU SILOU. ZRE#1, Honza Černocký

33 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

34 Identifikace jazyka - LID
Jakým jazykem se mluvilo LID ZRE#1, Honza Černocký

35 Dva hlavní přístupy Akustika – zase Gaussovky …
Fonotaktika – fonémový rozpoznávač + fonotaktický model. ZRE#1, Honza Černocký

36 Nahrávky (mnoho) daného jazyka. Možnost automatického získávání
Na čem trénovat LID ? Nahrávky (mnoho) daného jazyka. Možnost automatického získávání detekce telefonních hovorů v internetových archívech vysílání Pomoc LDC pro NIST LRE 2008 Projekt US Air Force EOARD. Dá se i u klienta na ostrých datech. Současná práce JFA, i-vectors a spol. – i v LID je nutné bojovat s inter-session (a tentokrát i s inter-speaker) variabilitou. ZRE#1, Honza Černocký

37 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

38 Vyhodnocení pravděpodobností nebo věrohodností (skóre hypotéz)
Přepis řeči na text Voice2text V2T Speech2text S2T Large vocabulary continuous speech recognition LVCSR Akustické modely Jazykový model Výslovnostní slovník Rozponávací SÍŤ Výpočet příznaků Vyhodnocení pravděpodobností nebo věrohodností (skóre hypotéz) “Dekódování” vstup rozhodnutí ZRE#1, Honza Černocký

39 TIN není jen mučicí nástroj, opravdu ji využíváme !
Rozpoznávací síť TIN není jen mučicí nástroj, opravdu ji využíváme ! ZRE#1, Honza Černocký

40 Závislé na jazyce a na doméně
Na čem se trénuje V2T ? Korpus mluvené řeči + textové popisy Fonetická sada, výslovnostní slovník Textový korpus Systém pro rozpoznávání řeči Závislé na jazyce a na doméně Problémem je fonetická sada a slovník Snaha o přístupy, které budou pracovat automaticky ZRE#1, Honza Černocký

41 Většině jazyků vůbec nerozumíme, ani skoro nevíme, kde se jimi mluví.
IARPA BABEL Většině jazyků vůbec nerozumíme, ani skoro nevíme, kde se jimi mluví. Přesto pro ně máme vyvinout rozpoznávače ! ZRE#1, Honza Černocký

42 klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví
Agenda skupina klasifikace a rozpoznávání vzorů jak to funguje - detekce pohlaví rozpoznávání mluvčího identifikace jazyka přepis řeči na text organisace a projekty ZRE#1, Honza Černocký

43 Projekty TAČ MINT – zpracování meetingů
DARPA RATS – Dolování řeči z hnusných kanálů DARPA Lorelei – získání informací o katrastrofách a totálně neznámých jazyků EU H2020 BISON – Dolování řeči pro kontaktní centra IARPA Material (snad bude) – zpracování textu a řeči, strojový překlad a sumarizace. MV DRAPÁK – využití vzdálených mikrofonů ZRE#1, Honza Černocký

44 Industrial cooperation
BUT Honza Cernocky /2015

45 Spin-offs BUT Honza Cernocky /2015

46 Research Products Integrator or How does it work Technologies
Scientific papers, reports, experimental code ( Matlab, C++, lots of shell-script “glue”), data files The goal is the accuracy Openess ! Reproducibility, stability, speed and documentation  Technologies The goal is the stability (error handling, code verification, testing cycles at various levels) Regular development cycles and planning Well defined application programming interfaces (API) Documentation, licensing Products Integration with client’s technologies and systems The goal is functionality of the integrated solution User interfaces Integrator or BUT Honza Cernocky /2015

47 Použít v jiných aplikacích
Chci si hrát Jen tak vyzkoušet Další aplikace od Rýpat se vevnitř: HTK KALDI Speaker ID: Použít v jiných aplikacích Phonexia BS-CORE a tools Projekt #2 (resp. i #1) v čemkoliv … ZRE#1, Honza Černocký

48 Udělejte si všechny labiny, i ty staré. Choďte do IKR Zkuste i KRD
Chci se stát expertem Choďte na přednášky Udělejte si všechny labiny, i ty staré. Choďte do IKR Zkuste i KRD Půjčte si v knihovně Bishopa a přečtěte si ho Přijďte se domluvit na speech diplomku nebo speech Erasmo-Sokratí výjezd NOW. Spousta věcí, které tu děláme, vlastně není o řeči, ale obecně o analýze dat a o machine learningu, takže to může být zajímavé, i pokud chcete dělat finance, bioinformatiku, computer vision, atd. ZRE#1, Honza Černocký

49 https://www.facebook.com/ BUT-Speech/
The end BUT-Speech/ Seminář „Řečové technologie“ Honza Černocký