VYSTADIAL Vývoj metod pro návrh statistických mluvených dialogových systémů Hana Bednářová.

Prezentace na téma: "VYSTADIAL Vývoj metod pro návrh statistických mluvených dialogových systémů Hana Bednářová."— Transkript prezentace:

1 VYSTADIAL Vývoj metod pro návrh statistických mluvených dialogových systémů Hana Bednářová

2 VYSTADIAL Vývoj statistických dialogových systémů Cílem projektu je vývoj statistických metod, které umožní návrh komplexních dialogových systémů včetně optimalizace jednotlivých statistických modelů z dat Budou vyvíjeny metody, které umožňují optimalizaci strategie řízení z již dříve pořízených dat (korpusu) nebo přímo z interakce s reálnými uživateli

3 Hlasové dialogové systémy Hlasové dialogové systémy mají široké možnosti uplatnění, kterými jsou například automatizace hlasových kontaktních center nebo pomoc hendikepovaným Přestože se tyto systémy začínají čím dál víc uplatňovat v praxi, stále neumožňují plynulou konverzaci, zejména proto, že metody řízení dialogu využívají deterministických algoritmů, které jsou pouze manuálně optimalizovány

4 Hlasové dialogové systémy Zkušenosti z vývoje statistických metod pro zpracování přirozeného jazyka naznačují, že učení z dat a optimální rozhodování významně zlepšuje kvalitu a usnadňuje nasazení takových technologií Proto budou v rámci tohoto projektu hlasové dialogové systémy modelovány jako tzv. částečně pozorovatelný Markovův proces (POMDP) a trénování takových systémů bude založeno na statistických metodách

5 VYSTADIAL Ačkoliv se projekt bude zabývat především vývojem statistických metod pro popis a poznání zákonitostí dialogu v přirozeném jazyce, a tedy bude převážně výzkumem základním, hmatatelným výsledkem projektu bude prototyp dialogového systému a metody pro jeho trénování z dat Vývoj a popis těchto technologií následně povede ke zvýšení robustnosti a přirozenosti dialogových systémů za současného snížení nákladů na jejich uvedení do provozu

6 Dialogový systém Dialogový systém je počítačový program, jehož účelem je komunikovat s člověkem pomocí mluvené řeči Hlasové dialogové systémy mají široké možnosti uplatnění, kterými jsou například automatizace hlasových kontaktních center, interaktivní zábava, výuka jazyků, pomoc hendikepovaným a aplikace, kde jiné ovládací a prezentační možnosti zařízení (například zobrazovací) jsou omezené

7 Dialogový systém Typický dialogový systém se skládá z těchto základních komponent: – rozpoznávání mluvené řeči – porozumění přirozenému jazyku – řízení dialogu – generování odezvy a syntézy řeči

8 Dialogový systém Účelem komponenty rozpoznávání řeči v dialogovém systému je převedení spontánní řeči do textové podoby V současnosti se pro tyto účely nejčastěji používají statistické přístupy založené na skrytých markovských modelech a umělých neuronových sítí (Psutka & Müller, 2006)

9 Dialogový systém V obou přístupech se model rozpoznávání řeči dělí na model akustický, který modeluje, jak se jednotlivé hlásky slov vyslovují, a na model jazykový, který modeluje, jak se řadí slova do vět Dialogové systémy musí pracovat se spontánní řečí, která se významně liší od řeči čtené

10 Dialogový systém Spontánní řeč je typická používáním nespisovného jazyka a negramatických vět, dále častými přeřeknutími, opakováním již vysloveného, užitím výplňových frází, výskytem neřečových událostí, jako je například váhání, hlasitý nádech, řeč na pozadí nebo hluk okolí

11 Dialogový systém Proto se komponenta rozpoznávání řeči připravuje dialogové úloze většinou na míru na základě dat podobných řešené úloze, ideálně na základě anotovaných dat komunikace uživatele a prototypu vyvíjeného dialogového systému

12 Dialogový systém Přestože v úloze rozpoznávání čtené řeči se již běžně dosahuje chybovosti rozpoznaných slov méně než 5 %, v úloze rozpoznávání spontánní řeči v rámci dialogového systému provozovaném v reálném prostředí se spolehlivost rozpoznávání řeči pohybuje mezi 20–30 %

13 Dialogový systém Komponenta porozumění přirozenému jazyku převádí textový přepis řeči do sémantické reprezentace Mezi používané formalismy reprezentace sémantické informace patří dialogové akty (Austin, 1962), sémantické rámce (Psutka & Müller ad., 2006), lambda kalkulus (Zettlemoyer & Collins, 2007)

14 Dialogový systém V současnosti se v praktických dialogových systémech nejčastěji používá reprezentace významu založená na dialogových aktech (Thomson & Young, 2010; Young & Gašić ad., 2010) Dialogový akt se skládá z typu aktu a jeho atributů a hodnot (Young & Gašić ad., 2010) (atributům se také často říká koncepty nebo sloty)

15 Dialogový systém Typ aktu reprezentuje základní význam promluvy, jako je „pozdrav“, „poděkování“, „rozloučení“, nebo že uživatel o něčem informuje, chce něco potvrdit nebo zjistit To, o čem chce uživatel informovat nebo co chce potvrdit či zjistit, má potom podobu atributů a jejich hodnot inform(to_stop="Chodov")

16 Dialogový systém Například v úloze spočívající v poskytování informací o restauracích by byl atributem „typ jídla“ nebo „poloha“ a jim odpovídající hodnoty by byly „italské“ nebo „centrum“ inform(food_type="škvarky") Úloha interpretace mluvené řeči z rozpoznaného textu je složitá nejenom kvůli dříve popsaným aspektům spontánní řeči, ale také kvůli velké chybovosti rozpoznaného textu

17 Dialogový systém Z těchto důvodů se standardní techniky vyvinuté v oboru komputační lingvistiky nepoužívají v praxi přímo, ale jsou upraveny tak, aby dosáhly vysoké robustnosti vůči výše popsaným jevům Příkladem tohoto postupu je sémantický interpret Phoenix (Ward & Issar, 1994), který je založen na robustní kombinaci bezkontextových gramatik odpovídající jednotlivým konceptům v řešené úloze

18 Dialogový systém Robustnost tohoto řešení spočívá v tom, že umožňuje přeskočit slova v textu, která neodpovídají žádné gramatice Pro účely zpracování spontánní řeči nebo špatně rozpoznané promluvy je interpret doplněn o další kombinační pravidla, která umožní vynechat nebo naopak doplnit některá slova promluvy tak, aby se dala odvodit i negramatická věta (Zettlemoyer & Collins, 2007)

19 Dialogový systém Komponenta řízení dialogu reaguje na vstup uživatele a generuje systémový akt jako odpověď Komponenta řízení dialogu se typicky dělí na dvě části: – model dialogu, který modeluje stav dialogu – strategii řízení dialogu, která určuje následující akci dialogového systému na základě odhadnutého stavu

20 Dialogový systém Stav dialogu reprezentuje všechnu informaci potřebnou k úspěšnému pokračování dialogu, tj. zejména cíl uživatele a to, co bylo během konverzace již řečeno a potvrzeno V současné praxi je komponenta řízení dialogu většinou založena na využití ručně psaných deterministických algoritmů a stavových automatů

21 Dialogový systém Dialogové systémy mohou kromě hlasu využít také jiných výrazových prostředků ke komunikaci s člověkem; v takovém případě hovoříme o multimodálních dialogových systémech Multimodální vstup může mít podobu textu vloženého pomocí klávesnice (angl. typed text), ručně psaného textu (angl. handwritten text), gest pořízených pomocí dotykových obrazovek a gest vyjádřených pohybem například rukou nebo hlavy a pořízených videokamerou

22 Example of a TownInfo conversation S: Thank you for calling. How may I help you? U: I am looking for a Chinese restaurant. S: Right, what price range do you have in mind? U: Cheap. S: Charles Sue is a Chinese restaurant in a cheap price range. U: Is it in the centre? S: Yes, Charles Sue is in the city centre. U: What is the phone number? S: Phone number of Charles Sue is 224 226 305. U: Thank you good bye.

23 Example of a TownInfo conversation I am looking for a Chinese restaurant. inform(venue_type=restaurant,food_type=Chinese)

24 Sémantické anotace českých DA ANO affirm() ZÁBAVNÁ PANÍ null() TOHO null() Z HUSINECKÁ inform(from_stop="Husinecká") DALŠÍ MOŽNOST PROSÍM inform(alternative="next")

25 Sémantické anotace českých DA DO ZASTÁVKY MALOSTRANSKÉ NÁMĚSTÍ inform(to_stop="Malostranské náměstí") ZE ZASTÁVKY LETŇANSKÁ inform(from_stop="Letňanská") SLYŠET ZNOVA TY SPOJENÍ repeat() CHTĚL BYCH JET ZE ZASTÁVKY LETŇANSKÁ DO ZASTÁVKY MALOSTRANSKÉ NÁMĚSTÍ inform(from_stop="Letňanská")&inform(to_st op="Malostranské náměstí")

26 Sémantické anotace českých DA NE NECHCI JET Z ANDĚLA deny(from_stop="Anděl")&negate() NE NEJEDU Z CENTRA negate()&deny(centre_direction="from") NE ZE ZASTÁVKY ŠPERLOVA inform(from_stop="Šperlova")&negate() nebo deny(from_stop="Šperlova")?

27 Informace o pražské MHD 800 899 998  Data z rozhovoru budou použita pro rozvoj dialogového systému; při komunikaci s automatem prosím o strpení, někdy se „nechytne“ hned. Děkuji za pozornost.

28 Literatura AUSTIN, J. L. How to do Things with Words, 1962. BOHUS, D. & A. RUDNICKY. The RavenClaw dialog management framework: Architecture and systems, Computer Speech & Language, 23(3), 332–361, 2009. HUNT, A. & A. W. BLACK. Unit selection in a concatenative speech synthesis system using a large speech database. In Proceedings of ICASSP 96, vol. 1, 1996, 373–376. MAIRESSE, F. & M. GAŠIĆ AD. Spoken language understanding from unaligned data using discriminative classification models. In: ICASSP '09: Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing, 2009, 4749 – 4752. MAIRESSE, F. & M. GAŠIĆ AD. Phrase-based Statistical Language Generation using Graphical Models and Active Learning. In Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics (ACL), 2010, 1552–1561. MAIRESSE, F. & M. A. WALKER. Controlling User Perceptions of Linguistic Style: Trainable Generation of Personality Traits, Computational Linguistics, vol. 37, no. 3, 2011, 455–488. PSUTKA, J. & L. MÜLLER AD. Mluvíme s počítačem česky, 2006. RIESER, V. & O. LEMON. Learning and Evaluation of Dialogue Strategies for New Applications: Empirical Methods for Optimization from Small Data Sets, Computational Linguistics, vol. 37, no. 1, 2011, 153–196. STEEDMAN, M. Surface Structure and Interpretation,1996. SUTTON, R. S. & A. G. BARTO. Reinforcement Learning: An Introduction, 1998. THOMSON, B. & S. YOUNG. Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems, Computer Speech & Language, vol. 24, no. 4, 2010, 562–588. YOUNG, S. & M. GAŠIĆ AD. The Hidden Information State Model: a practical framework for POMDP-based spoken dialogue management, Computer Speech and Language, 24(2), 2010, 150–174. VOICEXML 2.1, Working Draft, 2013 (http://www.w3c.org/TR/ 2004/WD-voicexml21-20040323). WARD, W. & S. ISSAR. Recent improvements in the CMU spoken language understanding system. In Proceedings of the workshop on Human Language Technology (ACL), 1994, 213–216. ZEN, H. & K. OURA AD. Recent development of the HMM-based speech synthesis system (HTS). In Asia-Pacific Signal and Information Processing Association (APSIPA), 2009, 121–130. ZETTLEMOYER, L. S. & M. COLLINS. Online learning of relaxed CCG grammars for parsing to logical form. In Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning EMNLPCoNLL, 2007, 678–687.

29 Literatura Text příspěvku upraven podle: JURČÍČEK, F. VYSTADIAL: Vývoj metod pro návrh statistických mluvených dialogových systémů. Dostupné z: https://sites.google.com/site/filipjurcicek/projects/vystadial F. Jurčíček, B. Thomson, S. Young: Reinforcement learning for parameter estimation in statistical spoken dialogue systems. (GS) In: Computer Speech and Language, 3, June 2012. F. Jurčíček, B. Thomson, S. Young: Natural actor and belief critic: Reinforcement algorithm for learning parameters of dialogue systems modelled as POMDPs. (GS) In: ACM Trans. Speech Lang. Process., June 2011.