NEZAPOMEŇTE, prosím, *VYPNOUT* MOBiLNÍ TELEFONY. Děkuji.

Prezentace na téma: "NEZAPOMEŇTE, prosím, *VYPNOUT* MOBiLNÍ TELEFONY. Děkuji."— Transkript prezentace:

1 NEZAPOMEŇTE, prosím, *VYPNOUT* MOBiLNÍ TELEFONY. Děkuji.

2 Österreichisches Forschnungsinstitut für Artificial Intelligence T EORETICKÉ ZÁKLADY (a širší souvislosti) MORFOLOGICKÉ DISAMBIGUACE KORPUSU LINGVISTICKÝMI METODAMI karel oliva Jazykovedný ústav Ľ. Štúra SAV Bratislava 28.4.2003

3 Österreichisches Forschnungsinstitut für Artificial Intelligence N EGRAMATIČNOST Teoretický pohled na její postavení v popisu jazyka Hledání a formální popis negramatických řetězců Možnosti praktického využití Vhled do vztahu langue a parole karel oliva Jazykovedný ústav Ľ. Štúra SAV Bratislava 28.4.2003

4 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Východisko: jazyk jako množina řetězců slov ... mžina slovních tvarů (ne nutně konečná)  * … mžina všech řetězců nad  **

5 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Východisko: jazyk jako množina řetězců slov J... jazyk, mžina správně tvořených řetězců  * \ J … mžina nesprávně tvořených řetězců ** **

6 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Východisko: jazyk jako množina řetězců slov J... jazyk, mžina správně tvořených řetězců  * \ J … mžina nesprávně tvořených řetězců ** ** JDěvčata se smála.

7 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Východisko: jazyk jako množina řetězců slov J... jazyk, mžina správně tvořených řetězců  * \ J … mžina nesprávně tvořených řetězců ** ** JDěvčata se smála. *\J*\J Děvčata se smáli. Děvčata smála se. Děvčata smála. Děvčata se smála knihu.

8 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Motivace správně*Popisy jazyka se soustřeďují na to, co je *správně*, formální popisy přiřazují těmto konstrukcím struktury atd. “co není explicitně dovoleno, je implicitně zakázáno” špatně* Vše, co není správně, je *špatně*

9 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Motivace - pokračování (raději) nevyslovovaný předpoklad: ostré existence ostré hranice ** ** J *\J*\J

10 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Motivace - pokračování (raději) nevyslovovaný předpoklad: ostré existence ostré hranice ** ** J  * \ J hranice

11 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Příklady vesměs ~ „všichni/všechny“ (lexikon) budu se soustředit (flexe, doloženo ČNK) Marie je ještě krásnější než Valerie, než jsem si myslel. (syntax, sémantika) Je pro všechny přítomné shodně jednoznačně správně/špatně:

12 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Realističtější předpoklad / obrázek

13 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Realističtější předpoklad / obrázek správné

14 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Realističtější předpoklad / obrázek správné nesprávné

15 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Realističtější předpoklad / obrázek správné nesprávné nejasné

16 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Alternativní přístup k popisu jazyka

17 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Alternativní přístup k popisu jazyka dolní závora nepopsaného

18 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Alternativní přístup k popisu jazyka dolní závora nepopsaného horní závora nepopsaného

19 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Alternativní přístup k popisu jazyka dolní závora nepopsaného horní závora nepopsaného “jazyk”

20 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Alternativní přístup k popisu jazyka co největšídolní (“zelená”) závora co největší (ideálně: vše správné je “uvnitř”) co nejmenšíhorní (“červená”) závora co nejmenší (ideálně: vše nesprávné je “vně”) ~ snaha o maximalizaci rozsahu (tj.popisu) „zelených“ a „červených“ prvků Úplnost popisu: ~ snaha, aby co nejméně prvků zůstalo nepopsaných („žlutých“) přiblížení závor ~ snaha o přiblížení závor

21 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Srovnání se standardním přístupem speciálním případem Standardní přístup je speciálním případem: dolní závora identická horní závora speciálně zvolena   * (  chybí distinkce nezachyceno vs. nesprávně) *velmi* … a to je distinkce *velmi* důležitá

22 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Formální popis negramatičnosti gramatickým konstrukcím je přiřazována struktura (např. strom) negramatické konstrukce řetězce (abstraktních) slovnegramatické konstrukce ~ strukturu (“z definice”) nemají ~ popis jako řetězce (abstraktních) slov (abstraktní) slovo: ~ pozice v textu (včetně příp. interpunkce) ~ její lexikální/morfologické charakteristiky ~ příp. po abstrakci od konkrétního lexému

23 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Příklad (ČNK) Vfin + Vfin Řetězec: Vfin + Vfin … to znamená stvrzuje -li kacíř … …, kteří se domnívají, zeje vede týž popud ke vzpouře...... a stejné chovám ukládá i apoštolům... … když se to stane, nepotřebují ničí pomoc...

24 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Zajímavější příklad (ČNK) Před bránou … připoutali vojáci Květuši k zábradlí před pokladou, a kdyby... Budiž pokoj v přehradí Tvém a upokojení na paláci Tvých (Bible kral. 1613) … před mnoha lety v Ťienově zahradě v Su - Čou... Prep + Vfin Řetězec: Prep + Vfin

25 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat bigram bigram ~ dvojice za sebou jdoucích abstraktních slov

26 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat bigram bigram ~ dvojice za sebou jdoucích abstraktních slov možný (gramatický) bigram [FIRST,SECOND] je možný (gramatický) bigram:

27 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat bigram bigram ~ dvojice za sebou jdoucích abstraktních slov možný (gramatický) bigram [FIRST,SECOND] je možný (gramatický) bigram: FIRST SECOND LEFT MOTHER RIGHT MOTHER ANCESTOR

28 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat nemožný (negramatický) bigram [FIRST,SECOND] je nemožný (negramatický) bigram: pokud takovou konfiguraci nelze nalézt

29 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat nemožný (negramatický) bigram [FIRST,SECOND] je nemožný (negramatický) bigram: pokud takovou konfiguraci nelze nalézt ANCESTOR LEFT MOTHERRIGHT MOTHER FIRST SECOND

30 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien 1. FIRST nutně musí utvořit konstituent s materiálem X stojícím vpravo "dříve", než může tvořit konstituent se SECOND ANCESTOR Jak negramatické řetězce hledat LEFT MOTHERRIGHT MOTHER FIRST X SECOND

31 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Příklad: Prep nutně musí utvořit konstituent s N stojícím vpravo "dříve", než může tvořit konstituent s Vfin VPfin Jak negramatické řetězce hledat PP VPfin Prep N Vfin

32 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien 2. SECOND nutně musí utvořit konstituent s materiálem X stojícím vlevo "dříve", než může tvořit konstituent s FIRST ANCESTOR Jak negramatické řetězce hledat LEFT MOTHERRIGHT MOTHER FIRST X SECOND

33 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien XP V Prep-loc N-loc Jak negramatické řetězce hledat Příklad: N-loc nutně musí utvořit konstituent s Prep-loc stojící vlevo "dříve", než může tvořit konstituent s V VP PP

34 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat ANCESTOR X 3. LEFT MOTHER a RIGHT MOTHER nikdy nemohou stát těsně vedle sebe, nějaký materiál X musí nutně stát mezi nimi FIRST X SECOND LEFT MOTHER RIGHT MOTHER

35 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Jak negramatické řetězce hledat Souvětí Vfin Příklad: mezi dvěma Vfin musí nutně stát čárka nebo souřadící spojka Vfin Conj Vfin Věta

36 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Nutnost kritického prověření Popsaná metoda ~ předpoklad spojitosti konstituentů (projektivnosti konstrukcí) negramatický bigram: V + N-loc Na kterém jsme se potkali večírku ?

37 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Nutnost kritického prověření Popsaná metoda ~ předpoklad spojitosti konstituentů (projektivnosti konstrukcí) negramatický bigram: V + N-loc Na kterém jsme se potkali večírku ? nespojitá jmenná skupina

38 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Příklady negramatických bigramů "bych/bys/...by/abych/.../kdybych/..." + V-praes... aby vinou... "a/ale" + slovesná klitika... a se... "lze/nelze" + V-fin(  "(ne)bylo/(ne)bude")... lze jí...

39 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Příklady negramatických bigramů Non-Prep + "n-tvar" Pron... sestoupila níž... POZOR Prep + "j-tvar" Pron bez jí... bez ní a bez jí podobných … POHOV V + Adj-loc zhubnout toužících Na zhubnout toužících tlouštících vydělávají spoustu peněz...

40 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Generalizace na rozsáhlejší konfigurace Trigramy, tetragramy, pentagramyTrigramy, tetragramy, pentagramy,... důležitá "ideální" slova(symboly) ZAČÁTEK_VĚTY a KONEC_VĚTY Příklad: ZAČÁTEK_VĚTY + N-nom + V-fin(  "být/bývat/znamenat/slout ") + N-nom + KONEC_VĚTY Ústava-nom zaručuje rovnost-nom/acc

41 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Generalizace na rozsáhlejší konfigurace Trigramy, tetragramy, pentagramyTrigramy, tetragramy, pentagramy,... důležitá "ideální" slova(symboly) ZAČÁTEK_VĚTY a KONEC_VĚTY Příklad: ZAČÁTEK_VĚTY + N-nom + V-fin(  "být/bývat/znamenat/slout ") + N-nom + KONEC_VĚTY Ústava-nom zaručuje rovnost-nom/acc

42 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Generalizace na rozsáhlejší konfigurace Příklad: ZAČÁTEK_VĚTY + N-acc + V-fin(  “učit, naučit, stát (cenu)") + N-acc + KONEC_VĚTY při vyloučení substantiv, která vyjadřují časová/měrová určení holým akusativem Dopis píši hodinu/*cestu...celou cestu

43 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Generalizace na rozsáhlejší konfigurace Konfigurace neomezené délky Základní postřeh: konfigurace pevné délky lze rozvolnit přidáním materiálu mezi členy konfigurace (při zachování negramatičnosti) Příklad: Prep + V-fin Prep + Adv + V-fin Prep + Adv + Adv + V-fin Prep + Adv + Adv + Adv + V-fin...

44 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Praktické využití ~ 200 konfigurací skutečná (kompletní) morfologická analýza (částečná) disambiguace korpusu gramatický korektor ("grammar-checker") předstupeň složitějších aplikací (podpora efektivity syntaktické analýzy: × buď zjednoznačněním výsledku MA × nebo ohlášením negramatičnosti )

45 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: detailní studium gramatiky Příklad: Prep + Adv * + V-fin vs vs. Ta polévka od/Prep včera/Adv není/V-fin dobrá Oblečení na/Prep zítra/Adv máš/V-fin přes židli Na/Prep kdy /Adv jsi/V-fin koupila lístky ? Na/Prep jak/Adv dlouho/Adv jedeš/V-fin pryč ? Závěry:

46 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: detailní studium gramatiky Příklad: Prep + Adv * + V-fin vs vs. Ta polévka od/Prep včera/Adv není/V-fin dobrá. Oblečení na/Prep zítra/Adv máš/V-fin přes židli Na/Prep kdy /Adv jsi/V-fin koupila lístky ? Na/Prep jak/Adv dlouho/Adv jedeš/V-fin pryč ? Závěry: 1. Adverbia nejsou jednolitá třída, mají různou syntaktickou distribuci

47 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: detailní studium gramatiky Příklad: Prep + Adv * + V-fin vs vs. Ta polévka od/Prep včera/Adv není/V-fin dobrá. Oblečení na/Prep zítra/Adv máš/V-fin přes židli Na/Prep kdy /Adv jsi/V-fin koupila lístky ? Na/Prep jak/Adv dlouho/Adv jedeš/V-fin pryč ? Závěry: 1. Adverbia nejsou jednolitá třída, mají různou syntaktickou distribuci 2. Předložky nejsou flexémy

48 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole správné nesprávné nejasné

49 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole

50 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole popsáno generativním formalismem popsáno řetězcovým formalismem nepopsáno

51 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Schema skutečné situace

52 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole ??? Schema skutečné situace

53 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Napětí mezi langue a parole: REKURSE Obecní úřad každému občanovi vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka udá, vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu poškodil, udá, vyplatí 50 Kč. … Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu, která na sloupu, jenž na mostě, který na cestě, jež Horní a Dolní náměstí spojuje, leží, stojí, stojí, poškodil, udá, vyplatí 50 Kč.

54 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Napětí mezi langue a parole: REKURSE - pokr. … narazíme na hotel... … narazíme na v restituci vrácený hotel … (ČNK) … narazíme na v před deseti lety proběhnuvší restituci vrácený hotel … narazíme na v před za turbulentní pokládanými deseti lety proběhnuvší restituci vrácený hotel … narazíme na v před za podle kritiků turbulentní pokládanými deseti lety proběhnuvší restituci vrácený hotel...

55 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Napětí mezi langue a parole: REKURSE - pokr. … narazíme na hotel... … narazíme na v restituci vrácený hotel … (ČNK) … narazíme na v před deseti lety proběhnuvší restituci vrácený hotel... … narazíme na v před za turbulentní pokládanými deseti lety proběhnuvší restituci vrácený hotel... … narazíme na v před za podle kritiků turbulentní pokládanými deseti lety proběhnuvší restituci vrácený hotel......

56 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Napětí mezi langue a parole: REKURSE Obecní úřad každému občanovi vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka udá, vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu poškodil, udá, vyplatí 50 Kč. … Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu, která na sloupu, jenž na mostě, který na cestě, jež Horní a Dolní náměstí spojuje, leží, stojí, stojí, poškodil, udá, vyplatí 50 Kč.

57 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Napětí mezi langue a parole: REKURSE Obecní úřad každému občanovi vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka udá, vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu poškodil, udá, vyplatí 50 Kč. … Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu, která na sloupu, jenž na mostě, který na cestě, jež Horní a Dolní náměstí spojuje, leží, stojí, stojí, poškodil, udá, vyplatí 50 Kč.

58 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Napětí mezi langue a parole: REKURSE Obecní úřad každému občanovi vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka udá, vyplatí 50 Kč. Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu poškodil, udá, vyplatí 50 Kč. … Obecní úřad každému občanovi, který toho tuláka, jenž onu sochu, která na sloupu, jenž na mostě, který na cestě, jež Horní a Dolní náměstí spojuje, leží, stojí, stojí, poškodil, udá, vyplatí 50 Kč.

59 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole Negramatické konfigurace: Prep + Prep + Prep + Prep (viz též NS) RelPron + (ANY  V-fin)* + RelPron + (ANY  V-fin)* + RelPron + (ANY  V-fin)* + RelPron + (ANY  V-fin)* + RelPron

60 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Teoretický přínos: zjednodušení vztahu langue a parole povedlo se vyřešit situaci, kdy se generativní „slabost“ aparátu langue vyrovnává odkazem na parole stojí za podrobnější úvahy: × *váhy* negramatických konfigurací (šest předložek je „horší“ než tři apod.) × zavedení negramatických *struktur* (popis zeugmat atd.)

61 Österreichisches Forschnungsinstitut für Artificial Intelligence © ÖFAI, Wien Morální naučení: O jazyce se lze dozvědět mnoho teoreticky (tj. prakticky) zajímavého nejen je studiem toho, co v něm je ale také není studiem toho, co v něm není