Teorie vyčíslitelnosti

Prezentace na téma: "Teorie vyčíslitelnosti"— Transkript prezentace:

1 Teorie vyčíslitelnosti
Konečné automaty jsou dobrým modelem takových zařízení, která využívají jen velmi málo paměti. Zásobníkové automaty mají k dispozici teoreticky neomezeně velkou paměť, ale lze ji využívat jen v režimu LIFO (last in – first out) K řešení mnoha praktických úloh vystačíme s KA a ZA, ale současně víme, že i poměrně jednoduše definované jazyky (například L = {aibici |i1} ) nelze těmito zařízeními rozpoznávat. Potřebujeme tedy nutně ještě obecnější model.

2 Turingův stroj Byl navržen Alanem Turingem (1912-1954) v roce 1936
Má neomezenou paměť (pásku), tj. páska může být libovolně dlouhá Z pásky symboly nejen čte, ale také si na pásku zapisuje Čtecí (a současně i zapisovací) hlava se nad páskou pohybuje v obou směrech Má přijímací stav qaccept, a zamítací stav qreject, jejichž dosažením je určen výsledek výpočtu Může se stát, že stroj nedosáhne ani přijímacího ani zamítacího stavu a v takovém případě se zacyklí, neustále provádí příslušné kroky a nikdy se nezastaví

3 Turingův stroj DEF: Turingův stroj M je sedmice
M=(Q, , , , q0, qaccept, qreject), kde Q je konečná množina vnitřních stavů stroje  je konečná množina vstupních symbolů neobsahující prázdný znak Ø ( „mezeru“),  je konečná množina páskových symbolů, pro kterou platí Ø   a     je přechodová funkce : Qx  Qxx{L,R} q0 je počáteční stav stroje (q0Q) qaccept je přijímací stav stroje (qaccept Q) qreject je zamítací stav stroje (qrejectQ)

4 Turingův stroj Také Turingův stroj pracuje po krocích (taktech).
Činnost stroje je určena přechodovou funkcí . Příklad: : (q1,c)  (q2,x,R) Ve stavu q1 a při čtení symbolu c přejdi do stavu q2, na pásku zapiš symbol x a posuň hlavu o jedno políčko doprava. a b c d e f   a b x d e f   1 krok q1 q2

5 Turingův stroj DEF: Konfigurací Turingova stroje rozumíme zápis uqv, kde u je dosud přečtená část vstupního slova, q je aktuální vnitřní stav stroje a hlava stroje se nachází nad prvním písmenem dosud nepřečtené části slova v. abq1cdef abxq2def Počáteční konfigurací TS je konfigurace q0w, tj. TS je v počátečním stavu a hlava je nad prvním písmenem vstupního slova a b c d e f   a b x d e f   1 krok q1 q2

6 Turingův stroj Poznámka: Předpokládáme, že vstupní slovo w je zapsáno na prvních n. TS začíná svoji práci na prvním políčku pásky a pokud by se kdykoliv v průběhu výpočtu chtěl posunout z tohoto pole ještě více vlevo (i kdyby mu to předepisovala přechodová funkce ), nepovede se to a hlava zůstane nad prvním políčkem pásky. Koncovou konfigurací TS je libovolná konfigurace, při které je TS ve stavu qaccept (přijímající koncová konfigurace) nebo qreject (zamítající koncová konfigurace) X a b c d e f      ..… OK q1

7 Turingův stroj Analogicky jako v předchozích případech definujeme relaci přechodu, která koresponduje s jedním krokem TS. DEF: Buď M =(Q,,,,q0,qaccept,qreject) Turingův stroj. Potom nad množinou všech konfigurací definujeme relaci přechodu pro q1,q2Q, u,w *, a,b,c následovně: uaq1bw uq2acw jestliže (q1,b)= (q2,c,L) respektive (při posunu hlavy doprava) uaq1bw uacq2w jestliže (q1,b)= (q2,c,R) Již popsaná zvláštní situace na levém konci pásky znamená: q1aw q2bw jestliže (q1,a)= (q2,b,L)   

8 Turingův stroj Na pravém konci pásky žádný problém nevzniká, protože předpokládáme, že páska je neomezeně dlouhá a je vyplněna mezerami (symbol Ø, resp. ), a proto: waq1 je totéž jako waq1Ø a není nutné přijímat žádné další opatření, protože Ø  . DEF: Turingův stroj M =(Q,,,,q0,qaccept,qreject) přijímá slovo w, jestliže existuje posloupnost konfigurací q0w * uqacceptv 

9 Turingův stroj DEF: Turingův stroj M =(Q,,,,q0,qaccept,qreject) zamítá (nepřijímá) slovo w, jestliže existuje posloupnost konfigurací q0w * uqrejectv nebo pokud se při výpočtu zacyklí a nikdy nezastaví. Poznámka: Zatímco přijetí slova je zřejmé (v konečném čase dostaneme na otázku zda wL odpověď ANO), zamítnutí je obtížnější. Po konečném čase můžeme dostat odpověď NE (TS se dostal do stavu qreject a ukončil výpočet), ale my dopředu nevíme, jak dlouho máme čekat, a ukončení výpočtu uživatelem v libovolném čase T může znamenat pouze nedostatek trpělivosti. 

10 Rozpoznatelnost vs. rozhodování
DEF: Turingův stroj M =(Q,,,,q0,qaccept,qreject) rozpoznává jazyk L, jestliže přijímá všechna slova jazyka L a nepřijímá slova, která do tohoto jazyka nepatří. (Někdy se namísto „rozpoznává“ uvádí termín TS „přečísluje“ jazyk) Poznámka: U slov, která nepatří do jazyka L není důležité, zda je Turingův stroj zamítne skrze zamítací konfiguraci, nebo zda se výpočet zacyklí (tj. požadujeme pouze, aby se pro wL stroj zastavil v přijímací stavu). DEF: Jazyky rozpoznatelné Turingovým strojem se nazývají rekurzivně vyčíslitelné (či rekurzivně spočetné).

11 Rozpoznatelnost vs. rozhodování
DEF: Turingův stroj M =(Q,,,,q0,qaccept,qreject) rozhoduje jazyk L, jestliže se pro každé slovo w * výpočet stroje po konečném počtu kroků zastaví. Poznámka: U slov, která patří do jazyka L, skončí výpočet v přijímací konfiguraci a u slov, která do L nepatří, skončí v zamítací konfiguraci (tj. požadujeme jasnou odpověď typu ANO-NE). DEF: Jazyky rozhodnutelné Turingovým strojem se nazývají rekurzivní.

12 Rozpoznatelnost vs. rozhodování
Je zřejmé, že každý turingovsky rozhodnutelný jazyk je turingovsky rozpoznatelný, neboli množina rekurzivních jazyků je podmnožinou rekurzivně spočetných jazyků. Existují jazyky, které jsou rekurzivně spočetné (turingovsky rozhodnutelné), ale nikoliv rekurzivní Existují ovšem i jazyky, které jsou turingovsky nerozhodnutelné Rekurzivně spočetné jazyky Rekurzivní jazyky

13 Příklady TS Příklad 1: Sčítačka dvou přirozených čísel.
Čísla jsou uložena na pásce za sebou tak, že číslo n reprezentuje n+1 znaků x a oddělena jsou znakem # Myšlenka: Smažu prostřední znak # a poté smažu poslední dva znaky x (jeden prázdný, druhý #) (zbyde mi n+1+1+m+1-2=n+m+1 znaků x)

14 Příklady TS Postup výpočtu (4+2=6): 1. q0xxxxx#xxx# 8. xxxxxxxq1xx#
2. xq0xxxx#xxx# xxxxxxxxq1x# 3. xxq0xxx#xxx# xxxxxxxxxq1# 4. xxxq0xx#xxx# xxxxxxxxq2x 5. xxxxq0x#xxx# xxxxxxxq3x 6. xxxxxq0#xxx# xxxxxxx#qaccept 7. xxxxxxq1xxx#

15 Příklady TS M=({q0,q1,q2,q3,qacc,qreject},{x,#},{x,#,Ø},, q0,qacc,qreject} Stejnou úlohu by uměl vyřešit i zásobníkový automat Jde o jazyk L={xi#xj# |i,j>0} Otázka: Daný Turingův stroj jazyk L rozpoznává nebo rozhoduje?

16 Příklady TS Pro jednoduchost obvykle nekreslíme do obrázku stav qreject, ale většinou je zřejmé, jak jej doplnit. Stačí, když u každého stavu, kde není definován přechod pro některý symbol z doplníme přechod do stavu qreject a ohodnotíme ji příslušným symbolem z (na nově zapisovaném symbolu nezáleží).

17 Příklady TS Po doplnění chybějícího stavu a příslušných šipek je zřejmé,že tento TS rozhoduje jazyk L={xi#xj# |i,j>0}.

18 Příklady TS Příklad 2: TS rozpoznávající (rozhodující) jazyk L={w#w|w{0,1}*} Myšlenka: Smažu první 1 nebo 0 (přepíšu např. na x), pokračuji až za oddělovací # a potom zkontroluji první znak druhého slova. Je-li správný, přepíšu jej na x a jedu zpět pro druhý znak prvního slova atd. Kyvadlově pokračuji až dokud při čtení prvního slova nenarazím na znak # a poté již jen zkontroluji,že z druhého slova žádný znak na pásce nezbyl (jsou tam jen samá x)

19 Příklady TS Příklad 2: TS rozpoznávající jazyk L={w#w|w{0,1}*}

20 Příklady TS Příklad 2: L={w#w|w{0,1}*} by musel být doplněn
M=({q1,q2,q3,q4,q5,q6,q7,qacc,qreject},{0,1,#},{0,1,#,x,Ø},, q1,qacc,qreject} TS rozhodující jazyk L={w#w|w{0,1}*} by musel být doplněn o stav qreject a všechny zde nedefinované přechody budou směřovány právě do tohoto stavu.

21 Příklady TS Postup výpočtu (pro slovo 001#001):
1. q1001#001 ii. xxxq1#xxx 2. xq201#001 iii …. 3. x0q21#001 iv. xxx#xxxq8 4. x01q2#001 v. xxx#xxxØqaccept 5. x01#q4001 6. x01q6#x01 7. x0q71#x01 8. xq701#x01 9. q7x01#x01 10. xq101#x01 …..

22 Praktická poznámka Poznámka: Turingovy stroje (TS) již jsou poměrně komplikované pro zcela detailní formální popis jako tomu bylo v případě KA a ZA. Proto je obvyklé, že popis TS je proveden pouze na obecné úrovni (princip činnosti) a teprve jestliže je to skutečně potřebné, přistupuje se k detailní formální definici. Většinou se tedy spokojíme s popisem činnosti stroje na úrovni „myšlenky“a pokud je realizace této myšlenky zřejmá, již ji dále nerozpracováváme.

23 Další příklady TS Příklad 3: Navrhněte TS rozpoznávající (rozhodující) jazyk L={02n |n0} Myšlenka: Stroj M na vstupní slovo w jede vpravo a každý druhý symbol 0 přepíše na x pokud páska obsahovala jedinou 0, potom accept pokud páska obsahovala více než jedinou 0 a počet nul je lichý, potom reject návrat hlavy na začátek pásky (zpět úplně vlevo) pokračuj krokem číslo 1

24 Další příklady TS Příklad 4: Navrhněte TS rozpoznávající (rozhodující) jazyk L={aibjck |i,j,k1 a současně i×j=k} Myšlenka: Stroj M na vstupní slovo w ověří, zda na pásce je slovo a+b+c+, jinak reject návrat hlavy na začátek pásky (zpět úplně vlevo) přepiš první a na x a potom přejdi na první b. „Cestuj mezi b-čky a c-čky a škrtej obojí dokud zbývá nějaké b. Pokud dojdou c-čka předčasně, potom reject. zrekonstruuj sekvenci b-ček a potom pokračuj krokem 3 jestliže na pásce zbývá ještě nějaký symbol a. Pokud ne, zkontroluj, zda na pásce už není ani žádné c. Pokud není, potom accept, jinak reject.

25 Shrnutí příkladů Všechny dosud uvedené příklady jazyků byly rekurzivní, tj. existuje Turingův stroj který příslušný jazyk rozhoduje. Samozřejmě,že tyto jazyky jsou automaticky i rekurzivně spočetné, protože nutně existuje Turingův stroj, který je rozpoznává. Existují jazyky, které jsou rekurzivně spočetné, ale nejsou rekurzivní.

26 Varianty TS Turingův stroj je velmi robustní model, neboť se ukazuje, že celá řada variant TS, které využívají jistého rozšíření, má naprosto shodnou výpočetní sílu. Co když například umožníme Turingovu stroji při výpočtu vykonávat nejen posunout vlevo a vpravo, ale i zůstat na stejné pozici? Tj., přechodová funkce bude mít tvar : Qx  Qxx{L,R,S}, kde S znamená „zůstaň“ Takový TS bude rozpoznávat zcela stejnou třídu jazyků, protože „setrvání“ na místě lze snadno nasimulovat na „standardním“ TS pomocí dvou po sobě jdoucích přechodů (jdi vpravo a potom jdi vlevo).

27 Varianty TS Vícepáskový Turingův stroj má na rozdíl od zde již definovaného TS k dispozici hned několik pásek. Každá páska má vlastní čtecí/zapisovací hlavu. Přechodová funkce je upravena tak, aby bylo možné pracovat na několika nebo dokonce všech páskách současně: : Qxk Qx k x{L,R,S} k, kde k je počet pásek Potom například výraz: (qi,a1,..,ak)= (qj,b1,..,bk,L,R,…,R) předepisuje, že pokud je TS ve stavu qi, na první pásce čte symbol a1, na druhé ….., potom přejde do stavu qj, na první pásku zapíše symbol b1 a posune příslušnou hlavu vlevo, …

28 Varianty TS Ačkoliv vícepáskový TS se na první pohled zdá být mocnější,není tomu tak. Věta: Ke každému vícepáskovému TS lze sestrojit ekvivaletní TS s jedinou páskou. Důkaz: Činnost vícepáskového TS lze simulovat na jediné pásce tak, že obsahy k pásek napíšeme za sebe a oddělíme vhodným oddělovačem (#). Dále je nutné simulovat činnost k hlav,a proto musím znát jejich pozici nad danou částí pásky. K tomu se obvykle použije nějaký vhodný znak (tečka nad symbolem atd.). Do páskové abecedy je potom nutné přidat všechny znaky originální plus tytéž znaky s tečkou.

29 Varianty TS Ačkoliv vícepáskový TS se na první pohled zdá být mocnější,není tomu tak. a b a a b       ..… q1 c c c     ..… a a   ..… a b a a b # c c c # a a #   ..… q1

30 Simulace vícepáskového TS
TS prochází pásku a zjišťuje symboly pod virtuálními hlavami (ty jsou označené tečkou) Při dalším průchodu mění (zapisuje) symboly dle přechodové funkce a současně posunuje i virtuální hlavy (posunuje „tečky“ nad příslušnými symboly) Při práci může zjistit, že na některé z pásek (v některém úseku) nemá dostatek místa k zapisování (pozná tak,že dojde na symbol #), potom zapíše do tohoto políčka pásky mezeru a posune všechny symboly počínaje znakem # až po poslední # na pásce o 1 políčko vpravo.Tím si vytvoří v daném úseku místo a poté pokračuje dále v simulaci.

31 Varianty TS Nedeterministický Turingův stroj nemá jednoznačně definovanou přechodovou funkci, ale pracuje se zobrazením : Qx P(Qx x{L,R}) V některých krocích výpočtu se tento výpočet dělí do více větví a pokud alespoň jedna větev dojde do stavu qaccept, je výpočet úspěšný. Ani nedeterminismus nerozšiřuje možnosti TS. Věta: Ke každému nedeterministickému TS lze sestrojit ekvivaletní deterministický TS.

32 Varianty TS Důkaz: Sestrojíme deterministický TS, který simuluje činnost nedeterministického TS na třech páskách. Na vstupní pásce je slovo w, které se nemění. Slovo w se překopíruje na pásku simulační a zde se s ním pracuje. Pokud dojde k větvení, zapíše se příslušná konfigurace na adresní pásku, kde čeká na vyřízení (odsimulování) požadavku Pozor – nelze provést prohledáváním do hloubky! Hrozí zacyklení! 1 1   ..… ..… vstupní páska qx x x # 1 1 x x  ..… ..… simulační páska 1 2 2 1 3 1 1 2 3 1 2  ..… ..… adresní páska

33 Varianty TS Jiná definice umožňuje Turingovu stroji využívat oboustranně neohraničenou pásku, ale ani tentokrát se možnosti stroje nezmění. Pokud ovšem omezíme možnosti TS tak, že TS nikdy neopustí políčka pásky, na kterých je napsáno vstupní slovo w, potom jde o lineárně omezený TS a jeho možnosti jsou ve srovnání s TS podstatně menší. Lze dokázat,že Turingovy stroje rozpoznávají jazyky typu 0 (bez omezení), zatímco lineárně omezené TS rozpoznávají jazyky kontextové (jazyky typu 1).

34 Ekvivalence s jinými modely
Kromě různých variant Turingova stroje existují i jiné modely (např. RAM – Random Access Machine –stroj s libovolným přístupem, ZA se dvěma zásobníky, či -kalkul), které rozpoznávají stejnou třídu jazyků (neboli jsou ekvivalentní z hlediska výpočetní síly). Tyto modely mají i přes velkou rozdílnost některé společné rysy (přístup k neomezené paměti, omezený rozsah činnosti,kterou lze vykonat v jediném kroku,atd.) Přes rozdílnost modelů zůstává tatáž třída jazyků, které lze pomocí příslušných modelů rozpoznávat, což má závažné matematické,filozofické, ale i praktické důsledky.

35 Ekvivalence s jinými modely
Jakousi paralelou k tomuto zjištění je volba vhodného programovacího jazyka. Přestože například C++, Pascal či Prolog jsou naprosto rozdílné programovací jazyky, využitím kteréhokoliv z nich dostaneme naprosto stejnou třídu algoritmů, které lze naprogramovat. Každý jazyk má určité přednosti a výhody, které umožňují programátorovi postupovat někdy rychleji, ale výsledná třída algoritmů je ve všech případech stejná.

36 Definice algoritmu Algoritmus je těžké definovat formálně matematicky, přestože matematika algoritmy používá (zjištění prvočísla, nejmenšího společného násobku atd.) Algoritmus chápeme intuitivně jako určitý postup, proceduru, či recept. V roce 1936 definoval Alonzo Church algoritmus pomocí formalismu zvaného -kalkul a Alan Turing pomocí „svého“ stroje, přičemž obě definice se ukázaly být ekvivalentními. Teprve mnohem později (s nástupem skutečných počítačů) se objevuje model RAM, který je bližší našemu chápání počítače, ale přesto je svými možnostmi ekvivalentní TS

37 Churchova teze Ať už se na otázku vyčíslitelnosti díváme z jakéhokoliv úhlu, zkoumáme ji použitím různých formalismů, vždy docházíme ke stejnému závěru. Churchova (Churchova-Turingova) teze: Každý algoritmus je ekvivalentní s výpočtem příslušného Turingova stroje. Každý jazyk, který lze popsat konečným výrazem, je rekurzivně spočetný. Není to matematická věta (jen teze), a proto nelze dokázat.

38 Churchova teze Z dnešního pohledu se nám může zdát nepříliš významná, protože jsme obklopeni počítači a máme „jasnou“ představu, co je to algoritmus. Je třeba mí na paměti, že byla formulována v době, kdy žádné počítače ani programovací jazyky neexistovaly. Jde o první model, který bylo možné považovat za „programovatelný“. I přes jistý kriticismus (TS neuvažuje interaktivní výpočty atd.) TS zůstávají pevným základem teorie vyčíslitelnosti.

39 Příklady TS Příklad 5: Navrhněte TS rozpoznávající (rozhodující) jazyk
L={aibici |i0} Myšlenka: ??? Stavový diagram: ???

40 Příklady TS Příklad 6: Navrhněte TS, který zdvojí slovo zapsané na vstupní pásce (např. pro vstup abb bude výstupem abbabb) Myšlenka: Stavový diagram:

41 Příklady TS Příklad 7: Navrhněte TS, který k číslu zapsanému na pásce ve dvojkové soustavě přičte jedničku (např. pro vstup bude výstupem 11101, pro vstup 11 bude výstupem 100 atd.) Myšlenka: Stavový diagram: