Decision Trees & Genetic Programming 1 Klasické DT V některých případech nepraktické.

Prezentace na téma: "Decision Trees & Genetic Programming 1 Klasické DT V některých případech nepraktické."— Transkript prezentace:

1 Decision Trees & Genetic Programming 1 Klasické DT V některých případech nepraktické

2 Decision Trees & Genetic Programming 2 Oblique/multivariate DT Tohle vypadá líp  ve vnitřních uzlech se hledají funkce/pravidla  ale jak takový strom postavit?

3 Decision Trees & Genetic Programming 3 Struktura pravidel Výraz - strom  uzly stromu – terminály, funkce  kořenový uzel vrací true/false  různé typy terminálů – typované GP

4 Decision Trees & Genetic Programming 4 GP: Crossover

5 Decision Trees & Genetic Programming 5 Mutation replaces selected subtree with a randomly generated new one Permutation, editing, encapsulation, decimation... GP: Mutation and Others

6 Decision Trees & Genetic Programming 6 Grammatical Evolution - example The prefix string IF IS OR IF IS IF AND IS IS is represented by the codons 6 4 9 4 8 12 15 6 2 as a sequence of choices 0 0 1 0 0 0 1 0 0 N = {S, Rule, Cond} T = {cl, cf, att, lt} S – starting symbol P: (1)S ::= Rule Rule [0] “OR” (2)Rule ::= Cond cl cf [0] “IF” | Rule Rule [1] “OR” (3)Cond ::= att lt [0] “IS” | Cond Cond [1] “AND”

7 Decision Trees & Genetic Programming 7 Evoluční cyklus Rekombinace Mutace Populace Potomci Rodiče Selekce Nahrazení

8 Decision Trees & Genetic Programming 8 Vliv výběru terminálů a fcí na kvalitu DT Bez apriorní znalosti  T a = {x, y, R}  F a = {+, -, , (>0)} Zohlednění apriorní znalosti kruhové symetrie v datech  polární souřadnice  T b = { , , R}  F b = {+, -, , (>0), sin} poloměr: úhel:

9 Decision Trees & Genetic Programming 9 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T a, F a

10 Decision Trees & Genetic Programming 10 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T a, F a

11 Decision Trees & Genetic Programming 11 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T b, F b

12 Decision Trees & Genetic Programming 12 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T b, F b

13 Decision Trees & Genetic Programming 13 Evoluce pravidla v kořenu DT

14 Decision Trees & Genetic Programming 14Lesy Výhody a nevýhody lesů  + Vyšší přesnost klasifikace  + Robustnější klasifikátor  + Potlačení efektu přeučení  - Složitější klasifikátor Požadavky na stromy  1. Stromy klasifikují převážně správně  2. Stromy chybují na různých místech Evoluční algoritmy  umí generovat různá řešení pro stejná vstupní data, ikdyž...

15 Decision Trees & Genetic Programming 15 Nezávisle výtvářené stromy

16 Decision Trees & Genetic Programming 16 Kritérium pro výběr kořene stromu Předpoklad – kořenové pravidlo má velký vliv na podobu stromu Cíl – zajistit maximální různorodost kořenových pravidel Kritérium pro výběr kořenového pravidla zohledňuje množství a unikátnost odstraněné neurčitosti v trénovací množině, i=2, …,R kde M Pj, M Nj jsou množiny, na které kořenové pravidlo j-tého stromu rozděluje trénovací množinu

17 Decision Trees & Genetic Programming 17 Výběr kořenu druhého stromu

18 Decision Trees & Genetic Programming 18 Metoda odlišných kořenových pravidel

19 Decision Trees & Genetic Programming 19 Les - příklad