Decision Trees & Genetic Programming 1 Klasické DT V některých případech nepraktické

Decision Trees & Genetic Programming 2 Oblique/multivariate DT Tohle vypadá líp  ve vnitřních uzlech se hledají funkce/pravidla  ale jak takový strom postavit?

Decision Trees & Genetic Programming 3 Struktura pravidel Výraz - strom  uzly stromu – terminály, funkce  kořenový uzel vrací true/false  různé typy terminálů – typované GP

Decision Trees & Genetic Programming 4 GP: Crossover

Decision Trees & Genetic Programming 5 Mutation replaces selected subtree with a randomly generated new one Permutation, editing, encapsulation, decimation... GP: Mutation and Others

Decision Trees & Genetic Programming 6 Grammatical Evolution - example The prefix string IF IS OR IF IS IF AND IS IS is represented by the codons as a sequence of choices N = {S, Rule, Cond} T = {cl, cf, att, lt} S – starting symbol P: (1)S ::= Rule Rule [0] “OR” (2)Rule ::= Cond cl cf [0] “IF” | Rule Rule [1] “OR” (3)Cond ::= att lt [0] “IS” | Cond Cond [1] “AND”

Decision Trees & Genetic Programming 7 Evoluční cyklus Rekombinace Mutace Populace Potomci Rodiče Selekce Nahrazení

Decision Trees & Genetic Programming 8 Vliv výběru terminálů a fcí na kvalitu DT Bez apriorní znalosti  T a = {x, y, R}  F a = {+, -, , (>0)} Zohlednění apriorní znalosti kruhové symetrie v datech  polární souřadnice  T b = { , , R}  F b = {+, -, , (>0), sin} poloměr: úhel:

Decision Trees & Genetic Programming 9 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T a, F a

Decision Trees & Genetic Programming 10 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T a, F a

Decision Trees & Genetic Programming 11 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T b, F b

Decision Trees & Genetic Programming 12 Vliv výběru terminálů a fcí na kvalitu DT Syntaxe stromu: T b, F b

Decision Trees & Genetic Programming 13 Evoluce pravidla v kořenu DT

Decision Trees & Genetic Programming 14Lesy Výhody a nevýhody lesů  + Vyšší přesnost klasifikace  + Robustnější klasifikátor  + Potlačení efektu přeučení  - Složitější klasifikátor Požadavky na stromy  1. Stromy klasifikují převážně správně  2. Stromy chybují na různých místech Evoluční algoritmy  umí generovat různá řešení pro stejná vstupní data, ikdyž...

Decision Trees & Genetic Programming 15 Nezávisle výtvářené stromy

Decision Trees & Genetic Programming 16 Kritérium pro výběr kořene stromu Předpoklad – kořenové pravidlo má velký vliv na podobu stromu Cíl – zajistit maximální různorodost kořenových pravidel Kritérium pro výběr kořenového pravidla zohledňuje množství a unikátnost odstraněné neurčitosti v trénovací množině, i=2, …,R kde M Pj, M Nj jsou množiny, na které kořenové pravidlo j-tého stromu rozděluje trénovací množinu

Decision Trees & Genetic Programming 17 Výběr kořenu druhého stromu

Decision Trees & Genetic Programming 18 Metoda odlišných kořenových pravidel

Decision Trees & Genetic Programming 19 Les - příklad