Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Matematické základy Pomocí gradientu  lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit,

Podobné prezentace


Prezentace na téma: "Matematické základy Pomocí gradientu  lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit,"— Transkript prezentace:

1 Matematické základy Pomocí gradientu  lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit, že platí:

2 Matematické základy II Průběh funkce f na přímce x(  ) = x´ +  s je dán jednorozměrnou funkcí  (  ) = f(x(  )) a platí: Obdobně se dá ukázat, že: =>

3 Matematické základy III Sklon funkce f podél přímky x(  ): Zakřivení funkce f podle x(  ): Protože ale tyto definice jsou závislé na délce vektoru s (tj. na měřítku), je kvůli jednoznačnosti někdy potřebné připojit předpoklad ||s|| = 1, kde ||s|| je jistá pevně zvolená norma (to ale nebude nutné v případech, kdy se nám bude jednat jen o znaménko sklonu, resp. zakřivení).

4 Matematické základy IV Funkce f: R n  R m je lipschitzovsky spojitá, pokud existuje > 0 tak, že pro každé x, y  R n je: Každá lipschitzovsky spojitá funkce je zřejmě spojitá. Naopak má-li funkce f ohraničené všechny první parciální derivace, pak je lipschitzovsky spojitá.

5 Matematické základy V Jako lineární funkci budeme označovat každou funkci tvaru: kde a  R n a b  R jsou konstanty.

6 Matematické základy VI Obecnou kvadratickou funkci můžeme zapsat ve tvaru: kde G, b a c jsou konstantní a matice G je symetrická. Jsou-li u a v vektory závislé na proměnné x (tedy u, v: R n  R m ), pak z pravidel pro derivování součinu funkcí plyne:

7 Matematické základy VII Položíme-li tedy v 1. rovnici na předchozím slidu u = x a v = Gx, dostáváme: (zde jsme využili symetrie matice G). Obdobně lze odvodit, že platí: Tedy gradient kvadratické funkce je roven lineární funkci a Hessova matice této funkce je rovna (konstantní) matici G.

8 Matematické základy VIII Jsou – li x a x´ dva dané body, pak: Tedy u kvadratických funkcí převádí matice G změnu v argumentu funkce na změnu gradientu.

9 Matematické základy IX Taylorův rozvoj pro gradient můžeme zapsat ve tvaru Pokud tedy pro malé h zanedbáme zbývající členy řady, můžeme říci, že v dostatečně malém okolí bodu x se každá dvakrát spojitě diferencovatelná funkce blíží kvadratické funkci.

10 Typy extrémů Lokální minimum a lokální maximum (často se označuje pouze minimum a maximum): Minimum:  x  (x*): f(x)  f(x*) Maximum:  x  (x*): f(x)  f(x*) Kde  (x*) je (vícerozměrné) okolí bodu x*.

11 Typy extrémů III Globální minimum: Pokud f(x)  f(x*) pro všechna x z definičního oboru funkce f, pak je x* globálním minimem funkce f. Obdobně je definováno globální maximum funkce f.

12 Typy extrémů IV Při práci s minimy a maximy, definovanými na předchozích slidech se může stát, že pro některé funkce dostaneme „paradoxní“ výsledky. Např. x = 0 je lokálním minimem funkce: f(x) = min(1 + x, 0, 1 - x) a zároveň je také globálním maximem dané funkce.

13 Typy extrémů V K tomu, abychom mohli odlišit podobné krajní případy, definujeme ostré lokální minimum (a obdobně maximum) podmínkou:  x  (x*): f(x)  f(x*) pro  x, x  x* kde  (x*) je (vícerozměrné) okolí bodu x*.

14 Typy extrémů VI Existují „patologické“ funkce, které mají v nějaké omezené oblasti nekonečně mnoho minim. Například to platí pro funkci:, kde:

15 Typy extrémů VII Z důvodu problémů, popsaných na předchozích slidech, definujeme ještě izolované lokální minimum: x* je izolovaným lokální minimem, pokud je jediným lokálním minimem v jistém svém okolí.

16 Optimalizace bez omezení (unconstraint) Nederivační (ad hoc) metody Jednoduché metody Nelder-Meadova (simplexová) metoda Derivační metody První derivace Metoda největšího spádu + další spádové metody Metoda konjugovaných gradientů Druhá derivace Newton-Raphsonova metoda Quasi-Newtonova metoda

17 Jednoduché metody Nejstarší z optimalizačních metod. Některé nejsou podloženy matematickou teorií, ostatní mají velmi jednoduchý princip. Konkrétně: Postupná optimalizace proměnných Systematické prohledávání Náhodnostní metoda Metoda alternujících proměnných

18 Jednoduché metody - postupná optimalizace proměnných Jedna z nejstarších optimalizačních metod (označována také „naivní metoda“ :-). Princip: Nejdříve nalezne minimum první proměnné (hodnoty ostatních proměnných se nemění). Původní hodnotu této proměnné nahradí nově nalezenou hodnotou. Analogicky jsou optimalizovány další proměnné. Zhodnocení: Metoda je použitelná pouze v některých případech: funkce 2 nebo 3 proměnných + vhodný tvar funkce. V součastnosti se tato metoda již nevyužívá.

19 Jednoduché metody - systematické prohledávání Anglicky označována grid search. Princip: Rozdělí vícerozměrný prostor, nad kterým je funkce definována na části pomocí vícerozměrné mřížky. Vypočítá pro každou část funkční hodnoty. Projde všechny funkční hodnoty a nalezne nejmenší z nich. V některých implementacích této metody analogickým způsobem prohledá okolí minima, nalezeného v předchozím kroku atd.

20 Jednoduché metody - systematické prohledávání Zhodnocení: Výhody: Spolehlivá metoda. Dnes se využívá pro hledání globálních extrémů případně pro nalezení všech extrémů v určité oblasti. Nevýhody: Složitost  (P 1.P P N ), kde P i je počet dílů mřížky pro i-tou proměnnou a N je rozměr prostoru, nad kterým je studovaná funkce definována.

21 Jednoduché metody - náhodnostní metoda Princip: V rámci každého kroku výpočtu je vypočítáno mnoho hodnot studované funkce pro náhodně vybrané hodnoty proměnných (tyto hodnoty jsou ovšem náhodně vybrány z určitého regionu). Poté je nalezena nejmenší hodnota funkce a ta se stane středem nového regionu (který má menší rozměry než původní region). Zhodnocení: Použitelné, ale pouze při dostatečně velkém počtu vypočítaných funkčnch hodnot v každém kroku. Nevýhodou je velká složitost metody.

22 Jednoduché metody - metoda alternujících proměnných Anglicky označována alternating variables method. Princip: V iteraci k (k = 1, 2,..., N*) se mění (je optimalizována) pouze proměnná x k, ostatní proměnné jsou ponechány. Poznámka: Proměnná x k je optimalizována např. tak, že jsou vypočítány hodnoty x k ´ = x k +  x a x k  = x k -  x, poté hodnoty f(x 1,..., x k ´,..., x N ) a f(x 1,..., x k ,..., x N ), a pak je pro další iteraci za x k použito nejvhodnější z x k ´ a x k  Po proběhnutí iterací 1... N, když jsou všechny hodnoty optimalizovány, se celý cyklus opakuje znovu (až do splnění podmínek minima). * N je dimenze prostoru, nad kterým je funkce definována.

23 Jednoduché metody - metoda alternujících proměnných II Zhodnocení: Výhody: Jednoduchá implementace. Rozumná složitost. Nevýhody: V některých případech je tato metoda velmi neefektivní. Postup optimalizace je v těchto případech charakterizován oscilačním průběhem (viz následující obrázek). Navíc je znám problém (viz Practical methods of optimization), pro který metoda chybně konverguje k sedlovému bodu.

24 Jednoduché metody - metoda alternujících proměnných III Příklad pomalé konvergence metody:

25 Nelder-Meadova metoda - obecně Nazývá se také simplexová metoda. Základní myšlenka: N-rozměrným prostorem se pohybuje jistý objekt („améba“), který se může natahovat nebo zkracovat v různých směrech. Několik typů takových transformací má zajistit, aby se objekt posouval směrem do „údolí“ a po dosažení dna údolí se „plazil“ co nejkratší cestou k lokálnímu minimu.

26 Nelder-Meadova metoda - obecně II Simplex: V N-rozměrném prostoru je „améba“ definována jako simplex s N+1 vrcholy s neprázdným obsahem, tj. jde o konvexní obal tvořený N+1 body. Zápis simplexu: S = {p 1, p 2,..., p N }, kde p i  R N Příklady simplexů: R:R 2 :R 3 :

27 Nelder-Meadova metoda - transformace Reflexe: Bod p i, který má největší funkční hodnotu se přemístí (odzrcadlí) na druhou stranu simplexu, tj. k bodu p i se přičte dvojnásobek rozdílu mezi p i a průměrem ostatních bodů.

28 Nelder-Meadova metoda - transformace II Reflexe a prodloužení: Totéž jako v předchozím případě, až na to, že simplex je prodloužen v novém směru (tj. přičítá se více než dvojnásobek rozdílu mezi nejhorším bodem a průměrem ostatních).

29 Nelder-Meadova metoda - transformace III Kontrakce: Nejhorší bod se přiblíží k průměru ostatních. To je vhodné v případě, kdy má „améba“ projít úzkým údolím.

30 Nelder-Meadova metoda - začátek výpočtu Na začátku výpočtu se simplex nejčastěji definuje takto: kde: i = 1,..., N p 0 pevně zvolený (počáteční) bod e i jednotkové vektory konstanta, odrážející odhad měřítka optimalizačního problému (např. šířku „údolí“)

31 Nelder-Meadova metoda - ukončení výpočtu Metoda končí, pokud: –Není dosaženo výrazného snížení hodnoty studované funkce –simplex se v některém cyklu prakticky nezmění

32 Nelder-Meadova metoda - zhodnocení Výhody: –Jednoduchá implementace –Rychlý výpočet 1 iterace –Rychlá konvergence v oblastech daleko od minima Nevýhody: –Pomalá konvergence v oblasteh poblíž minima –Může nastat situace, že výpočet neskončí v lokálním minimu

33 Nelder-Meadova metoda - příklad aplikace

34 Cvičení - teorie Je-li A reálná symetrická matice, pak řekneme, že A je kladně definitní, pokud: s T As > 0,  s  0 Matice A je kladně semidefinitní, pokud je výše uvedená nerovnost neostrá, tj. pokud: s T As  0,  s Obdobně řekneme, že A je negativně definitní (semidefinitní), pokud: s T As < 0 (s T As  0),  s

35 Cvičení - teorie II Vlastní hodnota komplexní čtvercové matice A je takové komplexní číslo, pro které existuje komplexní vektor x tak, že: Ax = x Je-li A reálná a symetrická, pak jsou všechny její vlastní hodnoty reálné.

36 Cvičení - teorie III Vypočítejte vlastní hodnoty matice: Charakteristický polynom A: Vlastní hodnoty: 1, -2, 3

37 Cvičení - teorie VI Platí: Matice je pozitivně definitní. Všechny vlastní hodnoty matice jsou kladné. Matice je pozitivně semidefinitní. Všechny vlastní hodnoty matice nezáporné. Analogicky negativně definitní a semidefinitní.

38 Cvičení - teorie V Podmínky pro extrémy funkce více proměnných: Podmínka pro první derivaci (nutná podmínka pro extrém): Pokud má funkce f: R n  R (se spojitou první derivací) v bodě x extrém, pak platí:  f(x) = 0 Podmínka pro druhou derivaci (postačující podmínka pro extrém): Funkce f: R n  R má spojitou první a druhou derivaci. Platí: x je minimum  2 f(x) je pozitivně definitní  vlastní hodnoty  2 f(x) jsou kladné x je maximum  2 f(x) je negativně definitní  vlastní hodnoty  2 f(x) jsou záporné

39 Cvičení - příklady 1) Optimalizace výroby: Azisk z prodeje jednoho výrobku Bztráta způsobená vyrobením jednoho zmetku platí B = 1/3.A Počet zmetků:y = f(x), kde x je celkový počet výrobků Celkový zisk: T(x) = A.(x-y) -1/3.A.y Platí: f(x) = kx 2

40 Cvičení - příklady II 2) Najděte všechna lokální minima funkce: 3) Máme vyrobit otevřenou plechovou krabici s daným objemem na kterou by se spotřebovalo co nejméně materiálu. 4) Najděte tvar válcové plechovky, který pro daný objem spotřebuje co nejméně materiálu.


Stáhnout ppt "Matematické základy Pomocí gradientu  lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit,"

Podobné prezentace


Reklamy Google