Matematické základy Pomocí gradientu Ñ lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit,

Prezentace na téma: "Matematické základy Pomocí gradientu Ñ lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit,"— Transkript prezentace:

1 Matematické základy Pomocí gradientu Ñ lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit, že platí:

2 Matematické základy II
Průběh funkce f na přímce x(a) = x´ + as je dán jednorozměrnou funkcí f(a) = f(x(a)) a platí: Obdobně se dá ukázat, že: =>

3 Matematické základy III
Sklon funkce f podél přímky x(a): Zakřivení funkce f podle x(a): Protože ale tyto definice jsou závislé na délce vektoru s (tj. na měřítku), je kvůli jednoznačnosti někdy potřebné připojit předpoklad ||s|| = 1, kde ||s|| je jistá pevně zvolená norma (to ale nebude nutné v případech, kdy se nám bude jednat jen o znaménko sklonu, resp. zakřivení).

4 Matematické základy IV
Funkce f: Rn ® Rm je lipschitzovsky spojitá, pokud existuje l > 0 tak, že pro každé x, y Î Rn je: Každá lipschitzovsky spojitá funkce je zřejmě spojitá. Naopak má-li funkce f ohraničené všechny první parciální derivace, pak je lipschitzovsky spojitá.

5 Matematické základy V Jako lineární funkci budeme označovat každou funkci tvaru: kde a Î Rn a b Î R jsou konstanty.

6 Matematické základy VI
Obecnou kvadratickou funkci můžeme zapsat ve tvaru: kde G, b a c jsou konstantní a matice G je symetrická. Jsou-li u a v vektory závislé na proměnné x (tedy u, v: Rn ® Rm), pak z pravidel pro derivování součinu funkcí plyne:

7 Matematické základy VII
Položíme-li tedy v 1. rovnici na předchozím slidu u = x a v = Gx, dostáváme: (zde jsme využili symetrie matice G). Obdobně lze odvodit, že platí: Tedy gradient kvadratické funkce je roven lineární funkci a Hessova matice této funkce je rovna (konstantní) matici G.

8 Matematické základy VIII
Jsou – li x a x´ dva dané body, pak: Tedy u kvadratických funkcí převádí matice G změnu v argumentu funkce na změnu gradientu.

9 Matematické základy IX
Taylorův rozvoj pro gradient můžeme zapsat ve tvaru Pokud tedy pro malé h zanedbáme zbývající členy řady, můžeme říci, že v dostatečně malém okolí bodu x se každá dvakrát spojitě diferencovatelná funkce blíží kvadratické funkci.

10 Typy extrémů Lokální minimum a lokální maximum (často se označuje pouze minimum a maximum): Minimum: $W "xÎW(x*): f(x) ³ f(x*) Maximum: $W "xÎW(x*): f(x) £ f(x*) Kde W(x*) je (vícerozměrné) okolí bodu x*.

11 Typy extrémů III Globální minimum:
Pokud f(x) ³ f(x*) pro všechna x z definičního oboru funkce f, pak je x* globálním minimem funkce f. Obdobně je definováno globální maximum funkce f.

12 Typy extrémů IV Při práci s minimy a maximy, definovanými na předchozích slidech se může stát, že pro některé funkce dostaneme „paradoxní“ výsledky. Např. x = 0 je lokálním minimem funkce: f(x) = min(1 + x, 0, 1 - x) a zároveň je také globálním maximem dané funkce.

13 Typy extrémů V K tomu, abychom mohli odlišit podobné krajní případy, definujeme ostré lokální minimum (a obdobně maximum) podmínkou: $W "xÎW(x*): f(x) > f(x*) pro " x, x ¹ x* kde W(x*) je (vícerozměrné) okolí bodu x*.

14 Typy extrémů VI Existují „patologické“ funkce, které mají v nějaké omezené oblasti nekonečně mnoho minim. Například to platí pro funkci: , kde:

15 Typy extrémů VII Z důvodu problémů, popsaných na předchozích slidech, definujeme ještě izolované lokální minimum: x* je izolovaným lokální minimem, pokud je jediným lokálním minimem v jistém svém okolí.

16 Optimalizace bez omezení (unconstraint)
Nederivační (ad hoc) metody Jednoduché metody Nelder-Meadova (simplexová) metoda Derivační metody První derivace Metoda největšího spádu + další spádové metody Metoda konjugovaných gradientů Druhá derivace Newton-Raphsonova metoda Quasi-Newtonova metoda

17 Jednoduché metody Nejstarší z optimalizačních metod.
Některé nejsou podloženy matematickou teorií, ostatní mají velmi jednoduchý princip. Konkrétně: Postupná optimalizace proměnných Systematické prohledávání Náhodnostní metoda Metoda alternujících proměnných

18 Jednoduché metody - postupná optimalizace proměnných
Jedna z nejstarších optimalizačních metod (označována také „naivní metoda“ :-). Princip: Nejdříve nalezne minimum první proměnné (hodnoty ostatních proměnných se nemění). Původní hodnotu této proměnné nahradí nově nalezenou hodnotou. Analogicky jsou optimalizovány další proměnné. Zhodnocení: Metoda je použitelná pouze v některých případech: funkce 2 nebo 3 proměnných + vhodný tvar funkce. V součastnosti se tato metoda již nevyužívá.

19 Jednoduché metody - systematické prohledávání
Anglicky označována grid search. Princip: Rozdělí vícerozměrný prostor, nad kterým je funkce definována na části pomocí vícerozměrné mřížky. Vypočítá pro každou část funkční hodnoty. Projde všechny funkční hodnoty a nalezne nejmenší z nich. V některých implementacích této metody analogickým způsobem prohledá okolí minima, nalezeného v předchozím kroku atd.

20 Jednoduché metody - systematické prohledávání
Zhodnocení: Výhody: Spolehlivá metoda. Dnes se využívá pro hledání globálních extrémů případně pro nalezení všech extrémů v určité oblasti. Nevýhody: Složitost q(P1.P PN), kde Pi je počet dílů mřížky pro i-tou proměnnou a N je rozměr prostoru, nad kterým je studovaná funkce definována.

21 Jednoduché metody - náhodnostní metoda
Princip: V rámci každého kroku výpočtu je vypočítáno mnoho hodnot studované funkce pro náhodně vybrané hodnoty proměnných (tyto hodnoty jsou ovšem náhodně vybrány z určitého regionu). Poté je nalezena nejmenší hodnota funkce a ta se stane středem nového regionu (který má menší rozměry než původní region). Zhodnocení: Použitelné, ale pouze při dostatečně velkém počtu vypočítaných funkčnch hodnot v každém kroku. Nevýhodou je velká složitost metody.

22 Jednoduché metody - metoda alternujících proměnných
Anglicky označována alternating variables method. Princip: V iteraci k (k = 1, 2, ..., N*) se mění (je optimalizována) pouze proměnná xk, ostatní proměnné jsou ponechány. Poznámka: Proměnná xk je optimalizována např. tak, že jsou vypočítány hodnoty xk´ = xk+dx a xk² = xk-dx, poté hodnoty f(x1, ..., xk´, ..., xN) a f(x1, ..., xk², ..., xN), a pak je pro další iteraci za xk použito nejvhodnější z xk´ a xk². Po proběhnutí iterací N, když jsou všechny hodnoty optimalizovány, se celý cyklus opakuje znovu (až do splnění podmínek minima). * N je dimenze prostoru, nad kterým je funkce definována.

23 Jednoduché metody - metoda alternujících proměnných II
Zhodnocení: Výhody: Jednoduchá implementace. Rozumná složitost. Nevýhody: V některých případech je tato metoda velmi neefektivní. Postup optimalizace je v těchto případech charakterizován oscilačním průběhem (viz následující obrázek). Navíc je znám problém (viz Practical methods of optimization), pro který metoda chybně konverguje k sedlovému bodu.

24 Jednoduché metody - metoda alternujících proměnných III
Příklad pomalé konvergence metody:

25 Nelder-Meadova metoda - obecně
Nazývá se také simplexová metoda. Základní myšlenka: N-rozměrným prostorem se pohybuje jistý objekt („améba“), který se může natahovat nebo zkracovat v různých směrech. Několik typů takových transformací má zajistit, aby se objekt posouval směrem do „údolí“ a po dosažení dna údolí se „plazil“ co nejkratší cestou k lokálnímu minimu.

26 Nelder-Meadova metoda - obecně II
Simplex: V N-rozměrném prostoru je „améba“ definována jako simplex s N+1 vrcholy s neprázdným obsahem, tj. jde o konvexní obal tvořený N+1 body. Zápis simplexu: S = {p1, p2, ..., pN}, kde pi Î RN Příklady simplexů: R: R2: R3:

27 Nelder-Meadova metoda - transformace
Reflexe: Bod pi, který má největší funkční hodnotu se přemístí (odzrcadlí) na druhou stranu simplexu, tj. k bodu pi se přičte dvojnásobek rozdílu mezi pi a průměrem ostatních bodů

28 Nelder-Meadova metoda - transformace II
Reflexe a prodloužení: Totéž jako v předchozím případě, až na to, že simplex je prodloužen v novém směru (tj. přičítá se více než dvojnásobek rozdílu mezi nejhorším bodem a průměrem ostatních).

29 Nelder-Meadova metoda - transformace III
Kontrakce: Nejhorší bod se přiblíží k průměru ostatních. To je vhodné v případě, kdy má „améba“ projít úzkým údolím.

30 Nelder-Meadova metoda - začátek výpočtu
Na začátku výpočtu se simplex nejčastěji definuje takto: kde: i = 1, ..., N p0 pevně zvolený (počáteční) bod ei jednotkové vektory l konstanta, odrážející odhad měřítka optimalizačního problému (např. šířku „údolí“)

31 Nelder-Meadova metoda - ukončení výpočtu
Metoda končí, pokud: Není dosaženo výrazného snížení hodnoty studované funkce simplex se v některém cyklu prakticky nezmění

32 Nelder-Meadova metoda - zhodnocení
Výhody: Jednoduchá implementace Rychlý výpočet 1 iterace Rychlá konvergence v oblastech daleko od minima Nevýhody: Pomalá konvergence v oblasteh poblíž minima Může nastat situace, že výpočet neskončí v lokálním minimu

33 Nelder-Meadova metoda - příklad aplikace

34 Cvičení - teorie Je-li A reálná symetrická matice, pak řekneme, že A je kladně definitní, pokud: sTAs > 0, "s ¹ 0 Matice A je kladně semidefinitní, pokud je výše uvedená nerovnost neostrá, tj. pokud: sTAs ³ 0, "s Obdobně řekneme, že A je negativně definitní (semidefinitní), pokud: sTAs < 0 (sTAs £ 0), "s

35 Cvičení - teorie II Vlastní hodnota komplexní čtvercové matice A je takové komplexní číslo l, pro které existuje komplexní vektor x tak, že: Ax = lx Je-li A reálná a symetrická, pak jsou všechny její vlastní hodnoty reálné.

36 Cvičení - teorie III Vypočítejte vlastní hodnoty matice:
Charakteristický polynom A: Vlastní hodnoty: 1, -2, 3

37 Cvičení - teorie VI Platí: Matice je pozitivně definitní. <=>
Všechny vlastní hodnoty matice jsou kladné. Matice je pozitivně semidefinitní. <=> Všechny vlastní hodnoty matice nezáporné. Analogicky negativně definitní a semidefinitní.

38 Cvičení - teorie V Podmínky pro extrémy funkce více proměnných:
Podmínka pro první derivaci (nutná podmínka pro extrém): Pokud má funkce f: Rn ® R (se spojitou první derivací) v bodě x extrém, pak platí: Ñf(x) = 0 Podmínka pro druhou derivaci (postačující podmínka pro extrém): Funkce f: Rn ® R má spojitou první a druhou derivaci. Platí: x je minimum Û Ñ2f(x) je pozitivně definitní Û vlastní hodnoty Ñ2f(x) jsou kladné x je maximum Û Ñ2f(x) je negativně definitní Û vlastní hodnoty Ñ2f(x) jsou záporné

39 Cvičení - příklady 1) Optimalizace výroby:
A zisk z prodeje jednoho výrobku B ztráta způsobená vyrobením jednoho zmetku platí B = 1/3.A Počet zmetků: y = f(x), kde x je celkový počet výrobků Celkový zisk: T(x) = A.(x-y) -1/3.A.y Platí: f(x) = kx2

40 Cvičení - příklady II 2) Najděte všechna lokální minima funkce:
3) Máme vyrobit otevřenou plechovou krabici s daným objemem na kterou by se spotřebovalo co nejméně materiálu. 4) Najděte tvar válcové plechovky, který pro daný objem spotřebuje co nejméně materiálu.