Matematické základy Pomocí gradientu Ñ lze vyjádřit směrové derivace: Derivace funkce f ve směru s v bodě x je definována jako: Z tohoto vztahu lze odvodit, že platí:

Matematické základy II Průběh funkce f na přímce x(a) = x´ + as je dán jednorozměrnou funkcí f(a) = f(x(a)) a platí: Obdobně se dá ukázat, že: =>

Matematické základy III Sklon funkce f podél přímky x(a): Zakřivení funkce f podle x(a): Protože ale tyto definice jsou závislé na délce vektoru s (tj. na měřítku), je kvůli jednoznačnosti někdy potřebné připojit předpoklad ||s|| = 1, kde ||s|| je jistá pevně zvolená norma (to ale nebude nutné v případech, kdy se nám bude jednat jen o znaménko sklonu, resp. zakřivení).

Matematické základy IV Funkce f: Rn ® Rm je lipschitzovsky spojitá, pokud existuje l > 0 tak, že pro každé x, y Î Rn je: Každá lipschitzovsky spojitá funkce je zřejmě spojitá. Naopak má-li funkce f ohraničené všechny první parciální derivace, pak je lipschitzovsky spojitá.

Matematické základy V Jako lineární funkci budeme označovat každou funkci tvaru: kde a Î Rn a b Î R jsou konstanty.

Matematické základy VI Obecnou kvadratickou funkci můžeme zapsat ve tvaru: kde G, b a c jsou konstantní a matice G je symetrická. Jsou-li u a v vektory závislé na proměnné x (tedy u, v: Rn ® Rm), pak z pravidel pro derivování součinu funkcí plyne:

Matematické základy VII Položíme-li tedy v 1. rovnici na předchozím slidu u = x a v = Gx, dostáváme: (zde jsme využili symetrie matice G). Obdobně lze odvodit, že platí: Tedy gradient kvadratické funkce je roven lineární funkci a Hessova matice této funkce je rovna (konstantní) matici G.

Matematické základy VIII Jsou – li x a x´ dva dané body, pak: Tedy u kvadratických funkcí převádí matice G změnu v argumentu funkce na změnu gradientu.

Matematické základy IX Taylorův rozvoj pro gradient můžeme zapsat ve tvaru Pokud tedy pro malé h zanedbáme zbývající členy řady, můžeme říci, že v dostatečně malém okolí bodu x se každá dvakrát spojitě diferencovatelná funkce blíží kvadratické funkci.

Typy extrémů Lokální minimum a lokální maximum (často se označuje pouze minimum a maximum): Minimum: $W "xÎW(x*): f(x) ³ f(x*) Maximum: $W "xÎW(x*): f(x) £ f(x*) Kde W(x*) je (vícerozměrné) okolí bodu x*.

Typy extrémů III Globální minimum: Pokud f(x) ³ f(x*) pro všechna x z definičního oboru funkce f, pak je x* globálním minimem funkce f. Obdobně je definováno globální maximum funkce f.

Typy extrémů IV Při práci s minimy a maximy, definovanými na předchozích slidech se může stát, že pro některé funkce dostaneme „paradoxní“ výsledky. Např. x = 0 je lokálním minimem funkce: f(x) = min(1 + x, 0, 1 - x) a zároveň je také globálním maximem dané funkce.

Typy extrémů V K tomu, abychom mohli odlišit podobné krajní případy, definujeme ostré lokální minimum (a obdobně maximum) podmínkou: $W "xÎW(x*): f(x) > f(x*) pro " x, x ¹ x* kde W(x*) je (vícerozměrné) okolí bodu x*.

Typy extrémů VI Existují „patologické“ funkce, které mají v nějaké omezené oblasti nekonečně mnoho minim. Například to platí pro funkci: , kde:

Typy extrémů VII Z důvodu problémů, popsaných na předchozích slidech, definujeme ještě izolované lokální minimum: x* je izolovaným lokální minimem, pokud je jediným lokálním minimem v jistém svém okolí.

Optimalizace bez omezení (unconstraint) Nederivační (ad hoc) metody Jednoduché metody Nelder-Meadova (simplexová) metoda Derivační metody První derivace Metoda největšího spádu + další spádové metody Metoda konjugovaných gradientů Druhá derivace Newton-Raphsonova metoda Quasi-Newtonova metoda

Jednoduché metody Nejstarší z optimalizačních metod. Některé nejsou podloženy matematickou teorií, ostatní mají velmi jednoduchý princip. Konkrétně: Postupná optimalizace proměnných Systematické prohledávání Náhodnostní metoda Metoda alternujících proměnných

Jednoduché metody - postupná optimalizace proměnných Jedna z nejstarších optimalizačních metod (označována také „naivní metoda“ :-). Princip: Nejdříve nalezne minimum první proměnné (hodnoty ostatních proměnných se nemění). Původní hodnotu této proměnné nahradí nově nalezenou hodnotou. Analogicky jsou optimalizovány další proměnné. Zhodnocení: Metoda je použitelná pouze v některých případech: funkce 2 nebo 3 proměnných + vhodný tvar funkce. V součastnosti se tato metoda již nevyužívá.

Jednoduché metody - systematické prohledávání Anglicky označována grid search. Princip: Rozdělí vícerozměrný prostor, nad kterým je funkce definována na části pomocí vícerozměrné mřížky. Vypočítá pro každou část funkční hodnoty. Projde všechny funkční hodnoty a nalezne nejmenší z nich. V některých implementacích této metody analogickým způsobem prohledá okolí minima, nalezeného v předchozím kroku atd.

Jednoduché metody - systematické prohledávání Zhodnocení: Výhody: Spolehlivá metoda. Dnes se využívá pro hledání globálních extrémů případně pro nalezení všech extrémů v určité oblasti. Nevýhody: Složitost q(P1.P2. ... .PN), kde Pi je počet dílů mřížky pro i-tou proměnnou a N je rozměr prostoru, nad kterým je studovaná funkce definována.

Jednoduché metody - náhodnostní metoda Princip: V rámci každého kroku výpočtu je vypočítáno mnoho hodnot studované funkce pro náhodně vybrané hodnoty proměnných (tyto hodnoty jsou ovšem náhodně vybrány z určitého regionu). Poté je nalezena nejmenší hodnota funkce a ta se stane středem nového regionu (který má menší rozměry než původní region). Zhodnocení: Použitelné, ale pouze při dostatečně velkém počtu vypočítaných funkčnch hodnot v každém kroku. Nevýhodou je velká složitost metody.

Jednoduché metody - metoda alternujících proměnných Anglicky označována alternating variables method. Princip: V iteraci k (k = 1, 2, ..., N*) se mění (je optimalizována) pouze proměnná xk, ostatní proměnné jsou ponechány. Poznámka: Proměnná xk je optimalizována např. tak, že jsou vypočítány hodnoty xk´ = xk+dx a xk² = xk-dx, poté hodnoty f(x1, ..., xk´, ..., xN) a f(x1, ..., xk², ..., xN), a pak je pro další iteraci za xk použito nejvhodnější z xk´ a xk². Po proběhnutí iterací 1 ... N, když jsou všechny hodnoty optimalizovány, se celý cyklus opakuje znovu (až do splnění podmínek minima). * N je dimenze prostoru, nad kterým je funkce definována.

Jednoduché metody - metoda alternujících proměnných II Zhodnocení: Výhody: Jednoduchá implementace. Rozumná složitost. Nevýhody: V některých případech je tato metoda velmi neefektivní. Postup optimalizace je v těchto případech charakterizován oscilačním průběhem (viz následující obrázek). Navíc je znám problém (viz Practical methods of optimization), pro který metoda chybně konverguje k sedlovému bodu.

Jednoduché metody - metoda alternujících proměnných III Příklad pomalé konvergence metody:

Nelder-Meadova metoda - obecně Nazývá se také simplexová metoda. Základní myšlenka: N-rozměrným prostorem se pohybuje jistý objekt („améba“), který se může natahovat nebo zkracovat v různých směrech. Několik typů takových transformací má zajistit, aby se objekt posouval směrem do „údolí“ a po dosažení dna údolí se „plazil“ co nejkratší cestou k lokálnímu minimu.

Nelder-Meadova metoda - obecně II Simplex: V N-rozměrném prostoru je „améba“ definována jako simplex s N+1 vrcholy s neprázdným obsahem, tj. jde o konvexní obal tvořený N+1 body. Zápis simplexu: S = {p1, p2, ..., pN}, kde pi Î RN Příklady simplexů: R: R2: R3:

Nelder-Meadova metoda - transformace Reflexe: Bod pi, který má největší funkční hodnotu se přemístí (odzrcadlí) na druhou stranu simplexu, tj. k bodu pi se přičte dvojnásobek rozdílu mezi pi a průměrem ostatních bodů .

Nelder-Meadova metoda - transformace II Reflexe a prodloužení: Totéž jako v předchozím případě, až na to, že simplex je prodloužen v novém směru (tj. přičítá se více než dvojnásobek rozdílu mezi nejhorším bodem a průměrem ostatních).

Nelder-Meadova metoda - transformace III Kontrakce: Nejhorší bod se přiblíží k průměru ostatních. To je vhodné v případě, kdy má „améba“ projít úzkým údolím.

Nelder-Meadova metoda - začátek výpočtu Na začátku výpočtu se simplex nejčastěji definuje takto: kde: i = 1, ..., N p0 pevně zvolený (počáteční) bod ei jednotkové vektory l konstanta, odrážející odhad měřítka optimalizačního problému (např. šířku „údolí“)

Nelder-Meadova metoda - ukončení výpočtu Metoda končí, pokud: Není dosaženo výrazného snížení hodnoty studované funkce simplex se v některém cyklu prakticky nezmění

Nelder-Meadova metoda - zhodnocení Výhody: Jednoduchá implementace Rychlý výpočet 1 iterace Rychlá konvergence v oblastech daleko od minima Nevýhody: Pomalá konvergence v oblasteh poblíž minima Může nastat situace, že výpočet neskončí v lokálním minimu

Nelder-Meadova metoda - příklad aplikace

Cvičení - teorie Je-li A reálná symetrická matice, pak řekneme, že A je kladně definitní, pokud: sTAs > 0, "s ¹ 0 Matice A je kladně semidefinitní, pokud je výše uvedená nerovnost neostrá, tj. pokud: sTAs ³ 0, "s Obdobně řekneme, že A je negativně definitní (semidefinitní), pokud: sTAs < 0 (sTAs £ 0), "s

Cvičení - teorie II Vlastní hodnota komplexní čtvercové matice A je takové komplexní číslo l, pro které existuje komplexní vektor x tak, že: Ax = lx Je-li A reálná a symetrická, pak jsou všechny její vlastní hodnoty reálné.

Cvičení - teorie III Vypočítejte vlastní hodnoty matice: Charakteristický polynom A: Vlastní hodnoty: 1, -2, 3

Cvičení - teorie VI Platí: Matice je pozitivně definitní. <=> Všechny vlastní hodnoty matice jsou kladné. Matice je pozitivně semidefinitní. <=> Všechny vlastní hodnoty matice nezáporné. Analogicky negativně definitní a semidefinitní.

Cvičení - teorie V Podmínky pro extrémy funkce více proměnných: Podmínka pro první derivaci (nutná podmínka pro extrém): Pokud má funkce f: Rn ® R (se spojitou první derivací) v bodě x extrém, pak platí: Ñf(x) = 0 Podmínka pro druhou derivaci (postačující podmínka pro extrém): Funkce f: Rn ® R má spojitou první a druhou derivaci. Platí: x je minimum Û Ñ2f(x) je pozitivně definitní Û vlastní hodnoty Ñ2f(x) jsou kladné x je maximum Û Ñ2f(x) je negativně definitní Û vlastní hodnoty Ñ2f(x) jsou záporné

Cvičení - příklady 1) Optimalizace výroby: A zisk z prodeje jednoho výrobku B ztráta způsobená vyrobením jednoho zmetku platí B = 1/3.A Počet zmetků: y = f(x), kde x je celkový počet výrobků Celkový zisk: T(x) = A.(x-y) -1/3.A.y Platí: f(x) = kx2

Cvičení - příklady II 2) Najděte všechna lokální minima funkce: 3) Máme vyrobit otevřenou plechovou krabici s daným objemem na kterou by se spotřebovalo co nejméně materiálu. 4) Najděte tvar válcové plechovky, který pro daný objem spotřebuje co nejméně materiálu.