Qualimetrics: PLS, NN a regresní modely v řízení kvality REQUEST 2006 Karel Kupka, TriloByte, Pardubice, Czech Republic Centrum pro jakost a spolehlivost.

Slides:



Advertisements
Podobné prezentace
Lineární klasifikátor
Advertisements

Sedm základních nástrojů managementu jakosti
Dualita úloh lineárního programování a analýza citlivosti
Rekonstrukce povrchu objektů z řezů Obhajoba rigorózní práce 25. června 2003 Radek Sviták
Automatická fonetická segmentace pomocí UNS Registr - 36 neuronových sítí MLNN (pro každou českou hlásku jedna UNS) Trénovací množina: databáze promluv.
Aplikační počítačové prostředky X15APP MATLAB - SIMULINK
Hodnocení způsobilosti měřících systémů
Lekce 1 Modelování a simulace
Algoritmy a struktury neuropočítačů ASN - P1 Prof.Ing. Jana Tučková,CSc. Katedra teorie.
Lineární regresní analýza Úvod od problému
ROZHODOVACÍ PROCESY PRO VÍCECESTNÉ TELEMATICKÉ APLIKACE Filip Ekl
DOK „Umělá inteligence“ v DOK (i jinde). NEURONOVÉ SÍTĚ.
Sylabus V rámci PNV budeme řešit konkrétní úlohy a to z následujících oblastí: Nelineární úlohy Řešení nelineárních rovnic Numerická integrace Lineární.
Využití umělých neuronových sítí k urychlení evolučních algoritmů
FORMALIZACE PROJEKTU DO SÍŤOVÉHO GRAFU
Lineární programování Simplexový algoritmus
Lineární algebra.
LOGISTICKÉ SYSTÉMY 8/14.
Neuronové sítě Jakub Krátký.
Vícevrstvé neuronové sítě.  Neuronové sítě jsou složeny z neuronů tak, že výstup jednoho neuronu je vstupem jednoho nebo více neuronů  Propojení neuronů.
Růstové a přírůstové funkce
TriloByte Statistical Software
Základy ekonometrie Cvičení září 2010.
TMF045 letní semestr 2005/2006 II Časová propagace vlnové funkce na mřížce I. (práce s momentovou reprezentací) (Lekce II)
Systémy pro podporu managementu 2
Podnikové informační systémy C7 – Data Mining a získávání znalostí České vysoké učení technické v Praze Fakulta strojní ústav Řízení a ekonomiky podniku.
Informatika pro ekonomy II přednáška 10
Informační systémy TPS,MIS, SIS.
Tato prezentace byla vytvořena
Nelineární klasifikátory
1 Kognitivní inspirace třídění na základě závislostí atributů Jan Burian Eurfomise centrum – Kardio, Ústav informatiky AV ČR Článek je dostupný na WWW:
Dokumentace informačního systému
Systémy pro podporu managementu 2 Inteligentní systémy pro podporu rozhodování 1 (DSS a znalostní systémy)
REGIONÁLNÍ ANALÝZA Cvičení 3 Evropský sociální fond
Lineární regresní analýza
Neuronové sítě Jiří Iša
Experimentální fyzika I. 2
© Institut biostatistiky a analýz INVESTICE DO ROZVOJE VZDĚLÁVÁNÍ ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc.
Databázové systémy Informatika pro ekonomy, př. 18.
Opakování lekce 4,5,
Jednoduchý lineární regresní model Tomáš Cahlík 2. týden
Sylabus V rámci PNV budeme řešit konkrétní úlohy a to z následujících oblastí: Nelineární úlohy Řešení nelineárních rovnic Numerická integrace Lineární.
Teorie čísel Prvočíslo Generování prvočísel: Erathosenovo síto
V experimentu měníme hodnotu jedné nebo několika veličin x i a studujeme závislost veličiny y. - např. měníme, ostatní x i bereme jako parametry ( , ,
Algoritmy a struktury neuropočítačů ASN - P14 Hopfieldovy sítě Asociativní paměti rekonstrukce původních nezkreslených vzorů předkládají se neúplné nebo.
Dita Matesová, David Lehký, Zbyněk Keršner
Neuronové sítě. Vývoj NS 1943 – W. McCulloch, W. Pittse – první jednoduchý matematický model neuronu 1951 – M. Minsky - první neuropočítač Snark 1957.
Přenos nejistoty Náhodná veličina y, která je funkcí náhodných proměnných xi: xi se řídí rozděleními pi(xi) → můžeme najít jejich střední hodnoty mi a.
Neuronové sítě.
Klasifikace a rozpoznávání Lineární klasifikátory.
IV..
© Institut biostatistiky a analýz INVESTICE DO ROZVOJE VZDĚLÁVÁNÍ ANALÝZA A KLASIFIKACE DAT prof. Ing. Jiří Holčík, CSc.
Statistické metody pro prognostiku Luboš Marek Fakulta informatiky a statistiky Vysoká škola ekonomická v Praze.
Ověření modelů a modelování Kateřina Růžičková. Posouzení kvality modelu Ověření (verifikace) ● kvalitativní hodnocení správnosti modelu ● zda model přijatelně.
Ukládání dat biodiverzity a jejich vizualizace
Korelace. Určuje míru lineární vazby mezi proměnnými. r < 0
Interpolace funkčních závislostí
ANALÝZA A KLASIFIKACE DAT
Klasifikace a rozpoznávání
Informatika pro ekonomy přednáška 8
Regresní analýza výsledkem regresní analýzy je matematický model vztahu mezi dvěma nebo více proměnnými snažíme se z jedné proměnné nebo lineární kombinace.
Neuronové sítě.
Parciální korelace Regresní analýza
Lineární optimalizační model
Neuronové sítě.
ANALÝZA A KLASIFIKACE DAT
Pokročilé neparametrické metody Validační techniky
Lineární regrese.
Interpolace funkčních závislostí
ANALÝZA A KLASIFIKACE DAT
Transkript prezentace:

Qualimetrics: PLS, NN a regresní modely v řízení kvality REQUEST 2006 Karel Kupka, TriloByte, Pardubice, Czech Republic Centrum pro jakost a spolehlivost CQR Grant 1M MŠMT: 1M06047

Příklad datových bází a možnosti modelování vztahů s vyznačenými toky informací

Metody kvalimetrie, možnosti PLS Data vystupující v technologiích jakosti mají téměř vždy vícerozměrný charakter, protože představují několik hodnot měřených současně nebo na jednom produktu. Metody analyzující taková data jako celek se proto nazývají vícerozměrné. Vycházejí z datových tabulek, které jsou obvykle k dispozici v excelu, nebo databázi. Tyto tabulky obsahují například vlastnosti vstupních surovin a okolností, naměřené, nebo nastavené hodnoty sledovaných veličin v různých fázích výrobního nebo obchodního procesu. Některé veličiny představují parametry jakosti. Nejjednodušší představa zahrnuje tabulky (a) Vstupních dat (suroviny, zdroje, dodavatelé, vstupní přejímky), (b) Procesních dat (výrobní podmínky, procesní parametry, mezioperační kontroly), (c) Výstupních dat (specifikace, parametry kvality produktu, hodnocení odběratele).

X = TP + E Y = UQ + F Metody PLS jsou založené na syntéze principu příbuzném metodě hlavních komponent (PCA) a vícenásobné lineární regrese. Tato matematická metoda je využívána v ekonometrii, chemometrii, biometrii a v poslední době se objevují aplikace v kvalimetrii. Cílem metody je odhalit vztahy mezi vícerozměrnými daty v databázích a využít této znalosti k přibližnému výpočtu hodnot jedné skupiny veličin z druhé. Metodika a metody PLS Podstata Metody PLS Tabulku naměřených hodnot p veličin (sloupců) s n řádky označme jako matici X(n x p), a odpovídající tabulku se stejným počtem řádků n ale s q veličinami označme Y(n x q), Abychom extrahovali maximum informace z p- a q- rozměrných matic do prostoru s nižší dimenzí k, rozložíme X a Y na ortogonální matice T (n x k) a U (n x k), s koeficienty P a Q

T (n x k), U (n x k), k  min(p, q). Zajištění maximální relevance X-komponent pro Y, tyto transformace maximalizují kovariance mezi T a U. Dimenzionalita T a U je typicky menší než X a Y a sloupce T a U jsou ortogonální. To zlepší stabilitu modelu. Šum a irelevantní informace se koncentruje v „popelnicích“ E a F. Je-li k = p, pak E = 0. Dekompozice U = TB (B je čtvercová diagonální matice) poskytuje nástroj pro predikci Y z X: Y = TBQ T se konstruuje z nových dat X. Protože T = XP –, Y = XP – BQ, a tedy P – BQ reprezentuje originální (obecně vychýlené a zkrácené – tedy stabilnější) regresní parametry modelu Y = XA. X = TP + E Y = TR + F U = TB BQ = R Kombinací tohoto a předchozích vztahů je zřejmý vztah (vnitřní lineární vazba mezi X a Y. T = XP -

=+ XT P E =+ YU Q F XY PREDIKCE

Na rozdíl od klasické lineární regrese jsou v PLS X a Y rovnocenné, tedy zaměnitelné – je jedno, kterou matici označíme X a kterou Y. Proto lze predikovat Y z X stejně jako X z Y. Je tedy PLS rovněž často používaným nástrojem pro lineární vícerozměrnou kalibraci. X Y

Vícerozměrná kalibrace Látka 1Látka 2Látka 3Látka 4 Koncen trace 1 Koncen trace 2 Koncen trace 3 Koncen trace 4 …………     ………… Chemické složení (koncentrace, pH)Spektrum (absorbance)

E = X; F = Y Krok 1. w ~ E T u (odhad X vah) Krok 2. t ~ Ew (odhad X skórů) Krok 3. q ~ F T t (odhad Y vah) Krok 4. u = Fq (odhad Y skórů) E = E – t T p; F = F – t T b q (oprava E,F) Zkrácený postup iterativního výpočtu PLS

Některé aplikace billineárních modelů Technologie: Procesní parametry  Fyzikální vlastnosti Proces/chemické složení  Sensoric/Quality parametry Vstupní faktory  Výstupní kval/kvant -itativní vlastnosti Procesní podmínky  Výstupní kval/kvant -itativní vlastnosti Toxicology: Composition/Structure  Toxicity Health: Chemical Structure  Bioeffects Pollution: Composition  Origin/Source Pollution: Composition  Human health effects Environment: Environmental factors  Species diversity

Aplikace: Vlastnosti hliníkové slitiny Chemické složeníFyzikální vlastnosti

X Y Aplikace: Vlastnosti piva

Bi-Plot v PLS Dekompozice TP a UQ se dají využít pro konstrukci společného grafu skórů a zátěží Bi-Plot, který umožní omezené posouzení dat a proměnných pro X i Y.

„Predikce prediktorů“ Požadované vlastnosti, X Predikované složení, Y Y = TBQT = XP -

Neuronové sítě Aplikace NN jako statistického predikčního modelu

Inspirace neuronové sítě • Jádro • Dendrity- dostředivé výběžky •Axon-neurit • Synaptické přípojky pro předání vzruchu

EM fotografie neuronu

Model neuronu a aktivační funkce Nejjednodušší aktivační funkce Rosemblatt 1962 – učící algoritmus PERCEPTRON složený z modelů neuronu ve dvou vrstvách (vstupní a výstupní). Vstupní vrstva dostává data z okolí a výstupní vrstva posílá informace ze sítě ven.Každý vstupní neuron je přímo spojen se všemi výstupními (vstupy a výstupy jsou binární –1,1). Perceptron dokáže řešit úlohu lineárně oddělitelné klasifikace. Pro lineárně neoddělitelné klasifikace pomocí perceptronů nefunguje

Některé další typy aktivační funkce

Logistická aktivační funkce

Jednovrstvá neuronová síť Vstupní veličina x i je po normalizaci vážena vahou w ji a v neuronu transformována aktivační funkcí σ j+1, i (z) = 1/(1 + e – z), kde z je lineární kombinace vstupních veličin, z i = a 0 + Σa ij z i-1,j. Váhy w ji představují vazbu mezi vstupní hodnotou a neuronem. z = x i.w ij σ j+1, i (z) = 1/(1 + e – z ) z i = a 0 + Σa ij z i-1,j

Vícevrstvé neuronové sítě Mc Clelland a Rumelhart 1986 trénování vícevrstvých ANN pomocí Backpropagation-BP (zpětné šíření). Možno řešit problémy lineárně neoddělitelné klasifikace.

Postup použití NN  Volba vhodné struktury sítě (architektura)  Trénování sítě na změřených datech (učení)  Predikce pomocí NN

Návrh a trénování NN  Počet skrytých vrstev - pro většinu problémů stačí jedna - zvětšování počtu vede k výraznému nárůstu počítačové náročnosti  Počet neuronů ve skryté vrstvě - rámcové pravidlo, že postačuje přirozený logaritmus počtu vstupů  Architektura - nejběžnější je plně propojená dopředná síť, logistická AF  Velikost trénovací množiny - postačující pro zobecnění a zaplnění prostoru dat - při menším počtu dojde ke kopírování všech informací (interpolace) - Možnost použití crossvalidace  Počet vstupů - odstranění parasitních proměnných je nezbytné  Standardizace vstupů - standardizace zlepšuji rychlost učení

Optimalizace NN Minimalizace součtu čtverců odchylek Vstup do výstupní vrstvy (uvažuje se pouze jeden výstup) je vážený součet všech aktivačních funkcí ve tvaru Predikce Cílem je nalézt váhy w ji j = 1,…M, i = 1,…m, a W j j = 1…M. Jde tedy o celkem M*(m+1) parametrů. To je vzhledem ke tvaru kritéria K řešitelné pomocí derivačních algoritmů nelineární regrese.Pokud označíme aktivační funkci symbolem F(.), lze kriteriální podmínku K pro určení vah vyjádřit ve tvaru

Pro řešení optimalizační úlohy pro W ij lze použít jednoduchou iterativní metodu založenou na výpočtu gradientu, kdy pro přírůstek platí

Postup při optimalizaci metodou BP

Aplikace NN pro predikci optických vlastností pigmentu Ln 2 Zr (2-x) M x O 7 Ln = lanthanoids M = Cr or V x = 0.05 to 0.2 T = 1400 or 1500˚C L* a* b* dE* } barevné koordináty

Aplikace NN pro modelování kvality piva (1) Plzeňský pivovar X... Chemie + technologie Y... Subjektivní vlastnosti

Predikční schopnost modelu X -> Y X... Chemie + technologie Y... Subjektivní vlastnosti Aplikace NN pro modelování kvality piva (2)

Predikční schopnost modelu Y -> X X... Chemie + technologie Y... Subjektivní vlastnosti Aplikace NN pro modelování kvality piva (3)

NN pro modelování a předpovědi časových řad JE Du, JE Te Chemické a fyzikální parametry v primárním a sekundárním okruhu jaderné elektrárny Dukovany. Model NN-TS zde predikoval podstatně lépe než klasické modely časové řady AR, resp. ARIMA. Včasná předpověd budoucích výchylek a nestabilit. Model NN-TS jako inteligentní regulační diagram.