TriloByte Statistical Software

Prezentace na téma: "TriloByte Statistical Software"— Transkript prezentace:

1 TriloByte Statistical Software

2 Qualimetrics: PLS, NN a regresní modely v řízení kvality
Karel Kupka, TriloByte, Pardubice, Czech Republic

3 Klasická regrese y = Xa X Y

4 Robustní regrese Predikce senzorického hodnocení plzeňského piva
Lp – odhady LTS (least trimmed squares) odhady LMS (least median of squares) odhady M – odhady BIR – odhady (Bounded Influence Regression) Predikce senzorického hodnocení plzeňského piva Predikce fyzikálních vlastností materiálů Predikce biologické a biochemické aktivity

5 Robustní regrese (1) Regresní přímka Nejmenší čtverce
Robustní M-odhad Welsh

6 Robustní regrese (2) Regresní polynom Nejmenší čtverce
Robustní BIR-odhad

7 Robustní regrese (3) Predikce vlastnosti oceli Nejmenší čtverce
Robustní M-odhad Welsh

8 Redukce dimenze – PCR (1)
ortogonalizace hlavní komponenty X Q Y Snížení dimenzionality úlohy – snadnější interpretace Ortogonalizace maximálně zvyšuje stabilitu řešení Přesnější predikce

9 Redukce dimenze – PCR (2)
Hlavní komponenty – komprese informace do minima proměnných

10 Tok dat v QC/Technologii

11 PLS: Partial Least Squares: relace mezi vícerozměrnými daty
Na rozdíl od klasické regrese, v PLS regresních modelech jsou X a Y zaměnitelné – lze tedy korektně predikovat Y z X stejně jako X z Y. X Y

12 Metody kvalimetrie, možnosti PLS
Data vystupující v technologiích jakosti mají téměř vždy vícerozměrný charakter, protože představují několik hodnot měřených současně nebo na jednom produktu. Metody analyzující taková data jako celek se proto nazývají vícerozměrné. Vycházejí z datových tabulek, které jsou obvykle k dispozici v excelu, nebo databázi. Tyto tabulky obsahují například vlastnosti vstupních surovin a okolností, naměřené, nebo nastavené hodnoty sledovaných veličin v různých fázích výrobního nebo obchodního procesu. Některé veličiny představují parametry jakosti. Nejjednodušší představa zahrnuje tabulky Vstupních dat (suroviny, zdroje, dodavatelé, vstupní přejímky), Procesních dat (výrobní podmínky, procesní parametry, mezioperační kontroly), Výstupních dat (specifikace, parametry kvality produktu, hodnocení odběratele).

13 X = TP + E Y = UQ + F Metodika a metody PLS Podstata Metody PLS
Metody PLS jsou založené na syntéze principu příbuzném metodě hlavních komponent (PCA) a vícenásobné lineární regrese. Tato matematická metoda je využívána v ekonometrii, chemometrii, biometrii a v poslední době se objevují aplikace v kvalimetrii. Cílem metody je odhalit vztahy mezi vícerozměrnými daty v databázích a využít této znalosti k přibližnému výpočtu hodnot jedné skupiny veličin z druhé. Podstata Metody PLS Tabulku naměřených hodnot p veličin (sloupců) s n řádky označme jako matici X(n x p), a odpovídající tabulku se stejným počtem řádků n ale s q veličinami označme Y(n x q), Abychom extrahovali maximum informace z p- a q- rozměrných matic do prostoru s nižší dimenzí k, rozložíme X a Y na ortogonální matice T (n x k) a U (n x k), s koeficienty P a Q X = TP + E Y = UQ + F

14 Y = TBQ T = XP- U = TB BQ = R X = TP + E Y = TR + F
T (n x k), U (n x k), k  min(p, q). Zajištění maximální relevance X-komponent pro Y, tyto transformace maximalizují kovariance mezi T a U. Dimenzionalita T a U je typicky menší než X a Y a sloupce T a U jsou ortogonální. To zlepší stabilitu modelu. Šum a irelevantní informace se koncentruje v „popelnicích“ E a F. Je-li k = p, pak E = 0. Dekompozice U = TB (B je čtvercová diagonální matice) poskytuje nástroj pro predikci Y z X: Y = TBQ T = XP- Kombinací tohoto a předchozích vztahů je zřejmý vztah (vnitřní lineární vazba mezi X a Y. U = TB BQ = R X = TP + E Y = TR + F T se konstruuje z nových dat X. Protože T = XP–, Y = XP–BQ, a tedy P–BQ reprezentuje originální (obecně vychýlené a zkrácené – tedy stabilnější) regresní parametry modelu Y = XA.

15 P X T E = + Q Y U F = + PREDIKCE X Y

16 Možnosti robustních modifikací PLS
Robustifikace kovarianční matice Robustifikace metriky, neeikleudovská geometrie Classical X 1 2 3 4 5 6 7 8 9 10 Robust y

17 Na rozdíl od klasické lineární regrese jsou v PLS X a Y rovnocenné, tedy zaměnitelné – je jedno, kterou matici označíme X a kterou Y. Proto lze predikovat Y z X stejně jako X z Y. Je tedy PLS rovněž často používaným nástrojem pro lineární vícerozměrnou kalibraci. Y X

18 Vícerozměrná kalibrace
Chemické složení (koncentrace, pH) Spektrum (absorbance) Látka 1 Látka 2 Látka 3 Látka 4 Koncentrace 1 Koncentrace 2 Koncentrace 3 Koncentrace 4 … l1 l2 l3 l4 0.394 0.383 0.351 0.337 …

19 Vícerozměrná kalibrace v QI/QP
Suroviny, technologie, podmínky Parametry produktu Vlhkost Teplota Průtok Tlak 4.48 188 45.2 5.82 … Surface Quality Defor mation Hard ness Tensile Strength 0.394 0.0383 3.51 17.37 …

20 Zkrácený postup iterativního výpočtu PLS
E = X; F = Y Krok 1. w ~ ETu (odhad X vah) Krok 2. t ~ Ew (odhad X skórů) Krok 3. q ~ FTt (odhad Y vah) Krok 4. u = Fq (odhad Y skórů) E = E – tT p; F = F – tT b q (oprava E,F)

21 Některé aplikace billineárních modelů
Technologie: Procesní parametry  Fyzikální vlastnosti Technologie: Procesní parametry  Fyzikální vlastnosti Proces/chemické složení  Sensoric/Quality parametry Vstupní faktory  Výstupní kval/kvant -itativní vlastnosti Procesní podmínky  Výstupní kval/kvant -itativní vlastnosti Toxicology: Composition/Structure  Toxicity Health: Chemical Structure  Bioeffects Pollution: Composition  Origin/Source Pollution: Composition  Human health effects Environment: Environmental factors  Species diversity

22 Jakost - Řízení jakosti? Zlepšení jakosti?
Měření jakosti - Kvantifikace! Porozumění vztahům! Sestavení fungujících modelů. Plánování jakosti.

23 Aplikace: Vlastnosti hliníkové slitiny
Chemické složení Fyzikální vlastnosti

24

25

26 Aplikace: Vlastnosti piva Y X

27

28

29 Bi-Plot v PLS Dekompozice TP a UQ se dají využít pro konstrukci společného grafu skórů a zátěží Bi-Plot, který umožní omezené posouzení dat a proměnných pro X i Y.

30 Bi-Plot v PLS Identifikace obchodních příležitostí modifikací PLS v produkci piva Hic Sunt Leones

31 Design nového produktu - QP
Požadované vlastnosti, X T = XP- Y = TBQ Predikované složení, Y

32 Modified robust PLS prediction models Přínos –
Plánování a posuzování vývoje produktu Úspory při vývoji produktu Analýza a predikce příležitostí na trhu Výsledky – Nalezení vztahů mezi technologií a kvalitou Kvantitativní predikce vlastností

33 Aplikace NN jako statistického predikčního modelu
Neuronové sítě Aplikace NN jako statistického predikčního modelu

34 Inspirace neuronové sítě
Jádro Dendrity-dostředivé výběžky Axon-neurit Synaptické přípojky pro předání vzruchu

35 EM fotografie neuronu

36

37

38 Model neuronu a aktivační funkce
Nejjednodušší aktivační funkce Rosemblatt 1962 – učící algoritmus PERCEPTRON složený z modelů neuronu ve dvou vrstvách (vstupní a výstupní). Vstupní vrstva dostává data z okolí a výstupní vrstva posílá informace ze sítě ven.Každý vstupní neuron je přímo spojen se všemi výstupními (vstupy a výstupy jsou binární –1,1). Perceptron dokáže řešit úlohu lineárně oddělitelné klasifikace. Pro lineárně neoddělitelné klasifikace pomocí perceptronů nefunguje

39 Některé další typy aktivační funkce

40 Logistická aktivační funkce

41 Jednovrstvá neuronová síť
z = xi.wij σj+1, i (z) = 1/(1 + e – z) zi = a0 + Σaij zi-1,j Vstupní veličina xi je po normalizaci vážena vahou wji a v neuronu transformována aktivační funkcí σj+1, i (z) = 1/(1 + e – z), kde z je lineární kombinace vstupních veličin, zi = a0 + Σaijzi-1,j. Váhy wji představují vazbu mezi vstupní hodnotou a neuronem.

42 Vícevrstvé neuronové sítě
Mc Clelland a Rumelhart 1986 trénování vícevrstvých ANN pomocí Backpropagation-BP (zpětné šíření). Možno řešit problémy lineárně neoddělitelné klasifikace.

43 Postup použití NN Volba vhodné struktury sítě (architektura)
Trénování sítě na změřených datech (učení) Predikce pomocí NN

44 Návrh a trénování NN Počet skrytých vrstev
pro většinu problémů stačí jedna zvětšování počtu vede k výraznému nárůstu počítačové náročnosti Počet neuronů ve skryté vrstvě rámcové pravidlo, že postačuje přirozený logaritmus počtu vstupů Architektura nejběžnější je plně propojená dopředná síť, logistická AF Velikost trénovací množiny postačující pro zobecnění a zaplnění prostoru dat při menším počtu dojde ke kopírování všech informací (interpolace) Možnost použití crossvalidace Počet vstupů odstranění parasitních proměnných je nezbytné Standardizace vstupů standardizace zlepšuji rychlost učení

45 Optimalizace NN Minimalizace součtu čtverců odchylek Vstup do výstupní vrstvy (uvažuje se pouze jeden výstup) je vážený součet všech aktivačních funkcí ve tvaru Predikce Cílem je nalézt váhy wji j = 1,…M, i = 1,…m, a Wj j = 1…M. Jde tedy o celkem M*(m+1) parametrů. To je vzhledem ke tvaru kritéria K řešitelné pomocí derivačních algoritmů nelineární regrese.Pokud označíme aktivační funkci symbolem F(.), lze kriteriální podmínku K pro určení vah vyjádřit ve tvaru

46 Pro řešení optimalizační úlohy pro Wij lze použít jednoduchou iterativní metodu
založenou na výpočtu gradientu, kdy pro přírůstek platí

47 Postup při optimalizaci metodou BP

48 Aplikace NN pro predikci optických vlastností pigmentu
Ln2 Zr(2-x) Mx O7 Ln = lanthanoids M = Cr or V x = 0.05 to 0.2 T = 1400 or 1500˚C L* a* b* dE* } barevné koordináty

49 Aplikace NN pro modelování kvality piva (1)
Plzeňský pivovar X ... Chemie + technologie Y ... Subjektivní vlastnosti

50 Aplikace NN pro modelování kvality piva (2)
Predikční schopnost modelu X -> Y X ... Chemie + technologie Y ... Subjektivní vlastnosti

51 Aplikace NN pro modelování kvality piva (3)
Predikční schopnost modelu Y -> X X ... Chemie + technologie Y ... Subjektivní vlastnosti

52 Neuronové sítě a časové řady
Model časové řady Jednorozměrný- xi = g(x1, x2, ... ,xi-2, xi-1) Vícekrokový- (xi, ..., xi+m) = g(x1, x2, ... ,xi-2, xi-1) Vícerozměrný- xi = h(x1, x2, ... ,xi-2, xi-1, C) AR ARMA ARIMA ARCH GARCH

53 Predikce kvality média, JE Dukovany

54 Discovery and data analysis system
SOFTWARE ... Discovery and data analysis system

55 LITERATURA ...

56 LITERATURA ...

57 Vývoj, výzkum, podpora... TriloByte Statistical Software CQR, D&R

58 Jakost - Quality ReQuEst
Na shledanou na Jakost - Quality ReQuEst 20. – 30. 1 – PRAHA OSTRAVA