Zpracování experimentálních dat

Prezentace na téma: "Zpracování experimentálních dat"— Transkript prezentace:

1 Zpracování experimentálních dat
Pavel Matějka K08, N01 2006/2007

2 Obsah předmětu Naměřená data a analytické výsledky
Způsoby zpracování dat Výpočetní technika a zpracování dat Formáty dat a jejich konverze

3 Obsah předmětu Šum a jeho potlačení Sledovaný signál a pozadí
Integrace signálů Derivace signálů hledání extrémů hledání ramének (překryv pásů)

4 Obsah předmětu Popis a parametry píků Dekonvoluce, modelování
Fourierova transformace Vícedimenzionální datové soubory, mapy dat

5 Obsah předmětu Zpracování většího počtu datových souborů
základní matematické operace se signály (odečty, podíly ...) složitější operace se sadou datových souborů tvorba maker pro automatizaci zpracování

6 Obsah předmětu Statistická analýza
průměrování vícedimenzionálních dat a výpočty směrodatných odchylek klastrová analýza faktorová analýza analýza hlavních komponent klasifikační metody regresní metody

7 Softwarové prostředky
ACD/SpecViewer - freeware Omnic, TQ Analyst - NICOLET Lab Spec - DILOR Spectral Data Processor - XPS Microcal ORIGIN MS Excel Unscrambler Introducer - CAMO

8 Program ACD/SpecViewer

9 Program ACD/ChemBasic-editor

10 Program OMNIC E.S.P.

11 Program MACROS BASIC pro OMNIC E.S.P.

12 Program LABSPEC

13 Program Spectra Data Processor - XPS

14 Program Microcal ORIGIN

15 Program MS Excel

16 Program Unscrambler

17 Naměřená data a analytické výsledky
Zpracování dat analytické výsledky

18 Naměřená data jedna hodnota 5,00 mg (bod – 1D)
řada dat 15,8; 27,2; 38,3 … (vektor) funkční závislosti - dvojice hodnot - x, y - trojice hodnot - x, y, z - více dimenzionální (matice) , tabulky, grafy

19 Způsoby zpracování dat
numerické - základní aritmetika maticový počet ! grafické - geometrie !

20 Způsoby zpracování dat
tužka, papír + pravítko, křivítko + logaritmické pravítko + kalkulačka + liniový zapisovač + počítač ! !

21 ANALYTICKÝ VÝSLEDEK POŽADAVKY NA VÝSLEDEK POŽADAVKY NA ZPRACOVÁNÍ DAT
hodnověrný spolehlivý opakovatelný POŽADAVKY NA ZPRACOVÁNÍ DAT

22 Výpočetní technika a zpracování dat
VSTUP DAT ON-LINE OFF-LINE HARDWARE SOFTWARE Presentační Pracovní VÝSTUP DAT

23 Vstup dat NUTNÁ PODMÍNKA
on-line - PROPOJENÍ měřicího zařízení a počítače - RYCHLOST PŘENOSU DAT ŘÍZENÍ KOMUNIKACE

24 Vstup dat VHODNÉ, NE NUTNÉ
off-line - PROPOJENÍ měřicího zařízení a počítače „logger“ v zařízení a dávkový přenos dat VARIABILNÍ TYP VSTUPU

25 Výstup dat a protokoly Presentační pro objednavatele analýzy
elektronická či tištěná forma Pracovní pro vlastní potřebu pro další zpracování elektronická či tištěná forma

26 Ukládání a sdílení dat Víceuživatelské
Jednouživatelské kombinace psaných a elektronických záznamů v různých formátech Víceuživatelské ELN - elektronický laboratorní zápisník INTEGRACE DAT Z RŮZNÝCH ZDROJŮ DO JEDNOTNÉ FORMY

27 HARDWARE „Osobní počítače“ - univerzální
pro jeden či malý počet přístrojů „Pracovní stanice“ - specializované pro jeden či malý počet přístrojů „Servery“ - specializované i pro větší počet přístrojů

28 SOFTWARE RUTINNÍ ANALÝZY
požadavky GLP, norem - minimální možnost zásahu uživatele VÝVOJ METODIKY v rámci známé analytické metody omezené zásahy uživatele „ZÁKLADNÍ“ analytický VÝZKUM vysoká variabilita, možnost široké palety zásahů uživatele

29 SOFTWARE SPECIALIZOVANÝ SOFTWARE „jednoúčelový“ SOFTWAROVÉ „BALÍČKY“
uživatelsky jednoduchý příklad „OMNIC“ - pro měření a základní zpracování infračervených spekter SOFTWAROVÉ „BALÍČKY“ pro širokou škálu aplikací vysoká variabilita, možnost tvorby uživatelských „maker“, „rutin“, „subprogramů“ uživatelsky složitější příklad „ORIGIN“, „EXCEL“

30 Formáty dat a jejich konverze
- univerzální formáty - jednoúčelové formáty - převody mezi formáty

31 na identifikátory desetinných čísel
Univerzální formáty TEXTOVÝ formát *.txt , *.csv, *.prn, * .dat ASCII - XY - nejběžnější 2 sloupce čísel fixní šířka sloupců oddělovače sloupců (, ; tab) POZOR na identifikátory desetinných čísel či tisíců !

32 Textový formát e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000 e+002; e+000

33 Textový formát ASCII - Y 1 sloupec čísel - ypsilonové hodnoty
konstantní delta X definované v záhlaví

34 Textový formát ASCII - X multiple Y
1 sloupec hodnot X více sloupců hodnot Y stejné hodnoty X pro více datových řad chybí univerzální podpora tohoto formátu

35 Textový formát Nevýhody Výhody univerzálnost chybí popis dat
nepravidelný krok snadný náhled snadná extrakce části dat snadné spojování dat Nevýhody chybí popis dat chybí jakékoli doplňkové informace objemné soubory nedostatečná kodifikace formátu

36 Univerzální formáty JCAMP-DX formát *.jdx , *.dx, *.dx?
konstantní delta X v řádku pro jednu hodnotu X deset po sobě jdoucích hodnot Y definované položky v hlavičce souboru nedatové položky odlišeny ##

37 JCAMP-DX formát ##TITLE=p-HAP ##JCAMP-DX=4.24
##DATA TYPE=RAMAN SPECTRUM ##DATE=20/4/2001 ##TIME=12:28:33 ##SAMPLING PROCEDURE=cup ##ORIGIN=ED ##DATA PROCESSING=no operation ##SAMPLE DESCRIPTION=p-HAP ##XUNITS=1/CM ##YUNITS=ABSORBANCE ##RESOLUTION=4 ##FIRSTX= ##LASTX= ##DELTAX= ##MAXY= ##MINY= ##XFACTOR=1 ##YFACTOR= e-010 ##NPOINTS=1817 ##FIRSTY= ##XYDATA=(X++(Y..Y))

38 JCAMP-DX formát Nevýhody Výhody uznávaná kodifikace konstantní krok
snadný náhled řada průvodních informací definovaně uvedených záhlaví Nevýhody konstantní krok „pseudo“ objemné soubory

39 Univerzální formáty Galactic Industries formát (GRAMS, Spectra Calc)
*.spc starší verze - konstantní delta X novější verze - nepravidelný krok

40 GALACTIC formát M €ÝCĎěB^ţlD
Ń irrad/frez )ŕ8!ŕ¸Fŕ8U ŕ8’ŕ8Ĺ ŕ8¸ŕ8{ ŕ8bŕ8อŕ¸Vŕ¸íŕ¸Çŕ¸ŕ8 ŕ8 ŕ8ˇŕ¸'ŕ8šŕ¸*ฐŕ¸ŕ8Yŕ¸Ďŕ8|ŕ¸Qŕ¸Wŕ84ŕ8ถ" ą-+ 9í8 ąJ ąłR ą:I 9: ąŔ3 ąO7 9ó< 9Ú; 9Ó2 ąÓ2 ą) 9»! 9`ŕ8őึŕ¸řŕ8Ťŕ¸uŕ8¦ŕ8»ŕ¸$ŕ¸<ŕ8ąŕ8uŕ8Î# ą$" 9řธŕ8oŕ¸Kŕ¸Zŕ8iŕ8Aŕ¸çŕ8»ŕ¸hŕ¸ęŕ8ůŕ8ßŕ¸ŕ¸ŕ¸Hŕ¸fŕ8ąŕ¸Řŕ¸Kŕ¸Çŕ88ฐŕ8Kŕ88ŕ¸ŕ¸! ą§# ąŽ% 9Ř% ą!% ąť# 9î! 9D ąVŕ8ˇฦŕ¸ëŕ8#ŕ¸Ěŕ¸úŕ¸a ąq 9d ąçŕ8 9: ą§ 9Ń! ąŃ! ą4# 9v& 9•* ąă0 9”8 9>E ąĘE ąB 9–< 9q7 9ă3 ąŐ1 ąú. 9ć+ 9›( ą6% 98" 9żŕ¸ĺŕ8Čŕ8

41 GALACTIC formát Nevýhody Výhody uznávaná kodifikace
široká podpora řady programů kompaktní soubory stručná hlavička Nevýhody 2 typy formátu vzájemně jen částečně kompatibilní nesnadný náhled obtížná extrakce části dat

42 Jednoúčelové formáty FORMÁTY výrobců přístrojů
výrobců speciálního softwaru

43 Jednoúčelové formáty Nevýhody Výhody „šité na míru“ pro danou aplikaci
v daném prostředí řada průvodních, detailních informací Nevýhody obtížný náhled limitované možnosti použití doplňujícího softwaru nemožnost uživatelského přizpůsobení

44 Převody mezi formáty export a import dat v rámci programů pro zpracování dat speciální konverzní programy podporující řadu formátů

45 Převody mezi formáty konverzní program

46 ŠUM a jeho potlačení - transformační metody - umělé přidávání šumu
- prokladové metody - transformační metody - umělé přidávání šumu

47 transformační metody PROKLADOVÉ (filtrační) metody

48 Šum - „statistický“ ŠUM - signál bez žádaného informačního obsahu
- rušivý signál - signál náhodného (pseudonáhodného) charakteru

49 Šum - „statistický“ POTLAČENÍ ŠUM s nulovou střední hodnotou
- náhodná proměnná s nulovou střední hodnotou POTLAČENÍ Nejdokonalejší - mnohonásobné opakování experimentu za DOKONALE STEJNÝCH podmínek, resp. za podmínek, které se liší POUZE „NÁHODNÝM“ („statistickým“) šumem

50 Šum - potlačení GRAFICKÉ VYHLAZENÍ ŠUMU NUMERICKÉ VYHLAZENÍ ŠUMU
- proložení šumových oscilací hladkou křivkou NUMERICKÉ VYHLAZENÍ ŠUMU - proložení šumových oscilací - polynomem - segmentovou funkcí (spline function)

51 Šum - potlačení NUMERICKÉ VYHLAZENÍ ŠUMU
- proložení polynomem dostatečně vysokého řádu m Data dvojice hodnot (xi, yi) - výpočet yi,opr 1. volba lichého počtu bodů (2n+1) {2n > m} v intervalu, kde se bude vyhlazovat 2. volba hodnot postupně klesajících statistických vah w0 až wn, kterými se řídí vliv sousedních bodů na vyhlazovanou hodnotu 3. pro bod (xi, yi) se zahájí vyhlazování dle dalších bodů

52 NUMERICKÉ VYHLAZENÍ ŠUMU
Data dvojice hodnot (xi, yi) - výpočet yi,opr 4. vyřeší se vzhledem k neznámým koeficientům interpolačního polynomu pk, k 0,m soustava rovnic a to se statistickými váhami wi-j metodou vážených nejmenších čtverců 5. jako opravená (vyhlazená) hodnota se dosadí yi,opr = p0 6. i se změní o jednotku a postup se opakuje od 4

53 NUMERICKÉ VYHLAZENÍ ŠUMU
Prokládání polynomem metodou vážených nejmenších čtverců největší statistická váha studovanému bodu váha se snižuje se vzdáleností od tohoto bodu interpolovaná hodnota polynomické funkce pro pořadnici studovaného bodu je pak odhadem skutečné funkční hodnoty s eliminovaným šumem DOCHÁZÍ KE KONVOLUCI DAT - nutná vysoká hustota bodů „zkreslení“ (otázka přístrojové funkce)

54 NUMERICKÉ VYHLAZENÍ ŠUMU
Prokládání polynomem pro odečet dat v ekvidistatních bodech (pravidelný krok na ose x) lze použít tabelované koeficienty kj a využít zjednodušený vzorec pro výpočet yi,opr N je tabelovaný normovací faktor

55 NUMERICKÉ VYHLAZENÍ ŠUMU
Prokládání polynomem literatura hodná pozornosti: Savitzky A., Golay M.J.E.: Smoothing and Differentiation of Data by Simplified Least Squares Procedures, Anal.Chem. 36, 1627 (1964). SteinerJ., Termonia Y., Deltour J.: Comments on Smoothing and Differentiation of Data by Simplified Least Squares Procedures, Anal.Chem. 44, 1906 (1972).

56 NUMERICKÉ VYHLAZENÍ ŠUMU
Příklad volby počtu bodů výchozí data 5 bodů pro vyhlazování 25 bodů pro vyhlazování

57 ZHORŠENÍ ROZLIŠENÍ !

58 VLIV NA URČENÍ parametrů pásů
UKÁZKA VZHLAYOVÁNÍ software OPUS (Bruker) VLIV NA URČENÍ parametrů pásů

59 VOLBY POČTU bodů VOLBY TYPU proložení VÁŽENÍ OKOLNÍCH bodů

60 NUMERICKÉ VYHLAZENÍ ŠUMU
Použití SEGMENTOVÝCH funkcí polynomické funkce až n-tého řádu pro každý interval definovaný dvěma po sobě následujícími experimentálními body (xi-1, xi) je definována jiná polynomická funkce dodatečná podmínka spojitosti segmentové funkce a všech jejích derivací až do stupně n-1 dodatečné podmínky míry „hladkosti“ a „přesnosti“ proložení

61 NUMERICKÉ VYHLAZENÍ ŠUMU
Příklad SEGMENTOVÉ funkce kubická segmentová funkce S3 y = S3(x) = Pi(x) = ai + bix + cix2 + dix3 x  xi-1 , xi i  1 , n míra „hladkosti“ - minimalizace průměrné hodnoty kvadrátu druhé derivace míra „přesnosti“ -minimalizace sumy vážených čtverců odchylek

62 TRANSFORMAČNÍ METODY

63 TRANSFORMAČNÍ METODY Základní metoda FOURIEROVA TRANSFORMACE
vhodné pro eliminaci vysokofrekvenčního šumu převedení záznamu na interferogram úpravy interferogramu - filtrační funkce volba apodizační funkce zpětné převedení interferogramu

64 ÚPRAVY INTERFEROGRAMU
filtrační funkce (analogické k apodizačním funkcím, použité před zpětnou transformací) redukce počtu bodů interferogramu (zhoršení rozlišení) „zerofilling“ - „doplnění nul“ (proložení spektra dalšími body „umělého“ původu)