Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Zpracování experimentálních dat Pavel Matějka K08, N01 2006/2007.

Podobné prezentace


Prezentace na téma: "Zpracování experimentálních dat Pavel Matějka K08, N01 2006/2007."— Transkript prezentace:

1 Zpracování experimentálních dat Pavel Matějka K08, N /2007

2 Obsah předmětu 4 Naměřená data a analytické výsledky 4 Způsoby zpracování dat 4 Výpočetní technika a zpracování dat 4 Formáty dat a jejich konverze

3 Obsah předmětu 4 Šum a jeho potlačení 4 Sledovaný signál a pozadí 4 Integrace signálů 4 Derivace signálů hledání extrémů hledání ramének (překryv pásů)

4 Obsah předmětu 4 Popis a parametry píků 4 Dekonvoluce, modelování 4 Fourierova transformace 4 Vícedimenzionální datové soubory, mapy dat

5 Obsah předmětu 4 Zpracování většího počtu datových souborů –základní matematické operace se signály (odečty, podíly...) –složitější operace se sadou datových souborů –tvorba maker pro automatizaci zpracování

6 Obsah předmětu 4 Statistická analýza –průměrování vícedimenzionálních dat a výpočty směrodatných odchylek –klastrová analýza –faktorová analýza –analýza hlavních komponent –klasifikační metody –regresní metody

7 Softwarové prostředky 4 ACD/SpecViewer - freeware 4 Omnic, TQ Analyst - NICOLET 4 Lab Spec - DILOR 4 Spectral Data Processor - XPS 4 Microcal ORIGIN 4 MS Excel 4 Unscrambler Introducer - CAMO

8 Program ACD/SpecViewer

9 Program ACD/ChemBasic-editor

10 Program OMNIC E.S.P.

11 Program MACROS BASIC pro OMNIC E.S.P.

12 Program LABSPEC

13 Program Spectra Data Processor - XPS

14 Program Microcal ORIGIN

15 Program MS Excel

16 Program Unscrambler

17 Naměřená data a analytické výsledky naměřená data analytické výsledky Zpracování dat

18 Naměřená data  jedna hodnota 5,00 mg (bod – 1D)  řada dat 15,8; 27,2; 38,3 … (vektor)  funkční závislosti - dvojice hodnot - x, y - trojice hodnot - x, y, z - více dimenzionální (matice), tabulky, grafy

19 Způsoby zpracování dat 4 numerické - základní aritmetika maticový počet 4 grafické - geometrie

20 Způsoby zpracování dat 4 tužka, papír 4 + pravítko, křivítko 4 + logaritmické pravítko 4 + kalkulačka 4 + liniový zapisovač 4 + počítač

21 POŽADAVKY NA VÝSLEDEK u hodnověrný u spolehlivý u opakovatelný ANALYTICKÝ VÝSLEDEK POŽADAVKY NA ZPRACOVÁNÍ DAT

22 Výpočetní technika a zpracování dat VSTUP DAT VÝSTUP DAT HARDWARE SOFTWARE ON-LINEOFF-LINE PresentačníPracovní

23 Vstup dat NUTNÁ PODMÍNKA  on-line - PROPOJENÍ měřicího zařízení a počítače - [ RYCHLOST PŘENOSU DAT [ ŘÍZENÍ KOMUNIKACE

24 VHODNÉ, NE NUTNÉ  off-line - PROPOJENÍ měřicího zařízení a počítače –„logger“ v zařízení a dávkový přenos dat R VARIABILNÍ TYP VSTUPU Vstup dat

25 Výstup dat a protokoly 4 Presentační ä ä pro objednavatele analýzy elektronická či tištěná forma 4 Pracovní ä ä pro vlastní potřebu ä pro další zpracování elektronická či tištěná forma

26 Ukládání a sdílení dat 4 Jednouživatelské  kombinace psaných a elektronických záznamů v různých formátech 4 Víceuživatelské ä ELN - elektronický laboratorní zápisník ä INTEGRACE DAT Z RŮZNÝCH ZDROJŮ DO JEDNOTNÉ FORMY

27 HARDWARE 4 „Osobní počítače“ - univerzální ä ä pro jeden či malý počet přístrojů 4 „Pracovní stanice“ - specializované ä ä pro jeden či malý počet přístrojů 4 „Servery“ - specializované ä ä i pro větší počet přístrojů

28 SOFTWARE 4 RUTINNÍ ANALÝZY ä požadavky GLP, norem - minimální možnost zásahu uživatele 4 VÝVOJ METODIKY v rámci známé analytické metody v rámci známé analytické metody ä omezené zásahy uživatele 4 „ZÁKLADNÍ“ analytický VÝZKUM ä vysoká variabilita, možnost široké palety zásahů uživatele

29 SOFTWARE 4 SPECIALIZOVANÝ SOFTWARE ä „jednoúčelový“ ä uživatelsky jednoduchý  příklad „OMNIC“ -  příklad „OMNIC“ - pro měření a základní zpracování infračervených spekter 4 SOFTWAROVÉ „BALÍČKY“ pro širokou škálu aplikací ä vysoká variabilita, možnost tvorby uživatelských „maker“, „rutin“, „subprogramů“ ä uživatelsky složitější ä příklad „ORIGIN“, „EXCEL“

30 Formáty dat a jejich konverze - univerzální formáty - jednoúčelové formáty - převody mezi formáty

31 Univerzální formáty 4 TEXTOVÝ formát *.txt, *.csv, *.prn, *.dat ASCII - XY è ASCII - XY - nejběžnější 2 sloupce čísel –fixní šířka sloupců –oddělovače sloupců (, ; tab) POZOR na identifikátory desetinných čísel ! či tisíců !

32 Textový formát e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e e+002; e+000

33 4 ASCII - Y 1 sloupec čísel - ypsilonové hodnoty –konstantní delta X definované v záhlaví Textový formát

34 4 ASCII - X multiple Y 1 sloupec hodnot X více sloupců hodnot Y –stejné hodnoty X pro více datových řad –chybí univerzální podpora tohoto formátu Textový formát

35 4 Výhody – univerzálnost – nepravidelný krok – snadný náhled – snadná extrakce části dat – snadné spojování dat 4 Nevýhody – chybí popis dat – chybí jakékoli doplňkové informace – objemné soubory – nedostatečná kodifikace formátu

36 Univerzální formáty 4 JCAMP-DX formát *.jdx, *.dx, *.dx? konstantní delta X –v řádku pro jednu hodnotu X deset po sobě jdoucích hodnot Y –definované položky v hlavičce souboru –nedatové položky odlišeny ##

37 ##TITLE=p-HAP ##JCAMP-DX=4.24 ##DATA TYPE=RAMAN SPECTRUM ##DATE=20/4/2001 ##TIME=12:28:33 ##SAMPLING PROCEDURE=cup ##ORIGIN=ED ##DATA PROCESSING=no operation ##SAMPLE DESCRIPTION=p-HAP ##XUNITS=1/CM ##YUNITS=ABSORBANCE ##RESOLUTION=4 ##FIRSTX= ##LASTX= ##DELTAX= ##MAXY= ##MINY= ##XFACTOR=1 ##YFACTOR= e-010 ##NPOINTS=1817 ##FIRSTY= ##XYDATA=(X++(Y..Y)) JCAMP-DX formát

38 4 Výhody – uznávaná kodifikace – snadný náhled – řada průvodních informací definovaně uvedených záhlaví 4 Nevýhody – konstantní krok –„pseudo“ – objemné soubory

39 Univerzální formáty 4 Galactic Industries formát (GRAMS, Spectra Calc) *.spc konstantní delta X starší verze - konstantní delta X nepravidelný krok novější verze - nepravidelný krok

40 M €ÝCĎěB^ţlD Ń irrad/frez )ŕ8!ŕ¸Fŕ8Uŕ8’ŕ8Ĺ ŕ8¸ŕ8{ ŕ8bŕ8อŕ¸Vŕ¸íŕ¸Çŕ¸ŕ8 ŕ8 ŕ8ˇŕ¸'ŕ8šŕ¸*ฐŕ¸ŕ8Yŕ¸Ďŕ8|ŕ¸Qŕ¸Wŕ84ŕ8ถ" ą-+ 9í8 ąJ ąłR ą:I 9: ąŔ3 ąO7 9ó E ąĘE ąB 9–< 9q7 9ă3 ąŐ1 ąú. 9ć+ 9›( ą6% 98" 9żŕ¸ĺŕ8Čŕ8 GALACTIC formát

41 4 Výhody – uznávaná kodifikace – široká podpora řady programů – kompaktní soubory – stručná hlavička 4 Nevýhody – 2 typy formátu vzájemně jen částečně kompatibilní – nesnadný náhled – obtížná extrakce části dat GALACTIC formát

42 Jednoúčelové formáty 4 FORMÁTY l výrobců přístrojů l výrobců speciálního softwaru

43 4 Výhody – „šité na míru“ pro danou aplikaci – v daném prostředí řada průvodních, detailních informací 4 Nevýhody – obtížný náhled – limitované možnosti použití doplňujícího softwaru – nemožnost uživatelského přizpůsobení Jednoúčelové formáty

44 Převody mezi formáty 4 export a import dat v rámci programů pro zpracování dat 4 speciální konverzní programy podporující řadu formátů

45 Převody mezi formáty konverzní program

46 ŠUM a jeho potlačení - šum - prokladové metody - transformační metody - umělé přidávání šumu

47 PROKLADOVÉ (filtrační) metody transformační metody

48 Šum - „statistický“ ŠUM - signál bez žádaného informačního obsahu - rušivý signál - signál náhodného (pseudonáhodného) charakteru

49 Šum - „statistický“ POTLAČENÍ Nejdokonalejší mnohonásobné opakování experimentu - mnohonásobné opakování experimentu za DOKONALE STEJNÝCH podmínek, resp. za podmínek, které se liší POUZE „NÁHODNÝM“ („statistickým“) šumem ŠUM - náhodná proměnná s nulovou střední hodnotou

50 Šum - potlačení GRAFICKÉ VYHLAZENÍ ŠUMU proložení hladkou křivkou - proložení šumových oscilací hladkou křivkou NUMERICKÉ VYHLAZENÍ ŠUMU proložení - proložení šumových oscilací polynomem - polynomem segmentovouspline function - segmentovou funkcí ( spline function )

51 Šum - potlačení NUMERICKÉ VYHLAZENÍ ŠUMU proložení polynomem dostatečně vysokého řádu m - proložení polynomem dostatečně vysokého řádu m Data dvojice hodnot (x i, y i ) - výpočet y i,opr 1. volba lichého počtu bodů (2 n +1) {2 n > m } v intervalu, kde se bude vyhlazovat 2. volba hodnot postupně klesajících statistických vah w 0 až w n, kterými se řídí vliv sousedních bodů na vyhlazovanou hodnotu ( x i, y i ) 3. pro bod ( x i, y i ) se zahájí vyhlazování dle dalších bodů

52 NUMERICKÉ VYHLAZENÍ ŠUMU Data dvojice hodnot (x i, y i ) - výpočet y i,opr 4. vyřeší se vzhledem k neznámým koeficientům interpolačního polynomu p k, k   0,m  soustava rovnic a to se statistickými váhami w i-j metodou vážených nejmenších čtverců 5. jako opravená (vyhlazená) hodnota se dosadí y i,opr = p 0 6. i se změní o jednotku a postup se opakuje od 4

53 NUMERICKÉ VYHLAZENÍ ŠUMU Prokládání polynomem metodou vážených nejmenších čtverců - největší statistická váha studovanému bodu - váha se snižuje se vzdáleností od tohoto bodu - interpolovaná hodnota polynomické funkce pro pořadnici studovaného bodu je pak odhadem skutečné funkční hodnoty s eliminovaným šumem nutná vysoká hustota bodů - DOCHÁZÍ KE KONVOLUCI DAT - nutná vysoká hustota bodů „zkreslení“ (otázka přístrojové funkce)

54 NUMERICKÉ VYHLAZENÍ ŠUMU Prokládání polynomem y i,opr pro odečet dat v ekvidistatních bodech (pravidelný krok na ose x ) lze použít tabelované koeficienty k j a využít zjednodušený vzorec pro výpočet y i,opr N je tabelovaný normovací faktor

55 NUMERICKÉ VYHLAZENÍ ŠUMU Prokládání polynomem literatura hodná pozornosti: Savitzky A., Golay M.J.E.: Smoothing and Differentiation of Data by Simplified Least Squares Procedures, Anal.Chem. 36, 1627 (1964). SteinerJ., Termonia Y., Deltour J.: Comments on Smoothing and Differentiation of Data by Simplified Least Squares Procedures, Anal.Chem. 44, 1906 (1972).

56 NUMERICKÉ VYHLAZENÍ ŠUMU Příklad volby počtu bodů výchozí data 5 bodů pro vyhlazování 25 bodů pro vyhlazování

57 ZHORŠENÍ ROZLIŠENÍ !

58 UKÁZKA VZHLAYOVÁNÍ software OPUS (Bruker) VLIV NA URČENÍ parametrů pásů

59 VOLBY TYPU proložení VOLBY POČTU bodů VÁŽENÍ OKOLNÍCH bodů

60 NUMERICKÉ VYHLAZENÍ ŠUMU Použití SEGMENTOVÝCH funkcí polynomické funkce až n -tého řádu pro každý interval definovaný dvěma po sobě následujícími experimentálními body ( x i-1, x i ) je definována jiná polynomická funkce dodatečná podmínka spojitosti segmentové funkce a všech jejích derivací až do stupně n -1 dodatečné podmínky míry „hladkosti“ a „přesnosti“ proložení

61 NUMERICKÉ VYHLAZENÍ ŠUMU Příklad SEGMENTOVÉ funkce kubická segmentová funkce S 3 y = S 3 (x) = P i (x) = a i + b i x + c i x 2 + d i x 3 x   x i -1, x i  i   1, n  míra „hladkosti“ - minimalizace průměrné hodnoty kvadrátu druhé derivace míra „přesnosti“ -minimalizace sumy vážených čtverců odchylek

62 TRANSFORMAČNÍ METODY

63 Základní metoda FOURIEROVA TRANSFORMACE FOURIEROVA TRANSFORMACE u vhodné pro eliminaci vysokofrekvenčního šumu äpřevedení záznamu na interferogram äúpravy interferogramu - filtrační funkce ävolba apodizační funkce äzpětné převedení interferogramu

64 ÚPRAVY INTERFEROGRAMU ä filtrační funkce (analogické k apodizačním funkcím, použité před zpětnou transformací) ä redukce počtu bodů interferogramu (zhoršení rozlišení) ä „zerofilling“ - „doplnění nul“ (proložení spektra dalšími body „umělého“ původu)


Stáhnout ppt "Zpracování experimentálních dat Pavel Matějka K08, N01 2006/2007."

Podobné prezentace


Reklamy Google