Prezentace se nahrává, počkejte prosím

Prezentace se nahrává, počkejte prosím

Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek.

Podobné prezentace


Prezentace na téma: "Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek."— Transkript prezentace:

1 Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek

2 Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod Část II. Ukázky využití statistických metod v molekulární mikrobiologii

3 Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod

4 Výchozím zdrojem pro metrologickou terminologii v medicíně je soubor standardizovaných biochemických diagnostických metod. V tomto oboru jsou již přesně terminologicky ukotveny a definovány jednotlivé statistické parametry a postupy vedoucí k jejich výpočtu. Metrologická terminologie v analytické laboratoři (http://www.sekk.cz/)http://www.sekk.cz/ VIM3: International Vocabulary of Metrology (http://www.bipm.org/en/publications/guides/vim.html)http://www.bipm.org/en/publications/guides/vim.html

5 Bohužel je nutno říci, že v molekulární mikrobiologii je až na výjimky kvalita a především jednotnost v postupech a terminologii určující základní statistické parametry diagnostik více než nepřehledná. Jedno z mála harmonizujících doporučení pro validace a verifikace s přímým vztahem k molekulárně biologickým metodám je možno najít zde: VALIDACE A VERIFIKACE MOLEKULÁRNĚ BIOLOGICKÝCH METOD ZALOŽENÝCH NA ANALÝZE EXTRAHUMÁNNÍHO GENOMU Doplněk k doporučení výboru České společnosti klinické biochemie o validaci a verifikaci analytických metod v klinických laboratořích (z )

6 Jak přistoupit k pochopení základních metod metrologie použitých při charakterizaci molekulárně mikrobiologických stanovení?

7 Pochopení pojmů v metrologii Citlivost měřicího systému (Sensitivity of measuring system) Consensus value Definiční nejistota (Definitional uncertainty) Drift měřicího přístroje Etalon, standard měření, standard (Measurement standard, etalon) Externí hodnocení kvality (EHK) (External Quality Assessment – EQA) Horwitzova křivka Horwitzův vztah (Horwitz curve) Chyba měření (Measurement error) Ishikawův diagram (Ishikawa diagram) IVD MD (In Vitro Diagnostic Medical Devices) Jakost Kalibrace (Calibration) Kalibrační a měřicí schopnost (Calibration and measurement capability - CMC) Kalibrační laboratoř (Calibration laboratory) Kalibrátor (Calibrator) Koeficient rozšíření k (Coverage factor) Komponenta Komutabilita referenčního materiálu (Commutability of a reference material) Konfirmace Konfirmace identity (Confirmation of identity) Kontrolní materiál (Control material) Konvenční hodnota veličiny, konvenční hodnota (Conventional quantity value, conventional value)

8 V případě vyšetření v molekulární mikrobiologii využívající jako metodu stanovení technologii Real Time PCR se zaměřujeme na základní charakteristiky, pomocí kterých jsme schopni dostatečně popsat parametry a limity použitého měření:  Přesnost a správnost  Specifita  Limit detekce  Limit kvantitativního stanovení  Linearita měření Pamatujme však, že výchozím zdrojem pro metrologickou terminologii v molekulární mikrobiologii stále zůstává soubor standardizovaných biochemických diagnostických metod bez přímé návaznosti na zcela rozdílné technologické pozadí metod qPCR…  Pochopení pojmů v metrologii

9 Se skládá:  Z definování základních pojmů používaných v metrologii obecně  Z metodiky potřebné k ověření definovaných parametrů v případě molekulární mikrobiologie Pochopení pojmů v metrologii Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

10 Přesnost (Precision): těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou měřené veličiny (zjednodušeně míra chyby). Nemá vztah ke skutečné hodnotě. Obvykle se uvádí ve formě směrodatné odchylky. Přesnost měření můžeme dále rozdělit na: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Správnost a přesnost

11 Přesnost za podmínek opakovatelnosti - Opakovatelnost (Repeatability): Vyjadřuje těsnost souhlasu mezi výsledky nezávislých měření stejného analytu, provedených stejnou metodou, stejným pracovníkem, na stejném přístroji, na stejném místě, za stejných podmínek v krátkém časovém intervalu. Opakovatelnost je vlastností metody, ne výsledku. Přesnost za podmínek reprodukovatelnosti. Reprodukovatelnost (Reproducibility): Vyjadřuje těsnost souhlasu mezi výsledky měření stejného analytu ve vzorcích stejného materiálu, kdy jsou jednotlivá měření prováděna za různých podmínek (pracovník, přístroj, místo, podmínky, čas, avšak stejná metoda). Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

12 Správnost a přesnost Správnost (Accuracy): těsnost shody mezi aritmetickým průměrem nekonečného počtu opakovaných naměřených hodnot veličiny a referenční hodnotou veličiny (zjednodušeně míra systematické chyby). Správnost je spojitou kombinací přesnosti a pravdivosti. Pravdivost (Trueness): Těsnost souhlasu mezi průměrnou hodnotou získanou z velkého počtu výsledků měření a dohodnutou referenční hodnotou (skutečnou hodnotou). Pravdivý výsledek je zatížen nulovou systematickou chybou. Za předpokladu, že výsledky použité metody vykazují nulovou nebo malou chybu, správnost = přesnost. Správnost lze zjistit pouze experimentálně. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

13 Správnost a přesnost Vztah mezi přesností a správností aneb k čemu to vlastně je? Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

14 Nepřesné a nesprávné Přesné, ale nesprávné Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

15 Nepřesné a správné Přesné a správné Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

16 Při vývoji měřícího systému je VŽDY vhodné dosáhnout toho, aby byl nejprve SPRÁVNÝ a potom se teprve zabývat jeho PŘESNOSTÍ Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

17 Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Specifičnost (analytická) – je schopnost měřícího postupu stanovovat v komplexním (tedy reálném) vzorku pouze tu měřenou veličinu, která má být stanovena. Specifičnost je tím vyšší, čím nižší je stupeň interferencí s ostatními částmi (komponentami) vzorku. Specifická metoda = metoda oproštěná od vlivu matrice.

18 Metodiky určení specifity Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Specifitu metody můžeme na úrovni molekulární mikrobiologie při použití PCR (qPCR) technik ověřovat na dvou úrovních: Pomocí „in silico“ analýzy Pomocí experimentální analýzy Využití sbírkových kmenů, které mají klinickou relevanci s místem odběru vzorku, typem klinického materiálu, případně mohou působit v koinfekci s detekovaným patogenem a mohou být zdrojem nespecifity (cross reactivity)

19 Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření ! POZOR ! v molekulární mikrobiologii nemusí platit plně specifická metoda = kvalitní a použitelná metoda (správně zvolená metoda)

20 Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Sensitivita Při experimentálním stanovení specifity (např. Real Time PCR metodou) je nutné zároveň znát sensitivitu (limit detekce), protože v molekulární mikrobiologii jsou tyto dva parametry… …v reálné praxi při interpretaci výsledku vyšetření v křehké rovnováze a pro správnou volbu testu je ! NUTNÉ JE ZNÁT A ROZUMĚT JIM !

21 Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 0% SPECIFITA 100% SENSITIVITA 0% SENSITIVITA 100% SPECIFITA Takový test pravděpodobně neexistuje Takový test naštěstí nemůže existovat

22 Specifita/limit detekce - příklad Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Stojí před námi vyšetření 100 pacientů s podezřením na nákazu velice nebezpečným patogenem:  Inkubační doba - 24 hod.  Plný rozvoj příznaků - 48 hod. po nakažení  Morbidita a mortalita - 100%  Existuje 100% účinný lék Máme na výběr dva testy pro detekci Test A 100%sensitivita, 50% specifita Test B 50% sensitivita, 100% specifita Který test je v tomto případě lepší?

23 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Test A 100%sensitivita, 50% specifita Test B 50% sensitivita, 100% specifita 50 pacientů je zdravých50 pacientů je nakažených 50 pozitivních výsledků detekce 100% sensitivita 25 falešně pozitivních výsledků 50% specifita 25 negativních výsledků 50% specifita Všichni pacienti přežijí, ale až 25 pacientů léčíme necíleně 50 pacientů je zdravých50 pacientů je nakažených 50 negativních výsledků detekce 100% specifita 25 pozitivních výsledků 50% sensitivita 25 falešně negativních výsledků 50% sensitivita Žádného pacienta neléčíme necíleně, ale až 25 pacientů může zemřít

24 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Limit detekce/sensitivita První interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie… Mez detekce daného analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Stanovení meze detekce (L D ): dle IUPAC se určí mez detekce obecně podle vztahu: L D = 3,29. s bl kde je s bl směrodatná odchylka blanku - slepého pokusu

25 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Limit detekce/sensitivita Mez detekce = limit detekce (LoD, limit of detection) analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. 100% úspěšných záchytů Jsme nad limitem detekce 60% úspěšných záchytů Jsme pod limitem detekce LoD je nutno definovat na hranici, kde začíná detekční systém selhávat Ale jak vysoko? Ale jak hluboko?

26 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Pro výpočet limitu detekce využívá Weibullovo rozložení (zdroj Distribuční funkce tohoto rozdělení je for x ≥ 0, and F(x; k; λ) = 0 for x < 0. Pro účely stanovení limitu detekce za použití Real Time PCR (limit of detection = LoD) lze probit analýzu transformovat buď pomocí grafu nebo tabelovaných hodnot na zájmová % zasažení. Výsledkem tohoto stanovení je pak hodnota limitu detekce vyjádřená ve zvolených jednotkách (v případě molekulární mikrobiologie v IU/ml, případně v kopiích/ml) s definovanou pravděpodobností (95%).

27 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Concentration in IU/ml1st PCR2rd PCR 3rd PCR Total hits from 18 PCR

28 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Grafický výstup analýzy

29 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Tabelový výstup analýzy

30 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Limit kvantifikace a linearita Druhá interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie… Linearita kalibračního vztahu (zkráceně linearita) – rozsah hodnot obsahu, množství či koncentrací, ve kterém je analytický signál lineární funkcí hodnot obsahu, množství či koncentrace. Problém je, že není určeno o jaký typ linearity se jedná…řádová linearita? Mez stanovitelnosti (limit kvantitativního stanovení) metody je nejnižší množství analytu ve vzorku, které může být stanoveno jako exaktní hodnota s požadovanou hodnotou nejistoty. Problém je, že není určeno o jakou míru nejistoty se jedná…nejistota 0,5 log, nebo 1 log? Někdy bývá označováno též jako dynamický rozsah kvantitativního stanovení a v případě biochemických analytických metod se udává jako 3xLoD.

31 Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Limit kvantifikace a linearita Experimentální a interpretační pozadí metod nutné k popisu výše definovaných parametrů není v případě použití metod založených na kvantitativní Real Time PCR podrobně popsáno a ošetřeno žádnou normou. Tento fakt umožňuje bohužel velký prostor pro volnou interpretaci a nejednotnost (neporovnatelnost) výsledků popisujících právě parametry linearity a meze stanovitelnosti. Pro popis přesnosti měření byl proto navržen vlastní experimentální model

32 Experimentální model validace CMV PCR  popisuje přesnost měření PCR kitu bez vlivu izolace*  popisuje odchylky měření v rozsahu – LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%

33 Experimentální model validace CMV PCR 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Připravena koncentrační řada kvantitativně definované kontroly v rozsahu až 0 kopií/ml (zapsáno ve formátu log) 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x Každý člen připravené řady byl kvantitativně stanoven v 6 měřeních Výsledek stanovení byl vynesen do grafu a byly stanoveny odchylky měření pro každou detekovanou koncentraci

34 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

35 PŘESNOST MĚŘENÍ +/- 0,25 log10

36 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 PŘESNOST MĚŘENÍ +/- 0,5 log10

37 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Pravděpodobný LoD

38 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 ZÁVĚR c/ml c/ml (+/- 0,25 log10) VALIDACE CMV PCR 10 3 c/ml c/ml (+/- 0,5 log10) Mez stanovitelnosti (limit kvantitativního stanovení) 10 2 kopií/ml s maximální odchylkou měření (mírou nejistoty) 0,5 log Linearita kalibračního vztahu (zkráceně linearita) V rozsahu c/ml c/ml je systém měření „řádově lineární“ s maximální chybou 0,25 log

39 Vztahy v metrologické terminologii Definice a metodiky v metrologii … a jejich pochopení (v jakkoliv velkém rozsahu) zůstává stále hrubě nedostačující znalostí, pokud zároveň nepochopíme … bez pochopení těchto vztahů nebudeme moci jakékoliv intelektuálně uchopené metody relevantně a na správném místě použít!

40 Vztahy v Metrologické terminologii VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Validace potvrzuje, že měřící postup je schopen plnit požadavky na ně kladené. Jinak řečeno, že úroveň měření je dostatečná, postupy měření korektní a s řádně provedenou kalibrací. Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data… SOUBOR PARAMETRŮ SOUBOR PARAMETRŮ VERIFIKACE Verifikací pak rozumíme, že měřící postup je plně funkční v konkrétní laboratoři. Potvrzuje schopnost PCR soupravy dosahovat parametrů uvedených ve validaci…

41 Vztahy v Metrologické terminologii VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Validace je prováděna výrobcem diagnostika podle předepsaných, nebo doporučených testů. Výsledkem validace je soubor technických parametrů popisující celý systém měření včetně jeho limitů a omezení. SOUBOR PARAMETRŮ SOUBOR PARAMETRŮ VERIFIKACE Verifikace je prováděna koncovým uživatelem diagnostika (diagnostickou laboratoří) podle předepsaných, nebo doporučených testů, které by měly být shodné s testy ve validaci. Výsledkem verifikace je soubor testů potvrzující parametry deklarované výrobcem při validaci.

42 Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem Při ideálním stavu je tedy výsledek: Pokud jsou všechny parametry přesně a jasně popsány (experimentálně, statisticky a interpretačně) a provedeny ve validaci a verifikaci stejným způsobem.

43 Molekulární mikrobiologie VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Provedení a způsob interpretace jednotlivých testů je ve velké míře v režii konkrétního výrobce diagnostika. Normy bohužel určují způsob provedení a rozsah testů pouze „rámcově“ = neexistuje jednotný a přesný popis pro validaci qPCR metod. SOUBOR PARAMETRŮ SOUBOR PARAMETRŮ VERIFIKACE Nelze provést podle jednotných testů, protože v dnešní době v podstatě neexistují. K verifikaci bývá proto velmi často využíváno panelů určených k externímu hodnocení kvality (EHK, EQA). Pomocí těchto panelů jsme schopni posoudit: 1.Minimální kvalitu diagnostika (a celého laboratorního postupu) při stanovení konkrétního patogena 2.Kvalitu práce laboratoře při stanovení konkrétního patogena ve srovnání s ostatními účastníky EHK

44 Externí hodnocení kvality Doporučení č. 1 České společnosti klinické biochemie ČLS JEP (dále jen ČSKB) a Referenční laboratoře pro klinickou biochemii MZ ČR (dále jen RL) k systému externího hodnocení kvality (dále jen EHK). Podstata externího hodnocení kvality EHK je součástí procesů zajištění kvality měření. Principem EHK je provádění mezilaboratorních porovnávání zkoušek. Je organizováno a vyhodnocováno organizátory EHK (organizátoři EHK se označují termínem EQA providers). EHK v molekulární mikrobiologii Pro zajištění kvality měření a mezilaboratorní porovnání při použití Real Time PCR metod pro detekci patogenů jsou k dispozici následující panely: 1.INSTAND e.V. (Germany) 2.QCMD (Quality Control for Molecular Diagnostics, GB) 3.EHK SZU (Czech Republic)

45 Složení QCMD Odběr, transport a uchování vzorků Izolace nukleových kyselin Real Time PCR Hodnocení a interpretace výsledků Sample CMV08-08 CMV08-01 CMV08-10 CMV08-07 CMV08-04 CMV08-02 CMV08-09 CMV08-05 CMV08-03 CMV08-06 Panel obsahuje sadu slepých vzorků o různých koncentracích. Tato sada je po doručení zpracována podle standardních postupů používaných laboratoří k detekci uvedeného patogena. Výhodou panelu je možnost popsat velkou část diagnostického procesu v laboratoři: -Kvalitu použitého izolační postupu -Kvalitu použité qPCR metody -Správnost a přesnost vyhodnocení

46 Kvalitativní vyhodnocení QCMD Vyhodnocení vzorků podle definovaného klíče: 1. Core samples – klinicky důležité s největší váhou při hodnocení 2. Educational samples – sledují vývoj kvality a citlivosti v čase. Menší váha při hodnocení

47 Kvalitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

48 Kvantitativní vyhodnocení QCMD Kvantitativní vyhodnocení: 1. Každému vzorku je přiřazena konsensuální hodnota (uvedeno v log10) 2. Kolem každé konsensuální hodnoty je stanovena SD (uvedeno v log10)

49 Kvantitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

50 Část II. Ukázky využití statistických metod v molekulární mikrobiologii

51 SPECIFITA

52 Případ I Detekce Chlamydia trachomatis  Jako nejvhodnější cíl pro detekci Chlamydia trachomatis byl zvolen úsek kryptického plasmidu (CP)  Většina komerčních souprav detekuje CP pomocí stejných párů primerů  Citlivost detekce je díky „multikopiovému“ cíli vysoká  Specifita je vysoká KVALITNÍ DIAGNOSTICKÝ NÁSTROJ PRO DETEKCI Chlamydia trachomatis

53 Případ I Švédsko – do roku 2005  Diagnostikované a hlášené případy Chlamydia trachomatis ve Švédsku plynule rostou (v letech o 120%!)  V roce 2005 je zaznamenán nárůst pouze o 2% a v roce 2006 dokonce klesá o 2%! REASONS FOR THE SHARP INCREASE OF GENITAL CHLAMYDIA INFECTIONS REPORTED IN THE FIRST MONTHS OF 2007 IN SWEDEN. I Velicko, S Kühlmann-Berenzon, A Blaxhult. Eurosurveillance, Volume 12, Issue 10, 01 October Jaký je důvod změny tohoto trendu?

54 Případ I Švédsko - rok 2006 až 2008 Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann, Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9—September 2008  V označené části Švédska byla poprvé provedena konfirmace 2 nezávislými testy  Každý z testů byl cílen do jiných částí genomu Chlamydia trachomatis Byl zjištěn….

55 Případ I Impact of a genetic variant of Chlamydia trachomatis on national detection rates in Sweden. T Söderblom, A Blaxhult, H Fredlund, B Herrmann. Eurosurveillance, Volume 11, Issue 49, 07 December CP jako cíl detekce Jiný cíl detekce  10% pokles detekovaných infekcí Ch. trachomatis v případě PCR zacílené do CP  1% nárůst detekovaných infekcí v případě PCR zacílené do jiné části genomu Chlamydia trachomatis. Změna trendu je pravděpodobně způsobena chybnou detekcí nové genetické varianty Chlamydia trachomatis v populaci. Švédsko - rok 2006 až 2008

56 Případ I  Varianta s mutací CP  Jedná se o deleci 377bp v oblasti CDS1  Tato oblast je nejčastějším cílem pro komerčně dodávané PCR diagnostické sety Co-evolution of genomes and plasmids within Chlamydia trachomatis and the emergence in Sweden of a new variant strain. Seth-Smith HM, Harris SR, Persson K, Marsh P, Barron A, Bignell A, Bjartling C, Clark L, Cutcliffe LT, Lambden PR, Lennard N, Lockey SJ, Quail MA, Salim O, Skilton RJ, Wang Y, Holland MJ, Parkhill J, Thomson NR, Clarke IN. BMC Genomics May 21;10:239. doi: / May 21;10:239. doi: / Švédsko – nová genetická varianta Ch. trachomatis

57 Případ I Švédsko - rok 2007 A new genetic variant of Chlamydia trachomatis. Björn Herrmann. Sex Transm Infect July; 83(4): 253–254. … „A thrilling story in Sweden, with global impact“… (Björn Herrmann)  V roce 2006 byla objevena ve Švédsku nová varianta Chlamydia trachomatis  Tato nová varianta uniká detekci pomocí PCR souprav Abbott m2000 (Abbott Diagnostics, Chicago, IL, USA), nebo Cobas Amplicor/TaqMan48 (Roche Diagnostics, Basel, Switzerland) se zacílením do části CP Odhaduje se, že do roku 2007 uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis

58 Případ I Švédsko - rok 2008 Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann, Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9—September 2008  V roce 2007 je zaznamenán opět výrazný nárůst diagnostikovaných a hlášených případů Chlamydia trachomatis  Tento výrazný nárůst je způsoben změnou diagnostických setů a jejich zacílení  Použita jiná část CP plasmidu jako cíl  Použita duplexní detekce dvou nezávislých genů

59 Co se vlastně stalo? Případ I

60 Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí… Patogen

61 Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí… Uzavřený a vůči patogenu statický systém „in vitro“ Patogen Nová diagnostická souprava

62 Boj začíná… Diagnostická souprava  Vysoká specifita  Vysoká sensitivita Patogen

63 Boj začíná… Variabilita genomu je relativně nízká, ale v důsledku úspěšné diagnostiky a nasazení účinné terapie … Patogen Diagnostická souprava  Vysoká specifita  Vysoká sensitivita

64 Po nějakém čase… … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Nová genetická varianta patogenu Diagnostická souprava

65 Po nějakém čase… … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí.  Změny v genetické informaci zasáhnou místo zacílení dg. soupravy Diagnostická souprava Nová genetická varianta patogenu

66 Po nějakém čase… … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí.  Dochází k poklesu specifity  Sensitivita se často nemění Diagnostická souprava Nová genetická varianta patogenu

67 Výsledek… Nová genetická varianta patogenu Diagnostická souprava

68 Výsledek… Falešně negativní výsledek Diagnostická souprava Nová genetická varianta patogenu

69 LIMIT DETEKCE LoD Využití Probit analýz pro stanovení bezpečného postupu citlivé detekce při směšování vzorků

70 Směšování vzorků – „Pool“ CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup

71 Směšování vzorků – „Pool“ CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup Příprava poolu z důvodu naředění hraničně pozitivních vzorků přináší větší riziko selhání vyšetření

72 Stanovení citlivosti PCR metody Analytická citlivost pro testy NAT musí být vyjádřena s 95% hraniční pozitivní hodnotou cut-off a výpočtem pomocí vhodné statistické analýzy. Požadavky komise 2009/108/ES pro společné technické specifikace pro diagnostické zdravotnické prostředky in vitro

73 Stanovení citlivosti HCV %PKoncentraceChybaDolní mezHorní mez 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2531 2, , , ,8872 3, , , ,1567 7, , , ,6964 8, , , ,5990 9, , , , , , , , , , , , , , , , , , , , , , , , , , , ,485 33, , ,672 95% 54,8180 Stanovení meze detekce s pravděpodobností 95% Stanovená mez detekce HCV je 54,8180 IU/ml s rozptylem 36,1734 IU/ml až 102,751 IU/ml s 95% hraniční hodnoty cut-off

74 Stanovení citlivosti HCV %PKoncentraceChybaDolní mezHorní mez 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2531 2, , , ,8872 3, , , ,1567 7, , , ,6964 8, , , ,5990 9, , , , , , , , , , , , , , , , , , , , , , , , , , , ,485 33, , ,672 Při vyšetření 100 vzorků o průměrné koncentraci 54,8180 IU/ml bude 95 vzorků pozitivních (Pravděpodobnost selhání je 5%)

75 Vzorky plasmy 54,8 IU HCV 1 ml 0 IU HCV Stanovená citlivost PCR metody je 54,8 IU/ml při vyšetření každého vzorku samostatně Směšování vzorků HCV – „Pool“ Teoretický model

76 Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Směšování vzorků HCV – „Pool“ Teoretický model Otázka I Jak bude vypadat citlivost metody v takto připraveném poolu vzorků ?

77 Stanovení citlivosti HCV Teoretický model %PKoncentraceChybaDolní mezHorní mez 1 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,2531 2, , , ,8872 3, , , ,1567 7, , , ,6964 8, , , ,5990 9, , , , , , , , , , , , , , , , , , , , , , , , , , , ,485 33, , ,672 Teoreticky dojde k výraznému nárůstu pravděpodobnosti selhání vyšetření (z 5 % zhruba na 40 %) Odpověď

78 Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Směšování vzorků HCV – „Pool“ Teoretický model Otázka II Lze zachovat ekonomický přínos poolování vzorků při současném zachování deklarované citlivosti vyšetření?

79 Směšování vzorků HCV – „Pool“ Teoretický model Počet opakování Koncentrace ø v IU/ml 154, , , , , , , , , ,8247 Ano, teoreticky toho lze dosáhnout pomocí opakování vyšetření poolu vzorků 3 vyšetření - alespoň 1 pozitivní - Citlivost 10,8 ø v IU/ml Izolace I Izolace II Izolace III PCR IPCR IIPCR III Odpověď Opakováním vyšetření se dramaticky zvyšuje citlivost metody

80 Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Směšování vzorků HCV – „Pool“ Teoretický model Shrnutí: Ekonomického přínosu poolování při zachování deklarované citlivosti lze teoreticky dosáhnout: 1.Nastavením správného počtu opakování vyšetření 2. Nastavením správného počtu vzorků v poolu

81 Směšování vzorků HCV – „Pool“ Nastavení počtu opakování vyšetření Směsné vzorky 1:6 9,13 IU/ml HCV 6 ml Směsné vzorky 1:6 9,13 IU/ml HCV 6 ml Směsné vzorky 1:6 9,13 IU/ml HCV 6 ml Směsné vzorky 1:6 9,13 IU/ml HCV 6 ml 4 sady 20 nezávisle připravených poolů 1 vzorek 54,8 IU/ml + 5 vzorků negativních 1 opakování vyšetření 2 opakování vyšetření 3 opakování vyšetření 4 opakování vyšetření

82 9,13 IU/ml HCV 6 ml 9,13 IU/ml HCV 6 ml 9,13 IU/ml HCV 6 ml 9,13 IU/ml HCV 6 ml Pozitivních Negativních P selhání 45%20%5%5%< 5% Směšování vzorků HCV – „Pool“ Nastavení počtu opakování vyšetření Pool 1:6 1 opakování2 opakování3 opakování4 opakování

83 Směšování vzorků HCV – „Pool“ Nastavení počtu vzorků v poolu 1 opakování vyšetření 3 opakování vyšetření 2 ml Pool 1:2 6 ml Pool 1:6 ?

84 Směšování vzorků HCV – „Pool“ Nastavení počtu vzorků v poolu 1 opakování vyšetření 3 opakování vyšetření Pool 1:2 Pool 1:6 Pozitivních 1916 Negativních 14 P selhání 5%5%20%

85 Směšování vzorků HCV – „Pool“ Závěry Opakování vyšetření dramaticky zvyšuje sensitivitu Počet opakování vyšetření Koncentrace ø v IU/ml 154, , , , , , , , , ,8247

86 Směšování vzorků HCV – „Pool“ Závěry Větší pool více opakování vyšetření P selhání20%5%5% Pool 1:6Pool 1:2 3 opakování detekce 1 opakování detekce Menší pool méně opakování vyšetření < Při stejné citlivosti

87 Směšování vzorků HCV – „Pool“ Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu Počet opakování 13~ 5~ 9~ 10 P selhání 5%5%5%5% 5% 5% 5% 5% 5% 5%

88 Směšování vzorků HCV – „Pool“ Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Čím větší počet vzorků v poolu je použit, tím je ekonomický efekt vyšší při zachování stejné citlivosti vyšetření Počet vzorků v poolu Počet opakování 13~ 5~ 9~ 10 P selhání 5%5% 5% 5% 5% 5% 5% 5% 5% 5% Úspora 0%0% 50%~ 58%~ 64%~ 80%

89 Směšování vzorků HCV – „Pool“ Závěry Systém směšování vzorků je ekonomický pouze při malé míře pozitivit v celém souboru vyšetření Binomické rozdělení (popis tzv. náhodného výběru s vracením) Bi(n, p), kde n je přirozené číslo, p je reálné číslo, 0  p  1: Pokud smícháme n vzorků, kde pravděpodobnost výskytu HCV je p, pak ve směsi může být 0 až n pozitivních vzorků, kde počet pozitivních vzorků se řídí binomickým rozdělením. Pro vytváření poolu 1:6 pro detekci HCV s citlivostí 54,8 IU/ml je tento proces výhodný do 10 % pozitivních vzorků

90 Využití parametrů kvantitativního stanovení pro určení odezvy na léčbu Jak přesná je přesná kvantifikace? Jak interpretovat kvantitativní výsledky?

91 RaR studie Stanovení přesnosti a rozlišitelnosti měření testovaných koncentrací v rozsahu kalibrační přímky

92 Vložená koncentrace kopií/µl Rozptyl měření kopií/µl PCR reakce je schopna bezpečně odlišit změny koncentrací v rozsahu kalibrační přímky s definovanou variabilitou

93 Naměřené hodnoty (kopie/ul) ,96 0,86 0, ,96 0,86 0, Jak interpretovat na základě předchozí charakteristiky měřená data?

94 VyšetřeníVýsledek kopií/ml 1. den den den Kdy došlo k prokazatelnému poklesu virové nálože ve vzorku a reakci na léčbu? Případ: - Pacient po transplantaci ledviny -Podezření na CMV infekci -Nasazena terapie

95 10e4 10e K prokazatelnému poklesu virové nálože ve vzorku došlo až při 3. vyšetření (oproti 1. a 2. vyšetření) VyšetřeníVýsledek kopií/ml 1. den den den20 000

96 Při stanovování klinicky významné hladiny je třeba počítat s variabilitou měření dané laboratoře a daného postupu Klinicky významná hladina Vložená koncentrace kopií/µl Rozptyl měření kopií/µl

97 Využití Probit analýzy při volbě diagnostika Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem

98 Souprava A Souprava B Validace LoD Chlamydia trachomatis  Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)

99 Souprava A Souprava B Validace LoD Chlamydia trachomatis 0,3 kopie/µl1,5 kopie/µl

100 Souprava A Souprava B Validace LoD Chlamydia trachomatis 0,3 kopie/µl1,5 kopie/µl Souprava A LoD výrazně nižší oproti soupravě B.

101 Souprava A Souprava B Reálný limit detekce? Chlamydia trachomatis 0,3 kopie/µl1,5 kopie/µl Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B

102 Souprava A Souprava B Verifikace LoD Chlamydia trachomatis Vzorek moči Chlamydia trachomatis ml Označení vzorku Ředění01:1 Počet izolací Opakování PCR

103 Souprava A Souprava B Verifikace LoD Chlamydia trachomatis Označení vzorku SOUPRAVA A SOUPRAVA B Opakování PCR Očekávaný výsledek: LoD souprava A < LoD souprava B

104 Souprava A Souprava B Verifikace LoD Chlamydia trachomatis Označení vzorku SOUPRAVA A SOUPRAVA B Opakování PCR Dosažený výsledek LoD souprava A - ? - LoD souprava B

105 Souprava A Souprava B Verifikace LoD Chlamydia trachomatis Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.

106 Souprava A Souprava B LoD Chlamydia trachomatis Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?

107 Souprava A Souprava B Analýza parametrů VALIDACE Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku POUŽITELNÝ VÝSLEDEK

108 Souprava A Souprava B Analýza parametrů VALIDACE Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku „LÍBIVÉ“ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY

109 Souprava A Souprava B Analýza parametrů VALIDACE „LÍBIVÉ“ VÝSTUPY STATISTICKY KOREKTNÍ VÝSTUPY

110 Souprava A Souprava B Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B

111 ……věřím, že příčinou naší nepřipravenosti na nestandardní události je především setrvačnost našeho myšlení v podobě přílišné důvěry ve statistiky….. Nassim Nicholas Taleb Černá labuť …Raději budu mít vždy alespoň přibližně pravdu, než abych se, byť jedinkrát, přesně mýlil…

112 Děkuji za pozornost


Stáhnout ppt "Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek."

Podobné prezentace


Reklamy Google