Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek.

Prezentace na téma: "Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek."— Transkript prezentace:

1 Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek

2 Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod Část II. Ukázky využití statistických metod v molekulární mikrobiologii

3 Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod

4 Metrologická terminologie v analytické laboratoři
Výchozím zdrojem pro metrologickou terminologii v medicíně je soubor standardizovaných biochemických diagnostických metod. V tomto oboru jsou již přesně terminologicky ukotveny a definovány jednotlivé statistické parametry a postupy vedoucí k jejich výpočtu. Metrologická terminologie v analytické laboratoři ( VIM3: International Vocabulary of Metrology (

5 Bohužel je nutno říci, že v molekulární mikrobiologii je až na výjimky kvalita a především jednotnost v postupech a terminologii určující základní statistické parametry diagnostik více než nepřehledná. Jedno z mála harmonizujících doporučení pro validace a verifikace s přímým vztahem k molekulárně biologickým metodám je možno najít zde: VALIDACE A VERIFIKACE MOLEKULÁRNĚ BIOLOGICKÝCH METOD ZALOŽENÝCH NA ANALÝZE EXTRAHUMÁNNÍHO GENOMU Doplněk k doporučení výboru České společnosti klinické biochemie o validaci a verifikaci analytických metod v klinických laboratořích (z )

6 Jak přistoupit k pochopení základních metod metrologie použitých při charakterizaci molekulárně mikrobiologických stanovení?

7 Pochopení pojmů v metrologii
Citlivost měřicího systému (Sensitivity of measuring system) Consensus value Definiční nejistota (Definitional uncertainty) Drift měřicího přístroje Etalon, standard měření, standard (Measurement standard, etalon) Externí hodnocení kvality (EHK) (External Quality Assessment – EQA) Horwitzova křivka Horwitzův vztah (Horwitz curve) Chyba měření (Measurement error) Ishikawův diagram (Ishikawa diagram) IVD MD (In Vitro Diagnostic Medical Devices) Jakost Kalibrace (Calibration) Kalibrační a měřicí schopnost (Calibration and measurement capability - CMC) Kalibrační laboratoř (Calibration laboratory) Kalibrátor (Calibrator) Koeficient rozšíření k (Coverage factor) Komponenta Komutabilita referenčního materiálu (Commutability of a reference material) Konfirmace Konfirmace identity (Confirmation of identity) Kontrolní materiál (Control material) Konvenční hodnota veličiny, konvenční hodnota (Conventional quantity value, conventional value)

8 Pochopení pojmů v metrologii
V případě vyšetření v molekulární mikrobiologii využívající jako metodu stanovení technologii Real Time PCR se zaměřujeme na základní charakteristiky, pomocí kterých jsme schopni dostatečně popsat parametry a limity použitého měření: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Linearita měření Pamatujme však, že výchozím zdrojem pro metrologickou terminologii v molekulární mikrobiologii stále zůstává soubor standardizovaných biochemických diagnostických metod bez přímé návaznosti na zcela rozdílné technologické pozadí metod qPCR…

9 Limit kvantitativního stanovení Lineární rozsah měření
Pochopení pojmů v metrologii Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Se skládá: Z definování základních pojmů používaných v metrologii obecně Z metodiky potřebné k ověření definovaných parametrů v případě molekulární mikrobiologie

10 Limit kvantitativního stanovení Lineární rozsah měření
Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Přesnost (Precision): těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou měřené veličiny (zjednodušeně míra chyby). Nemá vztah ke skutečné hodnotě. Obvykle se uvádí ve formě směrodatné odchylky. Přesnost měření můžeme dále rozdělit na:

11 Limit kvantitativního stanovení Lineární rozsah měření
Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Přesnost za podmínek opakovatelnosti - Opakovatelnost (Repeatability): Vyjadřuje těsnost souhlasu mezi výsledky nezávislých měření stejného analytu, provedených stejnou metodou, stejným pracovníkem, na stejném přístroji, na stejném místě, za stejných podmínek v krátkém časovém intervalu. Opakovatelnost je vlastností metody, ne výsledku. Přesnost za podmínek reprodukovatelnosti. Reprodukovatelnost (Reproducibility): Vyjadřuje těsnost souhlasu mezi výsledky měření stejného analytu ve vzorcích stejného materiálu, kdy jsou jednotlivá měření prováděna za různých podmínek (pracovník, přístroj, místo, podmínky, čas, avšak stejná metoda).

12 Limit kvantitativního stanovení Lineární rozsah měření
Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Správnost (Accuracy): těsnost shody mezi aritmetickým průměrem nekonečného počtu opakovaných naměřených hodnot veličiny a referenční hodnotou veličiny (zjednodušeně míra systematické chyby). Správnost je spojitou kombinací přesnosti a pravdivosti. Pravdivost (Trueness): Těsnost souhlasu mezi průměrnou hodnotou získanou z velkého počtu výsledků měření a dohodnutou referenční hodnotou (skutečnou hodnotou). Pravdivý výsledek je zatížen nulovou systematickou chybou. Za předpokladu, že výsledky použité metody vykazují nulovou nebo malou chybu, správnost = přesnost. Správnost lze zjistit pouze experimentálně.

13 Limit kvantitativního stanovení Lineární rozsah měření
Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Vztah mezi přesností a správností aneb k čemu to vlastně je? 

14 Limit kvantitativního stanovení Lineární rozsah měření
Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Nepřesné a nesprávné Přesné, ale nesprávné

15 Limit kvantitativního stanovení Lineární rozsah měření
Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Nepřesné a správné Přesné a správné

16 Limit kvantitativního stanovení Lineární rozsah měření
Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Při vývoji měřícího systému je VŽDY vhodné dosáhnout toho, aby byl nejprve SPRÁVNÝ a potom se teprve zabývat jeho PŘESNOSTÍ

17 Limit kvantitativního stanovení Lineární rozsah měření
Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Specifičnost (analytická) – je schopnost měřícího postupu stanovovat v komplexním (tedy reálném) vzorku pouze tu měřenou veličinu, která má být stanovena. Specifičnost je tím vyšší, čím nižší je stupeň interferencí s ostatními částmi (komponentami) vzorku. Specifická metoda = metoda oproštěná od vlivu matrice.

18 Limit kvantitativního stanovení Lineární rozsah měření
Metodiky určení specifity Specifitu metody můžeme na úrovni molekulární mikrobiologie při použití PCR (qPCR) technik ověřovat na dvou úrovních: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Pomocí „in silico“ analýzy Pomocí experimentální analýzy Využití sbírkových kmenů, které mají klinickou relevanci s místem odběru vzorku, typem klinického materiálu, případně mohou působit v koinfekci s detekovaným patogenem a mohou být zdrojem nespecifity (cross reactivity)

19 Limit kvantitativního stanovení Lineární rozsah měření
Specifita ! POZOR ! v molekulární mikrobiologii nemusí platit Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření plně specifická metoda = kvalitní a použitelná metoda (správně zvolená metoda)

20 Limit kvantitativního stanovení Lineární rozsah měření
Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Při experimentálním stanovení specifity (např. Real Time PCR metodou) je nutné zároveň znát sensitivitu (limit detekce), protože v molekulární mikrobiologii jsou tyto dva parametry… Sensitivita …v reálné praxi při interpretaci výsledku vyšetření v křehké rovnováze a pro správnou volbu testu je ! NUTNÉ JE ZNÁT A ROZUMĚT JIM !

21 Limit kvantitativního stanovení Lineární rozsah měření
Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 0% SENSITIVITA 100% SPECIFITA 0% SPECIFITA 100% SENSITIVITA Takový test pravděpodobně neexistuje Takový test naštěstí nemůže existovat

22 Limit kvantitativního stanovení Lineární rozsah měření
Specifita/limit detekce - příklad Stojí před námi vyšetření 100 pacientů s podezřením na nákazu velice nebezpečným patogenem: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Inkubační doba - 24 hod. Plný rozvoj příznaků - 48 hod. po nakažení Morbidita a mortalita - 100% Existuje 100% účinný lék Máme na výběr dva testy pro detekci Test A 100%sensitivita, 50% specifita Test B 50% sensitivita, 100% specifita Který test je v tomto případě lepší?

23 25 falešně pozitivních výsledků 50 pozitivních výsledků detekce
Test A 100%sensitivita, 50% specifita 25 negativních výsledků 50% specifita 25 falešně pozitivních výsledků 50% specifita 50 pozitivních výsledků detekce 100% sensitivita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 50 pacientů je zdravých 50 pacientů je nakažených Všichni pacienti přežijí, ale až 25 pacientů léčíme necíleně Test B 50% sensitivita, 100% specifita 50 negativních výsledků detekce 100% specifita 25 pozitivních výsledků 50% sensitivita 25 falešně negativních výsledků 50% sensitivita 50 pacientů je zdravých 50 pacientů je nakažených Žádného pacienta neléčíme necíleně, ale až 25 pacientů může zemřít

24 Limit kvantitativního stanovení Lineární rozsah měření
Limit detekce/sensitivita První interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie… Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Mez detekce daného analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Stanovení meze detekce (LD): dle IUPAC se určí mez detekce obecně podle vztahu: LD = 3,29. sbl kde je sbl směrodatná odchylka blanku - slepého pokusu

25 Limit detekce/sensitivita
Mez detekce = limit detekce (LoD, limit of detection) analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 100% úspěšných záchytů Jsme nad limitem detekce 60% úspěšných záchytů Jsme pod limitem detekce Ale jak vysoko? Ale jak hluboko? LoD je nutno definovat na hranici, kde začíná detekční systém selhávat

26 Limit kvantitativního stanovení Lineární rozsah měření
Metodika určení LoD PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Pro výpočet limitu detekce využívá Weibullovo rozložení (zdroj Distribuční funkce tohoto rozdělení je for x ≥ 0, and F(x; k; λ) = 0 for x < 0. Pro účely stanovení limitu detekce za použití Real Time PCR (limit of detection = LoD) lze probit analýzu transformovat buď pomocí grafu nebo tabelovaných hodnot na zájmová % zasažení. Výsledkem tohoto stanovení je pak hodnota limitu detekce vyjádřená ve zvolených jednotkách (v případě molekulární mikrobiologie v IU/ml, případně v kopiích/ml) s definovanou pravděpodobností (95%).

27 Limit kvantitativního stanovení Lineární rozsah měření
Metodika určení LoD PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Concentration in IU/ml 1st PCR 2rd PCR 3rd PCR Total hits from 18 PCR 40 8 24 20 5 6 17 10 4 16 1 3 9

28 Limit kvantitativního stanovení Lineární rozsah měření
Metodika určení LoD PROBIT ANALÝZA Grafický výstup analýzy Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

29 Limit kvantitativního stanovení Lineární rozsah měření
Metodika určení LoD PROBIT ANALÝZA Tabelový výstup analýzy Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

30 Limit kvantitativního stanovení Lineární rozsah měření
Limit kvantifikace a linearita Druhá interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie… Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Mez stanovitelnosti (limit kvantitativního stanovení) metody je nejnižší množství analytu ve vzorku, které může být stanoveno jako exaktní hodnota s požadovanou hodnotou nejistoty. Problém je, že není určeno o jakou míru nejistoty se jedná…nejistota 0,5 log, nebo 1 log? Někdy bývá označováno též jako dynamický rozsah kvantitativního stanovení a v případě biochemických analytických metod se udává jako 3xLoD. Linearita kalibračního vztahu (zkráceně linearita) – rozsah hodnot obsahu, množství či koncentrací, ve kterém je analytický signál lineární funkcí hodnot obsahu, množství či koncentrace. Problém je, že není určeno o jaký typ linearity se jedná…řádová linearita?

31 Limit kvantitativního stanovení Lineární rozsah měření
Limit kvantifikace a linearita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Experimentální a interpretační pozadí metod nutné k popisu výše definovaných parametrů není v případě použití metod založených na kvantitativní Real Time PCR podrobně popsáno a ošetřeno žádnou normou. Tento fakt umožňuje bohužel velký prostor pro volnou interpretaci a nejednotnost (neporovnatelnost) výsledků popisujících právě parametry linearity a meze stanovitelnosti. Pro popis přesnosti měření byl proto navržen vlastní experimentální model

32 Experimentální model validace
CMV PCR popisuje přesnost měření PCR kitu bez vlivu izolace* popisuje odchylky měření v rozsahu 1010 – LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%

33 Experimentální model validace
CMV PCR 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Připravena koncentrační řada kvantitativně definované kontroly v rozsahu 1010 až 0 kopií/ml (zapsáno ve formátu log) 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x Každý člen připravené řady byl kvantitativně stanoven v 6 měřeních Výsledek stanovení byl vynesen do grafu a byly stanoveny odchylky měření pro každou detekovanou koncentraci

34 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

35 PŘESNOST MĚŘENÍ +/- 0,25 log10
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

36 PŘESNOST MĚŘENÍ +/- 0,5 log10
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

37 Pravděpodobný LoD 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

38 VALIDACE CMV PCR ZÁVĚR 1010 c/ml - 103 c/ml (+/- 0,25 log10)
10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 1010 c/ml c/ml (+/- 0,25 log10) 103 c/ml c/ml (+/- 0,5 log10) Mez stanovitelnosti (limit kvantitativního stanovení) 102 kopií/ml s maximální odchylkou měření (mírou nejistoty) 0,5 log Linearita kalibračního vztahu (zkráceně linearita) V rozsahu 1010 c/ml c/ml je systém měření „řádově lineární“ s maximální chybou 0,25 log  

39 Definice a metodiky v metrologii
… a jejich pochopení (v jakkoliv velkém rozsahu) zůstává stále hrubě nedostačující znalostí, pokud zároveň nepochopíme Vztahy v metrologické terminologii … bez pochopení těchto vztahů nebudeme moci jakékoliv intelektuálně uchopené metody relevantně a na správném místě použít!

40 Limit kvantitativního stanovení Lineární rozsah měření
Vztahy v Metrologické terminologii SOUBOR PARAMETRŮ VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Validace potvrzuje, že měřící postup je schopen plnit požadavky na ně kladené. Jinak řečeno, že úroveň měření je dostatečná, postupy měření korektní a s řádně provedenou kalibrací. Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data… VERIFIKACE Verifikací pak rozumíme, že měřící postup je plně funkční v konkrétní laboratoři. Potvrzuje schopnost PCR soupravy dosahovat parametrů uvedených ve validaci…

41 Limit kvantitativního stanovení Lineární rozsah měření
Vztahy v Metrologické terminologii SOUBOR PARAMETRŮ VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Validace je prováděna výrobcem diagnostika podle předepsaných, nebo doporučených testů. Výsledkem validace je soubor technických parametrů popisující celý systém měření včetně jeho limitů a omezení. VERIFIKACE Verifikace je prováděna koncovým uživatelem diagnostika (diagnostickou laboratoří) podle předepsaných, nebo doporučených testů, které by měly být shodné s testy ve validaci. Výsledkem verifikace je soubor testů potvrzující parametry deklarované výrobcem při validaci.

42 Při ideálním stavu je tedy výsledek:
Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem Pokud jsou všechny parametry přesně a jasně popsány (experimentálně, statisticky a interpretačně) a provedeny ve validaci a verifikaci stejným způsobem.

43 Limit kvantitativního stanovení Lineární rozsah měření
Molekulární mikrobiologie SOUBOR PARAMETRŮ VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Provedení a způsob interpretace jednotlivých testů je ve velké míře v režii konkrétního výrobce diagnostika. Normy bohužel určují způsob provedení a rozsah testů pouze „rámcově“ = neexistuje jednotný a přesný popis pro validaci qPCR metod. VERIFIKACE Nelze provést podle jednotných testů, protože v dnešní době v podstatě neexistují. K verifikaci bývá proto velmi často využíváno panelů určených k externímu hodnocení kvality (EHK, EQA). Pomocí těchto panelů jsme schopni posoudit: Minimální kvalitu diagnostika (a celého laboratorního postupu) při stanovení konkrétního patogena Kvalitu práce laboratoře při stanovení konkrétního patogena ve srovnání s ostatními účastníky EHK

44 EHK v molekulární mikrobiologii
Externí hodnocení kvality Doporučení č. 1 České společnosti klinické biochemie ČLS JEP (dále jen ČSKB) a Referenční laboratoře pro klinickou biochemii MZ ČR (dále jen RL) k systému externího hodnocení kvality (dále jen EHK). Podstata externího hodnocení kvality EHK je součástí procesů zajištění kvality měření. Principem EHK je provádění mezilaboratorních porovnávání zkoušek. Je organizováno a vyhodnocováno organizátory EHK (organizátoři EHK se označují termínem EQA providers). EHK v molekulární mikrobiologii Pro zajištění kvality měření a mezilaboratorní porovnání při použití Real Time PCR metod pro detekci patogenů jsou k dispozici následující panely: INSTAND e.V. (Germany) QCMD (Quality Control for Molecular Diagnostics, GB) EHK SZU (Czech Republic)

45 Složení QCMD Panel obsahuje sadu slepých vzorků o různých koncentracích. Tato sada je po doručení zpracována podle standardních postupů používaných laboratoří k detekci uvedeného patogena. Odběr, transport a uchování vzorků Izolace nukleových kyselin Real Time PCR Hodnocení a interpretace výsledků Sample CMV08-08 CMV08-01 CMV08-10 CMV08-07 CMV08-04 CMV08-02 CMV08-09 CMV08-05 CMV08-03 CMV08-06 Výhodou panelu je možnost popsat velkou část diagnostického procesu v laboratoři: Kvalitu použitého izolační postupu Kvalitu použité qPCR metody Správnost a přesnost vyhodnocení

46 Kvalitativní vyhodnocení QCMD
Vyhodnocení vzorků podle definovaného klíče: 1. Core samples – klinicky důležité s největší váhou při hodnocení 2. Educational samples – sledují vývoj kvality a citlivosti v čase. Menší váha při hodnocení

47 Kvalitativní vyhodnocení QCMD
Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

48 Kvantitativní vyhodnocení QCMD
1. Každému vzorku je přiřazena konsensuální hodnota (uvedeno v log10) 2. Kolem každé konsensuální hodnoty je stanovena SD (uvedeno v log10)

49 Kvantitativní vyhodnocení QCMD
Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

50 Část II. Ukázky využití statistických metod v molekulární mikrobiologii

51 SPECIFITA

52 Případ I Detekce Chlamydia trachomatis
Jako nejvhodnější cíl pro detekci Chlamydia trachomatis byl zvolen úsek kryptického plasmidu (CP) Většina komerčních souprav detekuje CP pomocí stejných párů primerů Citlivost detekce je díky „multikopiovému“ cíli vysoká Specifita je vysoká KVALITNÍ DIAGNOSTICKÝ NÁSTROJ PRO DETEKCI Chlamydia trachomatis

53 Jaký je důvod změny tohoto trendu?
Případ I Švédsko – do roku 2005 Diagnostikované a hlášené případy Chlamydia trachomatis ve Švédsku plynule rostou (v letech o 120%!) V roce 2005 je zaznamenán nárůst pouze o 2% a v roce 2006 dokonce klesá o 2%! Jaký je důvod změny tohoto trendu? REASONS FOR THE SHARP INCREASE OF GENITAL CHLAMYDIA INFECTIONS REPORTED IN THE FIRST MONTHS OF 2007 IN SWEDEN. I Velicko, S Kühlmann-Berenzon, A Blaxhult. Eurosurveillance, Volume 12, Issue 10, 01 October 2007.

54 Případ I Švédsko - rok 2006 až 2008 Byl zjištěn….
V označené části Švédska byla poprvé provedena konfirmace 2 nezávislými testy Každý z testů byl cílen do jiných částí genomu Chlamydia trachomatis Byl zjištěn…. Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann , Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9—September 2008

55 Případ I Švédsko - rok 2006 až 2008
CP jako cíl detekce 10% pokles detekovaných infekcí Ch. trachomatis v případě PCR zacílené do CP 1% nárůst detekovaných infekcí v případě PCR zacílené do jiné části genomu Chlamydia trachomatis. Jiný cíl detekce Změna trendu je pravděpodobně způsobena chybnou detekcí nové genetické varianty Chlamydia trachomatis v populaci. Impact of a genetic variant of Chlamydia trachomatis on national detection rates in Sweden. T Söderblom, A Blaxhult, H Fredlund, B Herrmann. Eurosurveillance, Volume 11, Issue 49, 07 December 2006.

56 Případ I Švédsko – nová genetická varianta Ch. trachomatis
Varianta s mutací CP Jedná se o deleci 377bp v oblasti CDS1 Tato oblast je nejčastějším cílem pro komerčně dodávané PCR diagnostické sety Co-evolution of genomes and plasmids within Chlamydia trachomatis and the emergence in Sweden of a new variant strain. Seth-Smith HM, Harris SR, Persson K, Marsh P, Barron A, Bignell A, Bjartling C, Clark L, Cutcliffe LT, Lambden PR, Lennard N, Lockey SJ, Quail MA, Salim O, Skilton RJ, Wang Y, Holland MJ, Parkhill J, Thomson NR, Clarke IN. BMC Genomics May 21;10:239. doi: / May 21;10:239. doi: /

57 uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis
Švédsko - rok 2007 … „A thrilling story in Sweden, with global impact“… (Björn Herrmann) V roce 2006 byla objevena ve Švédsku nová varianta Chlamydia trachomatis Tato nová varianta uniká detekci pomocí PCR souprav Abbott m2000 (Abbott Diagnostics, Chicago, IL, USA), nebo Cobas Amplicor/TaqMan48 (Roche Diagnostics, Basel, Switzerland) se zacílením do části CP Odhaduje se, že do roku 2007 uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis A new genetic variant of Chlamydia trachomatis. Björn Herrmann. Sex Transm Infect. 2007 July; 83(4): 253–254.

58 Případ I Švédsko - rok 2008 V roce 2007 je zaznamenán opět výrazný nárůst diagnostikovaných a hlášených případů Chlamydia trachomatis Tento výrazný nárůst je způsoben změnou diagnostických setů a jejich zacílení Použita jiná část CP plasmidu jako cíl Použita duplexní detekce dvou nezávislých genů Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann , Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9—September 2008

59 Případ I Co se vlastně stalo?

60 Patogen Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí…

61 Nová diagnostická souprava
Patogen Uzavřený a vůči patogenu statický systém „in vitro“ Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí…

62 Diagnostická souprava
Boj začíná… Diagnostická souprava Patogen Vysoká specifita Vysoká sensitivita

63 Diagnostická souprava
Boj začíná… Diagnostická souprava Patogen Variabilita genomu je relativně nízká, ale v důsledku úspěšné diagnostiky a nasazení účinné terapie … Vysoká specifita Vysoká sensitivita

64 Diagnostická souprava Nová genetická varianta patogenu
Po nějakém čase… Diagnostická souprava Nová genetická varianta patogenu … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí.

65 Diagnostická souprava Nová genetická varianta patogenu
Po nějakém čase… Diagnostická souprava Nová genetická varianta patogenu … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Změny v genetické informaci zasáhnou místo zacílení dg. soupravy

66 Diagnostická souprava Nová genetická varianta patogenu
Po nějakém čase… Diagnostická souprava Nová genetická varianta patogenu … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Dochází k poklesu specifity Sensitivita se často nemění

67 Diagnostická souprava Nová genetická varianta patogenu
Výsledek… Diagnostická souprava Nová genetická varianta patogenu

68 Výsledek… Falešně negativní výsledek Diagnostická souprava
Nová genetická varianta patogenu Falešně negativní výsledek

69 LIMIT DETEKCE LoD Využití Probit analýz pro stanovení bezpečného postupu citlivé detekce při směšování vzorků

70 pro kontrolu krevních produktů a derivátů pomocí PCR
Směšování vzorků – „Pool“ Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools

71 Směšování vzorků – „Pool“
Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools Příprava poolu z důvodu naředění hraničně pozitivních vzorků přináší větší riziko selhání vyšetření

72 Stanovení citlivosti PCR metody
Analytická citlivost pro testy NAT musí být vyjádřena s 95% hraniční pozitivní hodnotou cut-off a výpočtem pomocí vhodné statistické analýzy. Požadavky komise 2009/108/ES pro společné technické specifikace pro diagnostické zdravotnické prostředky in vitro

73 Stanovená mez detekce HCV je
Stanovení citlivosti HCV Stanovení meze detekce s pravděpodobností 95% Stanovená mez detekce HCV je 54,8180 IU/ml s rozptylem 36,1734 IU/ml až 102,751 IU/ml s 95% hraniční hodnoty cut-off %P Koncentrace Chyba Dolní mez Horní mez 1 0, , , , 2 0, , , ,134209 3 0, , , ,216407 4 0, , , ,304428 5 0, , , ,397392 , , , ,494786 , , , ,596282 , , , ,701660 , , , ,810770 , , , ,923510 , , , ,24567 , , , ,95590 , , , ,17831 , , , ,16933 , , , ,4590 , , , ,2454 , , , ,6619 , , , ,2999 , , , ,7503 , , , ,1394 , , , ,7611 , , , ,0602 , , , ,751 , , , ,083 , , , ,514 , , , ,908 , , , ,672 95% 54,8180

74 Stanovení citlivosti HCV
%P Koncentrace Chyba Dolní mez Horní mez 1 0, , , , 2 0, , , ,134209 3 0, , , ,216407 4 0, , , ,304428 5 0, , , ,397392 , , , ,494786 , , , ,596282 , , , ,701660 , , , ,810770 , , , ,923510 , , , ,24567 , , , ,95590 , , , ,17831 , , , ,16933 , , , ,4590 , , , ,2454 , , , ,6619 , , , ,2999 , , , ,7503 , , , ,1394 , , , ,7611 , , , ,0602 , , , ,751 , , , ,083 , , , ,514 , , , ,908 , , , ,672 Při vyšetření 100 vzorků o průměrné koncentraci 54,8180 IU/ml bude 95 vzorků pozitivních (Pravděpodobnost selhání je 5%)

75 Směšování vzorků HCV – „Pool“ Teoretický model
Vzorky plasmy 54,8 IU HCV 1 ml 0 IU HCV Stanovená citlivost PCR metody je 54,8 IU/ml při vyšetření každého vzorku samostatně

76 Jak bude vypadat citlivost metody v takto připraveném poolu vzorků ?
Směšování vzorků HCV – „Pool“ Teoretický model Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Otázka I Jak bude vypadat citlivost metody v takto připraveném poolu vzorků ?

77 Stanovení citlivosti HCV Teoretický model
Odpověď %P Koncentrace Chyba Dolní mez Horní mez 1 0, , , , 2 0, , , ,134209 3 0, , , ,216407 4 0, , , ,304428 5 0, , , ,397392 , , , ,494786 , , , ,596282 , , , ,701660 , , , ,810770 , , , ,923510 , , , ,24567 , , , ,95590 , , , ,17831 , , , ,16933 , , , ,459 , , , ,2454 , , , ,6619 , , , ,2999 , , , ,7503 , , , ,1394 , , , ,7611 , , , ,0602 , , , ,751 , , , ,083 , , , ,514 , , , ,908 , , , ,672 Teoreticky dojde k výraznému nárůstu pravděpodobnosti selhání vyšetření (z 5 % zhruba na 40 %)

78 Směšování vzorků HCV – „Pool“ Teoretický model
Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Otázka II Lze zachovat ekonomický přínos poolování vzorků při současném zachování deklarované citlivosti vyšetření?

79 Opakováním vyšetření se dramaticky zvyšuje citlivost metody
Směšování vzorků HCV – „Pool“ Teoretický model Odpověď Ano, teoreticky toho lze dosáhnout pomocí opakování vyšetření poolu vzorků Počet opakování Koncentrace ø v IU/ml 1 54,8180 2 19,6826 3 10,8110 4 7,0671 5 5,0820 6 3,8817 7 3,0910 8 2,5375 9 2,1321 10 1,8247 3 vyšetření - alespoň 1 pozitivní - Citlivost 10,8 ø v IU/ml Izolace I II III PCR I PCR II PCR III Opakováním vyšetření se dramaticky zvyšuje citlivost metody

80 Směšování vzorků HCV – „Pool“ Teoretický model
Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Shrnutí: Ekonomického přínosu poolování při zachování deklarované citlivosti lze teoreticky dosáhnout: Nastavením správného počtu opakování vyšetření Nastavením správného počtu vzorků v poolu

81 Směšování vzorků HCV – „Pool“ Nastavení počtu opakování vyšetření
4 sady 20 nezávisle připravených poolů 1 vzorek 54,8 IU/ml + 5 vzorků negativních Směsné vzorky 1:6 9,13 IU/ml HCV 6 ml 1 opakování vyšetření 2 opakování 3 opakování 4 opakování

82 Směšování vzorků HCV – „Pool“ Nastavení počtu opakování vyšetření
9,13 IU/ml HCV 6 ml 1 opakování 2 opakování 3 opakování 4 opakování Pozitivních 9 16 19 20 Negativních 11 4 1 P selhání 45% 20% 5% < 5%

83 ? Směšování vzorků HCV – „Pool“ Nastavení počtu vzorků v poolu
6 ml Pool 1:6 2 ml Pool 1:2 ? 1 opakování vyšetření 3 opakování vyšetření

84 Směšování vzorků HCV – „Pool“ Nastavení počtu vzorků v poolu
Pozitivních 19 16 Negativních 1 4 P selhání 5% 20% 1 opakování vyšetření 3 opakování vyšetření

85 Směšování vzorků HCV – „Pool“ Závěry
Opakování vyšetření dramaticky zvyšuje sensitivitu Počet opakování vyšetření Koncentrace ø v IU/ml 1 54,8180 2 19,6826 3 10,8110 4 7,0671 5 5,0820 6 3,8817 7 3,0910 8 2,5375 9 2,1321 10 1,8247

86 méně opakování vyšetření více opakování vyšetření
Směšování vzorků HCV – „Pool“ Závěry Pool 1:6 Pool 1:2 3 opakování detekce 1 opakování P selhání 20% 5% Menší pool méně opakování vyšetření < Větší pool více opakování vyšetření Při stejné citlivosti

87 Směšování vzorků HCV – „Pool“ Závěry
Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu 1 6 12 25 50 Počet opakování 3 ~ 5 ~ 9 ~ 10 P selhání 5%

88 Směšování vzorků HCV – „Pool“ Závěry
Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu 1 6 12 25 50 Počet opakování 3 ~ 5 ~ 9 ~ 10 P selhání 5% Úspora 0% 50% ~ 58% ~ 64% ~ 80% Čím větší počet vzorků v poolu je použit, tím je ekonomický efekt vyšší při zachování stejné citlivosti vyšetření

89 Směšování vzorků HCV – „Pool“ Závěry
Systém směšování vzorků je ekonomický pouze při malé míře pozitivit v celém souboru vyšetření Pokud smícháme n vzorků, kde pravděpodobnost výskytu HCV je p, pak ve směsi může být 0 až n pozitivních vzorků, kde počet pozitivních vzorků se řídí binomickým rozdělením. Binomické rozdělení (popis tzv. náhodného výběru s vracením) Bi(n, p), kde n je přirozené číslo, p je reálné číslo, 0  p  1: Pro vytváření poolu 1:6 pro detekci HCV s citlivostí 54,8 IU/ml je tento proces výhodný do 10 % pozitivních vzorků

90 Využití parametrů kvantitativního stanovení pro určení odezvy na léčbu
Jak přesná je přesná kvantifikace? Jak interpretovat kvantitativní výsledky?

91 RaR studie Stanovení přesnosti a rozlišitelnosti měření testovaných koncentrací v rozsahu kalibrační přímky When using home-made methods or other competitive kits for PCR detection, it is common that you first have to prepare a MasterMix by mixing together the contents of several tubes in correct ratios. This MasterMix, prepared in such a complicated way, may generate a lot of mistakes like pipetting errors and or cross-contamination

92 PCR reakce je schopna bezpečně odlišit změny koncentrací
Vložená koncentrace kopií/µl Rozptyl měření 10 3 - 34 100 1000 10 000 When using home-made methods or other competitive kits for PCR detection, it is common that you first have to prepare a MasterMix by mixing together the contents of several tubes in correct ratios. This MasterMix, prepared in such a complicated way, may generate a lot of mistakes like pipetting errors and or cross-contamination PCR reakce je schopna bezpečně odlišit změny koncentrací v rozsahu kalibrační přímky s definovanou variabilitou

93 Jak interpretovat na základě předchozí charakteristiky měřená data?
Naměřené hodnoty (kopie/ul) 2 182 216 22 21 4 0,96 0,86 0,23 - 2182 216 22 21 4 0,96 0,86 0,23 1962 5095 483 206 3 34

94 - Pacient po transplantaci ledviny Podezření na CMV infekci
Případ: - Pacient po transplantaci ledviny Podezření na CMV infekci Nasazena terapie Vyšetření Výsledek kopií/ml 1. den 2. den 70 000 3. den 20 000 Kdy došlo k prokazatelnému poklesu virové nálože ve vzorku a reakci na léčbu? 94

95 Vyšetření Výsledek kopií/ml 1. den 100 000 2. den 70 000 3. den 20 000
3000 34 000 66 000 70 000 20 000 Vyšetření Výsledek kopií/ml 1. den 2. den 70 000 3. den 20 000 K prokazatelnému poklesu virové nálože ve vzorku došlo až při 3. vyšetření (oproti 1. a 2. vyšetření) 95

96 Klinicky významná hladina
Při stanovování klinicky významné hladiny je třeba počítat s variabilitou měření dané laboratoře a daného postupu Klinicky významná hladina Vložená koncentrace kopií/µl Rozptyl měření 10 3 - 34 100 1000 10 000 96

97 Využití Probit analýzy při volbě diagnostika
Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem

98 Chlamydia trachomatis
Validace LoD Chlamydia trachomatis Souprava A Souprava B Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)

99 Chlamydia trachomatis
Validace LoD Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl

100 Chlamydia trachomatis
Validace LoD Chlamydia trachomatis Souprava A Souprava B Souprava A LoD výrazně nižší oproti soupravě B. 0,3 kopie/µl 1,5 kopie/µl

101 Reálný limit detekce? Chlamydia trachomatis
Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B

102 Chlamydia trachomatis
Verifikace LoD Chlamydia trachomatis Vzorek moči Chlamydia trachomatis +++ 1 ml Souprava A Souprava B Označení vzorku 31 32 33 34 35 36 37 38 39 40 Ředění 1:1 Počet izolací 6 Opakování PCR

103 Chlamydia trachomatis LoD souprava A < LoD souprava B
Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Očekávaný výsledek: LoD souprava A < LoD souprava B Označení vzorku 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 3 1 SOUPRAVA B 4 2 Opakování PCR

104 Chlamydia trachomatis LoD souprava A - ? - LoD souprava B
Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Dosažený výsledek LoD souprava A - ? - LoD souprava B Označení vzorku 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 3 1 SOUPRAVA B 5 4 2 Opakování PCR

105 Verifikace LoD Chlamydia trachomatis
Souprava A Souprava B Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.

106 Chlamydia trachomatis
LoD Chlamydia trachomatis Souprava A Souprava B Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?

107 Analýza parametrů VALIDACE
Souprava A Souprava B POUŽITELNÝ VÝSLEDEK Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

108 Analýza parametrů VALIDACE
Souprava A Souprava B STATISTICKY KOREKTNÍ VÝSTUPY „LÍBIVÉ“ VÝSTUPY Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

109 Analýza parametrů VALIDACE
Souprava A Souprava B STATISTICKY KOREKTNÍ VÝSTUPY „LÍBIVÉ“ VÝSTUPY

110 Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy
Souprava A Souprava B Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B

111 ……věřím, že příčinou naší nepřipravenosti na nestandardní události je především setrvačnost našeho myšlení v podobě přílišné důvěry ve statistiky….. …Raději budu mít vždy alespoň přibližně pravdu, než abych se, byť jedinkrát, přesně mýlil… Nassim Nicholas Taleb Černá labuť

112 Děkuji za pozornost