Standardizace a validace v rutinní molekulárně mikrobiologické diagnostice - aneb statistika v klinické praxi - P. Hložek

Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod Část II. Ukázky využití statistických metod v molekulární mikrobiologii

Část I. Metrologická terminologie v molekulární mikrobiologii Popis použitých statistických metod

Metrologická terminologie v analytické laboratoři Výchozím zdrojem pro metrologickou terminologii v medicíně je soubor standardizovaných biochemických diagnostických metod. V tomto oboru jsou již přesně terminologicky ukotveny a definovány jednotlivé statistické parametry a postupy vedoucí k jejich výpočtu. Metrologická terminologie v analytické laboratoři (http://www.sekk.cz/) VIM3: International Vocabulary of Metrology (http://www.bipm.org/en/publications/guides/vim.html)

Bohužel je nutno říci, že v molekulární mikrobiologii je až na výjimky kvalita a především jednotnost v postupech a terminologii určující základní statistické parametry diagnostik více než nepřehledná. Jedno z mála harmonizujících doporučení pro validace a verifikace s přímým vztahem k molekulárně biologickým metodám je možno najít zde: VALIDACE A VERIFIKACE MOLEKULÁRNĚ BIOLOGICKÝCH METOD ZALOŽENÝCH NA ANALÝZE EXTRAHUMÁNNÍHO GENOMU Doplněk k doporučení výboru České společnosti klinické biochemie o validaci a verifikaci analytických metod v klinických laboratořích (z 16.11.2004)

Jak přistoupit k pochopení základních metod metrologie použitých při charakterizaci molekulárně mikrobiologických stanovení?

Pochopení pojmů v metrologii Citlivost měřicího systému (Sensitivity of measuring system) Consensus value Definiční nejistota (Definitional uncertainty) Drift měřicího přístroje Etalon, standard měření, standard (Measurement standard, etalon) Externí hodnocení kvality (EHK) (External Quality Assessment – EQA) Horwitzova křivka Horwitzův vztah (Horwitz curve) Chyba měření (Measurement error) Ishikawův diagram (Ishikawa diagram) IVD MD (In Vitro Diagnostic Medical Devices) Jakost Kalibrace (Calibration) Kalibrační a měřicí schopnost (Calibration and measurement capability - CMC) Kalibrační laboratoř (Calibration laboratory) Kalibrátor (Calibrator) Koeficient rozšíření k (Coverage factor) Komponenta Komutabilita referenčního materiálu (Commutability of a reference material) Konfirmace Konfirmace identity (Confirmation of identity) Kontrolní materiál (Control material) Konvenční hodnota veličiny, konvenční hodnota (Conventional quantity value, conventional value)

Pochopení pojmů v metrologii V případě vyšetření v molekulární mikrobiologii využívající jako metodu stanovení technologii Real Time PCR se zaměřujeme na základní charakteristiky, pomocí kterých jsme schopni dostatečně popsat parametry a limity použitého měření: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Linearita měření Pamatujme však, že výchozím zdrojem pro metrologickou terminologii v molekulární mikrobiologii stále zůstává soubor standardizovaných biochemických diagnostických metod bez přímé návaznosti na zcela rozdílné technologické pozadí metod qPCR…

Limit kvantitativního stanovení Lineární rozsah měření Pochopení pojmů v metrologii Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Se skládá: Z definování základních pojmů používaných v metrologii obecně Z metodiky potřebné k ověření definovaných parametrů v případě molekulární mikrobiologie

Limit kvantitativního stanovení Lineární rozsah měření Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Přesnost (Precision): těsnost shody mezi naměřenou hodnotou veličiny a pravou hodnotou měřené veličiny (zjednodušeně míra chyby). Nemá vztah ke skutečné hodnotě. Obvykle se uvádí ve formě směrodatné odchylky. Přesnost měření můžeme dále rozdělit na:

Limit kvantitativního stanovení Lineární rozsah měření Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Přesnost za podmínek opakovatelnosti - Opakovatelnost (Repeatability): Vyjadřuje těsnost souhlasu mezi výsledky nezávislých měření stejného analytu, provedených stejnou metodou, stejným pracovníkem, na stejném přístroji, na stejném místě, za stejných podmínek v krátkém časovém intervalu. Opakovatelnost je vlastností metody, ne výsledku. Přesnost za podmínek reprodukovatelnosti. Reprodukovatelnost (Reproducibility): Vyjadřuje těsnost souhlasu mezi výsledky měření stejného analytu ve vzorcích stejného materiálu, kdy jsou jednotlivá měření prováděna za různých podmínek (pracovník, přístroj, místo, podmínky, čas, avšak stejná metoda).

Limit kvantitativního stanovení Lineární rozsah měření Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Správnost (Accuracy): těsnost shody mezi aritmetickým průměrem nekonečného počtu opakovaných naměřených hodnot veličiny a referenční hodnotou veličiny (zjednodušeně míra systematické chyby). Správnost je spojitou kombinací přesnosti a pravdivosti. Pravdivost (Trueness): Těsnost souhlasu mezi průměrnou hodnotou získanou z velkého počtu výsledků měření a dohodnutou referenční hodnotou (skutečnou hodnotou). Pravdivý výsledek je zatížen nulovou systematickou chybou. Za předpokladu, že výsledky použité metody vykazují nulovou nebo malou chybu, správnost = přesnost. Správnost lze zjistit pouze experimentálně.

Limit kvantitativního stanovení Lineární rozsah měření Správnost a přesnost Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Vztah mezi přesností a správností aneb k čemu to vlastně je? 

Limit kvantitativního stanovení Lineární rozsah měření Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Nepřesné a nesprávné Přesné, ale nesprávné

Limit kvantitativního stanovení Lineární rozsah měření Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Nepřesné a správné Přesné a správné

Limit kvantitativního stanovení Lineární rozsah měření Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Při vývoji měřícího systému je VŽDY vhodné dosáhnout toho, aby byl nejprve SPRÁVNÝ a potom se teprve zabývat jeho PŘESNOSTÍ

Limit kvantitativního stanovení Lineární rozsah měření Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Specifičnost (analytická) – je schopnost měřícího postupu stanovovat v komplexním (tedy reálném) vzorku pouze tu měřenou veličinu, která má být stanovena. Specifičnost je tím vyšší, čím nižší je stupeň interferencí s ostatními částmi (komponentami) vzorku. Specifická metoda = metoda oproštěná od vlivu matrice.

Limit kvantitativního stanovení Lineární rozsah měření Metodiky určení specifity Specifitu metody můžeme na úrovni molekulární mikrobiologie při použití PCR (qPCR) technik ověřovat na dvou úrovních: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Pomocí „in silico“ analýzy Pomocí experimentální analýzy Využití sbírkových kmenů, které mají klinickou relevanci s místem odběru vzorku, typem klinického materiálu, případně mohou působit v koinfekci s detekovaným patogenem a mohou být zdrojem nespecifity (cross reactivity)

Limit kvantitativního stanovení Lineární rozsah měření Specifita ! POZOR ! v molekulární mikrobiologii nemusí platit Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření plně specifická metoda = kvalitní a použitelná metoda (správně zvolená metoda)

Limit kvantitativního stanovení Lineární rozsah měření Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Při experimentálním stanovení specifity (např. Real Time PCR metodou) je nutné zároveň znát sensitivitu (limit detekce), protože v molekulární mikrobiologii jsou tyto dva parametry… Sensitivita …v reálné praxi při interpretaci výsledku vyšetření v křehké rovnováze a pro správnou volbu testu je ! NUTNÉ JE ZNÁT A ROZUMĚT JIM !

Limit kvantitativního stanovení Lineární rozsah měření Specifita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 0% SENSITIVITA 100% SPECIFITA 0% SPECIFITA 100% SENSITIVITA Takový test pravděpodobně neexistuje Takový test naštěstí nemůže existovat

Limit kvantitativního stanovení Lineární rozsah měření Specifita/limit detekce - příklad Stojí před námi vyšetření 100 pacientů s podezřením na nákazu velice nebezpečným patogenem: Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Inkubační doba - 24 hod. Plný rozvoj příznaků - 48 hod. po nakažení Morbidita a mortalita - 100% Existuje 100% účinný lék Máme na výběr dva testy pro detekci Test A 100%sensitivita, 50% specifita Test B 50% sensitivita, 100% specifita Který test je v tomto případě lepší?

25 falešně pozitivních výsledků 50 pozitivních výsledků detekce Test A 100%sensitivita, 50% specifita 25 negativních výsledků 50% specifita 25 falešně pozitivních výsledků 50% specifita 50 pozitivních výsledků detekce 100% sensitivita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 50 pacientů je zdravých 50 pacientů je nakažených Všichni pacienti přežijí, ale až 25 pacientů léčíme necíleně Test B 50% sensitivita, 100% specifita 50 negativních výsledků detekce 100% specifita 25 pozitivních výsledků 50% sensitivita 25 falešně negativních výsledků 50% sensitivita 50 pacientů je zdravých 50 pacientů je nakažených Žádného pacienta neléčíme necíleně, ale až 25 pacientů může zemřít

Limit kvantitativního stanovení Lineární rozsah měření Limit detekce/sensitivita První interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie… Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Mez detekce daného analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Stanovení meze detekce (LD): dle IUPAC se určí mez detekce obecně podle vztahu: LD = 3,29. sbl kde je sbl směrodatná odchylka blanku - slepého pokusu

Limit detekce/sensitivita Mez detekce = limit detekce (LoD, limit of detection) analytického postupu je dána nejmenším množstvím analytu ve vzorku, které může být detekováno, ale které nemusí být stanovitelné jako exaktní hodnota. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření 100% úspěšných záchytů Jsme nad limitem detekce 60% úspěšných záchytů Jsme pod limitem detekce Ale jak vysoko? Ale jak hluboko? LoD je nutno definovat na hranici, kde začíná detekční systém selhávat

Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Pro výpočet limitu detekce využívá Weibullovo rozložení (zdroj http://en.wikipedia.org/wiki/Weibull_distribution): Distribuční funkce tohoto rozdělení je for x ≥ 0, and F(x; k; λ) = 0 for x < 0. Pro účely stanovení limitu detekce za použití Real Time PCR (limit of detection = LoD) lze probit analýzu transformovat buď pomocí grafu nebo tabelovaných hodnot na zájmová % zasažení. Výsledkem tohoto stanovení je pak hodnota limitu detekce vyjádřená ve zvolených jednotkách (v případě molekulární mikrobiologie v IU/ml, případně v kopiích/ml) s definovanou pravděpodobností (95%).

Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Statistická technika, pomocí níž je vyjádřen vztah mezi odezvou a podnětem. Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Concentration in IU/ml 1st PCR 2rd PCR 3rd PCR Total hits from 18 PCR 40 8 24 20 5 6 17 10 4 16 1 3 9

Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Grafický výstup analýzy Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

Limit kvantitativního stanovení Lineární rozsah měření Metodika určení LoD PROBIT ANALÝZA Tabelový výstup analýzy Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření

Limit kvantitativního stanovení Lineární rozsah měření Limit kvantifikace a linearita Druhá interpretační a experimentální nejednotnost mezi biochemickou normou (ze které se při definování parametrů PCR souprav vychází) a realitou molekulární mikrobiologie… Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Mez stanovitelnosti (limit kvantitativního stanovení) metody je nejnižší množství analytu ve vzorku, které může být stanoveno jako exaktní hodnota s požadovanou hodnotou nejistoty. Problém je, že není určeno o jakou míru nejistoty se jedná…nejistota 0,5 log, nebo 1 log? Někdy bývá označováno též jako dynamický rozsah kvantitativního stanovení a v případě biochemických analytických metod se udává jako 3xLoD. Linearita kalibračního vztahu (zkráceně linearita) – rozsah hodnot obsahu, množství či koncentrací, ve kterém je analytický signál lineární funkcí hodnot obsahu, množství či koncentrace. Problém je, že není určeno o jaký typ linearity se jedná…řádová linearita?

Limit kvantitativního stanovení Lineární rozsah měření Limit kvantifikace a linearita Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Experimentální a interpretační pozadí metod nutné k popisu výše definovaných parametrů není v případě použití metod založených na kvantitativní Real Time PCR podrobně popsáno a ošetřeno žádnou normou. Tento fakt umožňuje bohužel velký prostor pro volnou interpretaci a nejednotnost (neporovnatelnost) výsledků popisujících právě parametry linearity a meze stanovitelnosti. Pro popis přesnosti měření byl proto navržen vlastní experimentální model

Experimentální model validace CMV PCR popisuje přesnost měření PCR kitu bez vlivu izolace* popisuje odchylky měření v rozsahu 1010 – LoD (c/ml) * Model počítá přesnost měření PCR Kitu za předpokladu účinnosti izolace 100%

Experimentální model validace CMV PCR 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 Připravena koncentrační řada kvantitativně definované kontroly v rozsahu 1010 až 0 kopií/ml (zapsáno ve formátu log) 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x 6x Každý člen připravené řady byl kvantitativně stanoven v 6 měřeních Výsledek stanovení byl vynesen do grafu a byly stanoveny odchylky měření pro každou detekovanou koncentraci

10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

PŘESNOST MĚŘENÍ +/- 0,25 log10 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

PŘESNOST MĚŘENÍ +/- 0,5 log10 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

Pravděpodobný LoD 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0

VALIDACE CMV PCR ZÁVĚR 1010 c/ml - 103 c/ml (+/- 0,25 log10) 10 9,5 9,0 8,5 8,0 7,5 7,0 6,5 6,0 5,5 5,0 4,5 4,0 3,5 3,3 3,0 2,4 2,1 1,1 0 1010 c/ml - 103 c/ml (+/- 0,25 log10) 103 c/ml - 102 c/ml (+/- 0,5 log10) Mez stanovitelnosti (limit kvantitativního stanovení) 102 kopií/ml s maximální odchylkou měření (mírou nejistoty) 0,5 log Linearita kalibračního vztahu (zkráceně linearita) V rozsahu 1010 c/ml - 103 c/ml je systém měření „řádově lineární“ s maximální chybou 0,25 log  

Definice a metodiky v metrologii … a jejich pochopení (v jakkoliv velkém rozsahu) zůstává stále hrubě nedostačující znalostí, pokud zároveň nepochopíme Vztahy v metrologické terminologii … bez pochopení těchto vztahů nebudeme moci jakékoliv intelektuálně uchopené metody relevantně a na správném místě použít!

Limit kvantitativního stanovení Lineární rozsah měření Vztahy v Metrologické terminologii SOUBOR PARAMETRŮ VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Validace potvrzuje, že měřící postup je schopen plnit požadavky na ně kladené. Jinak řečeno, že úroveň měření je dostatečná, postupy měření korektní a s řádně provedenou kalibrací. Deklaruje schopnost PCR soupravy poskytovat klinicky relevantní (klinikou vyžadovaná) a použitelná data… VERIFIKACE Verifikací pak rozumíme, že měřící postup je plně funkční v konkrétní laboratoři. Potvrzuje schopnost PCR soupravy dosahovat parametrů uvedených ve validaci…

Limit kvantitativního stanovení Lineární rozsah měření Vztahy v Metrologické terminologii SOUBOR PARAMETRŮ VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Validace je prováděna výrobcem diagnostika podle předepsaných, nebo doporučených testů. Výsledkem validace je soubor technických parametrů popisující celý systém měření včetně jeho limitů a omezení. VERIFIKACE Verifikace je prováděna koncovým uživatelem diagnostika (diagnostickou laboratoří) podle předepsaných, nebo doporučených testů, které by měly být shodné s testy ve validaci. Výsledkem verifikace je soubor testů potvrzující parametry deklarované výrobcem při validaci.

Při ideálním stavu je tedy výsledek: Verifikace parametrů uživatelem = parametrům uvedeným při Validaci výrobcem Pokud jsou všechny parametry přesně a jasně popsány (experimentálně, statisticky a interpretačně) a provedeny ve validaci a verifikaci stejným způsobem.

Limit kvantitativního stanovení Lineární rozsah měření Molekulární mikrobiologie SOUBOR PARAMETRŮ VALIDACE Přesnost a správnost Specifita Limit detekce Limit kvantitativního stanovení Lineární rozsah měření Provedení a způsob interpretace jednotlivých testů je ve velké míře v režii konkrétního výrobce diagnostika. Normy bohužel určují způsob provedení a rozsah testů pouze „rámcově“ = neexistuje jednotný a přesný popis pro validaci qPCR metod. VERIFIKACE Nelze provést podle jednotných testů, protože v dnešní době v podstatě neexistují. K verifikaci bývá proto velmi často využíváno panelů určených k externímu hodnocení kvality (EHK, EQA). Pomocí těchto panelů jsme schopni posoudit: Minimální kvalitu diagnostika (a celého laboratorního postupu) při stanovení konkrétního patogena Kvalitu práce laboratoře při stanovení konkrétního patogena ve srovnání s ostatními účastníky EHK

EHK v molekulární mikrobiologii Externí hodnocení kvality Doporučení č. 1 České společnosti klinické biochemie ČLS JEP (dále jen ČSKB) a Referenční laboratoře pro klinickou biochemii MZ ČR (dále jen RL) k systému externího hodnocení kvality (dále jen EHK). Podstata externího hodnocení kvality EHK je součástí procesů zajištění kvality měření. Principem EHK je provádění mezilaboratorních porovnávání zkoušek. Je organizováno a vyhodnocováno organizátory EHK (organizátoři EHK se označují termínem EQA providers). EHK v molekulární mikrobiologii Pro zajištění kvality měření a mezilaboratorní porovnání při použití Real Time PCR metod pro detekci patogenů jsou k dispozici následující panely: INSTAND e.V. (Germany) QCMD (Quality Control for Molecular Diagnostics, GB) EHK SZU (Czech Republic)

Složení QCMD Panel obsahuje sadu slepých vzorků o různých koncentracích. Tato sada je po doručení zpracována podle standardních postupů používaných laboratoří k detekci uvedeného patogena. Odběr, transport a uchování vzorků Izolace nukleových kyselin Real Time PCR Hodnocení a interpretace výsledků Sample CMV08-08 CMV08-01 CMV08-10 CMV08-07 CMV08-04 CMV08-02 CMV08-09 CMV08-05 CMV08-03 CMV08-06 Výhodou panelu je možnost popsat velkou část diagnostického procesu v laboratoři: Kvalitu použitého izolační postupu Kvalitu použité qPCR metody Správnost a přesnost vyhodnocení

Kvalitativní vyhodnocení QCMD Vyhodnocení vzorků podle definovaného klíče: 1. Core samples – klinicky důležité s největší váhou při hodnocení 2. Educational samples – sledují vývoj kvality a citlivosti v čase. Menší váha při hodnocení

Kvalitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

Kvantitativní vyhodnocení QCMD 1. Každému vzorku je přiřazena konsensuální hodnota (uvedeno v log10) 2. Kolem každé konsensuální hodnoty je stanovena SD (uvedeno v log10)

Kvantitativní vyhodnocení QCMD Konečné srovnání ve vztahu k ostatním účastníkům tohoto panelu

Část II. Ukázky využití statistických metod v molekulární mikrobiologii

SPECIFITA

Případ I Detekce Chlamydia trachomatis Jako nejvhodnější cíl pro detekci Chlamydia trachomatis byl zvolen úsek kryptického plasmidu (CP) Většina komerčních souprav detekuje CP pomocí stejných párů primerů Citlivost detekce je díky „multikopiovému“ cíli vysoká Specifita je vysoká KVALITNÍ DIAGNOSTICKÝ NÁSTROJ PRO DETEKCI Chlamydia trachomatis

Jaký je důvod změny tohoto trendu? Případ I Švédsko – do roku 2005 Diagnostikované a hlášené případy Chlamydia trachomatis ve Švédsku plynule rostou (v letech 1997-2004 o 120%!) V roce 2005 je zaznamenán nárůst pouze o 2% a v roce 2006 dokonce klesá o 2%! Jaký je důvod změny tohoto trendu? REASONS FOR THE SHARP INCREASE OF GENITAL CHLAMYDIA INFECTIONS REPORTED IN THE FIRST MONTHS OF 2007 IN SWEDEN. I Velicko, S Kühlmann-Berenzon, A Blaxhult. Eurosurveillance, Volume 12, Issue 10, 01 October 2007.

Případ I Švédsko - rok 2006 až 2008 Byl zjištěn…. V označené části Švédska byla poprvé provedena konfirmace 2 nezávislými testy Každý z testů byl cílen do jiných částí genomu Chlamydia trachomatis Byl zjištěn…. Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann , Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9—September 2008

Případ I Švédsko - rok 2006 až 2008 CP jako cíl detekce 10% pokles detekovaných infekcí Ch. trachomatis v případě PCR zacílené do CP 1% nárůst detekovaných infekcí v případě PCR zacílené do jiné části genomu Chlamydia trachomatis. Jiný cíl detekce Změna trendu je pravděpodobně způsobena chybnou detekcí nové genetické varianty Chlamydia trachomatis v populaci. Impact of a genetic variant of Chlamydia trachomatis on national detection rates in Sweden. T Söderblom, A Blaxhult, H Fredlund, B Herrmann. Eurosurveillance, Volume 11, Issue 49, 07 December 2006.

Případ I Švédsko – nová genetická varianta Ch. trachomatis Varianta s mutací CP Jedná se o deleci 377bp v oblasti CDS1 Tato oblast je nejčastějším cílem pro komerčně dodávané PCR diagnostické sety Co-evolution of genomes and plasmids within Chlamydia trachomatis and the emergence in Sweden of a new variant strain. Seth-Smith HM, Harris SR, Persson K, Marsh P, Barron A, Bignell A, Bjartling C, Clark L, Cutcliffe LT, Lambden PR, Lennard N, Lockey SJ, Quail MA, Salim O, Skilton RJ, Wang Y, Holland MJ, Parkhill J, Thomson NR, Clarke IN. BMC Genomics. 2009 May 21;10:239. doi: 10.1186/1471-2164-10-239.2009 May 21;10:239. doi: 10.1186/1471-2164-10-239.

uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis Švédsko - rok 2007 … „A thrilling story in Sweden, with global impact“… (Björn Herrmann) V roce 2006 byla objevena ve Švédsku nová varianta Chlamydia trachomatis Tato nová varianta uniká detekci pomocí PCR souprav Abbott m2000 (Abbott Diagnostics, Chicago, IL, USA), nebo Cobas Amplicor/TaqMan48 (Roche Diagnostics, Basel, Switzerland) se zacílením do části CP Odhaduje se, že do roku 2007 uniklo detekci zhruba 8000 případů infekce Chlamydia trachomatis A new genetic variant of Chlamydia trachomatis. Björn Herrmann. Sex Transm Infect. 2007 July; 83(4): 253–254.

Případ I Švédsko - rok 2008 V roce 2007 je zaznamenán opět výrazný nárůst diagnostikovaných a hlášených případů Chlamydia trachomatis Tento výrazný nárůst je způsoben změnou diagnostických setů a jejich zacílení Použita jiná část CP plasmidu jako cíl Použita duplexní detekce dvou nezávislých genů Emergence and Spread of Chlamydia trachomatis Variant, Sweden. Björn Herrmann , Anna Törner, Nicola Low, Markus Klint, Anders Nilsson, Inga Velicko, Thomas Söderblom, and Anders Blaxhult. CDC, Volume 14, Number 9—September 2008

Případ I Co se vlastně stalo?

Patogen Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí…

Nová diagnostická souprava Patogen Uzavřený a vůči patogenu statický systém „in vitro“ Otevřený, dynamický a živý systém vystavený selekčnímu tlaku vnějšího prostředí…

Diagnostická souprava Boj začíná… Diagnostická souprava Patogen Vysoká specifita Vysoká sensitivita

Diagnostická souprava Boj začíná… Diagnostická souprava Patogen Variabilita genomu je relativně nízká, ale v důsledku úspěšné diagnostiky a nasazení účinné terapie … Vysoká specifita Vysoká sensitivita

Diagnostická souprava Nová genetická varianta patogenu Po nějakém čase… Diagnostická souprava Nová genetická varianta patogenu … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí.

Diagnostická souprava Nová genetická varianta patogenu Po nějakém čase… Diagnostická souprava Nová genetická varianta patogenu … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Změny v genetické informaci zasáhnou místo zacílení dg. soupravy

Diagnostická souprava Nová genetická varianta patogenu Po nějakém čase… Diagnostická souprava Nová genetická varianta patogenu … dochází v čase k nárůstu změn v genetické informaci a jejich fixaci v důsledku selekčního tlaku vnějšího prostředí. Dochází k poklesu specifity Sensitivita se často nemění

Diagnostická souprava Nová genetická varianta patogenu Výsledek… Diagnostická souprava Nová genetická varianta patogenu

Výsledek… Falešně negativní výsledek Diagnostická souprava Nová genetická varianta patogenu Falešně negativní výsledek

LIMIT DETEKCE LoD Využití Probit analýz pro stanovení bezpečného postupu citlivé detekce při směšování vzorků

pro kontrolu krevních produktů a derivátů pomocí PCR Směšování vzorků – „Pool“ Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools

Směšování vzorků – „Pool“ Příprava poolu pro kontrolu krevních produktů a derivátů pomocí PCR je standardní postup CONTROL AUTHORITY BATCH RELEASE OF BLOOD PRODUCTS Validation Of Nucleic Acid Amplification Technology (NAT) For The Detection Of Hepatitis C Virus (HCV) RNA In Plasma Pools Příprava poolu z důvodu naředění hraničně pozitivních vzorků přináší větší riziko selhání vyšetření

Stanovení citlivosti PCR metody Analytická citlivost pro testy NAT musí být vyjádřena s 95% hraniční pozitivní hodnotou cut-off a výpočtem pomocí vhodné statistické analýzy. Požadavky komise 2009/108/ES pro společné technické specifikace pro diagnostické zdravotnické prostředky in vitro

Stanovená mez detekce HCV je Stanovení citlivosti HCV Stanovení meze detekce s pravděpodobností 95% Stanovená mez detekce HCV je 54,8180 IU/ml s rozptylem 36,1734 IU/ml až 102,751 IU/ml s 95% hraniční hodnoty cut-off %P Koncentrace Chyba Dolní mez Horní mez 1 0,0120933 0,0125487 0,0007265 0,0596387 2 0,0339341 0,0302989 0,0030285 0,134209 3 0,0622485 0,0503064 0,0070056 0,216407 4 0,0959533 0,0717721 0,0127349 0,304428 5 0,134462 0,0942943 0,0202871 0,397392 6 0,177408 0,117629 0,0297302 0,494786 7 0,224541 0,141614 0,0411318 0,596282 8 0,275687 0,166130 0,0545596 0,701660 9 0,330720 0,191091 0,0700820 0,810770 10 0,389551 0,216428 0,0877688 0,923510 20 1,18077 0,482317 0,400302 2,24567 30 2,36136 0,760236 1,02229 3,95590 40 4,01501 1,05065 2,07077 6,17831 50 6,30324 1,37531 3,71251 9,16933 60 9,52086 1,80083 6,18900 13,4590 70 14,2531 2,50572 9,87465 20,2454 80 21,8872 3,97602 15,5233 32,6619 90 37,1567 7,96160 25,6596 62,2999 91 39,6964 8,72658 27,2351 67,7503 92 42,5990 9,62966 29,0061 74,1394 93 45,9687 10,7138 31,0263 81,7611 94 49,9603 12,0437 33,3744 91,0602 95 54,8180 13,7231 36,1734 102,751 96 60,9579 15,9327 39,6305 118,083 97 69,1778 19,0260 44,1368 139,514 98 81,3185 23,8410 50,5786 172,908 99 103,485 33,2617 61,8200 238,672 95% 54,8180

Stanovení citlivosti HCV %P Koncentrace Chyba Dolní mez Horní mez 1 0,0120933 0,0125487 0,0007265 0,0596387 2 0,0339341 0,0302989 0,0030285 0,134209 3 0,0622485 0,0503064 0,0070056 0,216407 4 0,0959533 0,0717721 0,0127349 0,304428 5 0,134462 0,0942943 0,0202871 0,397392 6 0,177408 0,117629 0,0297302 0,494786 7 0,224541 0,141614 0,0411318 0,596282 8 0,275687 0,166130 0,0545596 0,701660 9 0,330720 0,191091 0,0700820 0,810770 10 0,389551 0,216428 0,0877688 0,923510 20 1,18077 0,482317 0,400302 2,24567 30 2,36136 0,760236 1,02229 3,95590 40 4,01501 1,05065 2,07077 6,17831 50 6,30324 1,37531 3,71251 9,16933 60 9,52086 1,80083 6,18900 13,4590 70 14,2531 2,50572 9,87465 20,2454 80 21,8872 3,97602 15,5233 32,6619 90 37,1567 7,96160 25,6596 62,2999 91 39,6964 8,72658 27,2351 67,7503 92 42,5990 9,62966 29,0061 74,1394 93 45,9687 10,7138 31,0263 81,7611 94 49,9603 12,0437 33,3744 91,0602 95 54,8180 13,7231 36,1734 102,751 96 60,9579 15,9327 39,6305 118,083 97 69,1778 19,0260 44,1368 139,514 98 81,3185 23,8410 50,5786 172,908 99 103,485 33,2617 61,8200 238,672 Při vyšetření 100 vzorků o průměrné koncentraci 54,8180 IU/ml bude 95 vzorků pozitivních (Pravděpodobnost selhání je 5%)

Směšování vzorků HCV – „Pool“ Teoretický model Vzorky plasmy 54,8 IU HCV 1 ml 0 IU HCV Stanovená citlivost PCR metody je 54,8 IU/ml při vyšetření každého vzorku samostatně

Jak bude vypadat citlivost metody v takto připraveném poolu vzorků ? Směšování vzorků HCV – „Pool“ Teoretický model Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Otázka I Jak bude vypadat citlivost metody v takto připraveném poolu vzorků ?

Stanovení citlivosti HCV Teoretický model Odpověď %P Koncentrace Chyba Dolní mez Horní mez 1 0,0120933 0,0125487 0,0007265 0,0596387 2 0,0339341 0,0302989 0,0030285 0,134209 3 0,0622485 0,0503064 0,0070056 0,216407 4 0,0959533 0,0717721 0,0127349 0,304428 5 0,134462 0,0942943 0,0202871 0,397392 6 0,177408 0,117629 0,0297302 0,494786 7 0,224541 0,141614 0,0411318 0,596282 8 0,275687 0,166130 0,0545596 0,701660 9 0,330720 0,191091 0,0700820 0,810770 10 0,389551 0,216428 0,0877688 0,923510 20 1,18077 0,482317 0,400302 2,24567 30 2,36136 0,760236 1,02229 3,95590 40 4,01501 1,05065 2,07077 6,17831 50 6,30324 1,37531 3,71251 9,16933 60 9,52086 1,80083 6,1890 13,459 70 14,2531 2,50572 9,87465 20,2454 80 21,8872 3,97602 15,5233 32,6619 90 37,1567 7,96160 25,6596 62,2999 91 39,6964 8,72658 27,2351 67,7503 92 42,5990 9,62966 29,0061 74,1394 93 45,9687 10,7138 31,0263 81,7611 94 49,9603 12,0437 33,3744 91,0602 95 54,8180 13,7231 36,1734 102,751 96 60,9579 15,9327 39,6305 118,083 97 69,1778 19,0260 44,1368 139,514 98 81,3185 23,8410 50,5786 172,908 99 103,485 33,2617 61,8200 238,672 Teoreticky dojde k výraznému nárůstu pravděpodobnosti selhání vyšetření (z 5 % zhruba na 40 %)

Směšování vzorků HCV – „Pool“ Teoretický model Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Otázka II Lze zachovat ekonomický přínos poolování vzorků při současném zachování deklarované citlivosti vyšetření?

Opakováním vyšetření se dramaticky zvyšuje citlivost metody Směšování vzorků HCV – „Pool“ Teoretický model Odpověď Ano, teoreticky toho lze dosáhnout pomocí opakování vyšetření poolu vzorků Počet opakování Koncentrace ø v IU/ml 1 54,8180 2 19,6826 3 10,8110 4 7,0671 5 5,0820 6 3,8817 7 3,0910 8 2,5375 9 2,1321 10 1,8247 3 vyšetření - alespoň 1 pozitivní - Citlivost 10,8 ø v IU/ml Izolace I II III PCR I PCR II PCR III Opakováním vyšetření se dramaticky zvyšuje citlivost metody

Směšování vzorků HCV – „Pool“ Teoretický model Směsný vzorek 1:6 9,13 IU/ml HCV 6 ml Shrnutí: Ekonomického přínosu poolování při zachování deklarované citlivosti lze teoreticky dosáhnout: Nastavením správného počtu opakování vyšetření Nastavením správného počtu vzorků v poolu

Směšování vzorků HCV – „Pool“ Nastavení počtu opakování vyšetření 4 sady 20 nezávisle připravených poolů 1 vzorek 54,8 IU/ml + 5 vzorků negativních Směsné vzorky 1:6 9,13 IU/ml HCV 6 ml 1 opakování vyšetření 2 opakování 3 opakování 4 opakování

Směšování vzorků HCV – „Pool“ Nastavení počtu opakování vyšetření 9,13 IU/ml HCV 6 ml 1 opakování 2 opakování 3 opakování 4 opakování Pozitivních 9 16 19 20 Negativních 11 4 1 P selhání 45% 20% 5% < 5%

? Směšování vzorků HCV – „Pool“ Nastavení počtu vzorků v poolu 6 ml Pool 1:6 2 ml Pool 1:2 ? 1 opakování vyšetření 3 opakování vyšetření

Směšování vzorků HCV – „Pool“ Nastavení počtu vzorků v poolu Pozitivních 19 16 Negativních 1 4 P selhání 5% 20% 1 opakování vyšetření 3 opakování vyšetření

Směšování vzorků HCV – „Pool“ Závěry Opakování vyšetření dramaticky zvyšuje sensitivitu Počet opakování vyšetření Koncentrace ø v IU/ml 1 54,8180 2 19,6826 3 10,8110 4 7,0671 5 5,0820 6 3,8817 7 3,0910 8 2,5375 9 2,1321 10 1,8247

méně opakování vyšetření více opakování vyšetření Směšování vzorků HCV – „Pool“ Závěry Pool 1:6 Pool 1:2 3 opakování detekce 1 opakování P selhání 20% 5% Menší pool méně opakování vyšetření < Větší pool více opakování vyšetření Při stejné citlivosti

Směšování vzorků HCV – „Pool“ Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu 1 6 12 25 50 Počet opakování 3 ~ 5 ~ 9 ~ 10 P selhání 5%

Směšování vzorků HCV – „Pool“ Závěry Správnou kombinací počtu vzorků v poolu a počtu opakování vyšetření je možno zachovat deklarovanou citlivost vyšetření Počet vzorků v poolu 1 6 12 25 50 Počet opakování 3 ~ 5 ~ 9 ~ 10 P selhání 5% Úspora 0% 50% ~ 58% ~ 64% ~ 80% Čím větší počet vzorků v poolu je použit, tím je ekonomický efekt vyšší při zachování stejné citlivosti vyšetření

Směšování vzorků HCV – „Pool“ Závěry Systém směšování vzorků je ekonomický pouze při malé míře pozitivit v celém souboru vyšetření Pokud smícháme n vzorků, kde pravděpodobnost výskytu HCV je p, pak ve směsi může být 0 až n pozitivních vzorků, kde počet pozitivních vzorků se řídí binomickým rozdělením. Binomické rozdělení (popis tzv. náhodného výběru s vracením) Bi(n, p), kde n je přirozené číslo, p je reálné číslo, 0  p  1: Pro vytváření poolu 1:6 pro detekci HCV s citlivostí 54,8 IU/ml je tento proces výhodný do 10 % pozitivních vzorků

Využití parametrů kvantitativního stanovení pro určení odezvy na léčbu Jak přesná je přesná kvantifikace? Jak interpretovat kvantitativní výsledky?

RaR studie Stanovení přesnosti a rozlišitelnosti měření testovaných koncentrací v rozsahu kalibrační přímky When using home-made methods or other competitive kits for PCR detection, it is common that you first have to prepare a MasterMix by mixing together the contents of several tubes in correct ratios. This MasterMix, prepared in such a complicated way, may generate a lot of mistakes like pipetting errors and or cross-contamination

PCR reakce je schopna bezpečně odlišit změny koncentrací Vložená koncentrace kopií/µl Rozptyl měření 10 3 - 34 100 66 - 151 1000 660 - 1513 10 000 5623 - 17782 When using home-made methods or other competitive kits for PCR detection, it is common that you first have to prepare a MasterMix by mixing together the contents of several tubes in correct ratios. This MasterMix, prepared in such a complicated way, may generate a lot of mistakes like pipetting errors and or cross-contamination PCR reakce je schopna bezpečně odlišit změny koncentrací v rozsahu kalibrační přímky s definovanou variabilitou

Jak interpretovat na základě předchozí charakteristiky měřená data? Naměřené hodnoty (kopie/ul) 2 182 216 22 21 4 0,96 0,86 0,23 - 2182 216 22 21 4 0,96 0,86 0,23 1962 5095 483 206 3 34

- Pacient po transplantaci ledviny Podezření na CMV infekci Případ: - Pacient po transplantaci ledviny Podezření na CMV infekci Nasazena terapie Vyšetření Výsledek kopií/ml 1. den 100 000 2. den 70 000 3. den 20 000 Kdy došlo k prokazatelnému poklesu virové nálože ve vzorku a reakci na léčbu? 94

Vyšetření Výsledek kopií/ml 1. den 100 000 2. den 70 000 3. den 20 000 3000 34 000 151 000 66 000 100 000 70 000 20 000 Vyšetření Výsledek kopií/ml 1. den 100 000 2. den 70 000 3. den 20 000 K prokazatelnému poklesu virové nálože ve vzorku došlo až při 3. vyšetření (oproti 1. a 2. vyšetření) 95

Klinicky významná hladina Při stanovování klinicky významné hladiny je třeba počítat s variabilitou měření dané laboratoře a daného postupu Klinicky významná hladina Vložená koncentrace kopií/µl Rozptyl měření 10 3 - 34 100 66 - 151 1000 660 - 1513 10 000 5623 - 17782 96

Využití Probit analýzy při volbě diagnostika Reálný příklad problému srovnání dvou PCR diagnostik podle parametrů validace uvedených výrobcem

Chlamydia trachomatis Validace LoD Chlamydia trachomatis Souprava A Souprava B Mez detekce (Limit of Detection) V případě obou výrobců stanoven pomocí Probit analýzy (standardní postup pro tento účel)

Chlamydia trachomatis Validace LoD Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl

Chlamydia trachomatis Validace LoD Chlamydia trachomatis Souprava A Souprava B Souprava A LoD výrazně nižší oproti soupravě B. 0,3 kopie/µl 1,5 kopie/µl

Reálný limit detekce? Chlamydia trachomatis Souprava A Souprava B 0,3 kopie/µl 1,5 kopie/µl Připraven verifikační test Hypotéza: LoD souprava A < LoD souprava B

Chlamydia trachomatis Verifikace LoD Chlamydia trachomatis Vzorek moči Chlamydia trachomatis +++ 1 ml Souprava A Souprava B Označení vzorku 31 32 33 34 35 36 37 38 39 40 Ředění 1:1 Počet izolací 6 Opakování PCR

Chlamydia trachomatis LoD souprava A < LoD souprava B Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Očekávaný výsledek: LoD souprava A < LoD souprava B Označení vzorku 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 3 1 SOUPRAVA B 4 2 Opakování PCR

Chlamydia trachomatis LoD souprava A - ? - LoD souprava B Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Dosažený výsledek LoD souprava A - ? - LoD souprava B Označení vzorku 31 32 33 34 35 36 37 38 39 40 SOUPRAVA A 6 3 1 SOUPRAVA B 5 4 2 Opakování PCR

Verifikace LoD Chlamydia trachomatis Souprava A Souprava B Statisticky bylo prokázáno, že soupravy mají s pravděpodobností 95% stejný LoD.

Chlamydia trachomatis LoD Chlamydia trachomatis Souprava A Souprava B Kde leží příčina tak rozdílných výsledků validace parametru LoD výrobci?

Analýza parametrů VALIDACE Souprava A Souprava B POUŽITELNÝ VÝSLEDEK Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

Analýza parametrů VALIDACE Souprava A Souprava B STATISTICKY KOREKTNÍ VÝSTUPY „LÍBIVÉ“ VÝSTUPY Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku Vstupní kontrola v testu Provedení testu Statistické vyhodnocení Interpretace výsledku

Analýza parametrů VALIDACE Souprava A Souprava B STATISTICKY KOREKTNÍ VÝSTUPY „LÍBIVÉ“ VÝSTUPY

Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy Souprava A Souprava B Na základě parametru uvedeného ve VALIDACI nelze porovnat LoD soupravy A versus B

……věřím, že příčinou naší nepřipravenosti na nestandardní události je především setrvačnost našeho myšlení v podobě přílišné důvěry ve statistiky….. …Raději budu mít vždy alespoň přibližně pravdu, než abych se, byť jedinkrát, přesně mýlil… Nassim Nicholas Taleb Černá labuť

Děkuji za pozornost