Validering och Verifiering:
Vad när och hur?
Kerstin Elvin
EQUALIS 26 mars 2015
Vad är det?????
Validering
• Engelskans
validate göra giltigt,
bekräfta.
• ”Validering fastställer att
man mäter det man har för
avsikt att mäta”
• Tillverkarens utvärdering av
reagens / kit
Verifiering
• Latinets
verificare eller verus sant
• ”Verifiering bekräftar att
metoden uppför sig på
specificerat sätt”
• Laboratoriet undersöker
alltså om valideringen
stämmer
Var finns informationen?
• Kravreferenser
”Standarder”
– ISO/IEC 17025;
– ISO 15189:2012
5.4.1, 2, 4 och 5
5.5.1 och 2
• SWEDAC DOC 01:55 från 2011
• Kvalitetsmanual, Centuri
Validering
• In Europe it is the statutory responsibility of
the manufacturer to determine, describe and
verify the performance of the measuring
system (EU IVD Directive 98/79 {2})
Validering; vad krävs?
Riktighet
Mätintervall
Noggrannhet
Prestanda
Detektionsgräns
Precision
Sensitivitet
Specificitet
Analytisk/Dia
gnostisk
Mätosäkerhet
ISO 15189
Vem ska validera?
Tillverkaren validerar
• Alt 1. Kit-bundna metoder
och metoder utvecklade för
speciellt instrument
ex ImmunoCap allergi
Tillverkaren/Laboratoriet
• Alt 2. Metod (vedertagen)
som anpassas till
instrument
ex CCP, ELISA-robot
Laboratoriet
• Alt 3. In-house metod
utifrån publicerad
vetenskaplig lit.
Lab validerar (verifierar om
väletablerad metod Alt 1 )
• Alt 4. In-house metod
Egenutvecklad
Laboratoriet validerar
ex. ELISA Anti-TNFa
Processen in a nutshell
Flera
instrument
Verifiering
Validering
KM.
instrument av
samma typ
räcker bias
mot befintligt
instrument,
t ex med Split
Sample.
Verifiering
• Metodens prestanda ska motsvara kliniska
verksamheternas användning
• Riktlinjer och rutiner
• Leverantörens validering ska finnas tillgängligt
• Verifieringsplan
• De som är delaktiga dokumenteras
• Rapport alt. checklista m bilagor
– Arkiveras med primärdata
• Rapport o metodbeskrivning skall vara godkänd
och signerad innan metoden tas i bruk
Verifiering basal
Riktighet
Dataöverföring
Precision
LIS
Sensitivitet
Mätosäkerhet
Specificitet
Ref.intervall
Cut-Off
Verifiering ”utökad”
• Sensitivitet
–
–
–
–
–
•
•
•
•
•
•
Funktionell
Analytisk
Analytisk specificitet
Detektionsgräns
Lägsta mätbara koncentration
Linjäritet: resultat som är direkt proportionella mot komponentkoncentrationen
Stabilitet: Ex pröva frysning tining
Carry over: smitta
Interferenser: ex Korsreagerande ak, enzymer, joner
Antigeneffekt: Ag eller ak överskott falskt låga resultat
Matrixeffekt: köpta kontroller jmfr patientprov
Riktighet (Bias)
Clinical and Laboratory Standards Institute
(EP15 och EP5) (förut NCCLS)
– Jämförelsemetod (EP15)
– Referensmaterial
• Minst 20 prov inom det
kliniskt intressanta
mätområdet
• CRM=IRP
• Externa Kontrollprogram
• 20-200 vanligt
• 3-labsjämförelse
• Preparation från tillverkaren
• Preparation tredje part
(E Theodorsson 2012)
KM: minst 20 prov
– EQUALIS
– NEQAS
– Två koncentrationer
– Duplikat x 3-5
Regressionsdiagram (t.ex. SD, CV%, r2
(korr koef), k (lutning), m (intercept) 95% CI )
Biasplot
KM: 3 konc 5 mätn/nivå
Resultat inom 15% sant värde
Regressionsdiagram
Jämförelse TTG IgA Bioplex220 med pos
prov IC250 n=48
y = 20,412x - 274,55
R² = 0,9232
3000
BioPlex2200
2500
2000
1500
1000
500
0
-500
0
20
40
60
80
IC250
100
120
140
Measurement verification in the clinical laboratory:
Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward Kearney4, Peter Breadon5
Anders Kallner6
Difference graph
2
Diff Test - Reference
1
0
0
10
20
30
40
50
60
70
-1
-2
-3
-4
Mean of Test and Reference
Diff
+/- 1,96 s
Partition bias
Regr
Mean bias
Clinical and Laboratory Standards Institute
(EP15och EP5) (förut NCCLS)
• Precision
– Repeterbarhet
(Inomserie)
• 3 replikat x 5 =15
Helst 5 x 5 =25! (Khatami et
• Minst 2 nivåer !
– Total precision (CV%)
(Mellanserie)
• Minst 20 dagars analyser
2 aliquot för varje konc och
2 analyser/dag
Prover sätts i olika ordning
KM: 2nivåer 4 plikat x 5dagar
• Minst 30 dagar om endast
1 analys/dag
Inom- och mellanserievariation
Minst 3 men helst 5 replikat 5 dagar (Khatami Z etal)
Minst 2 nivåer !
KM: 4-plikat 5 dagar
Mätosäkerhet
Variationskoefficienten: CV%
CV%= standardavvikelse x 100
medelvärde
Uttrycker standardavvikelsen som procent av medelvärdet
dvs hur många procent i genomsnitt avviker
observationerna från medelvärdet.
Över längre tid, olika BMA, temperaturer och batcher
Helst minst ett år!
Referensintervall
• Vanligen 95 % av en utvald population
• Friska blodgivare optimalt 120st
• Cut-off för ex autoantikroppar
• KM: Optimalt minst 120 köns- o åldersrelevant
– Ange bakgrunden till det referensintervall som beslutas
t ex medelvärdet  2 SD eller anpassning till
normalfördelning.
Diagnostisk sensitivitet specificitet
PPV och NPV
Med
Sjukdom
Utan
Sjukdom
Positivt test
Sant positiva
Falskt
positiva
Negativt test
Falskt
negativa
Sant negativa
Sensitivitet
Sant pos/
Tot sjukdom
Specificitet
Sant neg/
Tot Ej sjukdom
PPV = Sant pos/Tot pos
NPV = Sant neg /Tot neg
Tack!!!
Verifiering Bekräftar prestanda
• Riktighet
–
–
–
–
IRP
EK
Tre-lab
Jämförelsemetod
• Precision
– Repeterbarhet (inomserie)
– Mellanliggande precision
(total precision)
• Mätosäkerhet uppskattas
– Täcka rel mätområde
minst 2 nivåer!
– Stabilitet
• Referensintervall
Cut-off
– Friska blodgivare
• Diagnostisk sensitivitet
och specificitet bör
verifieras (prediktivt värde)
– Jämförelsemetod/Relativ
• Dataöverföring
Exempel:
Anti BP-180-ak (IgG) och BP-230-ak (IgG) ELISA
verifiering
Orsak till validering/verifiering
Ansvar
• Införande av ny metod för
bestämning av antikroppar
mot BP 180 och BP 230 med
ELISA.
• BMA: Anna-Britta
Johansson
• Tekniskt ansvar: Ulf Sundin
och Anders Wannberg
• Medicinskt ansvar: Kerstin
Elvin
Validering/verifieringskrav
Tillverkarens data
Euroimmun tillhandahåller
kommersiella ELISA-baserade kit
för bestämning av antikroppar
mot BP 180 och BP 230.
Analyserna är validerade av
Euroimmun
• ≥20 RU/ml bedöms positiva.
• I sin validering rapporterar
Euroimmun
BP 180
Sensitivitet: 90%
Specificitet: 98%.
BP 230
Sensitivitet: 57%
Specificitet: 97%
Verifieringsplan
•
•
•
•
1. Cut–off nivå och specificitet för anti-BP 180
respektive anti-BP 230 skall verifieras genom analys
av 60 friska blodgivare av båda könen i åldern 40-70
år.
Krav: Cut-off skall överstiga 95:e percentilen för
respektive analys vilket ger en specificitet på >95%.
2. Den kvalitativa överensstämmelsen mellan IFL
BM och de nya ELISA-metoderna skall undersökas
genom analys av prov positiva med IFL; 21 st prov
positiva för IFL BM.
Krav: Överenstämmelsen d.v.s. relativa
sensitiviteten skall vara > 50% för respektive analys.
3. Patienter med annan blåsdermatos (pemfigus),
positiva för anti-Desmoglein 1 eller 3, skall vara
negativa för anti-BP180 och 230.
Krav: specificitet >95
4. Inom och mellanserievariation ska bedömas
genom analys av låg och hög IK 5 i 6replikat vid 5
tillfällen
Utförande
Resultat
Uppföljning
•
Andel negativa blodgivare för båda
analyserna var 59/60 = 98%
(specificitet 98%).
En cut-off på 20 RU/mL motsvarade
98:e percentilen för BP180 och 99:e
percentilen för BP 230.
1. Inom- och mellanserievariation
2. Mätosäkerhet
3. Riktighet
•
Relativ sensitivitet jämfört med IFL
BM var 71% för BP 180 och 81% för
BP 230
•
Samtliga patienter med annan
blåsdermatos (pemfigus, n=8) var
negativa för både BP 180 och BP 230
(specificitet 100%)
Ackreditering av metoden planeras
då vi fått tillräcklig erfarenhet och kan
bedöma variation, mätosäkerheten
och riktighet.
Konklusioner
• I vår verifiering har Euroimmuns kit för analys av antikroppar
mot BP 180 och BP 230 en hög specificitet (>95%) för bullös
pemfigoid, och relativ sensitivitet ca 70-80% vid analys av BM
positiva sera (IFL).
BP 180 visade lägre relativ sensitivitet än tillverkarens
sensitivitetsdata och BP230 högre än tillverkarens validering.
Detta kan bero på att provurvalet skedde på basen av positiva
IFL resultat.
Verifieringresultaten betraktas som tillfredställande.
• Tillverkarens cut-off på 20 RU/mL kan användas.
• Analyserna implementerade i rutindrift fr.om. 100219
Measurement verification in the clinical laboratory:
Zahra Khatami 1, Robert Hill2, Catherine Sturgeon3, Edward
Kearney4, Peter Breadon5 Anders Kallner6
Repeterbarhet
• Minst två poolade
patientprov
• Ingen störande hemolys,
lipidemi eller annat enl
leverantör
• Förvarande enl leverantör
(helst kylförvarat)
Utförande
• 5 replikat x 5 dagar =25
• Analysis of variance
(ANOVA).
Riktighet
– IRP
• CDC, WHO, NIBSC ex ANA specificiteter
• Avsaknad – tidigare krav verifiering av IK 2 ackr lab
– Jämförelsemetod
– EK
• EQUALIS
• Nequas
• Instand
• Tre-labjämförelse
ex ECP, allergen, Anti-C1q
Riktighet referensmaterial
•
•
•
•
Duplikat x 3-5 omgångar
Medelvärde och Standarddeviation
Estimera bias från förväntat värde
Evaluera signifikans av skillnader med
Student’s t-test
Ackrediteringens omfång
Utvärdering - Trelabsjämförelse
• 􀃆 Gradering av deltagarnas resultat mot
förutbestämda kriterier
• % skillnad, Z score
z score =
labresultat - börvärde
jämförelsens standardavvikelse
• |z| ≤ 2 Utan anmärkning
• 2 < |z| ≤ 3 Tvivelaktigt 􀃆 varning
• |z| > 3 Otillfredsställande 􀃆 aktion