Reliabilitet
Disposition
• Kapitel 4
• Artikel: Reliability of SF-36 in an Internetand a pen-and-paper version
• Pause
• Artikel v. Annette de Thurah
Validitet vs. reliabilitet
Grønvold M, Ugeskr Læger 2008
Reliabilitet
• Pålidelighed og konsistens
• Hvor konsistent og reproducerbar er
målingen?
• Får vi den samme værdi hver gang?
• Definition: ’the degree to which
measurement is free from error’, Mokkink
et al., 2010
• En måling er sjælden eller aldrig perfekt!
INTERNAL RELIABILITY OR
INTERNAL CONSISTENCY
• Cronbach’s Alpha Coefficient
RELIABILITET
REPEATABILITY RELIABILITY
• Test-retest reliability
• Interrater reliability
• Equivalent-forms reliability
Reliabilitet
• Internal reliability / consistensy
– Måler alle items i en skala den samme latente
variable? Undersøges ved item-to-item korrelation.
• Repeatability reliability
– Test-retest reliability: målinger gentaget over tid hos
samme person
– Interrater reliability: målinger gentaget af forskellige
observatører
– Equivalent reliability: målinger gentaget med
forskellige måleinstrumenter
Reliabilitetstest
• Kontinuerte data
– Intraclass Correlation Coefficient
– Bland and Altman Plot
• Kategoriske data
– Simple Kappa and Weighted Kappa
Coefficient
INTERNAL RELIABILITY OR
INTERNAL CONSISTENCY
• Cronbach’s Alpha Coefficient
RELIABILITET
REPEATABILITY RELIABILITY
• Test-retest reliability
• Interrater reliability
• Equivalent-forms reliability
Reliabilitetstest ved kontinuerte data
Intraclass correlation coefficient (ICC)
• Styrken af overensstemmelse mellem
målinger der gentages
• Varians mellem individer i forhold til total
varians
Reliabilitetstest ved kontinuerte data
Intraclass correlation coefficient (ICC)
• ICC værdien er et tal mellem 0 og 1
• ICC tæt på 1: den tilfældige variation er lav.
Den observerede variation skyldes variation
mellem patienterne (høj reliabilitet)
• ICC tæt på 0: den tilfældige variation er stor.
Variationen skyldes målefejl (lav reliabilitet)
Reliabilitetstest ved kontinuerte data
ICC eksempel fra bogen:
Reliabilitetstest ved kontinuerte data
Bland and Altman Plot
• En grafisk fremstilling for at illustrere
overensstemmelse mellem to målinger
• Beregner differencen mellem to målinger
• Beregner gennemsnit og spredning på
differencer
• Differencer vs gennemsnit med 95 % limits
of agreement
Reliabilitetstest ved kontinuerte data
Bland and Altman Plot, eks. fra bogen:
Reliabilitetstest ved kategoriske data
Kappa
• Graden af enighed kan kvantificeres med
en kappa værdi
• Kappa angiver andelen af ekstra enighed
(observeret enighed minus tilfældig
enighed)
Reliabilitetstest ved kategoriske data
Kappa eks. fra bogen:
Reliabilitetstest ved kategoriske data
Kappa værdi fortolkning:
Landis & Koch (1977)
Reliabilitetstest ved ordnede
kategoriske data
Vægtet Kappa
• Måler overensstemmelse mellem ordnede
data
• Vægtningen tager højde for forskellens
størrelse. En større forskel får en større
betydning.
Reliabilitetstest ved ordnede
kategoriske data
Eks. fra bogen:
INTERNAL RELIABILITY OR
INTERNAL CONSISTENCY
• Cronbach’s Alpha Coefficient
RELIABILITET
REPEATABILITY RELIABILITY
• Test-retest reliability
• Interrater reliability
• Equivalent-forms reliability
Internal Consistency Reliability
Cronbach’s Alpha Coefficient
• I forhold til multi-items skalaer er det vigtig,
at alle items måler den samme latente
variable
• Undersøges via item-to-item korrelation
Internal Consistency Reliability
Cronbach’s Alpha Coefficient
Internal Consistency Reliability
Cronbach’s Alpha Coefficient
• En værdi mellem 0 og 1
• Gruppeniveau: 0,7 – 0,9
• Individniveau: > 0,9
RELIABILITET
INTERNAL RELIABILITY OR
INTERNAL CONSISTENCY
REPEATABILITY RELIABILITY
• Test-retest reliability
• Interrater reliability
• Equivalent-forms reliability
• Cronbach’s Alpha Coefficient
• ICC
• Bland-Altman plot
• Kappa coefficient
• Tester reliabilitet (test-retest og internal
consistency) af SF-36 papirversion og
webversion
Metode
• Kvinder henvist til mammagrafi
• Randomiseres til papir eller webversion af
spørgeskema
• Responderet 10 dage før mammografi
retest af alternativ svarform (test-retest)
• Reliabilitestest: test-retest (ICC) og
internal concistensy (chronbachs alfa)
Test-retest
Internal consistency
Diskussion
• God overensstemmelse mellem papir og
webversion af SF-36
• Lav responsrate i internet gruppen
• Resultaterne i overensstemmelse med
test-retest af SF-36 papirversion
• Subskala fysisk funktion lavere internal
consistensy i internetversionen
• Resultaterne i overensstemmelse med
Chronbachs alpha for SF-36 (kvinder i DK)