1. No category

Nettverkstreff for kvalitet i medisinske laboratorier
9. november 2015
Spørreskjemaundersøkelser som kilde til informasjon om kvalitet
Ingeborg Strømseng Sjetne, sykepleier ph.d., seniorforsker i Seksjon for brukeropplevd kvalitet
Om brukerundersøkelser i nettverkstreffet:
 Egnede metoder for undersøkelser
 Hva er representative undersøkelser?
 Gode spørsmål og svaralternativer
 Svarandeler
– Realistisk forventning
– Representativitet
– Bruk av resultatet når få har svart
2
1
Ulike innfallsvinkler til kvalitet
Pasientopplevd kvalitet
Administrativ
kvalitet
Profesjonell
kvalitet
Etter Øvretveit J og Aslaksen A. The quality journeys of six Norwegian hospitals .Den norske legeforening 1999.
3
Seksjon for brukeropplevd kvalitet
 Gjennomfører nasjonale undersøkelser på oppdrag fra Helse‐
og omsorgsdepartementet. Surveyene (kartleggingene) er
utformet for å holde vitenskapelig standard og:
 Framskaffe data som er representative for hvert sykehus/institusjon
 Gjøre sammenlikninger
 Framskaffe data som kan brukes til kvalitetsindikatorer i det nasjonale kvalitetsindikatorsystemet
 Seksjonens forsknings‐ og utviklingsvirksomhet omfatter
anvendt forskning, formidling og støtte til lokale undersøkelser.
4
2
Formål med de nasjonale undersøkelsene
 Samfunnsmessig legitimering og kontroll: gi allmennheten innsikt i helsetjenestens ytelser i samfunnsmessig og helsepolitisk sammenheng
 Virksomhetsstyring: verktøy for styring og ledelse i helsetjenesten
 Faglig kvalitetsforbedring: verktøy for kvalitetsforbedringsarbeid i helsetjenesten
 Støtte til forbrukervalg: informasjonskilde for pasienter og helsepersonell i valg mellom leverandører av helsetjenester 5
Klar problemstilling og forankring ‐
avgrensninger og inklusjonskriterier
 Hva ønsker vi å vite noe om?
– Om hvem, ‐eller hva
– Spesiell tid / tidsrom
– Individer eller grupper
 Hvilke spørsmål skal resultatene gi svar på?
– Utvikling over tid/sammenlikning med seg selv
– Sammenlikning med andre
 Hvem skal ha nytte av resultatene?
–
–
–
–
Pasienter/brukere
Administrasjon
Klinikk
Spesielle yrkesgrupper
6
3
Hvorfor og hvordan vurdere spørreskjemadata
 Klassisk testteori
– De observerte skårene inneholder «sann» verdi og støy
• Vi ønsker så lite støy som mulig
 Moderne testteori
– Item response theory
– Rasch‐analyse
7
Validitet (gyldighet) og reliabilitet (pålitelighet)
Det er behov for beskrivelser av i hvilken grad spørsmålene /spørreskjemaet faktisk – Måler presist – Måler det vi har til hensikt å måle
Valid og reliabel
Valid, men
ikke reliabel
Reliabel, men
ikke valid
8
4
Egnete metoder
9
KBUs «Standard» utviklingsprosess
1.
UTVIKLE SPØRSMÅL
 Litteraturgjennomgang, kvalitative intervjuer, referansegruppe
  Sikre innholdsvaliditet
2.
RESPONSFORMAT
 Hovedsakelig bruker vi femtrinns svarskala
3.
EVALUERING AV SPØRSMÅL OG SPØRRESKJEMA
 Kognitive intervjuer
 Pilotundersøkelse
 Datakvalitet – manglende svar
 Dimensjonalitet – faktoranalyse
4.
5.
RELIABILITET
 Intern konsistens
 Reproduserbarhet – test‐retest
VALIDITET
 Sammenlikne data med eksist. teori og/eller forskningsfunn
 Sammenheng med generell tilfredshet, forventninger?
 Sammenheng med uønskete hendelser?
10
5
1. fase
 Åpne intervjuer
 Litteraturgjennomgang
 Referansegruppe
 Sikre brukerperspektivet, at innholdet er relevant for målgruppa
– Innholdsvaliditet
– «coverage»
11
Responsformat, eksempler
Svært Nokså Litt Både- Litt Nokså Svært
dårlig dårlig dårlig og
bra bra bra
Nesten
alltid
Helt
enig
En del
av tiden
Enig
Sjelden
Aldri
Helt
Uenig uenig
12
6
Responsformat ‐Skalering av spørsmål
(Gjelder for alle undersøkelser ‐?)
13
Variablenes målenivå ‐1
Målenivå: Nominal (nasjonalitet, yrkesgruppe) Uttømmende og
gjensidig utelukkende verdier
Dikotomier er en spesiell variant (enten-eller)
Har verdiene en gitt rangordning?
Ja
Målenivå: Ordinal (eks.Likertskala)
Er det lik avstand mellom alle verdiene?
Ja
Målenivå: Intervall (temperatur i Celcius)
Er det et absolutt nullpunkt?
Ja
Målenivå: Forholdstallsnivå (alder, vekt, prosent)
14
7
Variablenes målenivå ‐2
Tenk på at:
 Variablenes målenivå er avgjørende for hvilke regneoperasjoner som gir mening
 Man kan modifisere variabler etter datainnsamlingen ved å slå sammen verdier til større grupper, men ikke motsatt……
15
Test av skjema ved muntlige intervjuer
 Kognitive intervjuer med en mindre gruppe informanter som speiler variasjonen i målgruppa
– ”Kommunikasjonen” mellom spørreskjema og svarer prøves ut på personer som er ulike (alder, kjønn, helsetilstand)
– Bruk av tid (tar tiden)
– Entydige formuleringer, enkelt språk (tolvåringsnivå)
– Fornuftige svarskalaer
– Akseptabilitet (tiden det tar, følsomme tema og lignende)
– Overflødige spørsmål?
– Er spørsmålene relevante, er noen ekstra viktige?
– Er det noe viktig som mangler?
16
8
Spørsmålsutvikling og utprøving Eks. Brukererfaringer i svangerskaps‐, fødsels‐ og barselomsorgen
 Gjennomført pilotundersøkelse (Ahus ) –publisert
 Vitenskapelig artikkel om randomisert datainnsamlingsmetode: besvarelser på papir vs
via verdensveven
17
Dokumentasjon av forarbeid, eksempel fra svangerskap‐, føde‐, barselomsorgen
18
9
Metoder for å samle et utvalg
 trekking med kjent sannsynlighet
– Enkel, tilfeldig
– Stratifisert, tilfeldig
– Klyngeutvelgelse  Trekking uten kjent sannsynlighet
– Bekvemmelighetsutvalg (convenience sampling), man tager hva man haver
– Målrettet utvelgelse (purposive sampling)
– Kvoteutvalg
– Snøballutvalg, nettverk, kjede
19
Datainnsamling i nasjonale undersøkelser
 Tilfeldig trekking med kjent sannsynlighet av et utvalg brukere per institusjon i en gitt periode (fortløpende ved små institusjoner)
 Uttrekk vanligvis 400 personer fra PAS:
– Kontaktinformasjon (for å sende ut spørreskjema)
– Demografiske data, oppholdsdata og medisinske data (bakgrunnsinformasjon)
 Postale forespørsler som sendes ut noen uker etter konsultasjon/opphold  1‐3 purringer
 Eventuelt frafallsundersøkelse ‐ telefonintervju blant utvalg av ikke‐svarere
20
10
Datakilder og personvern
 Kontaktinformasjon og senere medisinske opplysninger og oppholdsdata hentes fra pasientadministrative system ved behandlende institusjon
 FS‐systemet
 For kvinner som har født: medisinsk fødselsregister, SSB
 Store krav til informasjonssikkerhet og personvern
 Tidkrevende prosesser med store krav til infrastruktur
21
Kontakt‐ og purremodus, eksempel fra svangerskap‐, føde‐, barselomsorgen
 1.kontakt: brev med info og brukernavn/passord
 1.purring: brev med info, brukernavn/passord og papirskjema
 2.purring: brev med info, brukernavn/passord og papirskjema
 Oversatt skjema
– På nettet kunne de veksle fritt
– Engelsk papirskjema tilsendt på forespørsel
• Vurder kost‐nytte
22
11
Svarermodus, eksempel fra svangerskap‐, føde‐, barselomsorgen
 Fra artikkelen som dokumenterer skjemaet,
samlet svarerandel var 56% (😏)
23
Utledning av skalastruktur (EFA og teori)
Care phase
Factors
a
Final scales
b
Pregnancy
Check-ups by a general practitioner
Check-ups by a midwife
Ultrasound scan
Information during pregnancy care
Birth
Personal relationships in the delivery ward
Resources and organization in the delivery ward
Attention to partner in the delivery ward
Postnatal stay
Personal relationships during your postnatal stay
Resources and organization during your postnatal stay
Attention to partner during your postnatal stay
Information about women’s health during your postnatal stay
Information and guidance about your child during your postnatal stay
Public health clinic
Personal relationships in the public health clinic
Resources and organization in the public health clinic
Information about women’s health in the public health clinic
Information about your child in the public health clinic
a
: Scales as suggested by EFA results
b
: Scales (indexes) after splitting factors by structure- and process categories or specific contents
24
12
Resultater
25
Å vurdere validitet
 Innholdsvaliditet
– I hvilken grad innholdet i et instrument er en gyldig beskrivelse av det vi ønsker å undersøke. Intervjuer med målgruppen, sammenlikninger med aksepterte teoretiske definisjoner, oppsøkt litteratur, og liknende  Konstruktvaliditet – I hvilken grad stemmer resultatet av målingene med det vi ville ventet ut fra f.eks. teoretiske betraktninger eller hypoteser om gruppeforskjeller? Blir vanligvis vurdert hvis en ikke har noe annet mål for fenomenet og dermed ikke kan vurdere kriterievaliditet.  Kriterievaliditet – I hvilken grad er det samsvar mellom de nye måtene å måle på og andre mål for det vi ønsker å undersøke (”gullstandarder”)? Mokkink LB, et al (2010): The COSMIN study reached international consensus on
taxonomy, terminology, and definitions of measurement properties for health‐related
patient‐reported outcomes. J Clin Epidemiol. 2010 Jul;63(7):737‐45. 26
13
Validering er lokal ferskvare
Kilde: Liza Donnelly, Drawing on humor for change, www.ted.com
27
Test av skalastruktur (CFA)
 Structural equation modeling
– Root‐mean‐square error of approximation (RMSEA) =0,074 , denne og andre indikasjoner tyder på en
rimelig godt tilpasset modell
• Vår modell, utarbeidet på grunnlag av EFA og teori, synes å passe godt med de innsamlete dataene
28
14
COSMIN taxonomy of relationships of measurement
properties
Figur 1, side 542 i:
Lidwine B, Mokkink LB,
Terwee CB et al.
The COSMIN checklist for
assessing the
methodological quality of
studies on measurement
properties of health status
measurement
instruments: an
international Delphi study
Qual Life Res (2010)
19:539–549
DOI 10.1007/s11136-0109606-8
29
Svarerandel
30
15
Svarerandel
http://www.aapor.org/AAPORKentico/Communications/AAPOR-Journals/Standard-Definitions.aspx
31
Avgang og frafall
(Etter Gustav Haraldsen, SSB)
Bruttoutvalg
Finner
ikke
Skal
ikke
Avgang
Kan
ikke
Vil
ikke
Frafall
Overtales
Hopper
av
Partielt
frafall
32
16
Den alltid bekymringsfulle svarprosenten ….
 Eksempel: Fastleger ble tilfeldig plassert i grupper med ulike purreprosedyrer
Purreprosedyrer
N
Svarprosent
To påminnelser
Tre påminnelser til arbeidsadressen
Tre påminnelser, den siste til privatadresse
68
77
67
49
60
60
33
Betydning av frafall
 Sporings‐ og rekrutteringsinnsatsen må veies mot betydningen av frafall
 De som er middels vanskelige å få tak i betyr ofte ikke så mye for resultatet. Det gjør derimot de som virkelig
er vanskelige å få tak i.
 De som ikke kan svare eller ikke kan nås skaper større skjevhet enn de som ikke vil
 Frafall har størst konsekvenser i atferdsundersøkelser
 Personer med lav utdanning og lav sosial integrasjon er vanskeligst å rekruttere
(Gustav Haraldsen, SSB)
34
17
Frafallsskjevhet, ulik svarsannsynlighet
Svarprosent
En pasientpopulasjon, med ulike diagnoser
Undergrupper etter diagnose
Eventuelt gjøre ikke-svarerintervjuer
35
Ikke‐svarer undersøkelse
 Lete etter systematiske forskjeller mellom svarere og ikke‐svarere med tanke på
– Egenskaper
• Alder
• Kjønn
• ….hva vi vet om begge gruppene
– Erfaringer 36
18
Følger av lav svarprosent *
 Mest sannsynlig ubetydelige
– Tidligere studier tilsier det
– «wave‐analysis», forskjell på raskeste og seineste svarere?
• Stat sign forskjell på sju av 16 indekser
• De som svarte på første kontakt var mest positive, bortsett fra på én indeks (range 1,3 – 3,7)
* Brukererfaringer med svangerskaps-, fødselsog barselomsorgen
37
Vekting for frafall
 Høyest svarsannsynlighet
– 75,8% Norske kvinner, førstegangsfødende over 28,5 år
 Lavest svarsannsynlighet
– 22,3% Kvinner født i landgruppe 2, født to eller flere barn tidligere
38
19
Edwards P, Roberts I, Clarke M, DiGuiseppi C, Pratap S, Wentz R, et al. Increasing response rates 39
to postal questionnaires: systematic review. BMJ 2002;324:1183.
Fritekstkommentarer
40
20
Takk for oppmerksomheten!
www.pasopp.no
41
Litteratur
 Dillman DA. Mail and Internet surveys : the
tailored design method (2.ed.). New York: Wiley; 2000.
 Haraldsen G. Spørreskjemametodikk : etter kokebokmetoden. Oslo: Ad Notam Gyldendal; 1999.
 Edwards P, Roberts I, Clarke M, DiGuiseppi C, Pratap S, Wentz R, et al. Increasing response rates to postal questionnaires: systematic review. BMJ 2002;324:1183.
42
21