1. No category

Multivariabel statistik
beware of the wolf
Johan Lindbäck
Uppsala Clinical Research Center
Kvalitetsregisterforskningskonferens
Arlanda 26 maj 2015
Introduktion
Några saker att beakta
Utvärdering av modeller
Multivariabel statistik
Förtydligande
I
Multivariat = flera utfallsvariabler
I
Multivariabel = flera förklaringsvariabler/prediktorer
I
Behöver inte innebära modellering men vi kommer idag
uteslutande prata om (regressions)modeller
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
2/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Innehåll
Introduktion
Frågeställning
Statistiska (regressions)modeller
Några saker att beakta vid konstruktion av multivariabla modeller
Confounding
Modellanpassning/överanpassning
Bortfall/saknade observationer
Kodning och val av variabler
Stegvis regression
Utvärdering av modeller
Diskriminering
Kalibrering
Validering
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
3/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Frågeställning
Tre områden där vi typiskt använder multivariabla modeller är
I
Hypotesprövning
Finns det ett samband mellan graden av fysisk aktivitet och
risken för hjärtsjukdom?
I
Estimering
Hur mycket minskar blodtrycket om man får en viss typ av
blodtrycksmedicin?
I
Prediktion
Vad är sannolikheten att en 70-årig kvinna med
förmaksflimmer drabbas av en stroke inom 3 år?
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
4/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Statistisk modell
Vanliga regressionsmodeller inom medicinsk forskning
Linjär regressionsmodell
Y = β0 + β1 X1 + β2 X2 + . . . + βk Xk + ε,
ε ∼ N 0, σ 2
Logistisk regressionsmodell
e β0 +β1 X1 +β2 X2 +...+βk Xk
⇐⇒
1 + e β0 +β1 X1 +β2 X2 +...,βk Xk
P(Y = 1)
ln
= β0 + β1 X1 + β2 X2 + . . . , βk Xk
P(Y = 0)
P(Y = 1) =
Cox-regressionsmodell
h(t) = h0 (t)e β1 X1 +β2 X2 +...+βk Xk
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
5/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Confounding
Exempel
●
120
●
Biomarker X (ng/L)
●
●
100
●
●
●
●
●
●
●
●
80
●
●
●
●
●
●
●
●
60
10
20
30
40
50
60
70
Age
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
6/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Confounding
Exempel
●
●
Female
Male
●
120
120
●
●
●
●
100
●
●
●
●
●
●
●
●
●
●
80
Biomarker X (ng/L)
Biomarker X (ng/L)
●
●
●
●
●
100
●
●
●
●
●
●
80
●
●
●
60
60
10
20
30
40
50
60
70
10
J Lindbäck (UCR)
20
30
40
50
60
70
Age
Age
Multivariabla modeller
26/5 2015
6/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Simulerade data
10
●
●
8
●
●
●
● ●●
●
● ● ●
●
● ●● ●
●
●
●●
●●
●
●●● ●●
●
● ●●
● ●
●
●
●●
y
4
●●● ●
● ●
●
● ●
●● ●
●
●
●
●
●● ● ●
●
●
● ●
●
● ●●
● ●
●
●
●
●
●
0
● ● ●●
●●● ●
●●
●
● ●
●●
6
2
●
● ●
●
●
●● ●
●
●
●
0
20
40
60
80
100
x
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
7/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Hur bra kan vi anpassa en modell till dessa data?
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
8/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Linjär modell
10
●
●
8
●
●
●
● ●●
●
● ● ●
●
● ●● ●
●
●
●●
●●
●
●●● ●●
●
● ●●
● ●
●
●
●●
y
4
●●● ●
● ●
●
● ●
●● ●
●
●
●
●
●● ● ●
●
●
● ●
●
● ●●
● ●
●
●
●
●
●
0
● ● ●●
●●● ●
●●
●
● ●
●●
6
2
●
● ●
●
●
●● ●
●
●
●
0
20
40
60
80
100
x
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
9/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Loess (s = 0.2)
10
●
●
8
●
●
●
● ●●
●
● ● ●
●
● ●● ●
●
●
●●
●●
●
●●● ●●
●
● ●●
● ●
●
●
●●
y
4
●●● ●
● ●
●
● ●
●● ●
●
●
●
●
●● ● ●
●
●
● ●
●
● ●●
● ●
●
●
●
●
●
0
● ● ●●
●●● ●
●●
●
● ●
●●
6
2
●
● ●
●
●
●● ●
●
●
●
0
20
40
60
80
100
x
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
10/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Loess (s = 0.1)
10
●
●
8
●
●
●
● ●●
●
● ● ●
●
● ●● ●
●
●
●●
●●
●
●●● ●●
●
● ●●
● ●
●
●
●●
y
4
●●● ●
● ●
●
● ●
●● ●
●
●
●
●
●● ● ●
●
●
● ●
●
● ●●
● ●
●
●
●
●
●
0
● ● ●●
●●● ●
●●
●
● ●
●●
6
2
●
● ●
●
●
●● ●
●
●
●
0
20
40
60
80
100
x
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
11/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Loess (s = 0.05)
10
●
●
8
●
●
●
● ●●
●
● ● ●
●
● ●● ●
●
●
●●
●●
●
●●● ●●
●
● ●●
● ●
●
●
●●
y
4
●●● ●
● ●
●
● ●
●● ●
●
●
●
●
●● ● ●
●
●
● ●
●
● ●●
● ●
●
●
●
●
●
0
● ● ●●
●●● ●
●●
●
● ●
●●
6
2
●
● ●
●
●
●● ●
●
●
●
0
20
40
60
80
100
x
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
12/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
'Verkligheten' & loess (s = 0.1)
10
Sann ekvation:
y = sin(x 3) + x 10
●
●
8
●
●
●
● ●●
●
● ● ●
●
● ●● ●
●
●
●●
●●
●
●●● ●●
●
● ●●
● ●
●
●
●●
y
4
●●● ●
● ●
●
● ●
●● ●
●
●
●
●
●● ● ●
●
●
● ●
●
● ●●
● ●
●
●
●
●
●
0
● ● ●●
●●● ●
●●
●
● ●
●●
6
2
●
● ●
●
●
●● ●
●
●
●
0
20
40
60
80
100
x
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
13/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Modellanpassning
Essentially, all models are wrong, but some are useful
(George E. P. Box)
It is better to be vaguely right than exactly wrong
(Carveth Read)
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
14/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Överanpassning
Exempel
I en studie på 20 sjukhus mättes blodtrycket i både höger och
vänster arm på ett antal patienter för att ta reda på om det fanns
någon systematisk skillnad. Den genomsnittliga differensen mellan
höger och vänster arms blodtryck plottades för alla sjukhus för att
se om det fanns någon skillnad mellan sjukhusen
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
15/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Överanpassning
Skillnad i blodtryck [mmHg]
10
5
●
●
●
●
0
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
−5
−10
A B C D E F G H I J K L M N O P Q R S T
Sjukhus
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
16/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Överanpassning
10
5
●
●
●
●
0
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
−5
−10
Skillnad i blodtryck [mmHg]
Skillnad i blodtryck [mmHg]
10
5
●
0
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
−5
−10
A B C D E F G H I J K L M N O P Q R S T
I C G Q D H J M R B A P E F T O L S N K
Sjukhus
Sjukhus (sorterade)
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
16/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Bortfall
Statistikprogram tar typiskt bort alla observationer (rader) där
åtminstone någon av variablerna saknar sitt värde
Table: First 6 rows of some data . . .
J Lindbäck (UCR)
Id
Age
1
2
3
4
5
6
65
70
75
72
54
Sex
M
M
M
F
F
F
BP
167
143
150
188
Multivariabla modeller
died
0
1
1
0
0
0
26/5 2015
17/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Bortfall
I
Ju fler variabler med bortfall desto större risk att det endast
är få observationer med komplett information
I
Helt slumpmässigt bortfall (ovanligt!) → precisionen minskar.
I
Ej slumpmässigt bortfall → systematiskt fel. Ofta kan man
framgångsrikt imputera nya värden genom att fånga upp
samband med övriga variabler
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
18/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Variabelval
Vilka variabler?
Hur väljer man vilka variabler som ska vara med i modellen?
I
Klinisk erfarenhet
I
Vetenskaplig litteratur
I
Tillgänglighet
I
Inte alls?
I
Låt datorn (statistikprogrammet) välja
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
19/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Variabelval
Hur många variabler?
Hur många variabler kan (ska/bör/får) man ha med i modellen?
I
Alla?
I
Ingen?
I
Några? Hur många?
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
20/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Variabelval
Hur många variabler?
För att få tillräckligt bra precision finns några tumregler
I
Linjär regression: minst 10 obs per parameter i modellen
I
Logistisk regression: minst 10 obs i den minsta klassen i
utfallet per parameter i modellen
I
Cox-regression: minst 10 händelser per parameter i modellen
OBS! parameter 6= variabel
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
21/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Kodning av variabler
I
För kategoriska variabler med flera klasser kan det ibland vara
vettigt att slå ihop (små) klasser
I
Undvik att kategorisera kontinuerliga variabler. Samband är
väldigt sällan “stegformade”
I
Bättre: anpassa “smarta” splinefunktioner med få parametrar
I
Transformationer: log-transformation gör att vi går från
additiv till multiplikativ skala
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
22/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Kategorisering av kontinuerlig variabel
Ålder kontinuerlig
Ålder dikotomiserad vid 70 år
190
●
●
180
●
●
●
●
●
●●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
●●
●
●
●
●
●
●
●
●
●
●●
●
●
●
160
●
150
●
●
●
●
170
●
bp
●
160
●
●
●
180
●
●●
●
●
●
●
●
●
●
●
●
170
bp
190
●
●
●
150
●
●
●
●
●
●
●
●
●
●
140
140
●
●
60
70
80
90
age
J Lindbäck (UCR)
60
70
80
90
age
Multivariabla modeller
26/5 2015
23/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Stegvis regression
I
“Forward”
I
I
I
I
Börja utan variabler (medelvärdet)
Lägg till en variabel i taget baserat på vilken som är “bäst”
Sluta när modellen inte förbättras längre
“Backward” (bättre)
I
I
I
Börja med alla variabler i modellen.
Ta bort den variabel som minst påverkar modellen
Sluta då modellen signifikant försämras om ytterligare någon
variabel tas bort
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
24/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Stegvis regression (exempel)
I en studiepopulation bestående av patienter med akut
kranskärlssjukdom som genomgått någon form av revaskularisering
(ballongvidgning med eller utan stent eller bypass-operation) vill vi
ta fram en prediktionsmodell för att bestämma risken för en ny
allvarlig händelse (stroke, kardiovaskulär död eller spontan
hjärtinfarkt)
I
9448 patienter
I
841 händelser
I
30 kandidatvariabler
I
4 prespecificerade interaktioner
I
Icke-linjära transformationer för samtliga kontinuerliga
variabler
I
Totalt 79 parametrar i modellen
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
25/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Stegvis regression
100 bootstrapstickprov
●
●
●
●
20
●
●
●
●
●
●
●
15
●
●
●
●
Frequency
CADEX3
sttia
GDF_0
BMI
NTpBNP_0
stemi3
gender
MI
TropT_0
PCI_CABG
stemi3 * TropT_0
ApoB_0
KILLIP2
HB0
CYST_0
stemi3 * NTpBNP_0
CROBPD
PAD
stemi3 * WBC0
HRATEBL
ApoA1_0
WBC0
AGE
diabetes
smoker
compl_revasc
SBPSUBL
CRP_0
stemi3 * CRP_0
DYSHCHOL
CRENDIS
HYP
GIBLEED
CHF
●
●
●
●
●
10
●
●
●
●
●
5
●
●
●
●
●
●
●
0
●
●
0
20
40
60
80
100
6
Frequency selected
J Lindbäck (UCR)
7
8
9
10
11
12
13
14
15
16
17
Number of variables included in final model
Multivariabla modeller
26/5 2015
26/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Problem med stegvis regression
I
Risk för överanpassning
I
R 2 systematiskt för hög
I
Regressionskoefficienter systematiskt för stora (i absoluta tal)
I
Medelfel systematiskt för små
I
p-värden systematiskt för låga
I
Konfidensintervall systematiskt för smala
I
Dålig på att hantera multikolinjäritet (godtycklighet)
I
“It allows us to not think about the problem” (F.E. Harrell)
I
Automatiska procedurer är sällan implementerade så att de
hanterar interaktioner på “rätt” sätt
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
27/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Diskriminering
En modell har god diskriminerande förmåga om den klarar av att
skilja på individer med “höga” och “låga” utfall. D.v.s. om
modellen förutsäger att individ A har högre risk än individ B och
individ A dör innan individ B så har modellen god diskriminerande
förmåga
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
28/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Kalibrering
I
Om det predicerade utfallet är lika som det observerade
utfallet så är modellen välkalibrerad. Plotta observerat mot
predicerat utfall
I
Övergripande kalibrering (interceptet på kalibreringskurvan).
Om alla predicerade sannolikheter är för höga eller för låga.
Det skulle t.ex. kunna bero på att det totala risken har
minskats (p.g.a. förändringar i samhället?)
I
Lutningen på kalibreringskurvan. Om lutningen < 1 innebär
det att låga prediktioner är för låga och höga prediktioner är
för höga. Kan vara ett tecken på överanpassning
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
29/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Kalibrering
0.95
0.90
0.85
0.80
Fraction Surviving 365 Day
1.00
Exempel
0.80
0.85
0.90
0.95
1.00
Predicted 365 Day Survival
Black: observed Gray: ideal
Blue : optimism corrected
J Lindbäck (UCR)
B=50 based on observed−predicted
Mean |error|=0.002 0.9 Quantile=0.003
Multivariabla modeller
26/5 2015
30/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Validering
I
Vi vill veta hur bra modellen generaliserar till nya data
I
Vi skiljer på intern och extern validitet
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
31/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Extern validitet
I
Extern validitet är “gold standard”
I
Fungerar modellen i den kliniska verkligheten den var
framtagen att användas i?
I
Helst en annan region under en annan tid av andra tillämpare
I
Beräkna prediktioner baserat på den framtagna modellen och
jämför med observerat utfall i valideringsdatat (OBS! inte
samma sak som att ta fram en ny modell på de nya data)
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
32/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Intern validitet
I
Modellen utvärderas på samma data som den framtagits på
I
Ser ofta bra ut p.g.a. överanpassning
I
Försök efterlikna extern validitet genom att dela upp data.
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
33/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Intern validitet
Dela i två delar
I
Dela upp i modelleringsdata och ett valideringsdata.
I
Vanligen 2/3 för framtagning av modell och 1/3 för validering.
I
Slöseri med data. Minskar möjligheten till flexibel modellering.
I
Annan indelning ger troligen annat resultat
I
Rekommenderas ej!
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
34/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Intern validitet
Bättre: korsvalidering
I
Dela upp data i k st delar.
I
Ta fram modellen på samma sätt som för alla data men
använd bara k − 1 av delarna och utvärdera på den del som
hölls ute.
I
Upprepa k ggr så att alla observationer utvärderats en gång.
I
Fungerar ofta ok
I
k väljs vanligen till 5 eller 10.
I
Kan upprepas (upprepad korsvalidering) med nya indelningar
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
35/36
Introduktion
Några saker att beakta
Utvärdering av modeller
Intern validitet
Bäst: bootstrap
I
Dra nya stickprov (med återläggning) av samma storlek som
ursprungsdata
I
Ta fram modellen på samma sätt som för alla data
I
Utvärdera modellen på orginaldatat
I
Beräkna mått för diskrininering, kalibrering, etc. ta
genomsnitt över alla bootstrapstickprov.
I
Skillnaden mellan dessa och de ursprungliga måtten mäter
överoptimismen.
I
Genom att ta hänsyn till optimismen kan man få en
uppskattning om hur modellen kommer att fungera på “nya”
data och justera sin modell utifrån det.
J Lindbäck (UCR)
Multivariabla modeller
26/5 2015
36/36