1. No category

Operasjonsanalytiske
emner
Del 23
Forecasting
2 - Metodevalg
Prognosemodeller basert på
Tidsserieanalyse
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
1
Bruk av tidsserieanalyse
Det finnes veldig, veldig mange forskjellige
tidsserieanalysemetoder.
Det er vanligvis umulig å vite hvilken teknikk som vil
passe best for et bestemt datasett.
Som regel prøves flere forskjellige teknikker, for å
velge ut den som synes å passe best.
For å lage effektive tidsseriemodeller, må en ha flere
forskjellige metoder i ”verktøyboksen”.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
2
Valg av prediksjonsmetoder
Stasjonære data:
Naiv metode (siste observasjon, etc.)
Gjennomsnittsmetoder
Glidende gjennomsnitt
Eksponensiell glatting
ARMA (AutoRegressive Moving Average)
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 3
Valg av prediksjonsmetoder
Data med trend:
Dobbelt glidende gjennomsnitt
Holt’s eksponensiell glatting
Enkel regresjon
Vekstkurver
Eksponensielle modeller
ARIMA (AutoRegressive Integrated Moving Average)
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 4
Valg av prediksjonsmetoder
Data med sesongvariasjoner:
Klassisk dekomponering
Census X-12
Winter’s eksponensiell glatting
Multippel regresjon
ARIMA (AutoRegressive Integrated Moving Average)
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 5
Valg av prediksjonsmetoder
Data med sykluser:
Klassisk dekomponering
Økonomiske indikatorer
Økonometriske modeller
Multippel regresjon
ARIMA (AutoRegressive Integrated Moving Average)
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 6
Momenter ved prognosevalg
Tidshorisonten for prognosene:
På kort og mellomlang sikt kan kvantitative
tidsserieanalyser gi gode prediksjoner.
Gjennomsnitt, glidende gjennomsnitt, dekomponering
og eksponensiell glatting er metoder velegnet på kort
og mellomlang sikt.
Økonometriske metoder er bedre til å forutse
økonomiske vendepunkt.
Kvalitative metoder brukes for langsiktige prognoser.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 7
Momenter ved prognosevalg
Tidshorisonten for forberedelsene:
Når prognosene må utarbeides på kort varsel trengs
det enkle metoder.
Gjennomsnitt, glidende gjennomsnitt, dekomponering
og eksponentiell glatting, samt regresjon er metoder
som er raske å utarbeide.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 8
Momenter ved prognosevalg
Presentasjon av prognosene:
Når prognosene skal forklares for beslutningstakerne,
er det en fordel å benytte metoder som er lett å forstå.
Gjennomsnitt, glidende gjennomsnitt, dekomponering
og eksponentiell glatting, samt regresjon er metoder
som er enkle å forklare.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
Side 9
Forskjellige prediksjonsmodeller
Data
Modeller som tillater skift i nivå/trend/sesong
Stasjonære Glidende gjennomsnitt
data
Konstant nivå med
tilfeldige variasjoner
Sesong
Konstant nivå med
sykliske variasjoner
Trend
Langsiktig generell
endring i nivå
Trend &
Sesong
Veid glidende gjennomsnitt
Eksponensiell glatting
Eksponensiell glatting / additiv sesong
Eksponensiell glatting / multiplikativ sesong
Dobbelt glidende gjennomsnitt
Holt’s metode (dobbel eksponensiell glatting)
Holt-Winter med additiv sesong
Holt-Winter med multiplikativ sesong
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
10
Alternative modeller
Pegel’s klassifikasjon
Trend
Sesongkomponent
Ingen
Additiv
Multiplikativ
Ingen
A-1
A-2
A-3
Additiv
B-1
B-2
B-3
Multiplikativ
C-1
C-2
C-3
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
11
Oppdeling av dataserien
1. Initialserie.
Første del av dataserien benyttes for å beregne
startverdier for parameterne i modellen.
2. Tilpassingsserie.
Andre del av dataserien benyttes for å tilpasse gode
verdier for parameterne – slik at feilene blir minst mulig.
3. Testserie.
Siste del av dataserien benyttes til blindtest, der man
tester hvor god modellen er.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
12
Måle prediksjonsfeil
Notasjon ved prognoser:
Yt = verdi av tidserie på tidspunkt t
Ŷt = predikert verdi for tidspunkt t
et = Yt - Ŷt = prediksjonsfeil på tidspunkt t
Residualen (prediksjonsfeilen) er differansen mellom
faktisk og predikert verdi. e  Y  Yˆ
t
t
t
Vi trenger et mål for å sammenligne hvordan
forskjellige tidsseriemodeller passer til dataene.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
13
Mål på nøyaktighet
Ulike mål som indikerer hvor godt forskjellige
tidsseriemodeller passer til dataene.
Fire av de vanligste målene er:
mean absolute deviation,
mean absolute percent error,
the mean square error,
root mean square error.
Vi vil fokusere på MSE.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
14
Alternative feilmål - ME
Gjennomsnittsfeil (Mean Error) ME:

1 n
ME   Yt  Yˆt
n t 1

En stor svakhet er at positive og negative avvik
nøytraliserer hverandre.
Nyttig som indikator på om prognosen har ”bias”;
dvs. ensidig predikerer lavt/høyt.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
15
Alternative feilmål - MPE
Gjennomsnittlig %-vis feil
(Mean Percentage Error) MPE:
n
1
MPE  
n t 1

Yt  Yˆt

Yt
Styrke og svakhet som ME.
Uavhengig av enhet på variabelen (%), kan
sammenligne forskjellige tidsserier.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
16
Alternative feilmål - MAD
Gjennomsnittlig absolutt feil
(Mean Absolute Error/Deviation) MAE/MAD:
1 n
MAD   Yt  Yˆt
n t 1
Unngår at positive og negative avvik nøytraliserer
hverandre.
Avhengig av enhet på tidsserien.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
17
Alternative feilmål - MAPE
Gjennomsnittlig absolutt prosentvis feil
(Mean Absolute Percentage Error) MAPE:
n
1
MAPE  
n t 1

Yt  Yˆt

Yt
Styrke og svakhet som MAE/MAD.
Uavhengig av enhet på variabelen (%), kan
sammenligne forskjellige tidsserier.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
18
Alternative feilmål - MSE
Gjennomsnittlig kvadrert feil
(Mean squared Error) MSE:

1 n
MSE   Yt  Yˆt
n t 1

2
Som MAD, men vektlegger store avvik mer enn små.
Enhet som tidsserie2. (Som varians)
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
19
Alternative feilmål - RMSE
Kvadrat av gjennomsnittlig kvadrert feil
(Root Mean squared Error) RMSE:

1 n
ˆ
RMSE 
Y

Y

t
t
n t 1

2
Som MSE, men enhet som tidsserien.
Samme tolking som standardavvik.
Alle feilmål: Små verdier bedre enn store.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
20
Alternative feilmål - U
Theil’s U:
RMSE (modell)
U
RMSE (ingen endring)
ˆ
Y

Y



n
U
t
t 1
2
t
n
 Y  Y 
t 1
t
2
t 1
U = 0: Modellen predikerer perfekt.
U < 1: Modellen predikerer bedre enn naiv metode.
U > 1: ”Ingen endring”-modell bedre enn denne.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
21
Bruk av feilmål
Evaluere forskjellige prediksjonsmodeller på samme
tidsserie (velge best metode):
MAD; MAPE; MSE; RMSE og Theil’s U
Evaluere forskjellige prediksjonsmodeller på
forskjellige tidsserier (sammenligne prognoser):
MAPE og Theil’s U (Begge uavhengig av enhet)
Evaluere om prediksjonene er skjeve:
ME; MPE
Positive verdier  konsekvent underestimering
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
22
En kommentar til bruk av feilmål
En bør være på vakt når en sammenligner MSE verdier
for forskjellige prediksjonsteknikker/modeller.
Den minste MSE kan være resultatet av en metode som
passer gamle data meget godt men gjenspeiler nye data
dårlig.
Noen ganger er det klokt å beregne MSE kun for de
seneste observasjonene.
Sammenlign MSE for samme perioder.
Bør bruke blindtest !
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
23
Fornuftig bruk av feilmål
Feilmålene brukes for å se hvor godt en metode
tilpasser seg historiske data.
For å velge mellom ulike metoder, bør en foreta en
blindtest – lage prognoser for perioder der modellen
ikke får se dataene.
En velger så den metoden som har minst feil i
blindtesten.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
24
Prediksjonsprosessen
1. Del inn tidsserien:
1.
2.
3.
Initialserie
Tilpassingsserie
Testserie (blindtest)
2. Beregn startverdier i initialserien.
3. Foreta tilpassinger i tilpassingsserien
1.
Finn gode verdier på modellparameterne
4. Foreta prognoser i testserien. (Test ulike modeller.)
5. Velg den prognosemetode som er best i blindtesten:
1.
2.
3.
Oppdater modellen (Tilpassingsserien inkluderer nå også det som var
testserien.)
Finn nye gode verdier på modellparameterne.
Lag prognose for den ukjente framtiden.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
25
Dilemma
Velger den modellen som, når
den framskriver mønsteret fra
tilpassingserien, passer best i
blindtesten.
Bedre prognoser om
vi bare baserte oss
på blindtesten?
tilpassingserie
blindtest
nå
Prognoser
t
1
n
Metoden som passer best i blindtesten vil ikke garantert gi best prognose for framtiden.
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
26
Adekvat metode?
Før en velger prediksjonsmetode, må en sjekke om
modellen passer dataene:
Er residualene tilfeldig, eller finnes det fortsatt mønster
i feilleddene?
Er residualene tilnærmet normalfordelt?
Har alle estimerte parametre signifikante t-verdier?
Er metoden enkel å bruke og forklare?
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
27
Yi  Yˆi
n
MAD  
Samme enhet som tidsserien.
n
i 1
ˆ
100 n Yi  Yi
MAPE 

n i 1 Yi
n
MSE  

Yi  Yˆi

2
Enhet som kvadrerte verdier. (Ligner varians)
n
i 1

1 n
RMSE 
Yt  Yˆt

n t 1

1 n
ME   Yt  Yˆt
n t 1


ˆ
1 n Yt  Yt
MPE  
n t 1 Yt

n
U
t 1
n
Kan sammenligne ulike tidsserier (%).
Yt  Yˆt



2
Samme enhet som tidsserien.
Samme enhet som tidsserien.
Kan evaluere om prediksjonene er skjeve.
Kan sammenligne ulike tidsserier (%).
Kan evaluere om prediksjonene er skjeve.
2
 Yt  Yt 1 
2
Kan sammenligne ulike tidsserier.
U < 1 hvis modellen er mer nøyaktig enn naiv metode
(prognose lik siste verdi).
t 1
BØK710 OPERASJONSANALYTISKE EMNER
Rasmus Rasmussen
28