Er norskprøven en god prøve?
Nasjonal konferanse for ledere i
kommunal voksenopplæring,
Scandic Fornebu, 9.-10. februar 2015
Dr. Cecilie Hamnes Carlsen,
Seniorrådgiver, Vox, Bergen
Corrigan 2013
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 2
Hva er en god prøve?
En god prøve
• måler det den skal (validitet)
• gir stabile og pålitelige resultater (reliabilitet)
• virker positivt tilbake på undervisning og læring (washback)
• gir alle kandidater samme muligheter til å vise sine
ferdigheter (rettferdighet/«fairness»)
• har positive konsekvenser for enkeltindivider
• har positive konsekvenser for samfunnet
• er praktisk å gjennomføre
Messick 1989, 1995 Bachman & Palmer 1990, Alderson & Banerjee 2001
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 3
Hva er en god prøve?
“[a] language test is only as good as the
theory of language on which it is based”
McNamara 2000
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 4
Hva er en god prøve?
En god prøve har et solid teoretisk og empirisk fundament
• teorier/forskning på hva språkferdigheter er
• teorier/forskning på hvordan voksne lærer et nytt språk
• teorier/forskning på hva en god prøve er
• Rammeverkets beskrivelser av ferdighetsnivåer
• Læreplanens målbeskrivelser
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 5
Hvordan utvikle en god prøve?
• Testutviklere med faglig kompetanse og lang erfaring
• «Lytt til erfarne fjellfolk» - innspill fra lærere
• Pilotering av lytte- og leseoppgaver
• Analyser av piloteringsdata og data fra reelle avviklinger
• Sensoropplæring muntlig:
• Lokal vurdering, dvd’er, kriterier og forklaring til kriteriene,
ressurspersonordningen
• Sensoropplæring skriftlig:
• Sentral vurdering, erfarent sensorkorps, jevnlige samlinger, tilbakemeldinger
• Internasjonalt samarbeid (ALTE, EALTA, ILTA)
• ALTEs minsteskrav for testutvikling
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 6
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 7
Eksempler på ALTES minstekrav for testutvikling
4. Prøvene er sammenlignbare fra den ene avviklingen til den andre når det
gjelder innhold, stabilitet, likhet og bruk av karakterskalaen.
8. Prøveadministrasjonen har hensiktsmessige støttesystemer tilgjengelig ved
testavviklingen (for eksempel direktelinje på telefon, nettjenester, osv).
14. Det samles inn data på itemnivå fra et passende utvalg kandidater, og
data analyseres med tanke på å beregne vanskegrad, diskrimineringsfaktor,
reliabilitet og standard målefeil.
17. De prøveansvarlige gir brukerne nødvendig informasjon slik at de kan
forstå resultatene og bruke dem på en hensiktsmessig måte.
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 8
Hvordan kvalitetssikre (validere) en prøve?
• A priori & a posteriori validering
• A priori
• Før prøveavvikling
• Teoretisk
• Empirisk (piloteringsdata)
• A posteriori
• Etter prøveavviklingen
• Empirisk (relle data)
(Weir 1988, 2005)
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 9
Hvordan kvalitetssikre en prøve?
• En prøve vil aldri bli helt feilfri!
• Avhengig av gode systemer for å oppdage og håndtere feil
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 10
Hvordan kvalitetssikre en prøve?
• En prøve vil aldri bli helt feilfri!
• En god prøve har gode systemer for å oppdage og håndtere
feil
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 11
Oppdage feil
• Kontroll av mulige lagringsfeil i delprøver (lytt, les, skriftlig
framstilling)
• Skriftlig sensur –> oppmann ved uenighet
• Kontroll av skriftlig sensur (ikke grunnlag, Under A1, mulig
fusk, 3 ulike vurderinger)
• Oppmelding til rett nivå, skriftlig og muntlig prøve
• Totalt 190 lagringsfeil av 17 008 gjennomførte delprøver
(les:98, lytt:15, skriv: 77)
> feilprosent på 1,1 %
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 12
Håndtere feil
• Mulighet for klage på gjennomføring (alle delprøver)
• Mulighet for klage på resultat på skriftlig framstilling
• Tilbud om ny gratis prøve
• Utstede nye prøvebevis
• Åpenhet rundt antall og typer feil (informasjon ut)
• Finne feilkilder
• Eliminere feilkilder om mulig («systematic error»)
• Alltid noen restfeil («unsystematic error»)
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 13
Hva er norskprøvens styrker?
• Digital løsning
• Adaptivitet – kandidatene får en prøve tilpasset deres nivå
• Automatisk innlegging av resultater for les og lytt
• Automatisk retting av delprøvene les og lytt
• Bedre mulighet for å avsløre feil og juks
• Data som hjelpemiddel
•
•
•
•
Alle skal få et prøvebevis
Måler ulike delferdigheter isolert
Mulighet til å ta opp igjen delferdigheter
Mulighet for de med dårlige lese-/skriveferdigheter å skåre
bra på lytteprøve og muntlig produksjon
• Erfarent sensorkorps for skriftlig
• Rammeverket & læreplan & prøver går hånd i hånd
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 14
Hva er norskprøvens utfordringer?
• Tekniske løsninger
• PAD
• Privatistportalen
• Sensorsidene
• Stabilitet i lagring
• Oppmelding til riktig prøve i skriftlig og muntlig
• Pålitelighet og stabilitet i muntlig prøve sensurert lokalt
• Analyse og tilbakemelding på skriftlig sensur
• Resultatbehandling og resultatformidling
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 15
Hvordan tolke resultatene?
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 16
Noen innledende betraktninger
• Resultater på norskprøven vs. Norskprøve 2 og 3
• Kan ikke sammenlikne prosentene (høyere beståttprosenter på NP enn på
norskprøven)
• Ulik kandidatpopulasjon (Spor 1, flere påmeldte til norskprøven)
• Resultater i ulike delferdighetene
• Bedre resultater på lytt og les, enn på skriftlig framstilling og muntlig produksjon
• Bedre resultater i muntlige ferdigheter (lytte og snakke) enn skriftlige ferdigheter
• Vanlig profil
• Resultater vs. eksempelprøver og pilotering
• Eksempelprøven på nett er ikke en pekepinn på nivå (ikke pilotert, kjent)
• Piloteringsoppgavene har ikke kjent vanskegrad når de piloteres
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 17
Og noen innledende forbehold
• Utilstrekkelig datagrunnlag foreløpig
• Har ikke tilstrekkelig persondata koblet med resultater
• Har ikke spor-informasjon for alle
• Har ikke resultater i forhold til prøvepåmelding på skolenivå
• Nye NIR skal være klar i mars 2015
• Mye av forklaringen på resultatene kan ligge i oppmeldte
kandidater
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 18
Resultater på landsbasis:
SNAKKE
LYTTE
LESE
SKRIVE
2014
Nivå B1
Nivå A2
Nivå A1
Under A1
Ikke vurdert
35 %
52 %
9%
0%
3%
56 %
36 %
8%
0%
0%
24 %
12 %
2%
0%
55 %
23 %
1%
1%
62 %
20 %
Resultater på landsbasis:
SNAKKE
LYTTE
LESE
SKRIVE
&
2014
Nivå B1
Nivå A2
Nivå A1
Under A1
Ikke vurdert
35 %
52 %
9%
0%
3%
40,2 %
52,5 %
6,9%
0%
0,2 %
56 %
36 %
8%
0%
0%
63,6 %
28,9 %
7,1 %
0,4 %
–
24 %
12 %
2%
0%
63,6 %
23,2 %
10,8 %
2,4 %
–
20 %
55 %
23 %
1%
1%
24,9 %
56,5 %
16,1 %
1,2 %
1,4 %
62 %
Resultater på landsbasis:
SNAKKE
LYTTE
LESE
SKRIVE
&
2014
Nivå B1
Nivå A2
Nivå A1
Under A1
Ikke vurdert
35 %
52 %
9%
0%
3%
40,2 %
52,5 %
6,9%
0%
0,2 %
56 %
36 %
8%
0%
0%
63,6 %
28,9 %
7,1 %
0,4 %
–
24 %
12 %
2%
0%
63,6 %
23,2 %
10,8 %
2,4 %
–
20 %
55 %
23 %
1%
1%
24,9 %
56,5 %
16,1 %
1,2 %
1,4 %
62 %
Resultater på landsbasis:
SNAKKE
LYTTE
LESE
SKRIVE
&
2014
Nivå B1
Nivå A2
Nivå A1
Under A1
Ikke vurdert
35 %
52 %
9%
0%
3%
40,2 %
52,5 %
6,9%
0%
0,2 %
56 %
36 %
8%
0%
0%
63,6 %
28,9 %
7,1 %
0,4 %
–
24 %
12 %
2%
0%
63,6 %
23,2 %
10,8 %
2,4 %
–
20 %
55 %
23 %
1%
1%
24,9 %
56,5 %
16,1 %
1,2 %
1,4 %
62 %
Resultater på landsbasis:
SNAKKE
LYTTE
LESE
SKRIVE
&
2014
Nivå B1
Nivå A2
Nivå A1
Under A1
Ikke vurdert
35 %
52 %
9%
0%
3%
40,2 %
52,5 %
6,9%
0%
0,2 %
56 %
36 %
8%
0%
0%
63,6 %
28,9 %
7,1 %
0,4 %
–
24 %
12 %
2%
0%
63,6 %
23,2 %
10,8 %
2,4 %
–
20 %
55 %
23 %
1%
1%
24,9 %
56,5 %
16,1 %
1,2 %
1,4 %
62 %
Resultater på landsbasis:
SNAKKE
LYTTE
LESE
SKRIVE
&
2014
Nivå B1
Nivå A2
Nivå A1
Under A1
Ikke vurdert
35 %
52 %
9%
0%
3%
40,2 %
52,5 %
6,9%
0%
0,2 %
56 %
36 %
8%
0%
0%
63,6 %
28,9 %
7,1 %
0,4 %
–
24 %
12 %
2%
0%
63,6 %
23,2 %
10,8 %
2,4 %
–
20 %
55 %
23 %
1%
1%
24,9 %
56,5 %
16,1 %
1,2 %
1,4 %
62 %
Oppsummerte forskjeller fra vår til vinter
• Forholdsvis like resultater vår og vinter
Kan bety:
• at populasjonen ikke har forandret seg
• at prøvene er like vanskelige fra gang til gang
• at sensorene vurderer stabilt fra gang til gang
• Bedre resultater i vinter enn vår
• Flere kandidater får B1 (gjelder alle delferdigheter)
• Færre kandidater får A1 (gleder alle delferdigheter)
• Leseprøven varierer minst fra vår til vinter
• Lytt varierer mest (etterfulgt av skriftlig og muntlig)
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 25
Resultater fordelt på Spor, desember 14
Merk: Spor registrert på 2081 kandidater, tilsvarende 33,6 %
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 26
Resultater fordelt på spor
LYTTEFERDIGHETER
80
70
60
50
SPOR 1
SPOR 2
SPOR 3
40
30
20
10
0
Under A1
A1
A2
B1
Beste resultat, des.14
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 27
Resultater fordelt på spor
LESEFERDIGHETER
90
80
70
60
SPOR 1
SPOR 2
SPOR 3
50
40
30
20
10
0
Under A1
A1
A2
B1
Beste resultat, des.14
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 28
Resultater fordelt på spor
SKRIFTLIG FRAMSTILLING
70
60
50
40
SPOR 1
SPOR 2
SPOR 3
30
20
10
0
IG
Under A1
A1
A2
B1
Beste resultat, des.14
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 29
Resultater fordelt på spor
MUNTLIG SPRÅKBRUK
70
60
50
SPOR 1
SPOR 2
SPOR 3
40
30
20
10
0
Under A1
A1
A2
B1
Beste resultat, des.14
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 30
Resultater fordelt på spor
MUNTLIG SPRÅKBRUK
Denne
prosenten bør
kunne bli
høyere!
70
60
50
SPOR 1
SPOR 2
SPOR 3
40
30
20
10
0
Under A1
A1
A2
B1
Beste resultat, des.14
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 31
Er norskprøven en god prøve?
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 32
Er norskprøven en god prøve?
• Ekstern kvalitetskontroll
• ALTEs audit-system
• Planlagt i 2016
• Kvalitetsstempel
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 33
Planer fram mot B2-nivået
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
• 11.02.2015
Side 34
Hva er gjort så langt?
• Møte med referansegruppe for B2
• Vurderingskriterier muntlig og skriftlig
• Muntlig prøveformat
• Innspilling av muntlig prøve B1-B2 er ferdig
• Eksempel-DVD kursdeltakere kan se
• Eksempel-DVD til intern bruk på skolene før muntlig prøve
• Eksempel-DVD til ressurspersoner til bruk i opplæring
•
•
•
•
Forelesning om B2-nivået til nettkurset
Formater til lytt og les
Eksempelprøve bokmål
Piloteringsversjoner B1-B2
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 35
Hva gjenstår?
• Format for skriftlig prøve
• Utprøving/ innsamling av eksempeltekster skriftlig
• Analyse av piloteringsdata
• Sette sammen prøvesett lytt og les
• Egenvurderingsmateriell for oppmelding til rett prøve
• Eksempelprøver nynorsk
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 36
Opplæring mot B2
• Opplæringskonferanse om muntlig 2.-4. mars
• ALTE-konferansedag 8. mai fokus på B2 og C1-nivåene
• Sensoropplæring skriftlig sensorer, november
B2 slippfest 1. september!
•
•
•
•
•
•
•
Nettkursforelesning og B1-B2-eksempler
Intern-DVD for lærerne
Eksempel-DVD for kursdeltakerne
Vurderingskriterier muntlig og skriftlig på nett
Egenvurderingsmateriell mot B1-B2-prøven
Eksempelprøve nynorsk
Informasjon på vox.no
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 37
B2-prøvens status og funksjon
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 38
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
11.02.2015 • Side 39
Takk
for
Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen
meg!
11.02.2015 • Side 40