Er Norskprøven en god
prøve for spor 1-deltakere?
Cecilie Hamnes Carlsen
Koordinator for det faglige arbeidet
med norskprøven
Vox, Bergen
Nasjonal konferanse om alfabetisering, Sandefjord 16.- 18. sept. 2015
Hva er en god prøve for spor 1-deltakere?
• Kvaliteter ved en prøve
• Validitet
• Reliabilitet
• Positive konsekvenser
• Praktisk gjennomførbarhet
• En prøves kvalitet – kan ikke ses uavhengig av
• gruppen den er ment for
• formålet med prøven
• Mål at resultatet
• speiler de ferdighetene vi vil måle
• er lite påvirket av andre ferdigheter, egenskaper og kunnskaper
(eller mangel på andre ferdigheter, egenskaper og kunnskaper)
Spor 1-deltakernes spesielle utfordringer
• Begrensete lese- og skriveferdigheter
• Begrenset skolebakgrunn og -erfaring
• Begrenset erfaring med prøvesituasjonen
Spor 1-deltakernes spesielle utfordringer
Allemano (2013):
A major barrier to assessment of beginner readers
seems to be the examination process itself.
Spor 1-deltakernes spesielle utfordringer
Ostrosky-Solis et al. (1998):
[The very low test scores] can also be due to the fact that
these subjects are not used to being tested.
[…] testing itself represents a nonsense situation that
illiterate subjects may find surprising and absurd.
Er norskprøven en god prøve for spor 1-deltakere?
Prøvesystemet
Oppgavene
Konsekvensene
Er norskprøven en god prøve for spor 1-deltakere?
• Utvikling av norskprøven
• Ytre rammer/politiske bestemmelser for prøvesystemet
• Faglig frihet innenfor rammene: systemnivå og oppgavenivå
• Spor 1-lærere har vært tatt med på råd fra starten!
• Kartlegging i etterkant
• Analyser av resultater på prøvenivå
• Analyser av resultater på delprøvenivå
• Spørreundersøkelse blant spor 1-lærere
Prøvesystemet (ytre rammer)
• Norskprøven skal bygge på Rammeverket/Læreplanen
• Prøven skal være digital (lytt, les, skriftlig produksjon)
• Prøven gjennomføres lokalt (på vo.-sentre, ikke testsentre)
• Alle skal få et bevis på sine ferdigheter
• Avsluttende prøve også på A1-nivå
• Profilert tilbakemelding > de fire ferdighetene målt separat
• Kandidatene må ta hele prøven første gang
• Kan deretter ta opp igjen kun delprøver
Prøvesystemet (faglig avgjørelser)
• Prøver utarbeidet med spor 1-deltakerne i tankene
• Delvis adaptive prøver i lytte- og leseferdigheter
• Prøver som dekker to nivåer samtidig i muntlig og skriftlig
produksjon (A1-A2, A2-B1, B1-B2)
• Forutsigbarhet (oppgaveformat går igjen fra prøve til prøve)
• Tilgjengelige eksempelprøver på nett
• Mål å unngå skriftlig i lytteprøve og muntlig prøve
• Mål å unngå hypotetiske/tenkte situasjoner på A1-A2-prøven
Oppgavene
• Bruk av bilder som utgangspunkt
• Bruk av bilder som svaralternativer
• Relevante og ikke-hypotetiske spørsmål
Kartlegging – Analyser av prøvedata
Begrensninger:
• Vi vet lite om spor 1-kandidatene fordi:
• Begrensninger i persondataskjemaet
• Ikke alle leverer persondataskjema
• Ikke alle skoler oppgir spor
• Foreløpig ikke mulig å bruke data fra NIR
• Analyser kun basert på de med sporinformasjon
• N=915 registrerte spor 1-kandidater (desember og mai 2015)
Gjennomsnittsresultater fordelt på sporene
Delprøveresultater fordelt på spor
4,00
3,50
3,00
2,50
2,00
1,50
1,00
Forskjellene er signifikante for alle
ferdighetene: Sig. = ,000
0,50
0,00
LYTTEFERDIGHETER
LESEFERDIGHETER
SPOR 1
MUNTLIG PROD.
SPOR 2
SPOR 3
SKRIFTLIG PROD.
Forskjeller mellom spor – muntlig produk.
50
46,6
45,9
45
41,8
40
35
31,7
28,5
30
25
20
19,5
15
10
6,2
6,3
3,1
5
0
Spor 1
Spor 2
A1
A2
Spor 3
B1
Forskjeller mellom spor – leseferdigheter
90
78,1
80
70
60
48,8
50
42,3
40
29,6
30
20
27,8
13,9
13,4
9,9
10,9
10
1,2
0,4
3,4
0
Spor 1
Spor 2
Under A1
A1
Spor 3
A2
B1
Forskjeller mellom spor – lytteferdigheter
80
70,8
70
60
50,8
50
39,8
40
33,5
28,1
30
23,9
19,4
20
7,6
10
2,7
1,4
0
Spor 1
Spor 2
Under A1
A1
Spor 3
A2
B1
Forskjeller mellom spor – skriftlig prod.
60
53,7
50,8
50
46,2
42,9
40
33,6
30
23,6
19,2
20
8,9
10
8,1
2,2
1,6
0,8
1
0,7
0,4
0
Spor 1
Spor 2
Ikke grunnlag
Under A1
Spor 3
A1
A2
B1
Gamma og signifikans, ferdigheter x spor
Gammaverdier
Signifikans
Muntlig produksjon
,326
,000
Leseferdigheter
,419
,000
Lytteferdigheter
,410
,000
Skriftlig produksjon
,443
,000
Spor 1-kandidater: Lytte
45
39,8
40
63,7 % fikk
A2 eller bedre
på
lytteprøven
35
30
28,1
23,9
25
20
15
10
5
1,4
0
Under A1
A1
A2
B1
Spor 1-kandidater: Lese
45
42,3
40
35
29,6
30
25
20
13,4
15
9,9
10
5
0
Under A1
A1
A2
B1
Spor 1-kandidater: Lese
45
42,3
40
35
29,6
30
43 % fikk A2
eller bedre på
leseprøven
25
20
13,4
15
9,9
10
5
0
Under A1
A1
A2
B1
Spor 1-kandidater: Skriftlig produksjon
60
50,8
50
40
33,6
35,2 % fikk
A2 eller bedre
på prøven i
skriftlig
produksjon
30
20
8,9
10
2,2
1,6
0
Ikke grunnlag
Under A1
A1
A2
B1
Kartlegging – Spørreundersøkelse blant
spor 1-lærere
Spor 1-læreres synspunkter på:
• hvordan det nye prøvesystemet fungerer for spor 1deltakerne
• hvordan oppgavene i norskprøven fungerer for spor 1deltakerne
• konsekvensene av norskprøven for spor 1-deltakerne
Bakgrunnsvariabler
• 53 spor 1-lærere
• 87% underviser på spor 1
• 45% har mer enn 5 års undervisningserfaring
• 47% har delfag, 28 % årsenhet i norsk som andrespråk
• 51% har erfaring med prøvegjennomføring for spor 1-kand.
Del 1: Prøvesystemet
Bevis
Separate
Enkelprøver
Hele prøven
Pareksamen
Egen lærer
0
Helt enig
20
Ganske enig
40
Middels enig
60
Ganske uenig
80
Helt uenig
100
Del 1: Prøvesystemet
Digital
Ordbok
Adaptiv
Nok eks.oppg.
Nok inform.
Bortkastet nettinfo.
0
Helt enig
20
Ganske enig
40
Middels enig
60
Ganske uenig
80
Helt uenig
100
Del 2: Oppgavene i norskprøven
Bilder
Klikk bilde
Bilde skriftlig
Bilde muntlig
Samtale
Lett å forstå
0
Helt enig
10
20
Ganske enig
30
40
50
Middels enig
60
70
Ganske uenig
80
90
Helt uenig
100
Del 3: Konsekvensene av norskprøven
Motiverende m. prøve
Motiverende m. resultat
Skremmende
Positiv washback
Statusheving
Prioritet på skolen
0
Helt enig
10
20
Ganske enig
30
40
Middels enig
50
60
Ganske uenig
70
80
Helt uenig
90
100
Oppsummering
• Spor 1-deltakerne gjør det forholdsvis bra på delprøven i
lytteferdigheter og i muntlig produksjon
• Signifikante forskjeller mellom muntlige og skriftlige delprøver
> muntlige delprøver forutsetter ikke skriftspråklige
ferdigheter
• Resultater fra lærerundersøkelsen er positiv mht:
• Alle får bevis, separate delprøver, adaptivitet, bildebruk, informasjon
mm.
• Over 70 % mener norskprøven i sin helhet fungerer godt for spor 1
• Flertallet mener den er motiverende og virker positivt på undervisning