Er norskprøven en god prøve? Nasjonal konferanse for ledere i kommunal voksenopplæring, Scandic Fornebu, 9.-10. februar 2015 Dr. Cecilie Hamnes Carlsen, Seniorrådgiver, Vox, Bergen Corrigan 2013 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 2 Hva er en god prøve? En god prøve • måler det den skal (validitet) • gir stabile og pålitelige resultater (reliabilitet) • virker positivt tilbake på undervisning og læring (washback) • gir alle kandidater samme muligheter til å vise sine ferdigheter (rettferdighet/«fairness») • har positive konsekvenser for enkeltindivider • har positive konsekvenser for samfunnet • er praktisk å gjennomføre Messick 1989, 1995 Bachman & Palmer 1990, Alderson & Banerjee 2001 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 3 Hva er en god prøve? “[a] language test is only as good as the theory of language on which it is based” McNamara 2000 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 4 Hva er en god prøve? En god prøve har et solid teoretisk og empirisk fundament • teorier/forskning på hva språkferdigheter er • teorier/forskning på hvordan voksne lærer et nytt språk • teorier/forskning på hva en god prøve er • Rammeverkets beskrivelser av ferdighetsnivåer • Læreplanens målbeskrivelser Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 5 Hvordan utvikle en god prøve? • Testutviklere med faglig kompetanse og lang erfaring • «Lytt til erfarne fjellfolk» - innspill fra lærere • Pilotering av lytte- og leseoppgaver • Analyser av piloteringsdata og data fra reelle avviklinger • Sensoropplæring muntlig: • Lokal vurdering, dvd’er, kriterier og forklaring til kriteriene, ressurspersonordningen • Sensoropplæring skriftlig: • Sentral vurdering, erfarent sensorkorps, jevnlige samlinger, tilbakemeldinger • Internasjonalt samarbeid (ALTE, EALTA, ILTA) • ALTEs minsteskrav for testutvikling Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 6 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 7 Eksempler på ALTES minstekrav for testutvikling 4. Prøvene er sammenlignbare fra den ene avviklingen til den andre når det gjelder innhold, stabilitet, likhet og bruk av karakterskalaen. 8. Prøveadministrasjonen har hensiktsmessige støttesystemer tilgjengelig ved testavviklingen (for eksempel direktelinje på telefon, nettjenester, osv). 14. Det samles inn data på itemnivå fra et passende utvalg kandidater, og data analyseres med tanke på å beregne vanskegrad, diskrimineringsfaktor, reliabilitet og standard målefeil. 17. De prøveansvarlige gir brukerne nødvendig informasjon slik at de kan forstå resultatene og bruke dem på en hensiktsmessig måte. Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 8 Hvordan kvalitetssikre (validere) en prøve? • A priori & a posteriori validering • A priori • Før prøveavvikling • Teoretisk • Empirisk (piloteringsdata) • A posteriori • Etter prøveavviklingen • Empirisk (relle data) (Weir 1988, 2005) Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 9 Hvordan kvalitetssikre en prøve? • En prøve vil aldri bli helt feilfri! • Avhengig av gode systemer for å oppdage og håndtere feil Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 10 Hvordan kvalitetssikre en prøve? • En prøve vil aldri bli helt feilfri! • En god prøve har gode systemer for å oppdage og håndtere feil Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 11 Oppdage feil • Kontroll av mulige lagringsfeil i delprøver (lytt, les, skriftlig framstilling) • Skriftlig sensur –> oppmann ved uenighet • Kontroll av skriftlig sensur (ikke grunnlag, Under A1, mulig fusk, 3 ulike vurderinger) • Oppmelding til rett nivå, skriftlig og muntlig prøve • Totalt 190 lagringsfeil av 17 008 gjennomførte delprøver (les:98, lytt:15, skriv: 77) > feilprosent på 1,1 % Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 12 Håndtere feil • Mulighet for klage på gjennomføring (alle delprøver) • Mulighet for klage på resultat på skriftlig framstilling • Tilbud om ny gratis prøve • Utstede nye prøvebevis • Åpenhet rundt antall og typer feil (informasjon ut) • Finne feilkilder • Eliminere feilkilder om mulig («systematic error») • Alltid noen restfeil («unsystematic error») Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 13 Hva er norskprøvens styrker? • Digital løsning • Adaptivitet – kandidatene får en prøve tilpasset deres nivå • Automatisk innlegging av resultater for les og lytt • Automatisk retting av delprøvene les og lytt • Bedre mulighet for å avsløre feil og juks • Data som hjelpemiddel • • • • Alle skal få et prøvebevis Måler ulike delferdigheter isolert Mulighet til å ta opp igjen delferdigheter Mulighet for de med dårlige lese-/skriveferdigheter å skåre bra på lytteprøve og muntlig produksjon • Erfarent sensorkorps for skriftlig • Rammeverket & læreplan & prøver går hånd i hånd Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 14 Hva er norskprøvens utfordringer? • Tekniske løsninger • PAD • Privatistportalen • Sensorsidene • Stabilitet i lagring • Oppmelding til riktig prøve i skriftlig og muntlig • Pålitelighet og stabilitet i muntlig prøve sensurert lokalt • Analyse og tilbakemelding på skriftlig sensur • Resultatbehandling og resultatformidling Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 15 Hvordan tolke resultatene? Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 16 Noen innledende betraktninger • Resultater på norskprøven vs. Norskprøve 2 og 3 • Kan ikke sammenlikne prosentene (høyere beståttprosenter på NP enn på norskprøven) • Ulik kandidatpopulasjon (Spor 1, flere påmeldte til norskprøven) • Resultater i ulike delferdighetene • Bedre resultater på lytt og les, enn på skriftlig framstilling og muntlig produksjon • Bedre resultater i muntlige ferdigheter (lytte og snakke) enn skriftlige ferdigheter • Vanlig profil • Resultater vs. eksempelprøver og pilotering • Eksempelprøven på nett er ikke en pekepinn på nivå (ikke pilotert, kjent) • Piloteringsoppgavene har ikke kjent vanskegrad når de piloteres Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 17 Og noen innledende forbehold • Utilstrekkelig datagrunnlag foreløpig • Har ikke tilstrekkelig persondata koblet med resultater • Har ikke spor-informasjon for alle • Har ikke resultater i forhold til prøvepåmelding på skolenivå • Nye NIR skal være klar i mars 2015 • Mye av forklaringen på resultatene kan ligge i oppmeldte kandidater Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 18 Resultater på landsbasis: SNAKKE LYTTE LESE SKRIVE 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert 35 % 52 % 9% 0% 3% 56 % 36 % 8% 0% 0% 24 % 12 % 2% 0% 55 % 23 % 1% 1% 62 % 20 % Resultater på landsbasis: SNAKKE LYTTE LESE SKRIVE & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert 35 % 52 % 9% 0% 3% 40,2 % 52,5 % 6,9% 0% 0,2 % 56 % 36 % 8% 0% 0% 63,6 % 28,9 % 7,1 % 0,4 % – 24 % 12 % 2% 0% 63,6 % 23,2 % 10,8 % 2,4 % – 20 % 55 % 23 % 1% 1% 24,9 % 56,5 % 16,1 % 1,2 % 1,4 % 62 % Resultater på landsbasis: SNAKKE LYTTE LESE SKRIVE & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert 35 % 52 % 9% 0% 3% 40,2 % 52,5 % 6,9% 0% 0,2 % 56 % 36 % 8% 0% 0% 63,6 % 28,9 % 7,1 % 0,4 % – 24 % 12 % 2% 0% 63,6 % 23,2 % 10,8 % 2,4 % – 20 % 55 % 23 % 1% 1% 24,9 % 56,5 % 16,1 % 1,2 % 1,4 % 62 % Resultater på landsbasis: SNAKKE LYTTE LESE SKRIVE & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert 35 % 52 % 9% 0% 3% 40,2 % 52,5 % 6,9% 0% 0,2 % 56 % 36 % 8% 0% 0% 63,6 % 28,9 % 7,1 % 0,4 % – 24 % 12 % 2% 0% 63,6 % 23,2 % 10,8 % 2,4 % – 20 % 55 % 23 % 1% 1% 24,9 % 56,5 % 16,1 % 1,2 % 1,4 % 62 % Resultater på landsbasis: SNAKKE LYTTE LESE SKRIVE & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert 35 % 52 % 9% 0% 3% 40,2 % 52,5 % 6,9% 0% 0,2 % 56 % 36 % 8% 0% 0% 63,6 % 28,9 % 7,1 % 0,4 % – 24 % 12 % 2% 0% 63,6 % 23,2 % 10,8 % 2,4 % – 20 % 55 % 23 % 1% 1% 24,9 % 56,5 % 16,1 % 1,2 % 1,4 % 62 % Resultater på landsbasis: SNAKKE LYTTE LESE SKRIVE & 2014 Nivå B1 Nivå A2 Nivå A1 Under A1 Ikke vurdert 35 % 52 % 9% 0% 3% 40,2 % 52,5 % 6,9% 0% 0,2 % 56 % 36 % 8% 0% 0% 63,6 % 28,9 % 7,1 % 0,4 % – 24 % 12 % 2% 0% 63,6 % 23,2 % 10,8 % 2,4 % – 20 % 55 % 23 % 1% 1% 24,9 % 56,5 % 16,1 % 1,2 % 1,4 % 62 % Oppsummerte forskjeller fra vår til vinter • Forholdsvis like resultater vår og vinter Kan bety: • at populasjonen ikke har forandret seg • at prøvene er like vanskelige fra gang til gang • at sensorene vurderer stabilt fra gang til gang • Bedre resultater i vinter enn vår • Flere kandidater får B1 (gjelder alle delferdigheter) • Færre kandidater får A1 (gleder alle delferdigheter) • Leseprøven varierer minst fra vår til vinter • Lytt varierer mest (etterfulgt av skriftlig og muntlig) Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 25 Resultater fordelt på Spor, desember 14 Merk: Spor registrert på 2081 kandidater, tilsvarende 33,6 % Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 26 Resultater fordelt på spor LYTTEFERDIGHETER 80 70 60 50 SPOR 1 SPOR 2 SPOR 3 40 30 20 10 0 Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 27 Resultater fordelt på spor LESEFERDIGHETER 90 80 70 60 SPOR 1 SPOR 2 SPOR 3 50 40 30 20 10 0 Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 28 Resultater fordelt på spor SKRIFTLIG FRAMSTILLING 70 60 50 40 SPOR 1 SPOR 2 SPOR 3 30 20 10 0 IG Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 29 Resultater fordelt på spor MUNTLIG SPRÅKBRUK 70 60 50 SPOR 1 SPOR 2 SPOR 3 40 30 20 10 0 Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 30 Resultater fordelt på spor MUNTLIG SPRÅKBRUK Denne prosenten bør kunne bli høyere! 70 60 50 SPOR 1 SPOR 2 SPOR 3 40 30 20 10 0 Under A1 A1 A2 B1 Beste resultat, des.14 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 31 Er norskprøven en god prøve? Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 32 Er norskprøven en god prøve? • Ekstern kvalitetskontroll • ALTEs audit-system • Planlagt i 2016 • Kvalitetsstempel Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 33 Planer fram mot B2-nivået Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen • 11.02.2015 Side 34 Hva er gjort så langt? • Møte med referansegruppe for B2 • Vurderingskriterier muntlig og skriftlig • Muntlig prøveformat • Innspilling av muntlig prøve B1-B2 er ferdig • Eksempel-DVD kursdeltakere kan se • Eksempel-DVD til intern bruk på skolene før muntlig prøve • Eksempel-DVD til ressurspersoner til bruk i opplæring • • • • Forelesning om B2-nivået til nettkurset Formater til lytt og les Eksempelprøve bokmål Piloteringsversjoner B1-B2 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 35 Hva gjenstår? • Format for skriftlig prøve • Utprøving/ innsamling av eksempeltekster skriftlig • Analyse av piloteringsdata • Sette sammen prøvesett lytt og les • Egenvurderingsmateriell for oppmelding til rett prøve • Eksempelprøver nynorsk Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 36 Opplæring mot B2 • Opplæringskonferanse om muntlig 2.-4. mars • ALTE-konferansedag 8. mai fokus på B2 og C1-nivåene • Sensoropplæring skriftlig sensorer, november B2 slippfest 1. september! • • • • • • • Nettkursforelesning og B1-B2-eksempler Intern-DVD for lærerne Eksempel-DVD for kursdeltakerne Vurderingskriterier muntlig og skriftlig på nett Egenvurderingsmateriell mot B1-B2-prøven Eksempelprøve nynorsk Informasjon på vox.no Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 37 B2-prøvens status og funksjon Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 38 Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen 11.02.2015 • Side 39 Takk for Er norskprøven en god prøve?• Dr. Cecilie Hamnes Carlsen meg! 11.02.2015 • Side 40
© Copyright 2024