Vejledning for anvendelse af Beregneren til

Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Læsevejledning og praktiske spørgsmål
Vejledningen indeholder 3 dele:
1. En indledning, som overordnet beskriver baggrunden for projektet ”Øget pædagogisk anvendelighed af
de nationale test” og udarbejdelsen af den elektroniske omsætningstabel kaldet Beregneren.
2. En teknisk vejledning til hvordan man bruger beregneren, dvs. hvordan man lægger testresultater for
sine elever ind, får de konverterede testresultater ud enten som tabel eller grafisk så man kan sammenstille
sine elevoplysninger, så de giver mening.
3. En kort vejledning i form af en case om hvordan man kan forstå og fortolke de oplysninger, der kommer
ud af beregneren.
Derudover er der tre appendikser til denne vejledning:



Appendiks 1: Om baggrund og teori bag valg af skala
Appendiks 2: Om normskalaer, kriterieskalaer og progression i de nationale test
Appendiks 3: Om analyse af elevforløb
Beregneren forudsætter brug af Excel2010, men kan fungere på ældre versioner. Det tilrådes at:
A) Brug en maskine der har Excel2010 installeret i forvejen eller få installeret Excel2010 (I
København lægger PIT det på ved forespørgsel).
B) Hvis du ikke har erfaring med at bruge både regneark og testsystemet, så alliér dig med
en der har rutinen, når du går i gang - spørgsmål om test, progression og måleusikkerhed er i
forvejen svært stof.
Bemærk at, testdata er fortrolig information, og at de konverterede data er omfattet af de samme krav til
fortrolighed som de data, der kan hentes i testsystemet. Der bør udvises særlig forsigtighed, hvis
resultaterne gemmes.
Vigtigt Der er megen information i denne vejledning. Her er et råd til, hvordan man kommer i gang: Start
med at se instruktionsvideoen til Beregneren til Læsning og/eller bladre igennem afsnit 2 om teknikken –
resten er nemmere at læse, når man har været inde og bruge systemet på egne elever.
Hvis der er problemer eller spørgsmål, kan du kontakte: [email protected]
God arbejdslyst!
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
1. Indledning og baggrunden for projektet
Test som pædagogisk værktøj
”Hvor stærk er den faglige udvikling hos eleven? ”, ”Er den mindre/større end forventet? ”, ”Hvad virker? ”,
”Virker det vi gør? ”, ”Er der noget vi skal ændre på? ” og ”Er der elever, der ikke udfordres optimalt? ” er
blandt de vigtigste spørgsmål at besvare for at sikre sig de nødvendige pædagogiske oplysninger. Noget kan
direkte observeres (fx produktive færdigheder - kan eleven redegøre for en matematisk løsning af en
opgave?), andet er man nødt til at bruge redskaber til at undersøge (fx receptive færdigheder – kan eleven
afkode og fortolke opgaven?). En præcis registrering af faglig udvikling (elevens udbytte af undervisningen)
- kræver en systematisk registrering – gerne skriftlig. Når man som lærer skal sætte mål for eleverne i
klassen, skal man bruge en måde at beskrive målet på og helst også en metode eller et redskab til at
undersøge om målet nås.
Et meget håndgribeligt redskab til registrering af faglig udvikling (progression) er test. Principielt kan
progressionen beregnes ved at trække to testscorer fra hinanden. Men resultaterne skal være opgjort på
den rigtige måde – på den samme skala, og denne skala skal have nogle helt særlige egenskaber.
Resultaterne fra de nationale test er lette at forstå, da de måler op mod én norm eller ét kriterium (i
forhold til middeleleven eller de nye kriteriescorer, for mere herom se appendiks 2.), og på den måde ligner
de karakterer, som alle kender – både elever, skoler og forældre. Dette valg betyder samtidigt, at skalaerne
hverken er designet eller egnede til måling af progression og beregning af elevgennemsnit (fx
klasseresultater), og det kan give betydelige målefejl, når man alligevel gør det (se Appendiks 1: Om
baggrund og teori bag valg af skala). Desuden rapporteres matematiktestene på fire fagligt
usammenlignelige skalaer. For mere om testsystemets og NordicMetrics’ skalaer se appendiks 1 og 2.
Skolens kvalitet kan ikke måles på elevernes faglige niveau
Danske skoler har meget forskellige og meget blandede elevgrundlag – yderpunkterne kan beskrives
således:





Nogle skoler er belastede ved at ligge i boligområder, hvor flertallet af eleverne taler et andet sprog
end dansk til dagligt derhjemme, og hvor der er mange forældre, der har mest fokus på at klare
dagligdagen, som derfor ikke har overskud til/svage forudsætninger for at bakke op om skolen og
hjælpe med lektierne fx i sprog og matematik1.
Andre skoler er privilegerede ved at ligge i områder, hvor forældrene er veluddannede og naturligt
følger tæt med, hjælper med lektier, og hvor samtalen om middagsbordet handler om noget, som
udvikler/skærper elevens danske sprogforståelse og logiske sans.
Sammenhængen mellem skole og elevers faglige niveau er stærk men kun statistisk: Eleverne fra
belastede skoler har som udgangspunkt dårligere forudsætninger for at klare sig godt i skolen. Som
udgangspunkt kan man regne med, at de privilegerede skoler klarer sig bedre i de nationale test i
matematik end de belastede skoler.
Men der er grænser for, hvad man kan bruge et gennemsnit til. At lære at afkode, fortolke og løse
matematiske opgaver er en individuel færdighed. Det er de enkelte elever, der lærer – ikke klassen.
Ser man på, hvad gennemsnittet består af, er der i alle skoler, elever der bryder mønstere: Positivt i
de mest belastede skoler og negativt i de privilegerede skoler. Så det er ikke en ubrydelig
årsagssammenhæng - Sammenhængen er statistisk, og undtagelserne fra reglen forekommer, så
vidt vides, i alle klasser på alle folkeskoler i Danmark.
Der er en betydelig spredning mellem top og bund i alle klasser på alle klassetrin. Opgaven, som
Danske skoler har, er, at alle elever skal bringes så langt frem som muligt: Undervisningen skal
svare til den enkelte elevs behov og forudsætninger (§18). Spændet mellem de svageste og de
1
Elevens baggrund spiller ikke helt så stor en rolle for niveauet i matematik som det gør i fx læsning. Men
internationale undersøgelser viser at der ofte er en sammenhæng mellem niveau i læsning og matematik. På den
måde kan det have en effekt på niveauet i matematik, hvis en elev fx ikke kan læse ved skolestart.
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik

stærkeste elever kan reduceres en smule gennem skoleforløbet. Men det kan konstateres, at det er
normalt for elever, der niveaumæssigt starter i toppen i 0. klasse at ende i toppen ved den
afsluttende prøve i 9. klasse – og tilsvarende i bunden. Det er en logisk følge af princippet om
differentieret undervisning - helt i lovens ånd.
Skolers indsats kan altså kun måles på elevernes progression og ikke på deres niveau. Elevernes
faglige niveau undervejs og ved afslutningen af skolen afhænger i høj grad af, hvad eleverne havde
med sig fra starten (faktorer, der ikke har noget med skolen at gøre som fx forældre, familie og
venner, sprog og kultur, ånd og motivation, den genetiske og sociale arv).
De nye skalaer
I forlængelse af projektet ”Øget pædagogisk anvendelighed af de nationale test” er der i samarbejde med
Københavns Kommune a) Foretaget beregning af hvordan man kan omsætte skalaerne i de nationale test til
en fælles skala pr. profilområde, der er forberedt på, at kunne måle progression for den enkelte elev og b)
Lavet en regnearksapplikation (Beregneren - der fungerer som elektronisk omsætningstabel) der kan
omsætte de normbaserede resultater fra testsystemet til de fælles progressionsskalaer.
Der er altså beregnet fire skalaer: En for hvert profilområde som gælder for både3. og 6. klassetrin (T&Askalaen, Geo-skalaen og MiA-skalaen for henholdsvis profilområderne ”Tal og Algebra”, ”Geometri” og
”Matematik i Anvendelse”). Desuden beregnes der en samlet score for matematik på den skala, der hedder
Mat i alt-skala. Se mere information om beregningen af denne i Appendiks 1. Når resultaterne fra både 3.
og 6. klasses matematiktest rapporteres på disse skalaer, bliver resultaterne sammenlignelige, og elevens
progression kan dermed beregnes2.
2. Hvordan man bruger beregneren, en teknisk vejledning
Beregneren er et regnearksprogram (Excel2010), der som
 Input skal bruge
o Oplysninger om hvilken test (Matematiktesten til 3. eller 6. klasse) der skal omsættes data fra
o Elevernes percentilscorer (1-100-skalaen) for de tre profilområder (altså normbaserede resultater)
o Hvis man skal måle progression skal der bruges to testresultater for de samme elever (fx 3. klasse
testen fra 2011/2012 og 6. klasse testen for 2014/2015)
 Output leveres som scorer på fire skalaer, der er fælles for begge test. Disse fire skaler er kaldet T&Askalaen (Profilområdet Tal & Algebra), Geo-skalaen (Profilområdet matematik), MiA-Skalaen
(Profilområdet Matematik i Anvendelse) samt Mat i alt-skalaen (en samlet score for
matematikfærdighed). Der beregnes desuden klassegennemsnit og progression for hver elev på de fire
skalaer (altså de tre underliggende profilområder og en samlet score).
Beregneren er et regneark med fem faneblade: ”Forside”, ”Omsætning”, ” Progression-Tabel”,
”Progression-Grafisk” og ”Statistik”.
Forside
Åbn Exel2010-programmet Beregneren. Du kommer så ind på forsiden, som ser ud som i Figur 1. Her finder
du en række links, du kan få brug for. Der er blandt andet link til en overskuelig videovejledning (den er
lavet til læsning men principperne er de samme), som på få minutter gennemgår, hvordan Beregneren
fungerer3. Hvis du ikke har set videovejledningen, så bør du overveje at gøre det, før du går videre.
2
De fire skalaer (som normalt ligger mellem 0 og 1700) er stærkt inspireret af en af de mest anvendte og
gennemprøvede amerikanske skalaer – Lexile-skalaen. For mere information om valg af skala læs: Appendiks 1: Om
baggrund og teori bag valg af skala.
3
Videoen tager udgangspunkt i Beregneren til de nationale læstest, men Beregneren til matematik fungerer på
samme måde.
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Figur 1
Omsætning
Klik på fanebladet ”Omsætning”. Her ser du tre områder (Figur 2, fra venstre): Et blåt til input-data, et grønt
til visning af outputdata.
Figur 2
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Når man skal kopiere ind fra testsystemet, gøres følgende:






Åben en adgang til testsystemet (fx ved at klikke på ”Link til testsystemet”)
Log ind med UNI-Login
Vælg ”Testresultater” og den test der skal arbejdes med (enten ”Frivillige test” eller ”Obligatoriske
normbaserede”.Visningen ”Kriteriebaserede” kan ikke benyttes da der ikke oplyses percentilscorer)
Vælg det år du skal hente data fra fx ”2014/2015”
Find klassen i venstre side af skærmbilledet (her 6A, matematik 6. kl.)
Vælg ”Alle elever - tabel”
Så fremkommer et skærmbillede som i Figur 3.


Marker med musen elevrækkerne i tabellen i testsystemet (det markerede felt i Figur 3).
Kopier: Tryk Ctrl+C.
Undgå at kopiere overskrifter og rækken benævnt ”klassegennemsnit”. Årsagen til dette findes i:
Appendiks 1: Om baggrund og teori bag valg af skala.
Figur 3
Gå til Beregneren (regnearket, fanebladet ”Omsætning” jf.
Når man således har omsat en klasses testresultater (fx 6A) i 6. klasse-testen til progressions-scorer, kan
man bruge dette resultat til at få et overblik over den reelle faglige spredning i klassen, du kan arbejde
videre med disse oplysninger fx regne på gennemsnit, se på forskelle mellem drenge og piger osv.
Figur 4)

Sæt ind (Tryk Crtr+V)
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik



HUSK at anføre testens klassetrin (ikke nødvendigvis det samme som elevernes!) i det
markerede felt (rød pil) øverst til venstre i
Når man således har omsat en klasses testresultater (fx 6A) i 6. klasse-testen til progressionsscorer, kan man bruge dette resultat til at få et overblik over den reelle faglige spredning i
klassen, du kan arbejde videre med disse oplysninger fx regne på gennemsnit, se på forskelle
mellem drenge og piger osv.
Figur 4.
Når man således har omsat en klasses testresultater (fx 6A) i 6. klasse-testen til progressions-scorer, kan
man bruge dette resultat til at få et overblik over den reelle faglige spredning i klassen, du kan arbejde
videre med disse oplysninger fx regne på gennemsnit, se på forskelle mellem drenge og piger osv.
Figur 4
Men den virkelige værdi kommer, når man ser på den faglige udvikling - Progressionen.
Testresultaterne, som der er arbejdet med ovenfor, var de obligatoriske matematiktest i 6. klasse, som de
nuværende elever i 6A tog i 2014-2015, da de gik i 3. klasse. De samme elever i 6A tog i 2011-2012
matematiktesten til 3. klasse. Disse resultaterne findes frem på følgende måde:




Gå ind i testsystemet, slå op under obligatoriske test - normbaseret i 2011-2012, vælg den tabel,
der indeholder oplysninger om eleverne i 6A’s obligatoriske matematiktest i 3. klasse
Markér tabellen og tryk Crtl+C
Gå dernæst ind i Beregnerens faneblad ”Omsætning” hvor 6Aś resultater fra 6. klasse i
testsystemet blev kopieret ind under Nyeste test.
Scroll ned til omkring linje 50 hvor der står ”Ældste test: Input - kopier resultater fra test-systemet”.
Det ser ud som vist nedenfor i Figur 5.
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Figur 5
Placer musen i øverste venstre hjørne af Inputområdet og indsæt (tryk Crtl+V). Husk at tjekke klassetrinnet
(her skal det være ”3”) i det lille felt over tabellen.
Nu er 6A’s testresultater fra 6. og 3. klasse lagt ind i regnearket, og deres percentilscorer er konverteret til
de nye skalaer.
Progression - Tabel
 Klik på fanebladet ”Progression – Tabel”
Resultaterne er nu vist ved siden af hinanden (Figur 6) sammen med progressionen (kolonnerne til højre),
der er beregnet som differencen mellem de to testresultater.
Det skal understreges, at der kun kan beregnes en progression hvis en elev har taget begge test:
 Hvis eleven kun har taget 3. klassetesten, så vil eleven optræde i tabellen men ikke med
oplysninger om den anden test og progression.
 Hvis eleven kun har taget 6. klassetesten, så vil elevens data ikke fremgå af tabellen. Det vil ofte
også gælde elever, der lige er kommet ind i skolen4.
4
Man skal være opmærksom på, at hvis eleven har taget den obligatoriske test på en anden skole, så vil det
gamle testresultat ligge i systemet og vil kunne fremskaffes ved henvendelse til UNI-C’s support.
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Figur 6
Progression - Grafisk
I Figur 6 optræder en masse oplysninger, men for at kunne få mening ud af dem, er det nødvendigt at have
noget at holde dem op mod. Ellers kan det være svært at vide, om en score på 930 er et godt resultat for en
elev i 3 klasse? Og om en progression på 35 fra 3. til 6. klasse er godt eller skidt?
Her kan fanebladet ”Progression – Grafisk” være til nytte. Hvordan graferne i dette faneblad bruges og
aflæses er eksemplificeret i casen nedenfor. Den grafiske funktion forudsætter at der er tre år mellem de
testdata der arbejdes med. Det vil sige at det er muligt at vise en grafik af progressionen mellem to
obligatoriske test – 3. og 6. klasse eller to frivillige test med tre år imellem.
Statistik
Af det fjerde faneblad ”Statistik” fremgår baggrunden for graferne i den grafiske visning. Her er henholdsvis
to tabeller og syv grafer. Nogle af disse fremgår også i nedenstående case, og resten kan du læse om i
Appendiks 2.
3. Progression fra 3. til 6. klasse – En case
I denne sammenhæng ser vi nærmere på eleverne i 6A (en fiktiv klasse) og deres progression, som fremgår
af figur 7. Først ser vi på hele klassen, og dernæst gennemgås enkelte elevers testforløb.
Figur 7
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Resultaterne fra 3. og 6. klassetesten er direkte sammenlignelige, så progressionen kan beregnes for hvert
profilområde ved at trække scoren i 3. klassetesten (2011-2012) fra scoren i 6. klassetesten (2014-2015).
Dermed får man estimatet på progressionen, som fremgår i de fire kolonner til højre i figur 7.
For at have et sammenligningsgrundlag er Fejl! Henvisningskilde ikke fundet. fra fanebladet ”statistik” vist.
Den beskriver de gennemsnitlige scorer og den gennemsnitlige progression.
For at kunne fortolke betydningen af resultaterne, er det vigtigt, at kunne holde dem op mod
gennemsnitlige værdier:
 Hvad kan normalt forventes mht. fagligt præstationsniveau på klassetrin?
 Hvilken progression kan forventes?
o Fordelt på profilområder?
o Givet præstationsniveauet?
 Hvad er et godt resultat, og hvornår bør man se efter muligheder for forbedring?
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Her kan gennemsnittene bruges, hvis man ikke selv har bedre ideer (hvilket den indsigtsfulde lærer sagtens
kan have).
For at fokusere på principperne, så lad os nøjes med at se på det umiddelbart mest centrale (indrammet
med rødt i figur 7), nemlig:
a) Gennemsnittet i klassen, som fremgår af den øverste række i tabellen.
b) Progressionen i Matematik i alt (Mat-i alt skala) for eleverne, kan ses aflæses i figur 7, kolonnen
længst til højre.
c) Andreas progression I matematik I anvendelse, den lille markering i figur 7.
Gennemsnittet er ”genberegnet”, fordi der ikke er tale om en transformering af percentil-gennemsnittet
(som fremgår i testsystemet). Der er tale om et ægte gennemsnit af de nye scorer.
Havde man i stedet regnet videre på percentil-gennemsnittet, ville man få indbygget en ganske betydelig
fejlkilde5 (se Appendiks 1: Om baggrund og teori bag valg af skala).
Som det fremgår, er den gennemsnitlige score i 6A øget fra 597Mat-ialt i 3. klasse til 922Mat-italt i 6. klasse
– dvs. en gennemsnitlig progression på 325 enheder på Mat-ialt-skalaen (øverste linje i figur 7).
Sammenligner man med Fejl! Henvisningskilde ikke fundet., kan det aflæses, at klassens gennemsnit i 3.
klasse ligger mellem 20 og 30 percentilen. Helt til højre i tabellen kan det aflæses, at den normale
progression i Mat-i alt for de to percentiler er henholdsvis 267 og 255.
Det vil sige, at klassens gennemsnitlige progression på 325 Mat-i alt er højere, end man kunne forvente af
en klasse på 6A’s niveau. For at få en grafisk visning af elevernes progression kan man gå til fanebladet
”Progression grafisk”. Skrives der ”0” i feltet markeret med rødt, vises klassens gennemsnitlige progression.
Figur 8
5
Omregnes percentilgennemsnit fra testsystemet, kan det i praksis give en forskel på op til 200T. Da den
gennemsnitlige progression pr år er ca. 100T, kan beregninger på grundlag af percentilscorer (som der oplyses i
testsystemet) realistisk udløse fejl i beregnet klassegennemsnit, der svarer til 2 års gennemsnitlig progression.
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Det er vigtigt at være varsom med at fortolke for bastant på gennemsnittet for klassen, da der ofte er en
betydelig spredning mellem top og bund. Det er derfor interessant, hvordan dette gennemsnit er skabt,
m.a.o. at se på hvilke elever der ligger omkring en gennemsnitsprogression, og hvilke der afviger markant
fra forventningen (evt. normen).
Resultaterne, som er fremhævet med pile i figur 7, for Andrea, Lars og Mie (elev nr. 1, 8 og 13) kunne det fx
være nødvendigt at se nærmere på. Andrea som er markeret med en grøn pil, har haft en stærk
progression i matematik i anvendelse, men ikke i de to andre profilområder. Lars, som er markeret med en
rød pil, er rykket baglæns og Mie, som også er markeret med en grøn pil, har haft en markant fremgang på
alle profilområder.
Når der er elever som disse i en klasse, er det en god ide at gå ind i testsystemet og undersøge elevernes
testforløb – især skal man se på de elever, der scorer lavere end forventet: Er der tale om reel tilbagegang?
eller er det måske en målefejl, koncentrationsbesvær eller bare en dårlig dag?

Andrea (elev nr. 1) er det værd at se nærmere på da hun har haft en progression i MiA på 520,
mens hendes progression i de andre profilområder ligger væsentligt lavere (255 T&A og 120 Geo).
Vejledning_MAT_DNT_V2.3
Vejledning for anvendelse af Beregneren til Matematik
Måling af progression i de nationale til i matematik
Det betyder, at Andreas progression i den samlede matematikscore ikke afviger væsentligt fra
klassens gennemsnitlige progression. I Andreas testscore fra 3. klasse kan man se, at hun har scoret
væsentligt lavere i Matematik i anvendelse, end hun har i tal og algebra og geometri. Andrea scorer
mere homogent på tværs af profilområder i 6. klasse. Heraf opstår den store progression i
matematik i anvendelse. Noget kunne tyde på, at Andreas score i MiA i 3. klasse måske ikke er
retvisende for hende. I tilfælde som Andreas er det en god idé at se nærmere på hendes testforløb
for at få en fornemmelse af, om hendes matematiktest i 3. klasse er retvisende.

Lars (elev nr. 4) leverede i 2011/12 en toppræstation, men er rykket en smule ned ad skalaen. Lars
ser ud til at have været en rigtig dygtig elev i 3. klasse, men han har stået stille i sin udvikling rent
matematikfagligt siden, og ser ud til i 6. klasse at være blevet marginalt dårligere til matematik, end
han var i 3. klasse. Hvis målingen er retvisende, bør skolen holde nøje øje med om om Lars’
potentialer udfoldes. Det vil være et emne der bør vendes ved skole-hjem-samtalen.

Mie (elev nr. 12) har en fremgang, som svarer til mere end det dobbelte af den progression man
kunne forvente af hende. Det ser ud til, at hun i 3. klasse havde rigtig svært ved matematik, men at
hun har haft en rigtig positiv udvikling siden, og er i 6. klasse blevet dygtigere end mange af hendes
klassekammerater til matematik. Hendes testresultater ser umiddelbart retvisende ud, fordi hun
har haft en ensartet progression på alle profilområder. Mie ser ud til at være inde i en rigtig god
udvikling.
For resten af klassen – og alt i alt - ser det ud til, at klassen gør planmæssige fremskridt, og Da klassen ligger
lige omkring 40-percentilen, vil det sige at klassen præsterer lidt under det gennemsnitlige niveau. Til
gengæld er 6A’s progression højere, end man kunne forvente. Det vil derfor være rimeligt at sætte det mål,
at alle har øget deres individuelle Matematikscore med lidt mere end det gennemsnitlige i den nærmeste
fremtid.
Denne case er et eksempel, der illustrerer metoden. Ved i højere grad at inddrage lærerens forudgående
viden om klassen, undervisningen og de enkelte elever, kan analysen blive langt mere raffineret og
nuanceret.
Vejledning_MAT_DNT_V2.3