Workshop om evaluering Undervisningens Dag 2014 9. april, Aalborg Palle Damkjær Rasmussen ([email protected]) Bettina Dahl Søndergaard ([email protected]) Evaluering har at gøre med mange ting… Copyright (c) UTHM 2012 Positivt syn på eksamen og evaluering Alignment: • En teori om planlægning (over et helt forløb og enkelte kursusgange) • En teori om motivation (eksamen og evaluering er motivationsstyrrende) "Evaluering kommer ikke efter undervisning, men før!" En nødvendighed anvendelse af alignment Motivations-skabende og lærings-styrende pædagogisk redskab for underviseren (!) Hvordan planlægges et kursus generelt? 1) Overvej grundigt de overordnede kursusmål (hvad skal de stud. lære?) kan være svært 2) Operationalisér disse mål: udtryk som læringsmål alignment 3a) Vælg hensigtsmæssig eksamensform (ift. læringsmålene) 3b) Vælg hensigtsmæssig undervisningsform (ift. læringsmålene) Formativ – summativ evaluering The Cook and the Soup: • “When the cook tastes the soup, that’s formative, • When the guests taste the soup, that’s summative.” Billeder: foundwalls.com1 & http://blogs.wsj.com Summativ - formativ • Summative evalueringer – Produktvurderinger ved afslutningen af undervisningsforløb – Formål: opsummere, kontrollere og måle, hvor meget eleven har lært – Indgår en bedømmelse af, om det er godt nok (ofte en karakter) – I et længere forløb vil summative evalueringer kunne spille en formativ rolle • Formative evalueringer – Procesvurderinger af elevens læring løbende og integreret i et undervisningsforløb – Formål: give feedback, som læreren kan bruge til at tilrettelægge den videre undervisning ift. hvad det viser sig, at eleverne trænger til – Formative evalueringer er en meget effektiv måde at forbedre elevernes læring. (OECD (2004). Formative Assessment: Improving Learning in Secondary Classrooms. Paris: OECD) Hjælper det at veje koen? “You can’t fatten a cattle by weighing it.” - Anonymous Midwestern Farmer. Sandt – MEN ved at veje koen kan man på et tidligt tidspunkt opdage mulige problemer med opfedningen. På samme vist kan man via formative evalueringsværktøjer “veje” de studerende undervejs for undersøge deres progression mod de stadfæstede læringsmål. Billede: http://inertiawins.com/tag/cattle/ Målestokke til evaluering • Holistisk anvisning (ofte i form af karakterer) – Helhedsvurdering – Fordel: ser alle kompetencer i den helhed de naturligt indgår i/spiller sammen i – Ulempe: mange forskellige elementer/dimensioner skal projiceres ind på én enkelt karakter • Analytisk anvisning – Vurdering opdelt i enkeltdele – God til formativ vurdering – finde ”hullet” Billede: pub.uvm.dk Eksempel på anvisninger Se opgaven på sidste slides Fra NCTM (1999) Eksempler på formativ evaluering • Feedback fra lærer trinvis faglig arbejdsproces (fx i udarbejdelsen af en større opgave) • Diagnostiske prøver • Selv-evaluering • Peer-evaluering • Peer-læring og formativ evaluering Billede: http://shetaxi.com/building-a-portfolio/ Feedback fra lærer trinvis i faglig arbejdsproces • Praktiseres i mange uddannelser. • Integrereret led i vejlederopgaven ved projektarbejde • F.eks. feedback på problemformulering, disposition, metodevalg, arbejdspapirer • Det systematisk formative: Feedback som er relevant for de forskellige faser af den faglige arbejdsproces Diagnostiske prøver Afdækker, hvilke begreber den studerende har udviklet, samt hvilke læringsproblemer, han har. • Tilfældige fejl • Kan fx opstå på grund af uopmærksomhed, sjusk eller ”tanketorsk” • Systematiske fejl • Ikke tilfældige. Bagved ligger en bestemt tænkning eller idé, som eleven konsekvent benytter sig af. Sidstnævnte beror derfor ofte en brist i begrebsforståelsen Billede: http://techpubs.sgi.com Ex på diagnostisk prøve Opgave 10. Klasse A) □ ∙ 2 + 4 = 12 2: 9% 4: 88% (korrekt) B) 3 + 2 ∙ □ = 15 3: 63% 6: 33% (korrekt) • Næsten alle, som svarer ’2’ til A, svarer ’3’ til B. (fejl+fejl) • 54% af de, som har svaret rigtigt på A, svarer ’3’ til B. (rigtig+fejl) • De er vant til at udføre matematiske operationer fra venstre mod højre, hvilket giver rigtigt svar i A men ikke i B. Brekke, G.; Grønmo, L. S.; Rosén, B. (2000). Veiledning til algebra. Oslo: Nasjonalt læremiddelsenter, MA-27. Selv-evaluering • Få studerende til at evaluere dem selv og holde styr på deres fremskridt Fra NCTM (1999) Peer-evaluering • Få studerende til at rette hinandens arbejde og give en vurdering (statusseminar på AAU). • Man kan sammenligne selv-evalueringen med peer-evalueringen. Peer-læring og formativ evaluering 1. 2. 3. 4. 5. 6. Stille spørgsmål Studerende tænker Studerende svarer individuelt Studerende overbeviser naboen (peer-læring) Studerende svarer igen Underviseren forklarer efter behov Eric Mazur (1997). Peer Instruction: A User’s Manual. Prentice Hall: NJ 1 min 1 min 2 min 2+ min 16 Eksempel på ConcepTest 17 Før og efter diskussion 18 Fordele med peer-læring 1. 2. Under stilleperioder (når de studerende tænker) har man selv en tænkepause Under diskussionerne kan man: 1. 2. 3. Høre de studerende forklare ved brug af egne ord – somme tider bedre til at overbevise/forklare for medstuderende Ser selv et nyt perspektiv Idé om hvad der sker i deres hoveder – problemer de oplever Billede: mazur.harvard.edu 19 Svarformer • Vise hænder (eller ark med bogstaver) – Simpel og hurtig – Studerende ”ser efter” (ikke præcis) – Ingen permanent registrering • Foruddelte ark til 1. og 2. svar – Tager tid – Kender ikke svarene straks – Anonymt • Computere/ clickere/ mobiltelefoner – Hurtigt, teknikken kan dog drille – Underviseren (og de studerende) se svarene straks – Anonymt og permanent registrering Billeder: academic.sun.ac.za & clickers.commons.yale.edu 20 Eksamen som evalueringsform • Definition: Eksamen er en evalueringsprocedure, hvis funktion er kontrol af eksaminandens kompetence samt tilvejebringelse af information til brug for trediepart. Bedømmelsen af eksaminandens præstation foretages af eksaminator (læreren) og censor(er), og den har sanktionsværdi (efter Jørgen Gregersen) Kvalitetskrav til eksamen: • Validitet (gyldighed): Måler prøven det, den skal måle? • Reliabilitet (pålidelighed): Måler den det, den måler, med stor sikkerhed? Typer af eksamensformer • Mundtlig eller skriftlig • Disciplinorienteret – problemorienteret • Bedømmelse af produkter skabt i forløb eller af aktuel præstation • Fri eller bundet • Autenticitet i forhold til indhold/kompetencer eller prøvning i det akademiske univers Efter Leth Andersen og Tofteskov: Eksamen og eksamensformer Valide prøveformer Problemer og bivirkninger ved eksamen • “Realitets-problem”: Størstedelen af de egenskaber, der bedømmes ved eksaminer, bliver ikke iagttaget i naturlige situationer • For læreren og institutionen er prøver og tests middel til at vurdere elevernes viden; for eleverne er de også mål i sig selv. Det kan modarbejder læreprocessen. • De gængse prøveformer kan påvirke elevernes opfattelse af læring og deres læringsstrategier • Prøver og tests kan være truende og stressende, og dermed underminere elevernes social og personlige situation • Rosenthal-effekten: Forventningerne hos lærere og bedømmere kan påvirke elevernes mulighed for at lære og bedømmelsen af deres præstationer Eksamensforløb ved gruppeeksamen: forberedelse De studerende: • Aftale dagsorden og arbejdsfordeling, især mht. oplæg Eksaminator: • Rekapitulere studieordningen • Rekapitulere sin viden om gruppens arbejde og ”stil” • Forberede mange og varierede spørgsmål • Konferere dagsorden med gruppen (eventuelt) og give gruppen en foreløbig overordnet tilbagemelding (er der risiko for at dumpe?) Eksamensforløb ved gruppeeksamen: Eksamination • Have bred vifte af spørgsmål forberedt, bl.a. i forhold til forskellige studerende • Vurdere, i hvor høj grad der er brug for spørgsmål uden for projekt • Ordstyrerfunktion, sørge for at fordele taletid (brug liste som støtte) • Give de studerende til at yde deres bedste • Hver enkelt studerende skal have tilstrækkelig taletid til, at man kan vurdere vedkommende • Om nødvendigt kan man gennemføre supplerende individuel eksamination • Lad censor komme til orde, men overlad ikke styring til censor Eksamensforløb ved gruppeeksamen: Bedømmelse og karaktergivning • Kende/have vurdering af vægtning mellem skriftlig og mundtlig præstation (vil ofte stå i studieordning) • Karakterer gives individuelt, men med respekt for omfanget af fælles arbejde i gruppen, som udtrykt i rapporten • Hvis der er reelle og væsentlige forskelle på de studerendes præstationer, skal det afspejle sig i karaktererne • Husk tilbagemelding til gruppen om styrker og svagheder i deres arbejde • Om nødvendigt (fx ved store forskelle i præstation) kan tilbagemelding gives enkeltvis Bæredygtig evaluering • Evaluering som støtte til livslang læring • Uddanne de lærende til at være evaluatorer • Evalueringskompetencer til et fremtidigt arbejdsliv Eksempler • Øvelse i at arbejde med kvalitetskriterier • Øve analyse af opgavers formål og struktur • Øvelse i at give og modtage feedback • Øve refleksivitet via åbne opgaver Efter Boud og Falchikov: Aligning assessment with long-term learning Opgave (1) Hver deltager skal formulere et konkret forslag til, hvordan formativ evaluering kan forbedre hans/hendes undervisning, under hensyn til alignment. (2) Deltagerne går sammen i grupper på 3-4, hvor de fremlægger deres forslag for hinanden. (1) Plenum, uden egentlige grupperapporter. Opgaven nævnt ovenfor