educare 2015:2 - Malmö högskola
LisaLisa Asp-Onsjö Lisa Asp-Onsjö Asp-Onsjö Challenges Challenges Challenges of of Assessment of Assessment Assessment in in Ethics in Ethics Ethics – Teachers’ – Teachers’ – Teachers’ reflections reflections reflections when when when assessing assessing assessing National National National Tests Tests Tests Christina Christina Christina Osbeck, Osbeck, Osbeck, Olof Olof Olof Franck, Franck, Franck, Annika Annika Annika LiljaLilja and Lilja and Annika and Annika Annika Lindskog Lindskog Lindskog E D U C A R E 2 0 15 : 2 E D U C A R E 2 0 15 : 2 E D U C A R E 2 0 15 : 2 Gästredaktören Gästredaktören Gästredaktören har har har ordet! ordet! ordet! Kritiska Kritiska Kritiska perspektiv perspektiv perspektiv påpå bedömning på bedömning bedömning och och och dokumentation dokumentation dokumentation 22 015 2015 015 : 2: 2 :2 DeDe nationella De nationella nationella proven proven proven i NO i NO i NO åkåk 6. åk 6. Skillnader 6. Skillnader Skillnader i resultat i resultat i resultat mellan mellan mellan olika olika olika grupper grupper grupper Frank Frank Frank Bach, Bach, Bach, Birgitta Birgitta Birgitta Frändberg, Frändberg, Frändberg, Mats Mats Mats Hagman, Hagman, Hagman, EvaEva West Eva West West ochoch Ann och Ann Zetterqvist Ann Zetterqvist Zetterqvist Professionalism Professionalism Professionalism in in action in action action – Music – Music – Music teachers teachers teachers onon an on an assessment an assessment assessment journey journey journey Johan Johan Johan Nyberg Nyberg Nyberg Kan Kan Kan dudu tage du tage tage pigen pigen pigen opop af op af kufferten? af kufferten? kufferten? EnEn analyse En analyse analyse af af sproglig af sproglig sproglig evaluering evaluering evaluering i daginstitutioner i daginstitutioner i daginstitutioner LarsLars Holm Lars Holm Holm Bedömning Bedömning Bedömning påpå systemnivå på systemnivå systemnivå - En - En -komparativ En komparativ komparativ studie studie studie avav stegsystemet av stegsystemet stegsystemet i språk i språk i språk i den i den i den svenska svenska svenska skolan skolan skolan och och och språknivåer språknivåer språknivåer i Europarådets i Europarådets i Europarådets Common Common Common European European European Framework Framework Framework of of Reference of Reference Reference forfor Languages for Languages Languages (CEFR) (CEFR) (CEFR) KRITISKA KRITISKA KRITISKAPERSPEKTIV PERSPEKTIV PERSPEKTIV PÅ PÅ PÅBEDÖMNING BEDÖMNING BEDÖMNINGOCH OCH OCH DOKUMENTATION DOKUMENTATION DOKUMENTATION Mats Mats Mats Oscarson Oscarson Oscarson Elevbedömning, Elevbedömning, Elevbedömning, motivation motivation motivation och och och uppförande. uppförande. uppförande. EnEn studie En studie studie avav skolvisa av skolvisa skolvisa skillnader skillnader skillnader i bedömning i bedömning i bedömning och och och diskrepans diskrepans diskrepans mellan mellan mellan vitsord vitsord vitsord och och och testresultat testresultat testresultat i årskurs i årskurs i årskurs 9 99 i finlandssvenska i finlandssvenska i finlandssvenska skolor skolor skolor Camilla Camilla Camilla Svens-Liavåg, Svens-Liavåg, Svens-Liavåg, Johan Johan Johan Korhonen Korhonen Korhonen ochoch Karin och Karin Karin Linnanmäki Linnanmäki Linnanmäki Sambedömning Sambedömning Sambedömning förför ökad för ökad ökad likvärdighet? likvärdighet? likvärdighet? PiaPia Thornberg Pia Thornberg Thornberg ochoch Anders och Anders Anders Jönsson Jönsson Jönsson Bedömnings-, Bedömnings-, Bedömnings-, dokumentationspraktiker dokumentationspraktiker dokumentationspraktiker och och och pedagogiska pedagogiska pedagogiska identiteter identiteter identiteter Ingela Ingela Ingela Andreasson, Andreasson, Andreasson, MajMaj Asplund Maj Asplund Asplund Carlsson Carlsson Carlsson ochoch Marianne och Marianne Marianne Dovemark Dovemark Dovemark IUP IUP IUP i Praktiken: i Praktiken: i Praktiken: EnEn skolreforms En skolreforms skolreforms formande formande formande i skärningspunkten i skärningspunkten i skärningspunkten mellan mellan mellan yttre yttre yttre styrning styrning styrning och och och professionell professionell professionell autonomi autonomi autonomi ÅsaÅsa Hirsh Åsa Hirsh Hirsh E DUC EEDUC DUC AA RAR EREE VE VE VE TE TTNS EENS NS KAP KAP KAP L IG LLIG IG AAA SKR SKR SKR I FI T FI FE TTR EERR Lärande Lärande Lärande ochoch samhälle, och samhälle, samhälle, Malmö Malmö Malmö högskola högskola högskola ISBN ISBN ISBN 978-91-7104-498-3 978-91-7104-498-3 978-91-7104-498-3 (tryckt) (tryckt) (tryckt) ISBN ISBN ISBN 978-91-7104-499-0 978-91-7104-499-0 978-91-7104-499-0 (pdf) (pdf) (pdf) 2015: 2015: 2015: 1 Kritiska 1 Kritiska 1 Kritiska perspektiv perspektiv perspektiv på på bedömning på bedömning bedömning ochoch dokumentation och dokumentation dokumentation E DUC EEDUC DUC AR AR AR E EE VE VE VE TE TTNSKAP EENSKAP NSKAP L IG LLIG IG AAA SKR SKR SKR I FI T FI FE TTR EERR EDUCARE EDUCARE – Vetenskapliga – Vetenskapliga skrifter skrifter är enärskriftserie en skriftserie som som ges ut ges vidutFakulteten vid Fakulteten för lärande för lärande och och samhälle, samhälle, vid Malmö vid Malmö högskola högskola sedan sedan hösten hösten 2005. 2005. Den speglar Den speglar den mångfald den mångfald av ämnen av ämnen och och forskningsinriktningar forskningsinriktningar som som finnsfinns inominom utbildningsvetenskap. utbildningsvetenskap. EDUCARE EDUCARE är också är också ett nationellt ett nationellt och nordiskt och nordiskt forum forum där nyare där nyare forskning, forskning, aktuella aktuella perspektiv perspektiv på utbildningsvetenskapens på utbildningsvetenskapens ämnen ämnen samtsamt utvecklingsarbeten utvecklingsarbeten med med ett teoretiskt ett teoretiskt fundament fundament ges plats. ges plats. EDUCARE EDUCARE vänder vänder sig tillsig till forskare, forskare, lärare lärare och studenter och studenter vid lärarutbildningar, vid lärarutbildningar, högskolor högskolor och universitet och universitet samtsamt alla alla intresserade intresserade inominom skola-skolaoch utbildningsväsende. och utbildningsväsende. ADRESS ADRESS EDUCARE EDUCARE -vetenskapliga -vetenskapliga skrifter, skrifter, Malmö Malmö högskola, högskola, 205 205 06 Malmö. 06 Malmö. www.mah.se/educare www.mah.se/educare ARTIKL ARTIKL AR AR EDUCARE EDUCARE välkomnar välkomnar originalmanus originalmanus på max på max 80008000 ord. Artiklarna ord. Artiklarna ska vara ska vara skrivna skrivna på något på något nordiskt nordiskt språkspråk eller eller engelska. engelska. Tidskriften Tidskriften är refereegranskad är refereegranskad vilketvilket innebär innebär att alla att inkomna alla inkomna manus manus granskas granskas av två avanonyma två anonyma sakkunniga. sakkunniga. Redaktionen Redaktionen förbehåller förbehåller sig rätten sig rätten att redigera att redigera texterna. texterna. Författarna Författarna ansvarar ansvarar för innehållet för innehållet i sinai artiklar. sina artiklar. För ytterligare För ytterligare information information se se författarinstruktioner författarinstruktioner på hemsidan på hemsidan www.mah.se/educare www.mah.se/educare eller eller vändvänd er direkt er direkt till redaktionen. till redaktionen. Artiklarna Artiklarna publiceras publiceras ävenäven elektroniskt elektroniskt i MUEP, i MUEP, Malmö Malmö University University Electronic Electronic Publishing, Publishing, www.mah.se/muep www.mah.se/muep REDAK REDAK TIONTION Johan Johan Söderman, Söderman, huvudredaktör huvudredaktör och Björn och Björn Sundmark, Sundmark, biträdande biträdande redaktör redaktör Redaktionsråd: Redaktionsråd: Cecilia Cecilia FermFerm Thorgersen, Thorgersen, Hector Hector Perez, Perez, Lisa Asp-Onsjö, Lisa Asp-Onsjö, Thomas Thomas Johansson, Johansson, Andreas Andreas FejesFejes och Anna-Carita och Anna-Carita Evaldsson. Evaldsson. COPYRIGHT: COPYRIGHT: Författarna Författarna och Malmö och Malmö högskola högskola EDUCARE EDUCARE 2015:2 2015:2 Kritiska Kritiska perspektiv perspektiv på bedömning på bedömning och dokumentation och dokumentation TitelnTiteln ingåringår i serien i serien EDUCARE, EDUCARE, publicerad publicerad vid vid Fakulteten Fakulteten för lärande för lärande och samhälle, och samhälle, Malmö Malmö högskola. högskola. GR AFISK GR AFISK FORM FORM TRYCK: TRYCK: Holmbergs Holmbergs AB, Malmö, AB, Malmö, 20152015 ISBNISBN : 978-91-7104-498-3 : 978-91-7104-498-3 ( tr yck) ( tr yck) ISBNISBN : 978-91-7104-499-0 : 978-91-7104-499-0 ( pdf)( pdf) ISSNISSN : 1653-1868 : 1653-1868 BESTÄLLNINGSADRESS BESTÄLLNINGSADRESS www.mah.se/muep www.mah.se/muep Holmbergs Holmbergs AB AB Box 25 Box 25 201 201 20 Malmö 20 Malmö TEL. 040-660 TEL. 040-660 66 60 66 60 FAX 040-660 FAX 040-660 66 70 66 70 EPOST EPOST : [email protected] : [email protected] E D U CA RE E D U C A R E är latin och betyder närmast ”ta sig an” eller ”ha omsorg för”. Educare är rotord till t.ex. engelskans och franskans education/éducation, vilket på svenska motsvaras av såväl ”(upp)fostran” som av ”långvarig omsorg”. I detta lägger vi ett bildnings- och utbildningsideal som uttrycker människors potential och vilja att ömsesidigt växa, lära och utvecklas. EDUCARE 2015:2 Förord Educare är en sakkunniggranskad tidskrift som finns vid fakulteten för lärande och samhälle på Malmö högskola. Dess ambition är att publicera artiklar från det breda fält som utgör det som benämns som utbildningsvetenskap. Educare avser även att publicera specialnummer kring aktuella teman inom det utbildningsvetenskapliga fältet. Detta nummer (Educare 2015:2) består av nio artiklar som alla fokuserar på bedömningsfrågor inom olika områden. Gästredaktör för detta nummer är Lisa Asp-Onsjö, universitetslektor vid Göteborgs universitet samt medlem av Educares redaktionsråd. Trevlig läsning. Johan Söderman & Björn Sundmark EDUCARE 2015:2 3 I N N E H Å LL Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation Lisa Asp-Onsjö 7 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Christina Osbeck, Olof Franck, Annika Lilja and Annika Lindskog 19 De nationella proven i NO åk 6. Skillnader i resultat mellan olika grupper Frank Bach, Birgitta Frändberg, Mats Hagman, Eva West och Ann Zetterqvist 48 Professionalism in action – Music teachers on an assessment journey Johan Nyberg 71 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Lars Holm 103 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och språknivåer i Europarådets Common European Framework of Reference for Languages (CEFR) Mats Oscarson 128 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9 i finlandssvenska skolor Camilla Svens-Liavåg, Johan Korhonen och Karin Linnanmäki 154 Sambedömning för ökad likvärdighet? Pia Thornberg & Anders Jönsson 179 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Ingela Andreasson, Maj Asplund Carlsson, Marianne Dovemark 206 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Åsa Hirsh 234 Medverkande författare 260 EDUCARE 2015:2 Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation Lisa Asp-Onsjö Bedömning, betygsättning, prov och dokumentation av elevers prestationer har fått en allt större betydelse i skolans vardag så väl som i den politiska debatten. Primärt handlar betygsättning om selektion, det används som medel för urval till högre utbildning. I den marknadsstyrda skolan har konkurrensen hårdnat och krupit ner i grundskolans tidigare år, betyg i årskurs 4 kommer 2015 att införas på försök i ett flertal kommuner. Det spelar också allt större roll för betygen vilken skola en elev gått i. Betygssystemets utformning är en brännande het politisk fråga som förutom politikerna själva engagerar lärarnas fackliga organisationer, föräldrar och elever. Det finns inget område där politikens syn på vilket samhälle man vill skapa visar sig tydligare än i synen på skolan. I den sammanhållna skolan som formades i Sverige under decennierna efter andra världskriget utvecklades idéer om att skolan inte bara var en arena för kunskaps inhämtning och disciplinering av eleverna. Skolan skulle också stärka medborgarskapet och demokratin (Lundahl, 2014). Erfarenheterna från den bristande sociala sammanhållning som de stora inkomstklyftorna skapade, liksom de lärdomar som måste dras från de totalitära rörelser som lagt grunden för andra världskriget, talade för nödvändigheten att förhålla sig kritisk till den traditionella skolans auktoritära strukturer. Elever måste fostras att tänka fritt och inte låta sig underordnas starka ledare (Lundgren, 1979). Direkt efter krigsslutet tillsattes Skolkommissionen med intentionen att skapa långsiktigt hållbara riktlinjer för svensk skola (SOU 1948:27). Samtliga politiska partier var överens om värdet med denna övergripande målsättning, som kom att vara vägledande för svensk skolpolitik under de följande decennierna (Lundgren, 1979). EDUCARE 2015:2 7 LISA ASP-ONSJÖ Betyg och bedömning i en skola för demokrati Med den nya sammanhållna skolan kom ett modernt betygsystem att utvecklas, ett system som skulle skapa större rättvisa och motverka att enbart resursstarka familjers barn hade möjlighet att fortsätta högre upp i utbildningssystemet. Det fanns, menade man, en begåvningsreserv i de breda folklagren. Att realisera denna reserv sågs som ett viktigt moment i formandet av ett samhälle där alla kom till tals på mer likvärdiga villkor (Lundgren, 1979; Isling, 1980). Samtidigt fanns det under de radikala 1960 och 1970-talen en stark kritik mot betyg över huvud taget. Elevorganisationer såväl som politiska ungdomsförbund ville göra skolan till en central arena för hela samhällsbygget och betygen sågs då stå i vägen för elevens sökande och fria utveckling. Idag råder närmast konsensus om betygens nödvändighet, inte minst är det svårt att se på vilket sätt betygens selekterande funktion för de som går vidare till högre utbildning helt kan ersättas av något annat system. Bedömning och betyg har också en kontrollfunktion, där både elever och skolor jämförs med varandra och kontrolleras. I bedömning och betygsättning finns alltid aspekter av negativ maktutövning invävda (Erickson & Gustafsson, 2014). Bedömning kan således inte ses som vare sig enbart positivt eller negativt. Det handlar snarast om hur bedömningen görs och i vilket sammanhang. I dag finns, inte minst i den politiska retoriken, en uppfattning om att fler och mer omfattande prov är en väg för att höja resultaten i skolan (Lundahl, 2011). I svensk skola har bedömning fått en allt mer prioriterad position genom utökade prov och kontrollinstanser. Samtidigt visar olika kunskapsmätningar att en långt driven provkultur tvärtom riskerar att sänka skolresultaten. Detta har under senare år synliggjorts i svenska elevers sjunkande studieresultat i internationella jämförelser som PISA (Skolverket, 2013). Paradoxalt i detta sammanhang är att betygsnivån i den svenska skolan stadigt gått upp över tid, samtidigt som kunskapsnivån i internationella mätningar går åt motsatt håll. Detta är en konsekvens av den betygsinflation som under senare tid pressats fram genom skolans marknadisering (Skolverket, 2012). 8 EDUCARE 2015:2 Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation Fokus på betyg gynnar en instrumentell syn på kunskap och lärande I den senaste PISA mätningen placerar sig Sverige strax under medel bland OECD-länderna. Undersökningen visar också att det är de lågpresterande elevernas kunskaper som sjunkit mest. De ökade skillnaderna visar att likvärdigheten i skolan stadigt försämrats (Skolverket, 2013). Den fokusering på bedömning och betyg som under senare tid tagit allt större plats i den svenska skolan verkar sammantaget inte ha lett till bättre prestationer hos eleverna. Detta mönster stämmer överens med internationell forskning som visar att mer omfattande mätningar, prov och betyg, trots den uttalade intentionen att proven skall stödja de svaga och utsatta eleverna, istället leder till att just dessa barn blir förlorarna och klyftan mellan de välpresterande och svagpresterande ökar (Alexander, 2010; Ravitch, 2011). Ensidigt fokus på betyg och kunskapsmätning riskerar i stället att leda till brist på dialog, sökande och kreativitet, så väl som på oförmåga till kritiskt tänkande (Liedman, 2012; Wyndhamn, 2013). Den ökade betoningen på betyg och bedömning riskerar också att gynna en instrumentell inställning till skola och lärande (Asp-Onsjö, 2011; Liedman, 2012). Under senare år har det blivit vanligare att elevers betygsnivåer presenteras och jämförs i olika tabeller och rankninglistor, vilket lett till ökade krav på skolorna att uppvisa goda resultat för att kunna rekrytera elever. Reformerna har drivit fram en skolmarknad som gjort eleven till kund och utbildning till en vara. Formativ bedömning Diskussionen om betyg har under senare tid, som ett sätt att parera instrumentaliseringen av undervisningen, kretsat runt formativ bedömning eller ”bedömning för lärande”. Denna form av bedömning ses som mjukare och mer processorienterad (Jönsson, 2011; Lundahl, 2011; Erickson & Gustafsson, 2014). Kritiker menar att man ibland vill legitimera betyg och bedömning genom att tillskriva dem en pedagogisk funktion som de inte alltid kan leva upp till. Betyg säger något om vad en elev presterat men ingenting om elevens utvecklingspotential eller slumrande möjligheter. Ett annat sätt att uttrycka detta är att kunskapens frukter inte endast kan skördas i nutid utan även i framtiden, som Nyberg EDUCARE 2015:2 9 LISA ASP-ONSJÖ uttrycker det (med hänvisning till Dewey) i sin artikel i denna volym. Bedömning är således ett tveeggat svärd, en allt för instrumentell kunskapskontroll tenderar främst att motivera redan studievana elever medan effekten på de svagpresterande är den motsatta. Att ständigt bli bedömd som lågpresterande sänker dessa elevers prestationer och får också konsekvenser för deras identitetsutveckling (Klapp. Clifordsson, & Gustafsson, 2014). Den svenska skolan – från likvärdighet till segregation Under decennierna efter andra världskriget blev Sverige den mest framträdande representanten för den Nordiska välfärdsmodellen. En viktig aspekt i den nya välfärdsstaten var likvärdiga möjligheter till utbildning, oavsett kön, klass, etnisk bakgrund eller geografisk hemort (Lundahl, 2005). I de internationella IAE-undersökningar som genomfördes av OECD från 1970-talet visade den svenska skolan upp såväl en hög grad av likvärdighet som goda resultat (Fejan Ljunghill & Svensson, 2006). Begreppet ’En skola för alla’ var vägledande och skolan sågs som en mötesplats för elever från olika sociala skikt på någorlunda likvärdiga villkor. Under de senare decennierna har den svenska skolan genomgått förändringar mot målstyrning, marknadsanpassning och införande av ett friskolesystem som har urholkat den likvärdighet mellan skolor som var kännetecknande för svensk skola. Vi har via det fria skolvalet fått en skola som sorterar och skiktar såväl skolor som elever. Forskning visar att det som en gång framställdes som ett sätt att bryta segregationen fått motsatt effekt (Bunar, 2010: Östh, Andersson, & Malmberg, 2013). Skolan kompenserar inte längre för de allt påtagligare socio-ekonomiska skillnaderna i det svenska samhället, trots att det på policy nivå fortfarande lever kvar en retorik om alla elevers lika möjligheter och rättigheter. Nationella prov När den svenska skolan lämnade det relativa betygssystemet och genom införandet av det målrelaterade betygssystemet har det skett en omfattande ökning av antalet nationella prov i skolan. Dagens 10 EDUCARE 2015:2 Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation nationella prov har två huvudsakliga syften. Dels ska de användas för att främja en likvärdig och rättvis bedömning och betygssättning, dels ska de ge underlag för betygssättning och bedömning av elevers resultat i olika ämnen. På individnivå värderas den enskilda elevens resultat och prestationen jämförs med andra elevers. Ett argument för de nationella provens existens är att de bidrar till en likvärdig bedömning och betygsättning (Hopmann, 2008). Det innebär att den enskilda skolans bedömningspraktik ska stämma överens med nationella kriterier. I det nuvarande betygssystemet ska likvärdighet i bedömning nås med hjälp av tydliga kriterier och kunskapskrav. Studier pekar dock på att de tydliga kriterierna inte alltid är så tydliga utan att det här finns ett stort utrymme för tolkning (Hyltegren, 2014). Samtidigt som likvärdighetsaspekterna under de senaste decennierna tonats ner har fokus på bedömning av elevens individuella insatser förstärkts. Proven mäter inte i första hand klassens kunskaper på gruppnivå utan det är varje elevs individuella prestation som står i centrum. Vad innehåller detta nummer av Educare? I detta nummer av tidskriften Educare har vi samlat ett antal artiklar som belyser skolans bedömnings- och dokumentationspraktiker ur olika perspektiv. Inledningsvis behandlar Christina Osbeck, Olof Franck, Annika Lilja och Annika Lindskog i artikeln ”Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests” hur lärare resonerar vid bedömningen av nationella prov i etik inom religionsundervisningen. Författarna beskriver det etiska fältet som vagt och otydligt, bedömning av elevers insatser blir i detta sammanhang särskilt komplicerat. I studien där sex lärares resonemang analyseras i en så kallad ’think aloud study’ framkommer att lärarna uppfattar det som problematiskt att uttyda provinstruktionerna på grund av ämnets tvetydighet mellan etik som ämneskunskap och etik som en del i skolans normativa projekt. De ibland motstridiga idéer om vad som ska utgöra grund för höga betyg uppfattas också som en utmaning, dessutom föreligger en svårighet att differentiera elevernas prestationer utifrån deras provsvar. I diskussionen efterlyses en djupare analys av vilka kompetenser som ska utgöra grund för bedömning av elevers betygssättning i ämnet etik. EDUCARE 2015:2 11 LISA ASP-ONSJÖ Ytterligare en artikel tar sin utgångspunkt i skolans nationella prov. Det är Frank Bach, Birgitta Frändberg, Mats Hagman, Eva West och Ann Zetterqvist som i artikel ”De nationella proven i NO åk 6. Skillnader i resultat mellan olika grupper” problematiserar aspekter av de nationella provens tillämpning. Samtliga författare är involverade i konstruktion av de nationella proven i NO. Studiens data utgörs av provresultaten av en tredjedel av alla nationella provresultat i biologi, fysik och kemi, det så kallade Urval 2013 med syftet att belysa aspekter av likvärdighet i lägre åldrar. Resultaten visar att skillnaderna mellan olika undervisningsgrupper har ökat och att variationen nu uppgår till 25 %. En fjärdedel av variationen i resultat härrör sig alltså från vilken undervisningsgrupp som eleven går i, något som författarna menar visar att skolans kompensatoriska uppdrag försvagats. Skillnaderna mellan olika grupper blir också tydliga allt lägre ner i åldrarna. Studien visar också att det finns stora skillnader mellan elever med svenska som modersmål, respektive svenska som andra språk, och att dessa skillnader inte bara beror på språkliga svårigheter utan är av mer generell natur. Komplexiteten i bedömning i musik på gymnasiets estetiska program är temat för Johan Nybergs artikel ”Professionalism in action. Music teachers on an assessment journey”. Artikeln redovisar resultaten från en studie med aktionsforskningsansats med syftet att utveckla kunskap om musiklärares erfarenheter av bedömning i musikämnet. Utgångspunkten är en av Dewey inspirerad holistisk syn på utbildning och de frågor som intresserar Nyberg är relaterade till lärarens professionella ansvar. På vilket sätt förstår läraren musikaliskt lärande, musikaliska färdigheter och kunskap och vad innebär denna förståelse för de frågor som uppenbarar sig när betyg skall sättas? Vilka kvaliteter i det musikaliska lärandet utgör grunden för lärarens bedömning av eleverna? Undersökningens resultat visar att musiklärare har en förmåga att se avgränsade delaspekter av lärandet utan att förlora det holistiska perspektivet på elevens hela kommunikativa och musikaliska förmåga ur sikte. Artikeln ”Kan du tage pigen op av kufferten? En analys af sproglig evaluering i dagisinstitutioner” springer ur en studie av språktester på två förskolor i Köpenhamn. Texten är skriven av Lars Holm från Universitetet i Århus. Studien är en analys av den gällande praktiken för språktest. Den form för språktester som idag dominerar forskningen 12 EDUCARE 2015:2 Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation har en stark laborativ karaktär och är därför oförmögen att läsa av barnets språkliga kompetens utifrån den sociala vardagsvärld och situation som barnet befinner sig i. Av denna anledning förbigår testerna viktiga aspekter av barnets kreativa och produktiva potentialer som språkproducenter. Holm förespråkar därför en vändning mot en mer insider-orienterad och etnografiskt baserad undersökningspraktik. Han påpekar vidare att den nu dominerade formen för språktester är grundad i en strukturalistisk förståelse av språk och kommunikation. Holm argumenterar för betydelsen av en förståelse av språk som ett dynamiskt, socialt och interaktionellt fenomen där den meningsbärande aspekten är förankrad i barnets sociala kontext och vardagsvärld. Ytterligare en artikel handlar om språktest men nu i en internationell kontext. Mats Oscarson beskriver i artikeln ”Bedömning på systemnivå” ett arbete av Europarådet med syftet att identifiera nivåer och mål för lärande i språk på ett tydligt och allmängiltigt sätt. Det resulterade i definitionen av sex grundläggande kompetensnivåer (Levels) enligt en beskrivningsmodell kallad Common European Framework of Reference for Languages (Council of Europe, 2001). Resultaten av detta arbete har fått internationellt genomslag och CEFR-konceptet används både i Europa och i många andra delar av världen som ett hjälpmedel vid kommunikation om mål och verksamheter i språktestnings- och språkundervisningssammanhang. I artikeln, som har en textanalytisk ansats, beskrivs en tidigare ej publicerad studie som undersöker hur de sju språkstegen i svenska kursplaner innehållsmässigt och strukturellt förhåller sig till det mer utvecklade CEFR-systemets sex nivåer. Från ett annat av våra nordiska grannländer kommer artikeln ”Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader och diskrepans mellan vitsord och testresultat i årskurs 9 i finlandssvenska skolor” av Camilla Svens-Liavåg, Johan Korhonens och Karin Linnanmäkis. I artikeln behandlas skolvisa skillnader i bedömning av modersmål och litteratur samt matematik i relation till bedömning av elevens uppförande. I finlandssvenska skolor betygsätts elevens förmåga att planera, genomföra och bedöma sitt eget arbete så väl som ansvarskänsla och kapacitet till samarbete. I en longitudinell studie, följs 1152 elever från 14 skolor i Svenskfinland, från nionde klass till arbetslivet. Studien visar att motivation i skolämnet är den starkaste prediktorn för diskrepans mellan testresultat och vitsord. Elevens motivation har stor inverkan på betygsättningen både i mate EDUCARE 2015:2 13 LISA ASP-ONSJÖ matik och modersmål och litteratur men på lite olika sätt. Det visar sig att elever med höga uppförandebetyg ges högre betyg i modersmål och litteratur än vad som är motiverat utifrån testresultaten. I matematik är det motivationen för ämnet som sådant som är utslagsgivande snarare än elevens uppförande. Intressant att notera är också att förhållandet mellan pojkars och flickors prestationer är relativt jämlik. För att motverka skillnader och öka likvärdigheten i bedömning mellan olika lärare och skolor förespråkas ofta sambedömning, det vill säga att lärare samarbetar i bedömningsprocessen. I artikeln ”Sambedömning för ökad likvärdighet?” gör Anders Jönsson och Pia Thornberg en litteraturstudie av internationella, tidigare publicerade och vetenskapligt granskade empiriska underökningar om sambedömning i grundskola och gymnasium. Studien genomförs genom sökning av kodord på internet som redovisas i en narrativ sammanställning över 23 studier som matchade de utvalda sökorden. Författarna visar att resultaten inte ger något entydigt svar på om sambedömning verkligen leder till ökad likvärdighet i bedömning och betygssättning. Men de menar att sambedömning har en potential att bidra till ökad samsyn såväl som ökad bedömarkompetens hos lärare. Om sambedömningen ses som en process och görs i flera av tolkningsleden så ökar samsynen. Författarna noterar att samsyn och samstämmighet inte är samma sak, i vissa fall kan sambedömning snarast handla om att skillnader i olika bedömares synsätt explicitgörs. Det andra temat i denna volym handlar om dokumentation. Skolans elevdokumentation är nära sammanlänkad med olika bedömningspraktiker. Som underlag för betyg ska elevens prestationer dokumenteras i skilda mer eller mindre formaliserade dokument. Flera författare pekar på att dokumentationen i form av kartläggningar, åtgärdsprogram och individuella utvecklingsplaner i den marknads styrda svenska skolan har vuxit och antagit väldiga proportioner och därigenom kommit att utgöra ett hinder snarare än en hjälp för lärarkåren (Andreasson, Asp-Onsjö & Isaksson, 2013). På grund av omfattande kritik från bland annat lärarnas fackliga organisationer har restriktioner i kraven på dokumentation införts under det senaste året. Individuella utvecklingsplaner ska nu utarbetas endast i skolår 1-5 och då enbart en gång per läsår. Individuella utvecklingsplaner utarbetas vanligen digitalt och att de digitala plattformarnas design får betydelse 14 EDUCARE 2015:2 Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation för hur planerna utformas uppmärksammas i två artiklar som belyser individuella utvecklingsplaner ur olika perspektiv. I artikeln ”Bedömnings-, dokumentationspraktiker och pedagogiska identiteter” diskuterar Ingela Andreasson, Maj Asplund Carlsson och Marianne Dovemark hur uppfattningen att ökad dokumentation leder till bättre skolprestationer har drivit fram en situation där kommersiella, digitala plattformar fått betydande inflytande över bedömningsoch dokumentationspraktiker i dagens skola och förskola. Genom analys av 118 slumpvis utvalda planer från årkurs fem i en svensk kommun studeras dokumentens diskursiva funktion utifrån delar av Bernsteins teoretiska begreppsapparat. Resultaten visar att en starkt regulativ diskurs med ett uttalat individfokus är vanligt förekommande i de digitala planerna. Bedömning av elevens sociala förmågor och personlighet får en framträdande roll medan den pedagogiska organiseringen av i klassrummet hamnar i skymundan. Genomgående förs i stället ansvaret tillbaks till den enskilda eleven. Även den sista artikeln i denna volym handlar om individuella utvecklingsplaner. Åsa Hirsh har i artikeln ”IUP i praktiken: en skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi” gjort en re-analys av 15 intervjuer och 30 individuella utvecklingsplaner med lärare i skolans tre stadier 2011. Hirsh använder sig i sin analys av Wartofskys begrepp primära, sekundära och tertiära artefakter. Hennes resultat indikerar att lärare som själva varit med och utformat dokumentationsmallarna i samarbete med sina rektorer, i högre utsträckning anser att dokumentationen bidrar till att höja kvalitén på deras undervisning. Hirsh menar att lärares bedömningspraktiker formas av hur lärare förstår sitt uppdrag och av de förväntningar som finns i den organisation lärarna befinner sig i. Hon menar vidare att användningen av individuella utvecklingsplaner belyser skärningspunkten mellan nationell och lokal styrning å ena sidan och lärares professionella autonomi å den andra I den marknadsstyrda skolan spelar statistik en viktig roll för möjligheterna att jämföra olika skolor med varandra. Höga betygsnivåer påverkar skolans anseende och dess förmåga att attrahera elever och få en gynnsam ekonomisk situation. Den ökande fokuseringen på dokumentation, bedömning och betyg måste därför också ses i ljuset av den tilltagande konkurrensen mellan skolor på dagens svenska skolmarknad (Asp-Onsjö, 2014). EDUCARE 2015:2 15 LISA ASP-ONSJÖ Referenser Alexander, Robin (2010). (Red.), Children, their World, their Education. Final report and recommendations of the Cambridge Primary Review. New York: Routledge. Andreasson, Ingela, Asp-Onsjö, Lisa & Isaksson, Joakim (2013). Lessons learned from research on individual educational plans in Sweden: obstacles, opportunities and future challenges. European Journal of Special Needs Education, 28(4), 413-426. Asp-Onsjö, Lisa (2011). Dokumentation, styrning och kontroll i den svenska skolan. Educare, 11(2), 39-56. Asp-Onsjö, Lisa (2014). Dokumentation, åtgärdsprogram och inkludering I en skola för alla eller I en skola på marknadens villkor? I Olof Franck (Red.), Motbok. Kritiska perspektiv på styrdokument, lärarutbildning och skola. Lund: Studentlitteratur. Bunar, Nihad (2010). The Controlled School Market and Urban Schools in Sweden. Journal of School Choice, 4(1), 47-73. Erickson, Gudrun & Gustafsson, Jan-Eric (2014). Bedömningens dubbla funktion – för lärande och likvärdighet. I Ulf Peder Lundgren, Roger Säljö & Caroline Liberg (Red.), Lärande, skola, bildning (s. 559-589). Stockholm: Natur & Kultur. Fejan Ljunghill, Lena & Svensson, Sten (2006). Motbok – om det ideologiska sveket mot skolan. Stockholm: Lärarförbundet. Hall, Patrik (2013). Managementbyråkrati – organisatorisk makt i svensk offentlig förvaltning. Stockholm: Liber. Hopmann, Stefan (2008). No child, no school, no state left behind: schooling in the age of accountability. Journal of Curriculum Studies, 40(4), 417-456. Hyltegren, Gunnar (2014). Vaghet och vanmakt - 20 år med kunskapskrav i den svenska skolan. Göteborg: Acta Universitatis Gothoburgensis. Isling, Åke (1980). Kampen för och emot en demokratisk skola. Stockholm: Sober. 16 EDUCARE 2015:2 Gästredaktören har ordet! Kritiska perspektiv på bedömning och dokumentation Jönsson, Anders (2011). Formativ bedömning. I Agneta Hult & Anders Olofsson (Red.), Utvärdering och bedömning i skolan (s. 212-227). Stockholm: Natur & Kultur. Klapp, Alli, Cliffordson, Christina & Gustafsson, Jan-Eric (2014). The effect of being graded on later acheivements: evidence from 13year olds in Swedish compulsory school. Educational Psychology: An International Journal of Experimental Educational Psychology. Recieved from internet http://dx.doi.org/10.1080/01443410.2014. 933176 Liedman, Sven-Eric (2012). Hets: en bok om skolan. Stockholm: Bonniers. Lundahl, Lisbeth (2005). A matter of self-governance and control: The reconstruction of Swedish education policy - 1980-2003. European Education, 37(1), 10-25. Lundahl, Christian (2011). Bedömning för lärande. Stockholm: Norstedts. Lundahl, Christian (2014). Bedömning – att veta vad andra vet. I Ulf Peder Lundgren, Roger Säljö & Caroline Liberg (Red.), Lärande, skola, bildning (s. 519-557). Stockholm: Natur & Kultur. Lundgren, Ulf Peder (1979). Att organisera omvärlden. En introduktion till läroplansteori. Stockholm: Liber. Ozga, Jenny, Dahler-Larsen, Peter, Segerholm, Christina & Simola, Hannu (Reds.), (2011). Fabricating quality in education: Data and governance in Europe, London: Routledge. Ravitch, Diane (2011). The death and life of the great American school system. How testing and choice are undermining education. New York: Basic Books. SOU 1948:27. 1946-års skolkommissions betänkande med förslag till riktlinjer för det svenska skolväsendets utveckling. Stockholm: Ecklisiastikdepatementet. Skolverket (2012). Betygsinflation – betygen och den faktiska kunskapsutvecklingen. Stockholm: Skolverket. Skolverket (2013). PISA 2012. 15-åringars kunskaper i matematik, läsförståelse och naturvetenskap. Stockholm: Fritzes. EDUCARE 2015:2 17 LISA ASP-ONSJÖ Wyndhamn, Anna-Karin (2013). Tänka fritt, tänka rätt. En studie om värdeöverföring och kritiskt tänkande i gymnasieskolans undervisning. Göteborg: Acta Universitatis Gothoburgensis. Östh, John, Andersson, Eva & Malmberg, Bo (2013). School choice and Increasing Performance Difference: A Counterfactual Approach. Urban Studies, 50(2), 407-425. 18 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Christina Osbeck, Olof Franck, Annika Lilja and Annika Lindskog The aim of this article is to identify and discuss challenges in assessing pupils’ knowledge in Ethics. The background of the study is the development of the knowledge field Ethics, a part of Religious Education (RE) in Sweden which in the sixties went from being a Christian school subject to a pluralistic and non-confessional one. The knowledge field Ethics is, in this school context, marked by vagueness, due partly to its indistinct frames and partly to a duality in the aims represented in the directives of the curriculum. Methodologically, data was produced through a think-aloud study where six teachers assessed pupil-responses in Ethics within the National Test for RE. The teachers’ ongoing assessments were audio recorded, transcribed and analysed in a qualitative text analysis that focused on different kinds of challenges that the teachers experienced. Since this kind of study has not been conducted before, the analyses were explorative and, rather than being theory guided, were guided by the aim and the research question of the study. The findings show three groups of challenges related to the assessment processes. The first group of challenges concerns interpretations of the assessment instructions, the second regards competing ideas about what students should be given credit for during assessment in Ethics and the third is about being positioned between the pupils’ need for good grades and the task of differentiating between students. The discussion distinguishes between general challenges in assessment and challenges related to Ethics and its partly unclear character in the RE school context. In such a situation when the construction of a knowledge field is vague, the influence of national tests can be assumed to be considerable and the need for research regarding different conceptions of ethical competence is therefore urgent. EDUCARE 2015:2 19 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG Keywords: assessment, ethics, national tests, religious education, thinkaloud study Christina Osbeck, Associate Professor, University of Gothenburg [email protected] Olof Franck, Associate Professor, University of Gothenburg [email protected] Annika Lilja, Senior Lecture, University of Gothenburg [email protected] Annika Lindskog, PhD Student, University of Gothenburg [email protected] Introduction By tradition Religious Education (RE), in a Swedish context, involves teaching in Ethics. This tradition can be traced back to those days when this subject´s predecessor, the school subject Christianity, was taught in school, resting upon a confessionally defined ground. Christianity was, in an era and in a society where Christian perceptions of life and values were explicit and supposed to mark identity as well as community, thought to be the most important school subject, making sure that children and young people were educated to be prepared for living in a spirit of Christian faith and Christian morals (Selander, 1993; Algotsson, 1975). Since the middle of the 1960s when the subject of Christianity was replaced by RE (see, for example, Osbeck, 2013), Ethics has continued to be a central strand within the subject. Of course, RE is now shaped and practised within a non-confessional context, but this fact has not broken the connection built between, on the one hand, religious and existential dimensions and, on the other, ethical and moral ones (Olivestam, 2012). Furthermore, the subject seems to rest upon two keystones that, although perhaps in a somewhat different way, were also salient within the teaching in Christianity in older days. First, relating to the task regarding the conducting and moulding of the fundamental democratic values, especially highlighted in their present form since the 1990s (Osbeck, 2004), one could, within RE 20 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests as well as in the educational context as a whole, identify what has become known as values education, a label suggested as an umbrella term including moral education, character education, civic education and citizenship education (Taylor, 1994; Thornberg, 2004). Secondly, in relation to this kind of education, one could identify what may be called ethics education. This second kind could be conceptually apprehended in terms of being formal and school based rather than informal, explicit rather than implicit (ibid). In relation to the subjects of both RE and of Christianity, it would be possible to identify two kinds of education, one relating to transmitting values and one relating to knowledge development. The borders do not seem to be strict or clear-cut. At the core of values education are educational ideals regarding personal development in children and youngsters. Certainly this task, within the confessional subject, was performed and developed with reference to at least partly different premises than those from which the task of transmitting values is carried out today (Selander, 1993). While the ideal distinguished by the subject of Christianity seems to have been defined with regard to a life lived by a spiritually conscious person, practising what was assumed to be Christian ethics, the corresponding ideal that was presumed to mark RE could be characterized in terms of a democratic approach, applied within a pluralistic national and global society, focusing on a deliberate reflection upon and practising of universal human rights, rejecting various kinds of discrimination and harassment. The moral and character education, however, as well as the civic and citizenship one, seems to share evaluative visions of making judgments about what are to be counted as right actions and a good life. In both cases an ethical code or a moral canon works as a point of reference, in relation to which issues concerning how to reason and how to act are discussed and assessed (Franck, 2013a). With regard to ethics education, similarities may also, consequently, be observed. Here, however, one can identify differences that may have relevance to the questions raised and treated in this article. While an education within the subject of Christianity seems to have revolved around the children´s and young people’s learning of fundamental moral rules and concepts, signifying and expressing what was taken to be ethics founded in Christian tradition and belief, today´s focus in RE is not anchored in a confessional canon of presumably knowable EDUCARE 2015:2 21 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG facts. Rather ethics education is directed towards the knowledge requirements stated in the syllabus, highlighting skills of reasoning in moral matters using a variety of ethical concepts (Franck, 2013b). The meaning of ethical competence seems to have shifted from referring to an understanding and an application of moral rules and concepts, defined with reference to Christian fundamentals, to an interpretation according to which such a competence is shown and expressed by the use of the skill of ethical reasoning involving a relevant and correct use of selected ethical concepts. In the first case, ethics education is aimed at and believed to lead to knowledge about moral codes that are regarded as right and praiseworthy. In the second case, such an education is aimed at and believed to lead to knowledge about moral codes in relation to which no definite opinion is prioritized as universally preferable or tenable for moral choice and action. This latter approach, practised and developed within RE, seems to imply a rather open-ended field regarding how to define what kind of skills and what kind of knowledge are to be focused on in order to carry out ethics education, involving assessment in relation to the knowledge requirements stated in the syllabus. A variety of conceptions of “ethical competence” and “ethical knowledge” may here come to mind – and with them a range of challenges mirroring different approaches to, and within, relevant assessment procedures (Tillson, 2011). Research into these conceptions, and the challenges relating to them, would presumably contribute to the shaping of knowledge about ethics education in theory and practice, as well as to a development of strategies for handling challenges facing teachers in RE. Questions of ethics have, however, been researched comparatively little in the field of RE. The National Tests in RE, involving items relating to ethics education, may provide information that can be used in relation to the aim of making the previously mentioned challenges visible, creating space for analysis and discussion. The empirical study presented in this article is thought to contribute to this process. By an analysis of the ongoing assessments of the teachers involved in the study, space is made for both identifying challenges in the assessment of pupils´ knowledge in Ethics, and relating these challenges to the teaching context characterized by the indistinct frames of the school subject Ethics, and the duality apparent in the aims of the curriculum. 22 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Aim The aim of this article is to identify and discuss challenges in assessing pupils’ knowledge in Ethics. A description of analytical perspectives, shaped with reference to curricular considerations, in relation to such challenges, has to take into account the fact that ethics education is obligatory in compulsory school in Sweden. Ethics is a field of reflection, argumentation and analysis with a focus upon issues and areas belonging to existential and moral dimensions of life, and it does not seem possible, at least not at first sight, to place it among subjects that make use of standard methods of assessment and grading. At the same time, the curriculum for compulsory school contains specific and seemingly strict knowledge requirements in order that pupils´ skills in moral reasoning and their knowledge about ethical concepts may be assessed in ways that are similar to ways of assessing more concrete forms of knowledge regarding, for example, world religions. The demand for teachers to make use of these requirements when assessing pupils’ statements seems to create challenges which could perhaps be difficult to trace and identify. In order to investigate such challenges and make them explicit, the authors have performed a think-aloud study where some teachers evaluate certain tasks belonging to Ethics within the National Tests in RE that were given in the spring of 2013. The research question in focus for the following analysis can be formulated in this way: Which challenges can be identified when six teachers assess pupils’ responses in Ethics in the National Tests in RE? Previous research Research about assessment in school is a rather wide field. In this study, attention is drawn towards assessment research that focuses on instructions for assessment, and challenges that can arise when using pre-set criteria as well as when assessing specifically within RE. Challenges concerning pre-set criteria and instructions for assessment Regarding grading, the first distinction that has to be made is between holistic grading and analytic grading (Sadler, 2009). In holistic grading EDUCARE 2015:2 23 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG the assessor builds up a complex mental response to different parts of a student’s work. In analytic grading the teacher makes separate qualitative judgements on each of the pre-set criteria. The teacher determines the criterion prior to marking. According to Sadler (ibid.) the idea of focusing on criteria specifically related to quality was first proposed in the 1920s. The aim of analytic assessment is to achieve certain practical ends, for example, to compare the quality of a student’s work with fixed criteria, and this is educationally more defensible than making comparisons with how other pupils perform. Another advantage is that explicit criteria enable students to understand the assessment process. A problem that comes with analytic marking is, however, that it is not possible to take into account all the necessary nuances of expert judgement in the same way as in a holistic grading process. In this sense, analytic marking is deficient (ibid.). Sadler (1987) also notes that the meaning of verbal descriptions is always, to some degree, vague and fuzzy. The criteria need to be interpreted (Connolly, Klenowski & Wyatt-Smith, 2012). These interpretations inevitably differ and according to Smaill (2011), a number of conditions must be fulfilled to help the teachers to develop a common understanding of the pre-set criteria. Assessors need concrete examples demonstrating the levels of achievement, and assessors also need opportunities to participate in a social moderation process. A social moderation process involves a comparison and alignment of participants’ judgement of pupils’ work in relation to the pre-set criteria. During the social moderation process the teachers develop a shared understanding of the qualitative descriptors (ibid.). Instructions for assessment constitute an important part of the national tests in Sweden. They express an interpretation of the knowledge requirements, developed to support the teachers’ assessments. The instructions can thereby be experienced as a disruption to intuitive ways of working with the pupils (Gipps et al., 1996). However, when studying the role of assessment criteria during teachers’ collaborative assessment of pupils’ portfolios, van der Schaaf et al. (2011) found that without assessment criteria, the teachers based their judgement more on their personal opinion and less on the evidence found in the pupils´ 24 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests work. But when the teachers used assessment criteria, they based their judgements significantly less on personal characteristics of pupils. A conclusion in this study is that the quality of the judgement process is more construct valid when teachers use the assessment criteria. It has also been observed that ways of working with assessment and making professional judgements are dependent on the subject in question (Wyatt-Smith & Klenowski, 2012). According to Wyatt-Smith and Klenowski, teachers of mathematics tended to give emphasis to stated standards. They regarded assessment as an objective process and were part of an assessment-as-measurement tradition. Teachers of English, on the other hand, had a more reflective and holistic approach to assessment that was often intuitive and usually non-numerical. Both approaches were found to be problematic in some ways. The teachers who saw assessment as an objective process devalued their own firsthand assessment knowledge as subjective and not good enough, and the teachers who assessed in a more holistic way lacked confidence in their self-knowledge as assessors. Based on their findings and Sadler’s criteria, which have enabled individual assessors to change or focus their assessment method (Sadler, 1985), Wyatt-Smith and Klenowski propose a strategy with three components to support teachers’ use of subject standards. The first is elaborated guidelines about on-balance judgement processes. The second is a suggestion to use examples of pupils’ work that are indicative of the standards, i.e. illustrative of a particular achievement. The third is about descriptive reports of pupils’ achievements that accompany the exemplars to give insight into the factors that influence the overall judgement. These reports are supposed to be written during a period of time when particular subject content is treated and they are then to be used by the teacher to make an overall judgement. An additional problem connected to assessing, which is illuminated in a study from England (Radnor, 1995), is that teachers in compulsory school believed that a tighter frame from the National Curriculum and in particular the assessment arrangements that were implemented at the time of this study, limited their course of action as teachers as well as their working practices of administration and pupil organization. EDUCARE 2015:2 25 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG Challenges in assessing subject matter knowledge in RE To assess pupils´ work is a core task for teachers. Through assessments, pupils get opportunities to learn more in relation to current goals but the other side of the coin is that assessment also values and grades pupils’ work. This is a part of the work that can be particularly demanding and associated with various difficulties. Assessment and religious education is an area that has yet to be researched and the same goes for assessment and ethics. In the few studies that exist it has been argued that one of the compelling challenges for RE professionals is to develop authentic, performancebased approaches to assessment, which clearly reject accountability. This way of assessing offers RE teachers a route to a more challenging curricular activity than when assessing achievements through measured accomplishment (Baylock, 2000). In another study, Grant and Matemba (2013) argue that in many cases the assessment of RE is generally out of focus for teachers in Scotland, largely due to the fact that the assessment is seldom based on religion but rather on other issues, which are important, yet should not, according to Grant and Matemba, be allowed to consume so much of the limited time that RE is given. Examples of issues that are assessed instead of the subject of RE are generic skills such as listening, working in groups and enthusiasm. The same study reveals that it is also evident that school practices in RE are failing to match the ambitions of the curriculum. The teaching in RE has remained at a lower cognitive level where the pupils are taught to identify, describe, colour and so on instead of being taught to discover, critique and challenge. A reason for this might be that the curriculum in Scotland is in its early years of implementation, which is similar to the situation in Sweden today. In Sweden, a corresponding implementation started in 2011 and one could, regarding certain dimensions concerning, for example, assessment issues, say that this implementation is in one sense still being carried out. Another aspect revealed is an ambiguity regarding how values are to be assessed (ibid.). They suggest that teachers need to plan their teaching in such a way that it is possible to assess controversial issues such as values. An additional circumstance that might cause difficulties when assessing pupils’ work is that the teachers are taking their pupils’ personal lives into account in different ways, for example when grading 26 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests them (Klapp Lekholm, 2010; Rinne, 2013). Similar findings have been found in other studies. For instance Allal (2012) shows in her study how the teachers, although they ensured a certain standardization of their assessment procedures, also introduced adaptations to take into account specific details about individual pupils. Also Brown et al. (1997) state in a study on teachers’ views about the validity of national testing that the teachers major concerns about the validity of their assessment was about the unfairness of the tests to specific types of pupils, and the poor match with classroom practice. For example, the teachers sometimes decided not to take into account the result on one test if it was not considered valid because of problems in the personal life of the pupil. Data and method The empirical material of this article consists of transcripts from audio recordings of teachers who have been asked to reassess pupilresponses to tasks in Ethics, which were part of the first National Test (NT) in RE in Sweden (2013). This reassessment was organized by the team commissioned by the National Agency of Education to conduct the NT in RE, of which the research team conducting this study are also members. The present study was done with a view to identifying challenges for teachers in assessing pupils’ knowledge in Ethics, as it is demonstrated in national tests. Two year-six teachers participated in the study and assessed the same 15 pupil-responses and four year-nine teachers assessed the same 12 pupil-responses. The teachers of year six are referred to in the findings section of this article as 6a and 6b, and the teachers of year nine are referred to as 9a-d. In the responses of the pupils, whose identities were not known to the re-assessing teachers, all grades that have knowledge requirements (E – lowest, C – intermediate, A – highest) were represented, according to the previous evaluation made by their ordinary teacher, and responses that had been evaluated as failed, here called F, were also included. The re-assessing teachers in the current study did their assessment in relation to the assessment instructions and were asked to try to put their thoughts into words while their worked. They could take breaks if they wanted to but were asked to work with the task as an ongoing process. The study can therefore be described as a “think-aloud study” in line with how EDUCARE 2015:2 27 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG such studies are usually conducted (e.g. Charters, 2003), a method that has been used successfully for studying difficulties with assessment (e.g. Crisp, 2010). The transcription of the audio recordings were made with the intention of being close to the speech of the participants in the study, to indicate larger pauses but without the kinds of oral sounds that may be present when one “thinks aloud”. The aim of the study was not to conduct analyses where attention is paid to those kinds of utterances and therefore a less detailed transcription was preferred. Table 1. Analysed material, participating teachers and background material Material analysed in this article 2 transcriptions of year-six teachers “thinking aloud” while doing assessments of 15 responses Participating reassessing teachers Background material: Responses that the teachers worked with 2 year-six teachers 15 responses of year-six pupils (the sweat dilemma) • 6a about the 15 responses to the sweat dilemma • 6a Originally the responses were assessed with the following grades: • 6b about the 15 responses to the sweat dilemma • 6b A: 4; C: 4; E: 4; F: 3 4 year-nine teachers 12 responses of year-nine pupils (the forgiveness task) 4 transcriptions of year-nine teachers “thinking aloud” while doing assessments of 12 responses • 9a about the 12 responses to the forgiveness task • 9a Originally the responses were assessed with the following grades: • 9b about the 12 responses to the forgiveness task • 9b A: 3; C: 3; E: 3; F: 3 • 9c about the 12 responses to the forgiveness task • 9c • 9d about the 12 responses to the forgiveness task • 9d 28 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests The curriculum requirement, pupil-tasks and assessment instructions The assessment instructions and the pupil-tasks of the NT are directly related to the syllabus of RE in the curriculum Lgr11. In the syllabus aims, core content and knowledge requirements draw on each other. These connections are expressed in more detail in Table 2, in the appendix. Some central phrases in the syllabus concerning Ethics express the aim that pupils should be given “…opportunities to develop their ability to […] reason and discuss moral issues and values based on ethical concepts and models.” The core content for year 4-6 (age 10-12) states among other things that the teaching should include some ethical concepts, daily moral questions and what it may mean to do good. These issues are also central for year 7-9 (age 13-15) but here more specific areas are also expressed such as consequential, deontological and virtue ethics. For this particular study one task in Ethics in year six and another in year nine were chosen. The task from the year-six test included a short story with an ethical dilemma in which a girl is asked by some friends to tell her best friend that she smells of sweat and that she needs to do something about it. The pupils were asked to write about what they think that Keyla should do, why they think so, and what consequences it may have for the different parties. The discussion should include at least two of the following or similar concepts: responsibility, wrong, right, duty and fair. The task was constructed in order to test the knowledge requirement of the syllabus, which states (the separate wordings for the grade levels E, C and A are written in italics): Pupils can apply simple/developed/well-developed reasoning about everyday moral issues, and what it might mean to do good. Pupils make reflections that basically relate to the subject/carry the reasoning forward/ carry the reasoning forward and deepen or broaden it and use some ethical concepts in a basically/relatively well/well functional/functioning way (Swedish National Agency for Education, 2011, p. 185 f.). In the task from the year 9 test, pupils were supposed to discuss why forgiving can be important for the person that begs for forgiveness as well as for the person who forgives. This task draws on the following knowledge requirement: EDUCARE 2015:2 29 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG Pupils can reason and argue about moral issues and values by applying simple and to some extent/developed and relatively well/well-developed and well-informed reasoning, and use ethical concepts and models in a basically/relatively well/well functional/functioning way (Swedish National Agency for Education, 2011, p. 187 f.). These knowledge requirements were operationalized in assessment instructions, presented in the Table 2. Method reflection and data analyses Since the aim of the study is to identify challenges in assessing pupils’ knowledge in Ethics, it was considered important to design situations that were as close as possible to a real situation where a pupil-response is assessed and where a teacher may experience different kinds of challenges. Therefore the current think-aloud study was conducted. Even if think-aloud studies are sometimes said to explore thought processes (Charters, 2003), this seems to be an unrealistic expectation. However, it is reasonable to maintain that this kind of study reveals some of the reflections which occur to teachers while working with pupil-responses, the kind of reflections which they are aware of, which they want to share and are able to express verbally in their ongoing work (see, for example, Crisp, 2010). Since the processes are authentic in the sense that actual assessment is taking place, the method can be assumed to give better answers to the aim of the study – to identify challenges in assessing pupils’ knowledge in Ethics – than for instance interviews would have done. In interviews, the time between actual work and utterances about the work can be expected to limit the scope of the challenges that the teachers are able to express. Even though the samples of teacher- and pupil-responses in this study are limited, the variation in the material (different kinds of teachers, tasks and levels of pupil-responses) makes it reasonable to assume that the main kinds of challenges that teachers experience while assessing pupils’ knowledge in Ethics are captured in this study, especially in relation to the knowledge requirements of the Swedish curriculum and the national tests. The teachers participating in this study had had no experience of reassessing pupil-responses before they conducted the audio-recordings of the think-aloud study. 30 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Since this kind of study is new in this particular knowledge area, it has been important to maximize the scope of knowledge present in the material and to conduct inductive and open analyses. The focus of the hermeneutical close-readings of the material has been the aim concerning the different kinds of challenges that the teachers experience in assessing Ethics. All the challenges that were identified have been given labels. Different kinds of challenges have been carefully related to each other and a system of categories has emanated from the material. The space or scope of findings is characterized in three main and overarching categories of challenges that the teachers can experience while assessing pupils’ knowledge in Ethics. It is possible to understand the utterances of the assessing teachers as utterances made up of different layers. First it is possible to identify what the teachers are doing, how they for instance assess a task, what grade they give, and compare this act with the acts of the other teachers and the assessment instructions. The analysis can in that sense reveal difficulties in the assessing processes that seem to have given rise to the differences. Second one can also identify what the teachers explicitly talk about as difficulties when they are in the process of evaluating the tasks. Third, one can focus on the utterances of teachers that are of a meta-nature, i.e. when the teachers take a step backwards and talk about the process of evaluating the tasks more generally. The systematic analysis of this article, described above, refers to the second level of utterances, i.e. what the teachers explicitly talk about as challenges. However a few illustrative examples from the other levels of analyses are also shown. Findings Three kinds of challenges in assessing pupils’ knowledge in Ethics have emanated from the close-readings of the “think-aloud material”. The first group of challenges includes those challenges that are inherent in interpreting the wording of the assessment instructions. The second group of challenges is related to the fact that teachers can bring other ideas into their assessment work about what should be valued when it comes to Ethics and the kinds of tasks that the pupils have been given. The third group of challenges regards the fact that the teacher EDUCARE 2015:2 31 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG is a human being who has to navigate between his/her concern for the well-being of the dependent young pupils and his/her commission from the state to differentiate between the children. Challenges regarding the assessment instructions One conclusion that can be drawn from what the teachers say while assessing the pupils’ tasks in Ethics is that qualities of knowledge in Ethics, the qualities of the responses which the assessor on the basis of the instructions should look for, are not obvious, are not something that can be taken for granted. Quite a few of the difficulties that the teachers experience are related to fact that the qualities that the assessment instructions prescribe are not taken for granted by the assessing teachers. The teachers who assess tasks for year six are struggling with the meanings of “ethical concepts” and which concepts can be accepted as “other similar concepts”, with the meaning of “description of consequences” and how developed such a description must be in order to count, and also with the meaning of “change of perspective” and how developed such a change and its adherent descriptions have to be (Skolverket, 2013b, p. 10, i.e. Assessment Instructions for year 6). For the assessing year-nine teachers, the meanings of “problematize” and “consequences” get most attention (Skolverket, 2013a, p.12, i.e. Assessment Instructions for year 9). Furthermore, both teacher groups are concerned about how they should interpret the requirement for the pupils to “reason [resonera]” and how developed answers should be in this respect in order to count. The challenges that the assessing teachers experience with ethical concepts are related to how specific the concepts must be and whether highly colloquial words can be accepted. Is for instance being “sulky” an ethical concept, is it possible to consider being an “asshole” equal to being mean and is “not being a bitch” of ethical importance (6b)? The assessment instructions do not give any clear answers to these questions and the teachers do not have any previous knowledge on this matter to guide them. The findings may show something important about Ethics as a school knowledge field. In which other subject areas of compulsory school are the concepts of the field so uncertain? A description of consequence is, according to the assessment instructions year six, something that characterizes an answer that 32 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests deserves at least a grade C. One might therefore imagine that any utterance that describes a consequence should be interpreted as a C. This is not, however, a foregone conclusion since the assessment instructions exemplify an E-answer with an utterance that includes consequences (Skolverket, 2013b, p.10). At the same time descriptions of consequences are said to be something through which the pupil develops his/her way of reasoning [our italics], which can be understood as a remark about an expected quality. But what makes the required quality of the descriptions of consequences more complicated to grasp is that the assessment instructions for C-level first state “possible consequences” and later a “relevant description of consequence” [our italics]. The utterances of the assessing teachers show that they pay attention to different parts of the assessment instructions but sometimes they also express the contradictions in the instructions explicitly. Furthermore, the teachers’ way of treating the instructions and the tasks shows that the question occurs as to whether arguments have to be added to a written consequence in order for it to constitute an approved description of consequence. “There is a description of consequences, the consequence is mentioned, that is true, but there is no description of why they would stop being friends” (6a). How developed or “exhaustive” (9d) an answer must be in order to count constitutes a challenge also among the year-nine-teachers. Here the difficulty is complicated by an unclearness in the assessment instructions as to whether a grade C-response should include consequences concerning both forgiving and being forgiven. The first part of the instructions stresses that: the pupil should in a developed way reason regarding forgiveness with respect to both aspects… (Skolverket, 2013a, p. 12) but a later part states that: the reasoning concerning at least one of the aspects is relatively developed… (Skolverket, 2013a, p. 12). Different ways of interpreting what constitutes a reasonable description of consequences seem to explain to some degree why the same answer is given different grades by different teachers. EDUCARE 2015:2 33 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG The difficulties in interpreting what characterises a change of perspective or a developed way of reasoning are similar to the difficulties described in relation to descriptions of consequences, although one difference seems to be that it is easier to miss a change of perspective than to miss a description of consequence. An unclearness concerning change of perspective, not explicitly mentioned by the teachers but which can be seen in the material, is whether a change of perspective must mean that the pupils reason from the perspectives of different actors or whether it can also mean that the pupils reason about a particular act from different perspectives. Problematizing raises similar uncertainties concerning how developed the answers must be. However when it comes to problematizing, the think-aloud utterances of the teachers reveal more specific ideas about what “problematize” stands for. For instance, there is the opinion that problematizing includes examining a phenomenon from different angles. One should not only point out advantages of forgiving but should also emphasize the difficulties inherent in forgiving (9b). The teachers also appear to believe that it is advantageous to show what the opposite would mean, e.g. “if one does not forgive” (9c), or to specify certain conditions in relation to their perspective, for example, by showing that the good effects of forgiving are also related to the time aspect: “that one should be quick in forgiving” (9c). Besides the fact that the assessment stresses competences that are not taken for granted or easily understood by the teachers, the main difficulty related to being commissioned by the assessment instructions concerns the relation between part and whole in the responses. The assessment instructions focus on individual aspects to be assessed and thereby ignore the fact that answers in their entirety also communicate different qualities, according to the teachers. One teacher in his/her meta-discussion regrets that “you partly get caught up in counting” (6a) that all aspects are present. Other teachers express that they are sorry when a good answer gets a lower grade because it is lacking in one part although it is excellent in other parts (9b; 9c). “I cannot give more than – with these assessment instructions – an E since the answer doesn’t consider both aspects” (9b). 34 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Challenges related to having additional or alternative ideas of qualities of knowledge in Ethics Some of the assessing teachers have additional ideas or alternative ideas to those in the assessment instructions regarding competences in the knowledge field of ethics. Sometimes such ideas seem to have consequences for the outcome of the assessment – the grades given – but the ideas are also mentioned as merely frustrating to a greater or lesser degree. These ideas concern the content but also the form of the answers and the ideas can affect pupils’ grades in both a positive and a negative way. Content aspects of the pupil-responses that should be given credit, according to the teachers, are altruism, ethical insights, and certain precise and characterizing concepts. For instance one teacher states as a positive quality of a response that the responsibility that the pupil argues in favour of “not only [applies to you] as a friend but also as a fellow human being“ (6b). The answer thereby expresses the importance of altruism. In a similar way, another teacher stresses as negative the fact that the pupil seems to argue for the importance of forgiveness “from an egotistic angle” (9b). Occasionally assessing teachers also emphasize a quality of a response that might tentatively be called ethical insight. For instance, one teacher states that the answer is good and has depth since it expresses that “when one asks for forgiveness one forgives oneself at the same time” (9c). Another teacher emphasizes as a “nice answer” how the pupil writes about humbleness: “you swallow your pride and show yourself to be humble towards the human being who actually manages to forgive you” (9d). An answer that is evaluated as having been written in an “ethically very nice way” expresses that the main character in the task “perhaps has noticed it [herself]” and that there “may be a reason and an explanation” (6a). The fact that some teachers associate good quality in the field of Ethics with the use of distinct concepts may be related to the RE syllabus, which explicitly stresses the importance of using ethical concepts. For the pupils in year six it was also a part of the task for which they were being assessed while neither the task instructions for the year nine pupils required this nor the assessment instructions, with the exception of the concept of forgiveness. Despite the fact that the assessment instructions do not advocate giving credit for additional EDUCARE 2015:2 35 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG concepts, some of the teachers in year nine stress the use of concepts as a strength. The material does not reveal whether they consider the use of concepts to be an important factor in the knowledge field of Ethics in particular or whether they regard it as an important competence in every academic field. In any case, some of the teachers consider it to be particularly praiseworthy when the pupils characterize forgiveness as something “strong” or “mature” (9d; 9c) and link forgiveness to concepts such as “humbleness”, “remorse” and “liberation” (9d; 9c). The use of these concepts is also said to contribute to an answer being characterized as well-written (9b). Something that should be researched further is the fact that some of the year-nine teachers (9b, 9c, 9d) had difficulties with interpreting religious explanations of why forgiveness is important, such as “in order to avoid punishment from God”. The teachers assessed the answers in different ways. One rejected the answer and considered it not to be sufficiently developed (9d), but others expressed the religious dimension as almost unfavourable “Yes, even if it is mostly about God, that God should forgive, I think that the pupil shows that [he/she] understand what it is about”. (9c). When form aspects of answers were mentioned they were mainly considered to be unfavourable factors even if exceptions occurred where a form aspect also could work as a favourable factor: “A longer answer. It does not always necessarily mean that it is a good one, but…” (9d). Examples of unfavourable form aspects that the assessing teachers stressed are shortness (e.g. 6b), lack of structure (e.g. 9d), unclearness (e.g. 9b), presence of highly colloquial expressions, of which it is said that it is “hard for a teacher to see beyond” (6a), bad language and composition (e.g. 9a). In relation to many of these remarks concerning unfavourable form aspects of answers, the conclusion is expressed that it is hard to understand what is stated in an answer. But there are also exceptions, such as when the assessing teacher concludes that “there are thoughts which the person in question has difficulties writing down but you can read the spirit…” (9b). The outcome of an assessment sometimes seems to be related to the attitude of the assessor. 36 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Challenges related to being squeezed between the commissioner and a dependent pupil Reading the “spirit” or the underlying intention of a student whose written answer is hard to understand is one example of how the assessing teachers indirectly express that they certainly want the very best outcomes for the pupils. Even if this is a specific and researchrelated situation, the teachers express an everyday knowledge that the pupils are dependent on the assessments. Some utterances of the assessing teachers can be interpreted as expressions of ambivalence in relation to their task. The teachers are in a sense squeezed between the pupils and the commission by the state to differentiate between these young people. Empirically the ambivalence in relation to the commission is revealed through, on the one hand, expressions of feeling for the pupils and acts of loyalty to the pupils. On the other hand, there are expressions of how the assessing teacher hesitates to give high grades, which can be seen as an act of loyalty towards the commissioner. If every pupil gets a high grade, the test will not be discriminating. Examples of comments where the teachers apparently feel for the pupils are “sometimes the work of the pupil can be helped by a more developed reasoning concerning the context…”(6a [our italics]), “Therefore, sadly, it will be after all an E for this pupil” (9c), ”So even if there are a few linguistic misses and it is a bit difficult to interpret, I do think, probably, that it is... pretty developed anyway, rather developed through the work. And he mentions at least briefly one of the aspects that make it a weak C. But if I give him the benefit of the doubt I think... which is what one should do.” (9c). The last example almost communicates a kind of suffering even if the teacher here does not express it as explicitly as the next one “I feel terrible but I do not think it is enough…” (9d). The ambivalence in relation to the commission can be identified in the same person. The teacher who felt terrible when he/she could not accept the pupil’s response does, for instance, express doubts when it comes to giving high grades as well. “I would give an A here actually” [our italics]. “Now I am back with X to whom I will give an A. Finally”. (9d). In such a hesitation, the assessment instructions can EDUCARE 2015:2 37 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG be presented as a kind of alibi. “This pupil response I consider, on the basis of the assessment instructions, as grade A.” (9b). The challenges that we have identified in the utterances of the assessing teachers are of different kinds; some are related to the task and the assessment instructions, and others are related to the specific challenges of the knowledge area of Ethics. But there are also difficulties that are related to the very nature of being a teacher, of being a teacher in general. The focus on the specific commission to assess answers in ethics has surprisingly pointed towards the broader difficulty of being a teacher. The profession includes both relational and instrumental tasks, to both help pupils to obtain the necessary qualifications and to differentiate among them. Conclusions The knowledge field Ethics in the Swedish school context has an unclear character, partly due to the fact that the object for analysis and reflection is what is considered to be right and praiseworthy. This means that Ethics, on the one hand, is a school knowledge field like most others that aims at developing young pupils’ formal skills. But on the other hand, Ethics is to a larger degree than other subjects affected by the normative project of Swedish compulsory school. There are certain values that education shall impart and establish, values that the curriculum describes as “fundamental”. In this way these values also come to constitute the object for analysis and reflection in the subject since these values are what all pupils are supposed to embrace and consider “right and praiseworthy”. The Swedish curriculum seems on an overarching level to prescribe values education of both a “critical” and a “conservative” kind (see Jones, 2009). Against the background of this ambiguous position of the subject, it is not surprising that quite a few of the challenges that the teachers of our empirical study express are particularly related to interpretations and understandings of the knowledge field, even if there are also challenges of a more general kind. Such general challenges have been described in previous research. Teachers may experience, for instance, a tension between their compassion for the children as fellow beings and their task as assessing civil servants, something which often seems 38 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests to mean that teachers take into account more and wider aspects than the ones that the assessment instructions stress (see e.g. Allal, 2012; Grant & Matemba, 2013; Klapp Lekholm, 2010; Rinne, 2013;). One variety of this overarching challenge is the tension between a wish to conduct a more holistic assessment of the pupil-responses, and the instructions to evaluate on the basis of specific aspects, to make an analytic assessment (Sadler, 1985; 2009). According to previous research, this is a tendency that may vary among different kinds of teachers (Wyatt-Smith & Klenowski, 2012). Something that has not been described in previous research before, and therefore an important contribution to the research field, are the special challenges that are related to assessing pupils’ responses in the knowledge field of Ethics. Some of these can be interpreted with regard to the ambiguous position concerning descriptivity and normativity within Ethics. The ambiguity is not easy to resolve since it is certainly difficult, or perhaps even impossible, to make a distinction between reasoning concerning an object, what constitutes a good action for instance, and the character that this object is given. When, for instance, Lawrence Kohlberg, with reference to a Kantian tradition, stresses the importance of the individual setting its own ethical principles to live by, the perspective is still normative due to the fact that these principles are supposed to be universal, altruistic, maintain the general social order and protect human rights. These are the perspectives that are considered to be most developed in this tradition (e.g. Bergling, 1982). The teachers in this empirical study who seem to have other ideas of creditable knowledge in the field of Ethics than those in the assessment instructions, the ones who stress altruistic values in the responses of the pupils and want to discourage egocentricity, can be understood as belonging to this tradition. They resist separating reasoning concerning an object from the character that the object is given. With regard to the challenges in assessment that seem to be related to teachers having ideas of what constitutes knowledge of the field that differ from what is written in the instructions, another such idea is what here has tentatively been called ethical insight. Such a competence can, on the basis of the findings, be described as an ability to produce nuanced interpretations of a situation, i.e. the different wishes and demands that are in question in a situation, but also an ability to express this in a EDUCARE 2015:2 39 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG way where the complexity and nuances of the situation are retained in the utterance. Such an ability can be related to Løgstrup’s ethics of closeness or situated ethics. Here the central ability of the ethical subject is to grasp the silent ethical demand that is directed towards me from the need of the other. But the central ability also includes one’s own response, taking responsibility for the demand, the situation and consequently for one’s neighbour (Løgstrup, 1994). Løgstrup’s perspective here points towards an action-related understanding of ethical competence with potential to widen the current discussion of Ethics as a knowledge field further (see e.g. Almers, 2009). The challenges that the teachers appear to experience most frequently when assessing the responses of the pupils are unclearness concerning the assessment instructions and the ethical qualities that the assessment instructions commission the teachers to search for. Here descriptions of consequences and changes in perspectives are highlighted. Since the knowledge field is not very clearly staked out and familiar in a Swedish school context, the teachers are not acquainted with the qualities described in the instructions. They have not been taught these competences when they were pupils themselves; they have not been explicitly educated about them in teacher education. It would be interesting to compare this with the situation concerning, for example, the knowledge field of mathematics for instance. Vagueness in the school subject of Ethics is, not, however, a specifically Swedish phenomenon. The fuzzy character of the field has been a theme for research debate in itself. In moral education the object of the field, ‘morality’, is said to be unclear. It can be disputed what it means to be “good at” morality and thereby what a desirable progression in this area means (Wilson, 2000). National tests and assessment criteria are often said to influence school practice since they define concretely what creditable knowledge and perspectives in an area are. This influence can be considered larger in a knowledge field with a fuzzy character. When the RE syllabus’s rather general requirements concerning abilities to reason in a simple, developed or well-developed way, are interpreted into pupil-tasks and assessment instructions whose definitions are repeatedly used by teachers, a process of constituting the knowledge field of Ethics in school is clearly going on. In a situation where the knowledge field is 40 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests as vague as it is in Ethics, there is evidently a need for basic research concerning different conceptions of ethical competence. Such a variety of conceptions could be used for a critical discussion of competence in this field. It seems important to visualize perspectives from other countries and to show different perspectives within established ethical theory. But it also seems important to find ways to emphasize valuable qualities in pupils’ existing perspectives and to highlight teachers’ ideas regarding creditable knowledge in this field, as we have done in this study by focusing on challenges for teachers in assessing pupils’ knowledge in Ethics. EDUCARE 2015:2 41 42 EDUCARE 2015:2 Pupils can apply simple reasoning about everyday moral issues, and what it might mean to do good. Pupils make reflections which basically relate to the subject and use some ethical concepts in a basically functional way. Pupils can reason and argue about moral issues and values by applying well developed and well informed reasoning, and use ethical concepts and models in a well functioning way. Pupils can reason and argue about moral issues and values by applying developed and relatively well informed reasoning, and use ethical concepts and models in a relatively well functioning way. Pupils can reason and argue about moral issues and values by applying simple and to some extent informed reasoning, and use ethical concepts and models in a basically functioning way. Pupils can apply well developed reasoning about everyday moral issues, and what it might mean to do good. Pupils make reflections which carry the reasoning forward and deepen or broaden it and use some ethical concepts in a well functioning way. (Table 2 continues on next page) Grade level A Grade level C Grade level E Grade level A Pupils can apply developed reasoning about everyday moral issues, and what it might mean to do good. Pupils make reflections which carry the reasoning forward and use some ethical concepts in a relatively well functioning way. Knowledge requirements (ethics) year 9 Knowledge requirements (ethics) year 6 Grade level C Daily moral dilemmas. Analysis and argumentation based on ethical models, such as consequential and deontological ethics. Views of the good life and the good person are linked to different kinds of ethical reasoning, such as virtue ethics. Ethical questions and the view of people in some religions and other outlooks on life. Ethical concepts which can be linked to questions concerning sustainable development, human rights and democratic values, such as freedom and responsibility. Some ethical concepts such as right and wrong, equality and solidarity. Daily moral question concerning the identities, roles of girls and boys, and gender equality, sexuality, sexual orientation, and exclusion and violation of rights. Questions about what a good life can be, and what it may mean to do good. Grade level E Core content (ethics) year 9 Core content (ethics) year 6 Table 2. Core content and knowledge requirements of the Swedish curriculum in relation to parts of assessment instructions in the two National Tests in RE 2013. EDUCARE 2015:2 43 The pupil discusses the situation by describing how K could act. The pupil uses at least two concepts in a basically functioning way by showing an acceptable understanding of their meaning. The pupil uses at least two concepts in a basically functioning way by showing an acceptable understanding of their meaning. The pupil discusses the situation by observing possible consequences of K’s actions. The discussion must contain a relevant description of consequences or one or more changes of perspectives. The pupil uses at least two concepts in a relatively well functioning way by partly showing that the concepts are relevant in the situation. The pupil discusses the situation by observing both possible consequences of K’s actions and how the situation can be perceived by different people. The discussion must contain a relevant description of consequences and one or more changes of perspectives. The pupil uses at least two concepts in a relatively well functioning way by consistently showing that the concepts are relevant in the situation. Instructions for assessment, item 3 (ethics), year 6 (Table 2 cont.) The pupil holds a simple discussion of the concept of forgiveness in regard to at least one of the two aspects mentioned in the task: the active, ”to forgive”, and the passive, ”to be forgiven”, for example by clarifying the meaning of this aspect. The pupil holds a developed discus- sion of the concept of forgiveness in regard to both as- pects mentioned in the task: the active, ”to forgive”, and the passive, ”to be forgiven”. The dis- cussion about one of the aspects is relati- vely elaborate con- cerning how the meaning of forgive- ness might be perceived. E.g., it may contain a developed comment about passive, ”to be forgiven”. The dis- cussion about one of the aspects is relati- vely elaborate con- cerning how the meaning of forgive- ness might be perceived. E.g., it may contain a developed comment about what the meaning of this aspect might be, or about what consequences an application of it may have concretely. The discussion about one of the as- pects may be more brief and expressed in a few words or consist of a naming of an example. Instructions for assessment, item 12 (ethics), year 9 The pupil holds a developed discussion of the concept of forgiveness in regard to both aspects mentioned in the task: the active, ”to forgive”, and the passive, ”to be forgiven”. The discussion about both aspects is elaborate and points at how both aspects in a more exhaustive sense can be problematized and be related to one another concerning meaning and consequences. CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG References Algotsson, Karl-Göran (1975). Från katekestvång till religionsfrihet: debatten om religionsundervisningen i skolan under 1900-talet. Diss. Uppsala. Uppsala Universitet. Allal, Linda (2013). Teachers’ professional judgement in assessment: A cognitive act and socially situated practice. Assessment in Education: Principles, Policy & Practice, 20(1), 20-34. Almers, Ellen (2009). Handlingskompetens för hållbar utveckling: tre berättelser om vägen dit. Jönköping: Högskolan för lärande och kommunikation. Bergling, Kurt (1982). Moralutveckling: bedömning av rätt och orätt från barndom till vuxen ålder. Stockholm: LiberFörlag. Blaylock, Lat (2000). Issues in Achievement and Assessment in Religious Education in England: Which Way Should We Turn?, British Journal of Religious Education, 23(1), 45-58, DOI: 10.1080/0141620000230106 Brown, Margaret, McCallum, Bet, Taggart, Brenda & Gipps Caroline. (1997). The Validity of National Testing at Age 11: The teacher’s view, Assessment in Education: Principles, Policy & Practice, 4:2, 271-294, DOI: 10.1080/0969594970040205 Charters, Elizabeth (2003). The Use of Think-aloud Methods in Qualitative Research. An introduction to Think-aloud Methods. Brock Education, 12(2), 68-82. Connolly, Stephen, Klenowski, Val, Wyatt-Smith, Claire (2012). Moderation and consistency of teacher judgement: Teachers’ views. British Educational Research Journal, 38(4), 593-614. Crisp, Victoria (2010). Judging the grade: Exploring the judgement processes involved in examination grading decisions. Evaluation & Research in Education, 23(1), 19-35. Franck, Olof (2013a). Etisk litteracitet - om filosofiska förutsättningar för att utveckla ämnesdidaktiska perspektiv med hänsyn till kursplanen i religionskunskap (Lgr11). In Anders Marner & Hans Örtegren, (Red), KLÄM. Konferenstexter om Lärande, Ämnesdidaktik och Mediebruk (s. 178-197). Umeå: Umeå universitet. 44 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Franck, Olof (2013b). Kunskapskrav och bedömning. In Olof Franck, Magnus Hermansson Adler & Inger Björneloo, Samhällsämnenas didaktik F-åk 3 (s. 127-136). Lund: Studentlitteratur. Gipps, Caroline, McCallum, Bet, Brown, Margaret (1996). Models of teacher assessment among primary school teachers in England. The Curriculum Journal, 7(2), 167-183. DOI: 10.1080/0958517960070204 Grant, Lynne, Matemba, Yonah H (2013). Problems of assessment in religious and moral education: The Scottish case. Journal of Beliefs & Values: Studies in religion & Education, 34(1), 1-13. Jones, Tiffany Mary (2009). Framing the framework: discourses in Australia’s national values education policy. Educational Research For Policy & Practice, 8(1), 35-57. Klapp Lekholm, Alli (2010). Lärares betygsättningspraktik. Forskning om undervisning och lärande, 3/2010, 20-29. Lindskog, Annika (2013). Nationellt bedömningsstöd i religionskunskap. I Falkevall, Björn. Att undervisa i religionskunskap - en ämnesdidaktisk introduktion. (s. 162- 169). Stockholm: Liber. Lundgrén-Laine, Heljä, Salanterä, Sanna (2010). Think-Aloud Technique and Protocol Analysis in Clinical Decision-Making Research. Qualitative Health Research, 20(4), 565-575. Løgstrup, Knud Ejler (1994). Det etiska kravet. Göteborg: Daidalos. Osbeck, Christina (2004). Värdegrund i skolan. Uppdrag, elevperspektiv och didaktiska reflektioner. I Gunnel Colnerud & Solveig Hägglund (Red.), Etiska lärare – moraliska barn. Forskning kring värdefrågor i skolans praktik (s. 9-27). Linköping: Linköpings universitet, Institutionen för beteendevetenskap. Osbeck, Christina (2013). Social Studies – A part of a Context Constructing Central RE Knowledge in Sweden. In Geir Skeie, Judith Everington, Ina ter Avest, Siebrem Miedema. Exploring Context in Religious Education research, (s. 147-169). Münster: Waxmann. Olivestam, Carl-Eber (2012). Religionsdidaktik – om perspektiv, teori och praktik i religionsundervisning. Stockholm: Remus. EDUCARE 2015:2 45 CHRISTINA OSBECK, OLOF FRANCK, ANNIKA LILJA AND ANNIKA LINDSKOG Radnor, Hilary A, Poulson, Louise, Turner-Bisset, Rosie.(1995). Assessment and teacher professionalism. The Curriculum Journal, 6(3), 325-342. Rinne, Ilona. (2013). Att bedöma och bemöta. Nordic Studies in Education, 33(3), 171-186. Sadler, Royce D (1985). The origins and functions of evaluative criteria. Educational Theory, 35(3), 285-297. Sadler, Royce D (1987) Specifying and Promulgating Achievement Standards, Oxford Review of Education, 13:2, 191-209, DOI: 10.1080/0305498870130207 Sadler, Royce D (2009) Indeterminacy in the use of preset criteria for assessment and grading, Assessment & Evaluation in Higher Education, 34(2), 159-179, DOI:10.1080/02602930801956059 Selander, Sven-Åke (1993). Undervisa i religionskunskap. Lund: Studentlitteratur. Skolverket (2013a). Ämnesprov läsår 2012/2013, Bedömningsanvisningar, Religionskunskap, Årskurs 9. Stockholm: Skolverket. [WWW dokument]. URL http://www.sobedömning.se/ npsoportal/laddaner.html (2014-12-18). Skolverket (2013b). Ämnesprov läsår 2012/2013, Bedömningsanvisningar, Religionskunskap, Årskurs 6. Stockholm: Skolverket. [WWW dokument]. URL http://www.sobedömning.se/ npsoportal/laddaner.html (2014-12-18). Skolverket (2013c). Ämnesprov läsår 2012/2013, Delprov A, Årskurs 6. Stockholm: Skolverket. [WWW dokument]. URL http://www. sobedömning.se/npsoportal/laddaner.html (2014-12-18). Skolverket (2013d). Ämnesprov läsår 2012/2013, Delprov A, Årskurs 9. Stockholm: Skolverket. [WWW dokument]. URL http://www. sobedömning.se/npsoportal/laddaner.html (2014-12-18). Smaill, Esther (2013). Moderating New Zealand’s National Standards: teacher learning and assessment outcomes, Assessment in Education: Principles, Policy & Practice, 20(3), 250-265, DOI: 10.1080/0969594X.2012.696241 46 EDUCARE 2015:2 Challenges of Assessment in Ethics – Teachers’ reflections when assessing National Tests Swedish National Agency for Education (2011). Curriculum for the compulsory school, preschool class and the leisure-time centre. Stockholm: Swedish National Agency for Education. Taylor, Monica (1994). Overview of values education in 26 European countries. In Monica Taylor (Ed.), Values education in Europe: A comparative overview of a survey of 26 countries in 1993 (pp. 1–66). Dundee: Scottish Consultative Council on the Curriculum. Thornberg, Robert (2004). Grupprocesser och social påverkan: socialpsykologi med fokus på skolan. Linköpings universitet, Institutionen för beteendevetenskap, Vol. 237. Tillson, John (2011). In Favour of Ethics Education, Against Religious Education. Journal of Philosophy of Education, 45(4), 675-688. Van der Schaaf, Marieke, Baartman, Liesbeth, Prins, Frans (2012). Exploring the role of assessment criteria during teachers’ collaborative judgement processes of students’ portfolios. Assessment & Evaluation in Higher Education, 37(7), 847-860. Wilson, John (2000). Methodology and Moral Education. Oxford Review of Education, 26(2), 255-62. Wyatt-Smith, Claire, Klenowski, Val (2013). Explicit, latent and metacriteria: types of criteria at play in professional judgement practice. Assessment in Education: Principles, Policy & Practice, 20(1), 35-52. EDUCARE 2015:2 47 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Frank Bach, Birgitta Frändberg, Mats Hagman, Eva West och Ann Zetterqvist In the spring of 2013 national tests in biology, physics and chemistry in grade 6 were implemented for the first time in Sweden. Data collected in connection to the tests are used to analyse student performance at different levels. This paper reports on differences in performance in biology, physics and chemistry between teaching groups, as well as differences in results related to gender and Swedish / Swedish as a second language. Comparisons are also made with results from TIMSS 2011, which tested the same group of students. Analyses were carried out with the aim to discuss equity in science education in Swedish schools. Overall, the results indicate that differences in student performance related to teaching group have increased since 2011 and that differences depending on the linguistic background are considerable. Additionally, girls perform better than boys in all science subjects. All these differences are large enough to be paid attention to on political levels and by principals and teachers. Both overall structural changes and changes in teaching and learning activities in schools are needed to increase equity in science education. Nyckelord: Equity, science education, national tests, gender, linguistic background Frank Bach, fil. Dr., Göteborgs universitet [email protected] Birgitta Frändberg, fil. Lic., Göteborgs universitet [email protected] Mats Hagman, fil. Dr, Göteborgs universitet [email protected] 48 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Eva West, fil. Dr, Göteborgs universitet [email protected] Ann Zetterqvist, fil. Dr, Göteborgs universitet [email protected] Inledning Likvärdig utbildning anses vara en viktig komponent i demokratiska samhällen (Biesta, 2011; Field, Kuczera, & Pont, 2007; Regeringen, 2014). Det är därför oroande att en rad studier under senare år pekar på minskande likvärdighet i svensk skola (Bunar, 2010; Jacobsson, 2013; Osth, Andersson, & Malmberg, 2013)2013; Osth, Andersson, & Malmberg, 2013. Just när det gäller likvärdighet i den svenska skolan finns det två absoluta krav uttryckta i skollagen (2010:800) och läroplanen (Lgr11): att alla ska ha lika tillgång till utbildning och att utbildningen ska vara av likvärdig kvalitet. Därtill finns ett kompensatoriskt uppdrag i det att utbildningen ska ta hänsyn till barns och elevers olika behov, med en strävan ”att uppväga skillnader i barnens och elevernas förutsättningar att tillgodogöra sig utbildningen” (1 kap. 4§ skollagen). Eftersom det kompensatoriska uppdraget uttrycks som en strävan, finns det inte något absolut krav på utbildningsansvariga i hur långt man måste nå i detta avseende. Det finns olika uppfattningar om hur väl det kompensatoriska uppdraget genomförs, ofta kopplade till politiska diskussioner. Det finns därför all anledning att undersöka hur det är beskaffat med likvärdigheten i den svenska skolan. Skillnader i elevers prestationer har undersökts på olika sätt: mellan elever, mellan klasser, mellan skolor och i förhållande till kön, språklig bakgrund och socioekonomisk status (Skolverket, 2012a). Resultaten har tolkats som att likvärdigheten har minskat när det gäller hög- och lågpresterande elever, mellan skolor och mellan undervisningsgrupper i Sverige. Resultaten av dessa undersökningar är oroande. Då flertalet av dem gäller slutet av grundskolan och det kompensatoriska uppdraget gäller hela grundskolan är det viktigt att belysa hur det ser ut tidigare i skolsystemet. EDUCARE 2015:2 49 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Våren 2013 genomfördes för första gången i Sverige nationella prov i biologi, fysik och kemi i årskurs 6. I samband med dessa har data samlats in i sådan omfattning att det ger möjlighet att analysera elevresultat på olika nivåer. I den här artikeln redovisas skillnader i resultat på nationella prov i biologi, fysik och kemi mellan undervisningsgrupper. Därutöver redovisas skillnader i resultat med avseende på kön och svenska/svenska som andraspråk. Jämförelser görs också med resultat från TIMSS 2011 årskurs 4, eftersom det är samma årskull som har testats i de båda undersökningarna. Analyserna görs med ambitionen att diskutera likvärdighet i undervisning av de naturorienterande ämnena för de aktuella åldrarna i den svenska skolan. Bakgrund Nationella prov i årskurs 6 i naturorienterande ämnen Det främsta syftet med de nationella proven är att stödja en likvärdig och rättvis bedömning av elevers kunskaper i olika ämnen1. Dessutom ska de fungera som underlag för en analys av i hur stor utsträckning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå. De nationella proven är konstruerade utifrån kursplanerna. Kursplanerna i de naturorienterande ämnena biologi, fysik och kemi är strukturellt mycket lika varandra. De definierar tre förmågor som undervisningen skall hjälpa eleverna att utveckla: • använda kunskaper i biologi/fysik/kemi för att granska information, kommunicera och ta ställning, • genomföra systematiska undersökningar, samt • använda naturvetenskapliga begrepp, modeller och teorier för att beskriva och förklara naturvetenskapliga samband. De nationella proven i biologi, fysik och kemi är uppdelade i tre delprov vardera (A, B, C) som i huvudsak prövar var och en av de tre förmågorna. I 2013 års prov bestod delprov A i alla tre NO-ämnena av tre omfattande uppgifter som handlade om att granska information, 1 http://www.skolverket.se/bedomning/nationella-prov-bedomningsstod 50 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper kommunicera och ta ställning, delprov B bestod av 6-7 något mindre omfattande uppgifter som handlade om systematiska undersökningar och delprov C av 17-18 uppgifter där eleverna skulle avge svar på frågor där naturvetenskaplig begreppsanvändning efterfrågas i beskrivningar, förklaringar och kortare resonemang. Varje skola genomför nationellt prov i endast ett av NO-ämnena. Av de drygt 90 000 elever som gick i årskurs 6 våren 2013 har ca 30 000 gjort nationellt prov i varje NO-ämne (se Tabell 1). Skillnader i prestationer Sverige har under lång tid uppvisat liten variation mellan elevers resultat i olika skolor jämfört med andra länder. Det tyder på att kraven på likvärdighet som ställs i skollag och läroplan i relativt hög utsträckning har varit uppfyllda. Likvärdigheten har dock under de senaste decennierna förändrats till att ligga på samma nivå som andra OECD-länder. Skillnaderna har ökat mellan hög- och lågpresterande elever samtidigt som resultaten försämrats i förhållande till andra länder (Davidsson, Karlsson, & Oskarsson, 2013; Martin, Mullis, & Foy, 2008; Skolverket, 2008, 2010, 2013). En svensk kunskapsöversikt (Gustafsson et al., 2009) visar också att skolprestationerna för de mest lågpresterande eleverna har sjunkit mer än övriga elevers prestationer i den svenska skolan. Skolverket har analyserat variationen i betyg mellan olika skolor och mellan klasser inom skolor fram till 2011 (Skolverket, 2012a). Det framkommer att mellanskolvariationen har ökat från 8,8 % 1998 till 18,2 % år 2011, uttryckt som andel av den totala variationen i elevers meritvärde vid utgången av årskurs 9. Det innebär att nästan en femtedel av variationen numera kan hänföras till skillnader mellan olika skolor. En del av ökningen kan förklaras av att variationen mellan klasser inom samma skola har ökat, från fem procent 2006 till tio procent 2010. Flickor – pojkar I internationella studier som TIMSS och PISA, presterar pojkar ofta bättre än flickor i fysik och kemi medan könsskillnaderna är obefintliga eller till flickornas fördel i biologi. I senare mätningar ser man internationellt en tendens till utjämning för alla de tre naturvetenskapliga EDUCARE 2015:2 51 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST ämnena (Beller & Gafni, 1996; Lee & Burkam, 1996; Martin et al., 2000, 2008; Martin, Mullis, Gonzales, & Chrostowski, 2004; Mullis, Martin, Fierros, Goldberg, & Stemler, 2000; Skolverket, 2012b). Svenska elevers resultat sjunker i internationella undersökningar och pojkars prestation har försämrats mer än flickornas (Skolverket, 2013). I TIMSS 2011 presterar de svenska pojkarna och flickorna på samma nivå i naturvetenskap förutom i årskurs 4 där de svenska pojkarna presterar bättre i fysik/kemi (Martin, Mullis, Foy, & Stanco, 2012; Skolverket, 2012b). I PISA 2012 är de svenska flickornas resultat i naturvetenskap bättre än pojkarnas, och detsamma gäller resultaten från de nationella proven i årskurs 9 (Skolverket, 2014). En svensk studie av TIMSS-resultat har visat att uppgiftsformatet har betydelse för både flickors och pojkars prestationer. Flickor presterar relativt sett bättre på uppgifter där de ska skriva ett svar. Pojkar presterar däremot bättre på uppgifter där det finns färdiga svarsalternativ. (Eriksson, 2005) Olika språklig bakgrund Elevers bakgrund har i allmänhet visat sig ha stor betydelse för deras skolprestationer. Det kan till exempel handla om socioekonomisk eller språklig bakgrund. Elever födda i Sverige med minst en svenskfödd förälder presterar i genomsnitt bättre i naturvetenskap i årskurs 4 i TIMSS 2011 än både utlandsfödda elever och elever med två utlandsfödda föräldrar. Mellan elever i de sistnämnda två grupperna finns inga signifikanta skillnader (Martin et al., 2012; Skolverket, 2012b). Inom grupperna finns en stor variation och detta gäller enligt rapporten speciellt för utlandsfödda elever. I denna grupp finns det till exempel många utlandsfödda elever som presterar på en högre nivå än många elever som är födda i Sverige med minst en svenskfödd förälder. En förklaring till skillnader i resultat mellan elevgrupperna är elevernas olika socioekonomiska bakgrund, d.v.s. olika faktorer som kan kopplas till föräldrarnas yrke, inkomst och utbildningsnivå. De skillnader som finns är större i naturvetenskap än i matematik i motsvarande årskurs. Enligt TIMSS 2011 skulle detta till viss del kunna förklaras av att uppgifterna i naturvetenskap kräver en högre grad av läsförståelse än vad matematikuppgifterna kräver. 52 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Syfte I samband med att det för första gången har genomförts nationella prov i naturorienterande ämnen i årskurs 6 ges en möjlighet att studera aspekter av likvärdighet i ett omfattande material med resultat från svenska elever i lägre åldrar. Syftet är att belysa några aspekter av likvärdighet i svensk skola genom att undersöka skillnader i resultat på nationella prov i naturorienterande ämnen i årskurs 6 mellan undervisningsgrupper2, flickor och pojkar samt mellan elever med svenska och svenska som andraspråk. I detta ingår också att undersöka olika gruppers prestationer i olika delar av provet. Ytterligare ett syfte är att jämföra skillnader i resultat mellan undervisningsgrupper i de nationella proven med motsvarande skillnader i resultat från samma årskull i TIMSS 2011. Metod Data utgörs av nationella provresultat i biologi, fysik och kemi för årskurs 6 från 29931 elever, nedan kallat Urval 2013, vilket utgör en tredjedel av alla elever som gjorde proven. Informationen som använts i analyserna har genererats genom att lärare frivilligt har använt en webbplats för att beräkna provbetyg för elever i sina undervisningsgrupper genom att lägga in resultaten för eleverna. I materialet finns information om elevernas resultat på varje uppgift och om kön, undervisningsgrupp samt Svenska (Sv) och Svenska som andraspråk (SvA). Däremot finns det inte någon information om skola eller socioekonomisk bakgrund hos eleverna. Dessa begränsningar innebär till exempel att det inte är möjligt att beräkna mellanskolvariation eller att kompensera för socioekonomisk bakgrund. Däremot är det möjligt att beräkna den variation som kan hänföras till undervisningsgrupper, vilket i de flesta fall handlar om hela skolklasser. Då informationen inte genererades genom ett slumpmässigt urval så undersöktes i vilken utsträckning data är representativa för hela 2 I många av referenserna används ordet klasser. I resultat från denna undersökning används istället ordet undervisningsgrupper eftersom det inte varit möjligt att få information om hur skolorna organiserar undervisningen i NO-ämnena. EDUCARE 2015:2 53 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST populationen som genomförde de nationella proven i biologi, fysik och kemi. Detta gjordes genom att jämföra med Skolverkets totalinsamling av provbetyg och fördelning mellan flickor och pojkar samt andelen elever med SvA. Skolverket redovisar ofta resultat genom att ange andelar av elever som erhåller ett visst provbetyg, vilket utgörs av ett sammanvägt omdöme (F-A) av en elevs prestation på ett nationellt prov. De använder också provbetygspoäng för att översätta bokstavsbeteckningarna till tal. Det sker genom följande omvandlingsnyckel: F=0, E=10, D=12,5, C=15, B=17,5 och A=20 poäng. Resultat från de nationella proven i de naturorienterande ämnena beräknas som det procentuella medelvärdet av resultaten från de tre delproven. Exempelvis erhåller en elev som når 45 % av de möjliga beläggen (poängen) på delprov A, 50 % på delprov B och 49 % på delprov C resultatet 48 % på hela provet. Representativitet hos undersökningsgruppen Urval 2013 är som tidigare nämnts inte slumpmässigt. För att få reda på hur representativt urvalet är gjordes jämförelser med Skolverkets uppgifter för samtliga elever som genomförde provet, nedan kallat Totaldata 2013. Antal elever i Urval 2013 och Totaldata 2013 visas i Tabell 1. Tabell 1. Antal elever i de olika grupperna. Grupp Urval 2013 Totaldata 2013 Biologi Fysik Kemi Totalt 9415 10849 9667 29931 31040 31713 29720 92474 En jämförelse av provbetyg och provbetygspoäng mellan Urval 2013 och Skolverkets totaldata visar att representativiteten, i termer av provbetyg, är god (se Figur 1 och Tabell 2). Tabell 2. Genomsnittlig provbetygspoäng i Urval 2013 och Totaldata 2013. Biologi Fysik Kemi Urval 2013 13,86 13,44 14,29 Totaldata 2013 13,82 13,41 14,12 54 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Provbetygspoängen är något högre i Urval 2013 än i Totaldata 2013, men skillnaderna är små. Biologi 100% 90% 80% 3% 20% 3% 19% Fysik 2% Kemi 2% 17% 17% 41% 40% 70% 60% 50% 41% 42% 40% 30% 20% 10% 0% 18% 14% 4% 18% 15% 4% 18% 18% 16% 17% 6% 5% 4% 22% 43% 16% 12% 3% 4% 20% 42% 17% 13% A B C D E F 3% Urval 2013 Totaldata Urval 2013 Totaldata Urval 2013 Totaldata 2013 2013 2013 Figur 1. Fördelning av provbetyg i biologi, fysik och kemi, i Urval 2013 och Totaldata 2013 Figur 1 visar små skillnader mellan Urval 2013 och Totaldata 2013. Fördelningen av de olika provbetygen är förhållandevis lika vilket visar att de två datamängderna är lika varandra när det gäller variation utöver de tidigare visade medelvärdena. Fördelningen mellan flickor och pojkar i materialet från webbplatsen stämmer också bra överens med totaldata från Skolverket (Tabell 3). Tabell 3. Andel flickor och pojkar. Flickor (%) Pojkar (%) Urval 2013 48,88 51,12 Totaldata 2013 48,78 51,21 Även andra jämförelser visar att data är representativa. Exempelvis har lärarna ombetts ange om eleverna läser Svenska eller Svenska som EDUCARE 2015:2 55 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST andraspråk (SvA), vilket kan jämföras med Skolverkets statistik över terminsbetyg för vårterminen 2014. Andelen elever med SvA i Urval 2013 är 8,2 % vilket är i samma storleksordning som Skolverkets data, 9,0 %. Slutsatsen blir att Urval 2013 är tillräckligt representativt för att göra jämförelser mellan olika grupper på nationell nivå. Analyser Tillgängliga data gör det möjligt att belysa likvärdigheten i svensk skola genom att jämföra resultaten för pojkar och flickor, elever med Sv respektive SvA samt att analysera variationen mellan undervisningsgrupper. Då proven har olika antal poäng och olika resultatfördelningar har skalorna likställts. För att jämföra två grupper sker likställandet mellan olika prov genom normering mot standardavvikelsen. För att jämföra många grupper beräknas den andel av totala variationen som går att hänföra till variationen mellan undervisningsgrupper. Eftersom prov och delprov har olika fördelningar och därför inte går att jämföra direkt har standardiserade värden använts. I huvudsak har tre statistiska storheter använts, medelvärde (m) och två standardiserade mått på vilken effekt som kan relateras till skillnader mellan grupper, här kallade effektstorlek (d) och effektstyrka (η2). Effektstorlek har använts för att visa skillnad mellan två grupper. Storheten utgår från skillnader i medelvärden mellan två grupper och tar hänsyn till spridningen – standardavvikelserna – inom grupperna. Standardavvikelsen (kan sägas vara medelavvikelsen från medelvärdet) och beräknas enligt nedanstående formel där x står för aktuellt värde, m för medelvärdet och N för antalet observationer: 𝑠𝑠 = ! 𝑥𝑥 − 𝑚𝑚 𝑁𝑁 − 1 Effektstorleken beräknas som skillnaden i medelvärden mellan grupperna dividerat med kvadratroten ur medelskillnaden på kvadraterna av standardavvikelserna för grupperna: 56 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper 𝑑𝑑 = 𝑚𝑚! − 𝑚𝑚! 𝑠𝑠!! + 𝑠𝑠!! 2 Effektstorleken utgör den standardiserade skillnaden i förhållande till standardavvikelserna. Det är således möjligt att jämföra skillnader mellan två grupper som har genomfört tester med olika medelvärden och standardavvikelser. För att jämföra många grupper med varandra har istället effektstyrka använts: 𝑆𝑆𝑆𝑆!"##$% 𝜂𝜂 = = 𝑆𝑆𝑆𝑆!"#$% ! 𝑛𝑛! (𝑚𝑚.! − 𝑚𝑚.. )! (𝑥𝑥!" − 𝑚𝑚.. )! där nj står för antalet observationer (elever) i grupp j, m.j står för medelvärdet av observationerna i grupp j och m.. står för medelvärdet av alla observationer. Resultat Först redovisas skillnader mellan undervisningsgrupper. Därefter redovisas skillnader mellan flickor och pojkar och sist skillnader mellan de elever som har Sv och SvA på schemat. De skillnader som redovisas är statistiskt signifikanta (p≤0,01). Urval 2013 utgör ungefär en tredjedel av populationen vilket gör att också mycket små skillnader blir signifikanta, varför storleken på skillnaderna ofta är mer intressanta än att de är statistiskt signifikanta. Avslutningsvis redovisas skillnader i resultat mellan undervisningsgrupper i de nationella proven med motsvarande skillnader i resultat från samma årskull i TIMSS 2011. Variation som hänger samman med undervisningsgrupp I Urval 2013 kan man urskilja vilken undervisningsgrupp eleverna tillhörde men däremot inte skola. Den totala mellangruppsvariationen kan således beräknas, men inte mellanskolsvariationen eller variation mellan undervisningsgrupper inom skolor separat. Variationen hos provbetygspoängen vid nationella prov i de naturorienterande ämnena för årskurs 6 beskrivs i Tabell 4. EDUCARE 2015:2 57 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Tabell 4. Total mellangruppsvariation, uttryckt som den andel av den totala variationen i elevers provbetygspoäng som kan hänföras till vilken undervisningsgrupp de tillhör. Mellangruppsvariation (b2) (%) N Biologi 30,6 9415 Fysik 25,4 10849 Kemi 27,7 9667 Den variation som kan föras till vilken undervisningsgrupp som eleverna tillhör uppgår alltså till 25 % eller mer i samtliga tre NO-ämnen för de nationella proven 2013. Motsvarande mellangruppsvariation två år tidigare för samma population i TIMSS 2011 är 23,5% för biologi, 21,1% för fysik/kemi och 22,6% för naturvetenskap inklusive geovetenskap. Mellangruppsvariationen har således ökat sedan eleverna gick i fyran. Ett annat sätt att få en bild av gruppskillnaderna i de nationella proven är att jämföra resultaten i hög- och lågpresterande undervisningsgrupper. I Tabell 5 redovisas resultat för de 10 % lägst och de 10 % högst presterande undervisningsgrupperna. Vi benämner dem i fortsättningen som låg- och högpresterande grupper. Tabell 5. Resultat på de nationella proven för låg- och högpresterande grupper i biologi, fysik och kemi Medel alla elever Medel högst presterande elever Medel lägst presterande elever Biologi 10 % lägst 39,0 68,8 15,5 Biologi 10 % högst 72,0 89,8 45,5 Fysik 10 % lägst 35,2 63,7 11,4 Fysik 10 % högst 62,9 82,4 35,5 Kemi 10 % lägst 41,8 69,0 15,7 Kemi 10 % högst 71,4 91,1 43,6 De lägst presterande eleverna i de högpresterande grupperna ligger på samma nivå som medelvärdet för samtliga elever i de lågpresterande grupperna. Detta gäller i alla de tre NO-ämnena. Skillnaderna i resultat är störst för de lägst presterande eleverna. I de lågpresterande 58 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper grupperna når dessa bara en tredjedel av resultaten för de lägst presterande eleverna i de högpresterande grupperna. Däremot når de högst presterande eleverna i de lågpresterande grupperna ungefär 75 % av vad de högst presterande eleverna i de högpresterande grupperna uppnår. I genomsnitt når de lägst presterande eleverna i de lågpresterande undervisningsgrupperna drygt 25 % av medelvärdet för samtliga elever, medan de lägst presterande eleverna i de högst presterande undervisningsgrupperna når, i genomsnitt över ämnena, knappt 75 % av medelresultaten. Skillnader mellan flickor och pojkar. Resultaten från proven 2013 visar att flickorna överlag presterar bättre än pojkarna i alla tre ämnena. Skillnaden är störst i biologi, mindre i kemi och minst i fysik (Figur 2). Biologi 100% 4% 16% 90% 80% 2% 24% Fysik 2% 20% Kemi 2% 3% 5% 14% 19% 25% 70% 40% 60% 50% 40% 42% 42% 43% 43% 19% 20% 18% 19% 20% 15% 10% 11% 0% 3% 5% 5% 6% Flickor Pojkar Flickor Pojkar 18% 13% 19% 14% E F 4% Pojkar Figur 2. Flickors och pojkars provbetyg i de tre NO-ämnena EDUCARE 2015:2 C 13% 10% 2% Flickor B D 40% 30% A 59 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Om man istället analyserar resultaten från de tre delproven i varje ämne framträder ett något annorlunda mönster (Tabellerna 6 och 7). Tabell 6. Resultat för flickor och pojkar på de tre delproven uttryckta i delprovsresultat och skillnaden som effektstorlek (d) Delprov A Delprov B Delprov C Flickor Pojkar d Flickor Pojkar d Flickor Pojkar Biologi 59,8 52,7 0,29 57,5 51,5 0,31 58,7 54,9 0,26 d Fysik 58,9 50,7 0,34 62,7 58,6 0,18 45,8 46,9 -0,08 Kemi 64,3 54,7 0,42 58,7 53,6 0,28 58,2 59,4 -0,06 I biologi presterar flickorna något bättre i alla delproven, men i delprov C i fysik och kemi har pojkarna ett något högre resultat än flickorna. Delproven skiljer sig från varandra genom att delprov C innehåller en större andel uppgifter med strukturerade svarsformat. Med strukturerade svarsformat avses t.ex. flervalsfrågor och uppgifter där eleverna ombeds fylla i luckor i en text. Resultaten redovisade i Tabell 6 pekar på att svarsformaten kan ha betydelse för flickors respektive pojkars prestationer. Därför analyseras resultaten på uppgifter med strukturerade svarsformat och öppna uppgifter var för sig, för att jämföra flickors och pojkars relativa förmåga att hantera de olika svarsformaten. Tabell 7. Resultat för flickor och pojkar på uppgifter med öppna eller strukturerade svarsformat och skillnader i effektstorlek (d) Biologi Fysik Kemi 60 Flickor Pojkar d Öppna 51,4 45,6 0,36 Strukturerade 69,7 68,1 0,11 Hela provet 58,7 53,1 0,34 Öppna 52,5 47,9 0,25 Strukturerade 57,5 60,3 -0,18 Hela provet 55,8 53,9 0,11 Öppna 55,7 51,0 0,27 Strukturerade 69,7 71,5 -0,10 Hela provet 60,4 55,9 0,27 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Flickorna presterar betydligt bättre än pojkarna på uppgifter med öppna svarsformat medan skillnaderna är avsevärt mindre för uppgifter med strukturerade svarsformat. Pojkarna presterar i förhållande till flickor bättre på uppgifter med strukturerade svarsformat i fysik. Samma mönster som i fysik återfinns i kemi, men uppgifterna med strukturerade svarsformat gör inte riktigt lika stor skillnad i kemiprovet som i fysikprovet. Resultatet är entydigt för de tre nationella proven i NO-ämnena, flickor presterar relativt pojkarna bättre på öppna uppgifter och pojkar presterar förhållandevis bättre på uppgifter med strukturerade svarsformat. Skillnader mellan elever med svenska respektive svenska som andraspråk. Förutom elevernas kön, ombads lärarna att lämna information om vilka elever som läser Svenska som andraspråk (SvA) när de rapporterade in elevernas resultat. I Urval 2013 är det knappt tio procent som har rapporterats läsa SvA, vilket är i samma storleksordning som i officiell statistik från Skolverket. Skillnaderna i resultat mellan de elever som läser SvA och övriga elever är stora (Figur 3). Andelen elever med SvA som erhåller provbetyg F är lika stor eller större än andelen övriga elever som får provbetyg F och E tillsammans. Mycket få elever med SvA når upp till provbetyget A i något av ämnena (avrundat till 0 % i Figur 3). En fjärdedel så stor andel av elever med SvA jämfört med övriga elever får provbetyget B. Omfattningen av skillnaderna mellan elever med SvA och Sv motiverar en jämförelse mellan hur elever med SvA respektive Sv presterar i undervisningsgrupper med stor respektive låg andel elever SvA. Presterar elever med olika språkbakgrund lika bra oberoende av undervisningsgruppernas sammansättning? Resultaten av sådana jämförelser i de tre NO-ämnena redovisas i tabellerna 8 och 9. EDUCARE 2015:2 61 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Biologi 100% 90% 3% 22% 80% 0% 5% Fysik 2% 18% 27% Kemi 0% 4% 5% 24% 24% 0% 6% 31% 70% 60% 50% 43% 22% 42% 44% 40% B 22% C D 30% 32% 30% 20% A 18% 17% 10% 13% 0% 3% 18% F 16% 15% 15% 24% 10% 14% 2% Sv SvA 4% Sv E 28% SvA Sv SvA Figur 3. Jämförelse av provbetyg mellan elever som läser SvA och Sv Tabell 8. Skillnad i resultat mellan elever med SvA och Sv för elever i undervisningsgrupper med större andel elever med SvA än 25 % uttryckt i resultat och effektstorlek (d) Biologi Fysik Kemi 62 Delprov A Delprov B Delprov C Biologiprov Sv Medel 56,7 % 54,0 % 57,7 % 56,1 % SvA Medel 42,2 % 39,6 % 44,7 % 42,1 % d 0,61 0,74 0,8 0,83 Sv Medel 53,1 % 56,8 % 44,6 % 51,5 % SvA Medel 38,1 % 39,7 % 36,9 % 38,2 % d 0,62 0,78 0,51 0,77 Sv Medel 56,2 % 51,9 % 56,0 % 54,7 % SvA Medel 44,0 % 41,7 % 44,6 % 43,4 % d 0,50 0,57 0,58 0,62 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper I samtliga tre delprov i biologi, och i provet som helhet, ligger effektstorleken över 0,6 vilket är att betrakta som en relativt stor skillnad. I fysik ligger effektstorleken över 0,6 i delprov A och B, medan den ligger något under i delprov C. I kemi är skillnaderna i genomsnitt något mindre än i biologi och fysik. Tabell 9. Skillnad i resultat mellan elever med SvA och Sv för elever i undervisningsgrupper med mindre andel elever med SvA än 25 % uttryckt i andelar och effektstorlek (d) Biologi Fysik Kemi Delprov A Delprov B Delprov C Biologiprov Sv Medel 57,8 % 56,0 % 58,2 % 57,3 % SvA Medel 43,4 % 41,3 % 43,2 % 42,6 % d 0,61 0,78 1,01 0,90 Sv Medel 56,1 % 62,4 % 47,2 % 55,2 % SvA Medel 39,0 % 44,8 % 37,2 % 40,3 % d 0,71 0,79 0,69 0,88 Sv Medel 60,9 % 57,4 % 60,3 % 59,5 % SvA Medel 46,11 % 43,49 % 43,73 % 44,45 % d 0,65 0,78 0,93 0,93 Gemensamt för alla tre ämnesproven är att skillnaden är större mellan elever med SvA och elever med Sv på schemat i undervisningsgrupper där det är en mindre andel än 25 % av eleverna som har SvA. Gemensamt är också att elever i undervisningsgrupper med större andel elever med SvA än 25 % har lägre resultat oavsett om de har SvA eller inte. Råder det på liknande sätt som för flickor och pojkar skillnader i prestation i relation till öppna och strukturerade svarsformat? När det gäller skillnaden i prestation mellan elever med Sv och SvA med avseende på strukturerade eller öppna svarsformat är denna liten i biologi och kemi, men något större i fysik (Tabell 10). EDUCARE 2015:2 63 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Tabell 10. Resultat för elever med Sv och SvA på uppgifter med öppna eller strukturerade svarsformat i biologi och skillnad i effektstorlek (d) Sv Biologi Fysik Kemi SvA d Öppna 49,8 36,0 0,88 Strukturerade 70,3 55,5 0,90 Öppna 51,4 35,3 0,90 Strukturerade 60,9 49,1 0,73 Öppna 54,5 39,2 0,91 Strukturerade 72,0 55,5 0,86 Skillnaden mellan elever som läser Sv och SvA uppvisar inte ett lika entydigt mönster när det gäller svarsformaten som för flickor och pojkar. Möjligen finns det en tendens till att elever med SvA presterar något högre, i förhållande till elever med Sv, på uppgifter med strukturerade svarsformat. Diskussion Våren 2013 genomfördes för första gången i Sverige nationella prov i biologi, fysik och kemi i årskurs 6. Data som insamlats i samband med dessa prov gör det möjligt att analysera skillnader i resultat mellan undervisningsgrupper. Data gör det också möjligt att jämföra prestationer mellan flickor och pojkar samt att undersöka hur elever med svenska som andraspråk presterar i relation till elever med svenska. Syftet var att belysa aspekter av likvärdighet i yngre åldrar vilket inte har varit möjligt tidigare. Resultaten indikerar att skillnaderna mellan undervisningsgrupper har ökat något i både biologi, fysik och kemi för den aktuella årskullen under de två åren mellan TIMSS 2011 och de nationella proven 2013. Numera är minst 25 % av variationen i elevernas resultat relaterad till den undervisningsgrupp som de tillhör. Variationen för årskurs sex är alltså i samma storleksordning som tidigare har visats för 14-15-åringar (Davidsson et al., 2013; Martin et al., 2000, 2008, 2012, 2004; Skolverket, 2007, 2008, 2012a, 2012b, 2013). Man kan fråga sig om dryga 25 % är ett högt eller ett lågt värde, d.v.s. om det är rimligt att drygt 25 % av variationen hos resultaten på de nationella proven går att föra till vilken undervisningsgrupp eleverna befinner sig i. Ett 64 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper sätt att belysa frågan är att närmare undersöka hur prestationerna ser ut i de lågpresterande grupperna och jämföra med de högpresterande undervisningsgrupperna. I alla de tre ämnena är medelvärdet för de lägst presterande eleverna i de högpresterande grupperna lika med eller högre än medelvärdet för alla elever i de lågpresterande grupperna. Skillnaderna mellan de lägst presterande eleverna i de båda kategorierna av undervisningsgrupper är stora. De lägst presterande eleverna presterar relativt sett lägre i de lågpresterande undervisningsgrupperna än de lägst presterande eleverna i de högpresterande undervisningsgrupperna. Dessa skillnader motiverar en fråga om hur skolsystemet lyckas med det kompensatoriska uppdraget och är ett tecken på liknande mönster i årskurs 6 som tidigare har visats för årskurs 9 (Davidsson et al., 2013). Ett annat mönster är att de högst presterande eleverna i de lågpresterande grupperna inte är så långt efter de högst presterande eleverna i de högpresterande grupperna. Spridningen i elevernas prestationer är således större i de lågpresterande grupperna, de är mer heterogena. De lägst presterande eleverna i de lågpresterande grupperna når ungefär en tredjedel av resultatet för de lägst presterande eleverna i de högpresterande grupperna. Samtidigt når de högst presterande eleverna i de lågpresterande grupperna drygt tre fjärdedelar av resultatet för de högst presterande eleverna i de högpresterande grupperna. I delprov C, som prövar elevernas förmåga att använda naturvetenskapliga begrepp i beskrivningar, förklaringar och resonemang, presterar pojkarna bättre än flickorna i fysik och kemi. Detta överensstämmer med resultaten i TIMSS 2011 årskurs 4 (Skolverket, 2012b). Delprov C är också det delprov som liknar TIMSS mest, till exempel genom sin kombination av uppgifter med olika svarsformat. Vid en jämförelse mellan flickors respektive pojkars resultat på frågor med strukturerade svarsformat presterar flickorna något bättre än pojkarna i biologi. I fysik och kemi ligger pojkarnas resultat högre. Däremot ser bilden annorlunda ut vid en jämförelse av resultat på uppgifter med öppna svarformat där flickorna presterar bättre i de nationella proven i samtliga naturvetenskapliga ämnen. Resultat från nationella prov i svenska och engelska visar att flickorna presterar bättre framförallt i de delar som benämns skriftlig förmåga3. Liknande 3 http://siris.skolverket.se/reports/rwservlet?cmdkey=common¬geo=&p_verksamhetsar=2013&p_hm_kod=&report=gr_ap6_2013&p_lan_ kod=&p_kommun_kod=&p_skolkod= EDUCARE 2015:2 65 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST resultat har visats i språk och matematik (Bolger & Kellaghan, 1990). Det skulle alltså kunna vara så att skillnaden mellan pojkar och flickor på öppna uppgifter i naturvetenskapliga ämnen framför allt gäller förmåga och intresse för att skriva (Merisuo‐Storm, 2006), men när det gäller att läsa och förstå det lästa är inte skillnaderna lika avgörande. Det finns stora skillnader i resultat mellan elever som har svenska (Sv) och svenska som andraspråk (SvA). Dessa är betydligt större än de skillnader som tidigare har diskuterats beträffande flickor och pojkar. Det finns inga tydliga tecken på att vissa typer av frågor eller svarsformat bidrar till att elever med SvA skulle svara bättre eller sämre i förhållande till andra elever. Medan skillnaden mellan flickor och pojkar mest tycks ha att göra med den skriftliga förmågan så verkar skillnaden vara av mer generell natur för elever med Sv respektive SvA. Sannolikt har SvA-eleverna som grupp ett sämre utgångsläge beträffande skolbakgrund och kunskaper i svenska som leder till ett lägre resultat överlag. Dessutom visar resultaten att i undervisningsgrupper med hög andel elever med SvA är prestationerna generellt sämre oberoende av språkbakgrund. Sammantaget visar resultaten från de nationella proven 2013 att skillnaderna i elevernas prestationer beroende på vilken undervisningsgrupp de tillhör sannolikt har ökat sedan 2011 och att skillnaderna beroende på språklig bakgrund är avsevärda. Dessutom presterar flickor bättre än pojkar i alla NO-ämnen. Enligt svenska skollagen (2010:800) och den nya läroplanen (Lgr11) är målsättningen att skolan skall fungera kompensatoriskt och att alla elever skall ha likvärdiga möjligheter till utbildning. De första nationella proven i biologi, fysik och kemi visar dock på relativt stora skillnader i årskurs 6 för dessa tre skolämnen. Det är rimligt att ställa frågan om det svenska skolsystemet i tillräckligt stor utsträckning lyckas utjämna skillnader mellan elever med olika förutsättningar och därmed om graden av likvärdighet är tillräcklig för att uppfylla skollagen. De redovisade skillnaderna är tillräckligt stora för att uppmärksammas politiskt, bland huvudmän och i skolor. Sannolikt behövs såväl övergripande strukturella förändringar för att öka likvärdigheten som förändringar i den dagliga verksamheten så att kvaliteten i NOundervisningen ökar och att skillnaderna i prestation minskar mellan olika undervisningsgrupper. 66 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Tack Vi vill tacka för värdefulla kommentarer på tidigare manus från kolleger i projektgruppen för nationella prov i religionskunskap samt från de anonyma granskarna och redaktionen för Educare. Referenser Beller, Michal, & Gafni, Naomi (1996). 1991 International Assessment of Educational Progress in Mathematics and Sciences: The gender differences perspective. Journal of Educational Psychology, 88(2), 365–377. doi:http://dx.doi.org. ezproxy.ub.gu.se/10.1037/0022-0663.88.2.365 Biesta, Gert (2011). Learning Democracy in School and Society: Education, Lifelong Learning, and the Politics of Citizenship. Hämtad från http://www.springer.com/ new+%26+forthcoming+titles+%28default%29/book/978-946091-512-3 Bolger, Niall, & Kellaghan, Thomas (1990). Method of Measurement and Gender Differences i Scholastic Achievemnt. Journal of Educational Measurment, 27(2), 165–174. Bunar, Nihad (2010). Choosing for quality or inequality: current perspectives on the implementation of school choice policy in Sweden. Journal of Education Policy, 25(1), 1–18. doi:10.1080/02680930903377415 Davidsson, Eva, Karlsson, Karl-Göran, & Oskarsson, Magnus (2013). Trender och likvärdighet – Svenska elevers resultat på PISA naturvetenskap i en internationell jämförelse. Utbildning och demokrati, 22(3), 37–52. Eriksson, Niklas (2005). Prestationsskillnader mellan flickor och pojkar i NO: En studie av uppgiftsformatets betydelse i TIMSS 2003 (No. 15) (p. 25). Umeå: Enheten för beteendevetenskapliga mätningar. Field, Simon, Kuczera, Ma-gorzata, & Pont, Beatriz (2007). No More Failures – Ten Steps to Equity in Education (No. 91 2007 04 1 P). Paris: OECD PUBLICATIONS. Hämtad från www. sourceoecd.org/education/9789264032590 EDUCARE 2015:2 67 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Gustafsson, Jan-Eric, Myrberg, Eva, Rosén, Monica, YangHansen, Kajsa., Roman, Henrik, Håkansson, Jan, & Sundberg, Daniel (2009). Vad påverkar resultaten i svensk grundskola? Kunskapsöversikt om betydelsen av olika faktorer. (p. 268). Stockholm: Skolverket. Hämtad från http://www.skolverket.se/ publikationer?id=2260 Jacobsson, Anders (2013). Att undersöka kunskapstrender med hjälp av PISA – Likvärdighet, förståelse och kunskapssyn. Utbildning och demokrati, 22(3), 13–36. Lee, Valerie E., & Burkam, David T. (1996). Gender differences in middle grade science achievement: Subject domain, ability level, and course emphasis. Science Education, 80(6), 613–650. doi:10.1002/(SICI)1098-237X(199611)80:6<613::AIDSCE1>3.0.CO;2-M Martin, M. O., Mullis, I. V. S., & Foy, P. (2008). TIMSS 2007 International Science Report: Findings from IEA’s Trends in International Mathematics and Science Study at the Fourth and Eighth Grades. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. Martin, Michael O., Mullis, Ina V. S., Foy, Pierre, & Stanco, Gabrielle M. (2012). TIMSS 2011: International results in science. Chestnut Hill, MA, USA: TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College. Martin, Michael. O., Mullis, Ina V. S., Gonzales, Eugenio J., & Chrostowski, Steven J. (2004). Findings From IEA’s Trends in International Mathematics and Science Study at the Fourth and Eighth Grades. Boston, USA: Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. Martin, Michael O., Mullis, Ina. V. S., Gonzales, Eugenio J., Gregory, Kelvin D., Smith, Teresa A., Chrostowski, Steven J., & O’Connor, Kathleen M. (2000). TIMSS 1999 International Science Report (p. 397). Boston: International Study Center: Lynch School of Education: Boston College. 68 EDUCARE 2015:2 De nationella proven i NO åk 6 Skillnader i resultat mellan olika grupper Merisuo-Storm, Tuula (2006). Girls and Boys Like to Read and Write Different Texts. Scandinavian Journal of Educational Research, 50(2), 111–125. doi:10.1080/00313830600576039 Mullis, Ina. V. S., Martin, Michael. O., Fierros, Edward G., Goldberg, Arnie L., & Stemler, Steven E. (2000). Gender Differences in Achievement: IEA’s Third International Mathematics and Science Study (TIMSS). Chestnut Hill, MA: Boston College. Osth, John, Andersson, Eva, & Malmberg, Bo (2013). School Choice and Increasing Performance Difference: A Counterfactual Approach. Urban Studies, 50(2), 407–425. Regeringen (2014). Gustav Fridolin och Aida Hadzialic tar emot OECD:s skolgranskning. Hämtad från http://www.regeringen.se/sb/d/19679/a/250950 Skolverket (2007). PISA 2006 - 15-åringars förmåga att förstå, tolka och reflektera - naturvetenskap, matematik och läsförståelse (No. 306) (p. 124). Stockholm. Hämtad från http://www. skolverket.se/publikationer?id=1760 Skolverket (2008). TIMSS 2007: Svenska grundskoleelevers kunskaper i matematik och naturvetenskap i ett internationellt perspektiv. (No. 323). Stockholm: Skolverket. Retrieved from http://www.skolverket.se/publikationer?id=2127 Skolverket (2010). Rustad att möta framtiden? PISA 2009 om 15-åringars läsförståelse och kunskaper i matematik och naturvetenskap - Resultaten i koncentrat. Stockholm: Skolverket. Hämtad från http://www.skolverket.se/ publikationer?id=2473 Skolverket (2012a). Likvärdig utbildning i svensk grundskola? En kvantitativ analys av likvärdighet över tid. (No. 374) (p. 102). Stockholm: Skolverket. Hämtad från http://www.skolverket.se/ publikationer?id=2816 EDUCARE 2015:2 69 FRANK BACH, BIRGITTA FRÄNDBERG, MATS HAGMAN, EVA WEST OCH ANN ZETTERQVIST Skolverket (2012b). TIMSS 2011: Svenska grundskoleelevers kunskaper i matematik och naturvetenskap i ett internationellt perspektiv (No. 380) (p. 150). Stockholm: Skolverket. Hämtad från http://www.skolverket.se/publikationer?id=2942 Skolverket (2013). PISA 2012 - 15-åringars kunskaper i matematik, läsförståelse och naturvetenskap (p. 160). Stockholm: Skolverket. Retrieved from http://www.skolverket.se/ publikationer?id=3126 Skolverket (2014). Resultat från ämnesproven i årskurs 9, vårterminen 2014 (PM) (p. 13). Stockholm. Hämtad från http://www.skolverket.se/publikationer?id=3351 70 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Johan Nyberg The points of departure in this article are questions regarding assessment in music education. These are related to issues of professional responsibility and accountability as well as a holistic view on education as conceptualized in Deweyean pragmatism and concern the risk of criteria compliance. A participatory action research project in a Swedish Upper secondary school focusing on assessment of music is presented, where the purpose of the research was to develop knowledge about music teachers’ experience and conceptualizations regarding assessment practices within the frame of the National Arts Programme. This is enabled by asking the following research questions: In what ways do teachers conceptualize musical knowledge and learning and educational communication in relation to assessment? What qualities appear within the teachers’ conceptualizations regarding knowledge, learning, communication and assessment of students’ knowledge? Aims from the field of praxis were integrated in the project, with focus on equivalent assessment and legal certainty. Results from the research project show the music teachers’ ability to shift between atomistic and holistic perspectives but at the same time keep their holistic view of assessment and learning. Equivalence is according to the teachers something different than uniformity, and is only possible through reflection and collaboration, internally as well as externally with other practitioners. Keywords: assessment, John Dewey, music education, participatory action research, upper secondary school Johan Nyberg, PhD student, Faculty of Art, Communication and Learning, Piteå School of Music, Luleå University of Technology. [email protected] EDUCARE 2015:2 71 JOHAN NYBERG Introduction Student 1: But what score did I get? Teacher: As we talked about beforehand, I haven’t given you scores. Instead, I have given you written responses. We will do a ’walk-through’ of the test all of us together, and after that, we’ll do it again – this time individually. Student 2: But did I pass the test!? Teacher: You won’t get a grading until you have finished the course. This time I want to know in what ways you have been thinking to reach your conclusions. In those places, I have given you written comments. Student 3: I counted myself! I got 38 points out of 47! I think… Depends on how many points you get for each answer. But that should at least amount to an E!? The above conversation took place during a Music Theory class, where a group of students attending the national Arts programme in a Swedish upper secondary school1 got a test returned. In this situation, different experiences of assessment are conceptualized2, i.e. experiences of assessment communicated quantitatively or qualitatively. It also highlights the obstacles the teacher has to face attempting the chosen approach of assessment, conceptualizing and communicating knowledge in words rather than in numbers. The possible impact of this is not only connected to sharing of experiences internally within a music education, but also to external demands upon such praxis as part of the shaping of a democratic society (Dewey, 1916; Englund, 2000). Strong demands on educational accountability have an impact on teaching and learning (cf. Apple, 2004; Liedman, 2011). One aspect of controlling education by means of such a demand is the risk of deprofessionalization (Beach et al., 2014; Broady, 2012; Solbrekke & Englund, 2011; Lilja, 2014) as well as criteria compliance, i.e. “achievement without understanding” (Torrance, 2007, p. 293). The issue of compliance concerns students as well as teachers’ learning, the 1 The national Arts programme is one of six higher education preparatory programmes within Swedish, non-compulsory upper secondary education. 2 In this text, conceptualization encompasses describing, explaining, putting into words, text, gestures or sound how something is apprehended and understood. e.g. musical qualities in an educational setting. 72 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey latter for instance through professional development efforts. Another aspect is the confusion between quality and quantity for measuring educational “outcomes”. This leads to a use of what Liedman (2011) calls pseudo quantities, i.e. carriers of all external traits connected to a quantity but lacking its “defining positive character” which is “to more exactly than any other attempt of verbal description characterize an object or the relation between objects” (ibid., p. 62, author’s translation).3 Demands for accountability also concern the issue of equivalent education4 becoming one of standardization. This affects both teachers and students since such a development “can limit teachers’ ability to make pedagogical decisions that accommodate the wide range of learning needs of diverse student populations” (Smylie, 1996, p. 9). Therefore, questions regarding equivalence and quality in relation to assessment as a part of the teaching profession are of interest for research in music education as well as for practitioners. The topics of quality concepts in syllabi and equivalent assessment caught the interest of a group of Swedish upper secondary school music teachers, deciding to embark on an assessment journey by initiating a research and development (RD) project.5 This project was connected to a research study in music education regarding music teachers’ conceptualizations of knowledge and learning by the use of participatory action research (PAR) as method.6 In this article, the results of this joint RD/PAR project will be presented and related to John Dewey’s philosophy regarding education and the area of assessment in music education. With focus on music teachers’ process of communication within the RD/PAR project, the specific research purpose is to develop knowledge about music teachers’ experience and conceptualizations regarding assessment practices within the frame of the national Arts programme. 3 As an example, the latest grading system in Swedish upper secondary education can be mentioned, where qualities in the knowledge requirements (i.e. criteria) are summarized by the use of letters (from F to A) (The Swedish Agency for Education, 2011). 4 In Sweden, equivalence of public education is legislated in the Education Act (SFS2010:800). 5 This was part of a municipal effort aimed at developing teachers’ assessment practices, in which schools were able to apply for funding of projects connecting professional development with research/scientific knowledge. 6 See Method and design of the empirical study. EDUCARE 2015:2 73 JOHAN NYBERG This is enabled by asking the following research questions: In what ways do teachers conceptualize musical knowledge and learning and educational communication in relation to assessment? What qualities appear within the teachers’ conceptualizations regarding knowledge, learning, communication and assessment of students’ knowledge? Background Focus in this article lies on music education as an assessment practice, which is connected to, and therefore influenced and affected by, the prevailing educational policy and politics and those executing it – teachers themselves included. Therefore, aspects of assessment of music and the surroundings in which assessment is taking place within the project – including questions of professionalism – will be presented along with the participant travellers on the assessment journey. To conclude the background, the theoretical framework of the research will be presented and connected to the issue of teacher agency. Assessment Educational assessment is a hot topic, where aspects of qualities in relation to quantities are in focus (Liedman, 2011). This is in no way a novelty. The roots of assessment within the Swedish educational system can be traced back to the progressive movement of the late 19th and early 20th centuries, pending between pedagogical and psychometric views on educational progress as represented by Dewey and Edward L Thorndike (Lundahl, 2011; Sandberg, 1996). The interest for assessment within music education is partly due to the intrinsic quality aspects of music (Davidson, 1980) – that could be considered as secondary qualities, i.e. connected with human, sensory perception (Liedman, 2011) – but also to the notion of teacher professionalism in relation to accountability (Zandén, 2011, 2013). Regardless of subject matter, the interest for assessment in education has boomed, leading to research efforts as well as educational debates regarding types of assessment and their impact on learning and knowledge. 74 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Educational assessment The view of learning and assessment found within the Swedish upper secondary school curriculum is holistic (The Swedish National Agency for Education, 2011). With an increasing demand on educational accountability and measuring of learning outcome, such a view is at the risk of being replaced by an atomistic counterpart (Fautley, 2010; Liedman, 2011; Lundahl, 2011; Vinge, 2014).7 The impact of this shift from holism towards atomism regarding educational assessment is therefore of interest. Later research on assessment in music education highlights the risks of criteria compliance with such a shift – e.g. ticking of criteria using tick-box forms – leading to assessment as learning and thereby a fragmented understanding of a phenomenon (cf. Ferm Thorgersen et al., 2014). This can even lead to assessment for teaching, focusing more on teacher than student agency (Fautley, 2010; Wiliam, 2011). Other aspects of concern when it comes to assessing (musical) quality in an educational setting are related to curricula and teachers’ role as officials. Here, legal certainty8 as well as equivalence, standardization and the risk of uniformity is of importance – the latter aspects put forward not least by Dewey (1916, 1938a) in relation to education and democracy. Professional assessment and assessment of music What does it take to make professional assessments in an educational system built upon a holistic view? Sadler (2009) puts it like this: Determining the quality of complex works requires skilled, qualitative judgments. A qualitative judgment is one made directly by the appraiser, the person’s brain being both the source and the instrument for the appraisal. The judgment is not reducible to a set of measures or formal procedures that a non-expert could apply to arrive at the ‘correct’ appraisal. (p. 160) 7 One axample being the weight put on reports like the OECD’s Program for International Student Assessment (PISA). 8 Legal certainty concerns assessments being performed in accordance with educational legislation, but also making teachers’ assessment and grading practices “as transparent as possible” (Klapp Lekholm, 2010, p. 23) regarding what teachers base their assessments on and how. EDUCARE 2015:2 75 JOHAN NYBERG As an art form, music is closely connected to assessment, e.g. in the form rankings and reviews. Unlike performance measurements including sheer quantities, assessment of music concerns qualities that include both issues of taste (i.e. secondary qualities) and existential dimensions (Ferm Thorgersen, 2011; Franzén, 1959; Nielsen, 2002; Varkøy, 2007). To aid assessment of music, Fautley (2010) suggests thinking of quality as “centred within three interlocking domains” (p. 80): technical, conceptual and aesthetic qualities. These appertain to the area of skills, notions of musical structures and aspects of “expressiveness [and] musicality” (p. 80) respectively. Therefore, music education as an assessment practice is a professional arena different from for instance music reviewing. It demands professionally trained assessors with adequate, esoteric knowledge of both the subject and the area of assessment – including communication of exoteric matter (Regelski, 2009; Sadler, 1989; Zandén, 2013). What does this arena look like for the participating teachers of the joint RD/PAR project? The surroundings, pt. 1 – the national Arts programme In 2011, a new curriculum for upper secondary education was introduced in Sweden including a new grading scale (The Swedish National Agency for Education, 2011). Assessment is goal-related, and subjects and courses are hierarchically constructed from subject specific Aims and Goals, via course specific Core contents to Knowledge requirements. In relation to the curriculum, the Education Act (SFS 2010:800) stipulates that all school education in Sweden “shall rest upon a scientific base and proven and established experience” (§5, author’s translation). The attempts being made to uphold this paragraph are connected to both external control (e.g. the creation of the Swedish Schools Inspectorate) and internal development of the teaching profession and its status – one example being the possibility for municipal funding like the one for the joint RD/PAR project. The surroundings, pt. 2 – educational policy and politics The question of professionalism and professional development within education is a topic of great societal interest, and has been so for some time (cf. Apple, 2004; Stedt, 2013; Timperley et al., 2007). Assessment 76 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey is one aspect of teachers’ professional tasks, which has been widely discussed within media and political debate but seldom in dialogue with but rather about the profession. What, then, can be done by professionals to come to terms with this? Regarding research literature on assessment in music, Colwell (2003) goes as far as comparing “the actions by professional organizations [to a] series of fig leaves adopted to hide our nakedness”, thereby finding “ourselves without substantial clothing and appropriate tools necessary to detail what constitutes valid assessment of teaching and learning” (p. 12). He raises the question of resistance and unwillingness to participate in an open discussion and thereby avoiding “serious questions and discussion” (p. 12). According to Stanley (2009), the latter is sometimes related to an avoidance of ”pragmatically messier [professional development models]” (p. 22) – including practitioners as well as authorities and policy makers. Regarding assessment in Swedish music education, Davidson (1980) and Sandberg (1996) trace the demand for professional assessment to the 1950s and the need of selection and how this could be made equal and fair. Regardless of a pedagogic or behaviourist view on assessment, this problem was put in relation to the assessor (Davidson, 1980; Franzén, 1959). In Davidson’s (1980) words: It is possible that [the problem of equal and fair assessment] stems from us [educators] not knowing how to define the criteria for the goals of education, and being uncertain of what we really wish for regarding our musical lives. (p. 152, author’s translation) This then overlaps the differences in educational assessment as pedagogical and/or psychometric/behaviourist – historically being the two prevailing views of the Swedish educational system (Liedman, 2011; Lundahl, 2011). Within the frame of said system of today, Zandén (2011) puts it equally blunt as Colwell by proposing music teachers to professionalize or to perish, not caving in to what he labels as a doctrine of verbal clarity (Zandén, 2013). This is related to the shift towards accountability mentioned earlier, e.g. labelling professional interpretation as a threat to equivalent assessment (The Swedish Schools Inspectorate, 2012). The research project described in this article can therefore be placed among the attempts to balance professional responsibility with the prevailing EDUCARE 2015:2 77 JOHAN NYBERG demands on accountability (Allsup & Westerlund, 2012; Liedman, 2011; Nordin, 2012; Solbrekke & Englund, 2011; Zandén 2011) – the latter leading to a deprofessionalization within the educational system (Englund, 2011; Oxenswärdh, 2011; Torrance, 2007; Zandén, 2011). Theoretical base: a Deweyan perspective on education and its implications for participatory action research According to Dewey, the goal of education is human growth. The pioneering trait of this notion was his formulation of education as communication, as opposed to mediation (Boman, Ljunggren & von Wright, 2007). Since Dewey considers human growth to be a question of transformation where the fruits of education lie not only in the present but also in the future, it is something he finds difficult to measure (Dewey, 1916, 1929; Lundahl, 2011, Väkevä, 2007; Väkevä & Westerlund, 2007). Dewey criticizes the use of assessment in the form of rewards or punishments within an educational setting, i.e. as means to gain interest from the assessed, particularly if the purpose is to ”induce the person who has a mind (much as his clothes have a pocket) to apply that mind to the truths to be known” (Dewey, 1916, p. 208).9 The “truths” Dewey describes are seen as the stagnated criteria for learning, used in public education for separation between knowledge as either theoretical or practical and therefore as an instrument for labelling and dividing citizens. Dewey is not opposed to assessment in relation to value per se, but argues that the underlying theory of educational assessment is one of critique, ”a method of discriminating among goods on the basis of the conditions of their appearance, and of their consequences” (1958, p. 396), i.e. an examination of possibilities, prerequisites and limits connected to a phenomenon (Burman, 2014). He sees values as values alone. We always experience intrinsic values and qualities, depending upon previous experiences and the situation in which things are experienced and put into action. Judgment of values is according to Dewey also an act of transformation, 9 This is a theme currently surfacing in the Swedish educational debate regarding grading in early years of compulsory schooling, but is also relevant in the case of teacher accountability and teachers’ professional development – i.e. teachers as learners and the types of effort connected to this (cf. Carlgren, 2013). 78 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey [transforming] an antecedent existentially indeterminate or unsettled situation into a determinate one. As such, judgment is always individual in a sense in which individual is distinguished from both particular and singular, in that it refers to a total qualitative situation. (1938b, s. 220) Therefore, he concludes, there are no different kinds of judgement, only distinguishable phases or emphases of the same in relation to what is being assessed and in what context. Quality and quantity in judgment, for instance, can according to Dewey only be distinguished by discourse, but not be fully separated. When it comes to education, Dewey acknowledges and emphasizes that there is value also in processes and not only in final achievements: ”It is self-contradictory to suppose that when a fulfilment possesses immediate value, its means of attainment do not” (1958, p. 397). For to reach the full potential of growth in such a process, there needs to be a type of action on behalf of the participants that is not purely mechanical or physical but also reflective. Therefore, Dewey developed the concept of intelligent action, where physical and reflective actions are seen as interconnected and balanced (Dewey, 1915, 1929, 1938b). In relation to this, Bresler (1995/2006) sees action research as an opportunity for music teachers (as professionals) to be aware of reflection “because the act of teaching is […] oriented toward doing as opposed to reflecting” (p. 19). This view of teaching music, where a separation between “doing” and “reflecting” is a kind of standard procedure, is important. It could also be problematic. Who is deciding how to balance these aspects? Why is there such a separation? This is also a reason why Dewey’s holism and notion of intelligent action are important when conducting PAR, as is his view of education based on such a type of action as a foundation of a democratic society (1916, 2004). Another aspect of using intelligent action is that the confusion of impulses with purposes can be avoided. According to Dewey (1938a) there is no purpose if an immediate execution is not postponed until you can anticipate the consequences of the impulse being realized. This anticipation is not possible without observation, information and assessment (Dewey, 1987, 2004). To create enough “moving force” (Dewey, 1938a, p. 490) for an idea to be carried out, there not only needs to be an intellectual action to form it into a plan but also an executional force such as desire and impulse. Therefore, a dismissal EDUCARE 2015:2 79 JOHAN NYBERG of interest in educational settings is devastating for the individual’s possibility to reach her full potential (Dewey 1916). These thoughts are valid not only when it comes to different types of assessment or assessment as a professional educational practice. It could also be applied to the apprehension of teachers as learners and ownership of and designs for teachers’ professional development. Teacher agency In relation to professional development, Allsup and Westerlund (2012) call for a “revitalized notion of teacher as neither scapegoat nor saviour, but as agent, a person who does adapt to change […] but who can flourish in the moving landscapes of learning” (p. 127, italics original). This notion mainly regards classroom activity. Improving assessment as a professional practice by agency needs to be regarded also as a communicative act outside the classroom since connecting with professional peers – and others operating in significant role-relationships to these – is crucial for teachers to significantly improve their practice (Handal, 1999). This is also a way for teachers to become agents from within their own profession. Without teacher agency, external input and control also risk compromising the professional notion of quality in education (Biesta, 2007; Carlgren, 2013; Liedman, 2011) – for instance when it comes to assessment of music (Zandén, 2010). In order for learning to be meaningful, Dewey (1916, 1958) argues the need for learners’ experiences, prerequisites and interests to be known. Communication enables a balance between these aspects and the demands that surround an educational practice. If teachers in their striving for change through professional development do not want to end up as rogue agents, to paraphrase Allsup and Westerlund (2012), such a development needs to be a communicative one including the sharing of experiences with peers as well as others included in forming the school practice. Where assessment is in focus, the sharing of values and views on quality concepts – personal as well as curricular – is also of importance. 80 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Methodology In the previous parts, the environment surrounding the teacher profession, a Deweyan perspective on education and aspects of teacher agency has been outlined. What tools can be used address these aspects and help bridge a practice/research divide that mainly seems to emanate from either a lack of communication or an unwillingness to communicate – thereby not understanding, or trying to understand, “the other” (Ferm Thorgersen & Schwieler, 2014)? In what way can a theory of science emanating from and within the practice of music education be developed? To shed a light on these issues, such a tool must be of a type that not only acknowledge teachers’ as creators of professional knowledge, but also allows and challenges them to conceptualize and communicate to and with others what they see as important. Method and design of the empirical study One tool for teachers and researchers to use that covers the necessary aspects for a mutual professional development as presented above is interactive, collaborative practice-based research. As such, participatory action research (PAR) is a possible link between the fields of practice, research and employers/government. PAR creates a possibility for research to aid and strengthen issues concerning a professional practice where the fields of practice and research converge, and at the same time preserve as well as guard its independence and objectivity (Evaldsson, 2003; Irwin & Chalmers, 2007; Phillips et al., 2013; Reason, 2006; Svensson, 2002). Where assessment is in focus, the sharing of values and views on quality concepts – personal as well as curricular – is also of importance. Through PAR, teachers can in some ways be seen as learners – learning from each other or from others. Continuing along Dewey’s line of thought concerning education, a researcher within a PAR project in music education needs to understand and learn about the participating teachers’ experiences and views on value and conceptions of quality and their interests in professional development. This is also true about the researchers’ own experiences and motives. EDUCARE 2015:2 81 JOHAN NYBERG Participatory action research – an orientation to inquiry In this part, the orientation to inquiry of PAR (Reason, 2003) will be outlined in relation to Deweyan pragmatism as well as the design of the joint RD/PAR project described in the introduction. The type of inquiry labelled action research (including PAR) can be described as “a comparative research on the conditions and effects of various forms of social action and research leading to social action” (Lewin, 1946, p. 35). As an orientation to inquiry, it is “of great importance in the exploration of day-to-day school practice from ‘within’ [pointing to] meanings, structures and built-in dilemmas that we often assume to know beforehand” (Evaldsson, 2003, p. 26, author’s translation). This puts demands on researchers to look beyond an academic, traditional and maybe even hierarchical environment, i.e. to conduct research on or about a practice, and instead see the possibilities of (and strive for) researching with the practice and the degree to which researchers relinquish and share control of the knowledge production process (Lewin, 1946; Phillips et al., 2013; Rönnerman, 2000). Inherent in the addition of “participatory” to action research (Holmstrand, 2006), this also alludes to the aspect of (teacher) agency as described earlier. PAR brings out a process with contents that enable participants to become aware of their own practice. This demands that they conceptualize and share their experiences and opinions, but also allowing them to do this over a longer period of time (cf. Winther Jørgensen, 2008). According to Winther Jørgensen (2008), by sharing experiences and knowledge gained within the practice in interactive research, different types of knowledge are integrated in the development process. Equal cooperation between researchers and other participants are necessary, and hence the researcher must not be regarded – or regard him- or herself – as the one with (all) the answers. The research initiative shall contribute to processes of change, which calls for participants to conceptualize issues they regard as problematic within their practice. An expressed striving for change also contributes to the taking of responsibility within a project – practitioners and researchers alike. Depending on type of project, this can be done with multiple aims as long as the process is collaborative.10 10 One example is the joining of research and development and music education research purposes by the use of PAR method as described in this article. 82 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Action research can be described as an approach or an attitude, where apprehension and action appears in an iterative, cyclic process (Reason, 2006). This traditionally includes four steps: plan – act – evaluate – reflect (Cain, 2008; Rönnerman, 2004).11 This process has no finite end, and therefore offer the practical conditions to enable intelligent action as described earlier. Thereby, new questions can arise and cause the researcher and participants to focus on the need of further actions, which makes the input of time from all participants crucial. Design of the empirical study In relation to the project aims, funding demands, time limitations and the choice of PAR, the length of the RD project was set to a school year (autumn 2013 to spring 2014). The action research cycle span was set roughly to a month, allowing participants time to reflect and prepare for the next cycle. Within the project, the music teacher staff and I together chose a set of questions and connected these to the curriculum and some of the overall goals of the school: to enhance and develop students’ goalrelated achievements, reach a higher level of inter-rater reliability and working with pedagogical development in relation to subject(s) and scientific knowledge. The main focus fell on equivalent assessment within the courses Instrument and singing 1 and 2 – being shared syllabi for all instrument choices (The Swedish National Agency for Education, 2011).12 The next step was to create a core group of music teachers. Participation was decided to be voluntary, adhering to aspects of collaborative, interactive and participatory research as well as organizational development (cf. Carlgren, 2013; Timperley, 2011).13 11 Therefore it is compatible with the Deweyan notion of purpose as being dependent on anticipation by the sequence of observation, information and assessment (Dewey, 1987, 2004). 12 These are two of several courses within one of two subjects, Music, connected to the national Arts programme (the other being Music theory). The curriculum and course syllabi are the same regardless of choice of instrument. 13 To minimize the risk of causing a division into “us and them” within the staff and getting the opportunity to gain valuable peer-feedback and information, teachers opting not to participate actively within the project were updat- EDUCARE 2015:2 83 JOHAN NYBERG The aims and plan for the RD/PAR project were presented for the staff, including a call for issues regarding assessment and information on the responsibilities connected to participation: to set aside time and allowing the researcher access to information. In addition to two coordinating teachers, five music teachers volunteered. The core group thereby included seven out of thirteen music faculty members, representing the instruments voice, guitar and bass.14 All participants were informed about the aspects of participating in a research project, and signed an agreement to let me as the researcher record and collect data in accordance with research ethics (The Swedish Research Council, 2002). A total of eight core-group and eight administrative meetings were held.15 As a method example, the first core group meeting will be described a little more in detail. The aim was to set a first goal in relation to curriculum and assessment, thereby setting the stage for intra-rater reliability, i.e. to use commonly agreed upon criteria “to be in agreement with oneself” (Sjöberg, 2010, p. 7, author’s translation).16 The tools for this were to create a dialogue within the group of participants, decide upon a subject matter and then make written reflections to be shared with the researcher before the next meeting. During the first PAR cycles, it became clear that the balance between the what and the how of the teachers’ assessment practice was lopsided. There was also a risk of getting stuck in details, veering away from a holistic view of learning as intended in the curriculum, heading towards the atomistic and the earlier described criteria compliance. ed about, and welcome to inquire into the project development. This entailed the participating teachers to keep eventual information from the core group anonymous. The purpose was to be able to share knowledge and learning related to the profession, and not specifically to other participants. Regarding the research data, getting input from “inside” as well as “outside” of the project could be of interest. 14 For further information regarding participants and instrument groups, see Fig. 1. 15 Two external presentations of the project were also performed. Public publishing and/or presentation were one of the demands for funding. The coordinating music teachers and I held these presentations together. 16 In this case, the term was included and used by the teachers, alluding to them understanding each other. 84 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Although the dialogues were always constructive and described as rewarding by the participants, the project goal was at risk of being lost. Therefore I mapped a suggestion that was discussed, altered and then accepted by the core group. This contained a core of equivalence, setting of E-levels17 and reaching legal certainty with connections to aspects of what and how to assess, and other aspects planned and/or performed (see Fig. 1). Figure 1. Overview of RD/PAR project – planning, execution and participation18 17 I.e. course criteria for the grade pass. 18 Dotted lines in the What section mark planned but not performed/non-existent actions/interconnections. The names of the teachers are fictitious. EDUCARE 2015:2 85 JOHAN NYBERG To enable a focus on how assessment was performed and on student inclusion, the group opted for participatory observation using logbooks. The decision fell upon two types: triple and quadruple logs. These were built upon observations in combination with dual or triple reflections (Björk & Johansson, 1996) where an observer takes notes on actions and events during a lesson and then makes reflections upon these. The observed in turn make their own reflections and finally, students reflect upon the observer’s notations.19 Besides the logbooks, empirical material has been produced through audio recordings (music staff meetings and lessons only) and field notes. Analysis All core group and staff meetings were recorded in audio. The data is qualitative and was processed and seen as individual utterances as intersubjective actions (cf. Lerner, 2004). The latter means that consideration has been taken to the type of dialogue (Denscombe, 2014). The recordings were transcribed during the course of the RD/ PAR project, using Jefferson’s (2004) transcription model. To be able to switch between micro and macro focus, the transcription work was intertwined with listening to the recordings, making written reflections cross-referenced with field notes and logbooks. The data was also fed back continuously to the participants, e.g. as questions, suggestions or explanations and thereby creating new data for analysis. Using musical knowledge and learning as core concepts, gradually a refined set of themes occurred. Results The joint RD/PAR project has its roots in long-term development goals regarding student achievement. These are interpreted and realized through perceived and communicated needs of the music teachers regarding their assessment practices – expressed in the work of the core group. During the project, the teachers’ conceptions of musical 19 The latter was performed through semi-structured interviews in direct relation to lessons and based around the following questions: When were you assessed? What are your reflections on that assessment? What is your reflection on the teacher’s actions and the observations? 86 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey qualities, learning, knowledge and assessment as well as didactical issues have been brought to the fore. These have proven to be complex and multifaceted, and in this part the results will be presented in relation to themes from the analysis related to the knowledge requirement “decode and realise a simple notation”, meaning making through different modes of communication and teachers’ approaches towards student abilities. Simple notation – plain and simple? One example showing the complexity of the teachers’ conceptions was the issue of “simple notation”. Taken from the knowledge requirements of Instrument or singing 1, the group agreed on every participant preparing an example in relation to their own instrument. Reflections on these then formed a background from which a discussion evolved. The examples ranged from short, monophonic pieces to lead sheets of popular songs via etudes. Their level of complexity thereby differed considerably, and the teachers concluded that what they had brought forth as “simple” represented several aspects of knowledge and learning and also of teaching: from difficulty levels of reading, via instrument specific and familiarity aspects to pedagogical considerations regarding the functions of notation in education. Musical knowledge and learning as instrument specific All aspects of notation were discussed in relation to assessment and aesthetic qualities by posing the question “What is important in relation to my instrument?” This connected not solely to the notational examples, but also to the knowledge contents to which “simple notation” belong. Tom: I think about the definition of ”simple”, and that it must be something that is familiar and that you have preconceptions of. To be able to experience something as simple, in all likelihood you have to have done it before. Astrid: It’s easy when you know how to do it? Tom: It’s easy when you know how to do it. For the students if they have done it before. And then there is another aspect too. What do we expect EDUCARE 2015:2 87 JOHAN NYBERG of the students when it comes to something being simple? If I myself am supposed to play something, then it’s like “I recognise [it], I’m in a familiar landscape, I have done this before so I know how to navigate in this landscape”. Other reflections that arose in connection to the notation examples were what makes a notation simple for a student, and how do teachers know, and what do teachers expect to be simple for a student? While the aspect of experience which Dewey would call undergoing something (Dewey, 1934, 1987), teachers’ expectations on student ability – what Tom talks about as being the ”expected” – could be seen as setting the stage for a relative and not criteria-based assessment practice. From Tom’s thought, Samuel proceeded to shift and elaborate upon ”simple” as an experience of performing: ”After a course completion, hopefully we will have elevated [the students] to the level of what we define as being simple”. The discussion led the teachers into what type of information the students are supposed to be able to decode and realise and in what context: pitch (chords/melodies), rhythm, dynamics, phrasing, form; during solo or ensemble performances? Regardless of how many, all of these parameters and aspects, the teachers concluded, need to be considered when teaching and assessing. Simplicity of notation as a phenomenon was thereby connected to instrument tradition and function as well as possible contexts, e.g. where playing one of the examples on bass – a four bar melody with half and quarter notes in treble clef – was not considered simple nor related to the primary function of the instrument. Chord sequences were seen as possible examples of notation for chord or bass instruments, but not a primary form of notation for singers at this level.20 The conclusion in the group was that they would probably be able to agree upon a piece of “traditional notation” as an example, but that instrument specifics call for different but equivalent examples of simple notation. This also had to do with different types of reading skills and the didactical functions of a “simple notation”. 20 The school offers students to apply on any instrument, but at the time there was only one wind instrument represented (tenor tuba). The main instruments taught are guitar, bass, drums, keyboards and voice. 88 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey To decode and realise – functions of music notation for learning Initially, some teachers consequently connected decoding and realisation to sight-reading.21 Others brought forth the ability to decode and realise as a tool for learning a piece of music over time, as well as expected skill level after course completion. Although conceptualized as a requirement related to a technical, skill domain of musical quality (cf. Fautley, 2010), this was another explanation for the diversity of notation examples. While focusing on decoding and realisation, the teachers concluded that the former was a prerequisite for the latter, and therefore also for musical expression when reading music. They saw it as done first by deconstruction and then “putting it together in a passable fashion”, consequently (maybe) leading to an expressive, sounding result. A comparison was made to reading. Decoding then means that the student comprehends “what sound [the notations] symbolize”, which was considered “the first step of reading”: Tom: To realise, to me that’s to read the words somehow, to be able to read the word. But not reading out loud [fluently], rather like […] no pulse at first, just breaking it down [and] sounding “the word”. […] A prima vista, that’s [like] reading aloud from a novel. Astrid: The sounding then comes between decoding and realizing. Vera: Exactly, you take it in steps. Tom: Decoding is to be able to break it down, seeing what tones are there [and realising] is to play them. The teachers agreed that for to perceive a musical expression, some form of continuity aspect and fluency was necessary. As an assessment area, this aspect was seen as dependent on course, i.e. skill, level. Meaning making through modes of communication While continuity in student and teacher interaction (e.g. regular lessons) was seen as important for learning, attendance in itself was never conceptualized as an assessment quality. Although considered an important prerequisite, it was not seen as the sole key to learning 21 A knowledge requirement for the highest grade of the course (A) only. EDUCARE 2015:2 89 JOHAN NYBERG music. The teachers put much more weight into the importance of communicating with their students. But in connection to assessment, they expressed different approaches towards communication with their students regarding aims and knowledge requirements, ranging from use of separate occasions to continuous inclusion during lessons. Understanding and interpreting the design and layout of the syllabi documents was a first introduction to this theme. The aspect of layout and transformation of syllabi (for pedagogical purposes) thereby became one aspect they connected to both their own understanding and students’ learning. One example agreed upon was progression being easier to fathom with the grades in columns, a change from the original layout.22 The importance of text and language as different modes of communication was something the teachers expanded upon. One aspect of meaning making was that of aesthetic quality, as described when realising notation – or as Thomas put it: can simple notation really be or represent ”real” music? This was seen as possible if the piece of music had some sort of narrative importance for the performer (or listener). The teachers thereby conceptualized music as a sounding as well as written language. Together with the written language of the curriculum, the teachers agreed that this put demands on teachers when communicating – with each other as well as with students – e.g. in monitoring of the students’ development. In relation to assessment, the teachers’ conceptualizations on communication when teaching can be described as connected roughly to two types: communicating to and with the students – the former stemming from a master/apprentice approach and the latter to a more collaborative ditto. It is not clear though what effects this has in getting students to reach set goals. Sometimes the teachers, regardless of approach, described the results as similar. Clara brought one example forth when she and her students collaboratively deconstructed a course syllabus to be able to decide what aims, goals and knowledge requirements could be examined and assessed in a written test. Although the students themselves had come to the conclusion that 22 The importance of this for the students cannot be assessed by analysing this empirical material, but seems to be dependent on the teachers’ approaches towards student abilities as described in the next paragraph. 90 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey such an examination could only concern E level knowledge, afterwards “they still came to me and asked ‘what grade did I get?’” (Clara).23 It should be noted that regardless of type of communication, the teachers agree upon their responsibilities as professionals, adhering the responsibility to learn to the students’ while the responsibility for the education – i.e. the prerequisites for learning – lies on the teachers and the rest of the school. Every teacher saw it as part of their professional duty to communicate syllabi actively. Not doing so, or disregarding any aims or goals in their teaching was fully rejected as unprofessional and unethical – even though they had different experiences of students’ abilities to understand and reflect upon syllabic content. An example relating to this can be found when the teachers and I talked about what the students actually perceive when communicating goals and knowledge criteria through the syllabi: Clara: I think it depends on how we present it. Those [students] I have worked with, they got sort of like a week [to read and reflect upon the knowledge requirements] and they have really looked at it. Many of them have deconstructed it, “[This] I can do, and the other not. For example I’m a monster learning by ear, but suck at it by notation”. So they made these type of divisions most of them, when given the time. This approach differs in relation to the conceptualizations foremost made by Samuel and Vera, where they take on a more explanatory and instructive role as teachers. This was based upon the notion of students’ abilities to understand and conceptualize the written language of the syllabi. While some teachers express that communicating syllabi content with students connects to overall learning, others connect it foremost to grading and dialogues regarding assessment and grading. What kind of knowledge this results in was not elaborated upon, only that the goal was to make the students’ understand enough to be able to start a reflection process. What became clear was the difference in perceived need of guidance, yet another aspect connected to students’ abilities and how the teachers approached these. 23 This was not a case of the students investigating whether they got an F or E, but of the higher grades D, C, B or A. EDUCARE 2015:2 91 JOHAN NYBERG Approaches towards students’ abilities The notation examples brought forth regarding the knowledge requirement ”decoding and realizing a simple notation” was in one case deliberately made simple ”because you have learnt what type of students you have”, i.e. it was not constructed in relation to knowledge criteria but to experience of student abilities, and as such representing one of several approaches. This division into approaches is one of interconnectedness and can be seen as having one main category: students’ ability to learn. Echoing the modes of communication, this can also be seen as connected to master/apprentice and collaborative approaches – an example of the former as expressed by Samuel: Samuel: But I think, initially if they get to look at the knowledge requirements themselves not many would be able to say, “this means this”. But if I go in and explain every sentence, then hopefully – otherwise I would not do it – many more will understand. But initially when they look at this mass of text, they think, “I will never get an A”. Samuel’s conception is one of having to take on an explanatory role, to present the students with an optional explanation instead of the students first trying themselves. At the other end of the continuum you find Clara’s approach when communicating syllabic contents as described earlier. According to her, students have some independent ability to conceptualize aspects regarding their own learning. She also expressed learning of, and knowledge on, an instrument as holistic, i.e. musical aspects are possible to practice in different learning and musical contexts. The core group members also had different views of students’ abilities to learn in relation to taking responsibility and to reflect. Samuel, for instance, had the notion of his students mostly being “not overly analytic” when reflecting on their own practicing. Sometimes it was also a question of what was seen as “correct” in relation to knowledge requirements and when to address this, as exemplified by the following exchange regarding learning and performing by notation during vocal lessons: 92 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Samuel: You have to remind them all the time, “Hey you, this is the same note you just sang, in that sequence”. It’s like two completely separate worlds, where they during music theory class at least can sort of follow. Clara: But I think about what a student said to me today, that, “when Sinatra sings, he sings ‘bouncy’, but in the notation it’s these kind of ‘trios’. And I feel it’s better with the ‘trios’ than the dots Sinatra does, so I want to sing as it’s written here”. It’s ((laughs)) it’s hilarious, the language is fantastic but it’s perfectly clear […] that a reflection has taken place. Again, it is a difference between (teacher) instruction and (student) reflection but also one of (separation of) contexts and learning goals. The important learning goal in this case seems to be the ability to reflect: in the first case related to contexts, and in the second to musical expression. Samuel’s frustration regards the difference his students’ show in ability to connect courses and lessons – the result of an atomistic understanding, so to speak – while in Clara’s case, a “fantastic” language is used as opposed to a more musically correct equivalent. Discussion The specific research purpose addressed in this article was to develop knowledge about music teachers’ experience and conceptualizations regarding assessment practices within the national Arts programme. As opposed to the results shown by Zandén (2010), this group of upper secondary school music teachers focus on and discuss all aspects of the curriculum contents, including visual as well as sounding aspects of student performance as well as didactical issues concerning assessment. This was enabled by creating a reflective practice through constructive dialogues inside as well as outside the core group (cf. Isaacs, 1993, 2001; Stanley, 2009; Timperley et al., 2007). Moving between atomistic and holistic perspectives, the latter was always being considered the goal of music education, knowledge and learning. What can be noticed is a difference within the core group when it comes to experiences of this type of sharing of conceptualizations on musical qualities and assessment of music. Although they not always agreed on ideas or ideals, the music teachers kept a strict focus on the subject at hand and its relations to concepts and contexts. EDUCARE 2015:2 93 JOHAN NYBERG Instead of defining how teaching and assessment should be organized it is according to the teachers more a question of how this could be organized in relation to criteria and students’ experiences and goals. Like Dewey’s (1916, 1958) notion of communication, the teachers’ have exchanged experiences based on curiosity and enabled conflicting opinions to surface and be examined. This way, a mutual understanding has been achieved where different interpretations can exist and be regarded as equal when it comes to assessment. The teachers in this article are as of today not part of a permanent, fixed group. Neither was the project set in every detail. This is part of what Cain et al. (2007) describe as giving the participants the opportunity to reflect upon purposes and theories within a project in relation to their needs. It is also a way to be open for a kind of educational thought. This not to be regarded as similar to an “anything goes” attitude – on the contrary, the big picture along with the frames were set. Or to continue the assessment journey metaphor: the compass was on-board, the vehicle’s checklist ticked off, the map unfolded and the route set for the goals. Speaking with Dewey (1916, 2004), choosing tools within PAR that call for intelligent action in the form of reflection, conceptualization and communication has helped pave the way for professional development. This is one way to reach a more balanced level of professionalism in relation to accountability and its deprofessionalizing effects (Englund, 2011; Torrance, 2007; Zandén, 2011, 2013). Or to speak with Allsup and Westerlund (2012): as agents, the teachers are ready to set their professionalism into (further) action. 94 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey References Allsup, Randall E. & Westerlund, Heidi (2012). Methods and situational ethics in music education. Action, Criticism, and Theory for Music Education, 11(1), 124–148. http://act.maydaygroup.org/articles/ Allsup Westerlund11_1. pdf Apple, Michael W. (2004). Creating Difference: Neo-Liberalism, NeoConservatism and the Politics of Educational Reform. Educational Policy, 18(Jan./March), 12-44. Biesta, Gert (2007). Why “What Works” Won’t Work: Evidencebased Prac-tice and Democratic Deficit in Educational Research. Educational The-ory, 57(1), 1-22. Beach, Dennis, Bagley, Carl, Eriksson, Anita, Player-Koro, Catarina (2014). Changing teacher education in Sweden: Using metaethnographicanalysis to understand and describe policy making and educational changes. Teaching and Teacher Education, 44 (2014), 160-167. Björk, Maj & Johansson, Monica (1996). Dubbellogg – ett redskap förreflektion och lärande. In Birgit Lendahls & U. Runesson (Eds.), Vägar till lärares lärande (pp. 52-67). Lund: Studentlitteratur. Boman, Ylva, Ljunggren, Carsten & von Wright, Moira (2007). Variationer av pragmatism. In Ylva Boman, C. Ljunggren & M. von Wright (Eds.), Erfarenheter av pragmatism (pp. 13-22). Lund: Studentlitteratur. Bresler, Liora (1995/2006). Ethnography, Phenomenology And Action Research In Music Education. Quarterly Journal of Music Teaching and Learning, 6(3), 4-16. Reprinted with permission in Visions of Research in Music Education, 16(6), Autumn, 2010. Broady, Donald (2012). Bildningstankens krumbukter. Några blad ur historien från 1970-tal till 2010-tal. In Anders Burman & P. Sundgren (Eds.), Svenska bildningstraditioner (pp. 285-308). Daidalos, Göteborg. Burman, Anders (2014). Dewey och den reflekterade erfarenheten. InAnders Burman (Ed.), Den reflekterade erfarenheten. John Dewey omdemokrati, utbildning och tänkande (pp. 13-36). Huddinge: Södertörns högskola. EDUCARE 2015:2 95 JOHAN NYBERG Cain, Tim, Holmes, Melanie, Larrett, Alison & Mattock, Joanna (2007). Literature-Informed, One-Turn Action Research: Three Cases and a Commentary. British Educational Research Journal, 33(1), 91-106. Cain, Tim (2008). The characteristics of action research in music education. British Journal of Music Education, 25(3), 283– 313. Carlgren, Ingrid (2013). Hur lärare ska få kunskap bestäms uppifrån. Rev. September 16, 2013. Online: http://www.skolaochsamhalle.se/ flode/skolpolitik/ingrid-carlgren-kunskapsimplementering-genompabjuden-kollegialitet/ September 18. Colwell, Richard (2003). The Status of Arts Assessment: Examples from Music. Arts Education Policy Review, 105(2), 11-18. Davidson, Rolf (1980). Svensk musikundervisning på 1950-talet – Några personliga reflektioner kring det som blev tänkt och gjort. Svensk Tidskrift för Musikforskning, 1980(1), 141-157. Denscombe, Martyn. (2014). The Good Research Guide. For smallscale social research projects. Berkshire: Open University Press. Dewey, John (1915). The Logic of Judgments of Practise. The Journal of Philosophy, Psychology and Scientific Methods, 12(20), 533-543. Dewey, John (1916). Democracy and Education: An Introduction to the Philosophy of Education. Web-edition. New York: Columbia University. Dewey, John (1929). The Quest for Certainty. A Study of the Relation of Knowledge and Action. London: George Allen & Unwin Ltd. Dewey, John (1934). Art As Experience. New York: Perigree/Penguin Group. Dewey, John (1938a). Experience and Education. New York: Touchstone. Dewey, John (1938b). Logic – The Theory of Inquiry. New York: Henry Holt and Company. Dewey, John (1958). Experience and nature. New York: Dover Publications. 96 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Dewey, John (1987). The later works of John Dewey, 1925–1953. Essays, Reviews, Trotsky Inquiry, Miscellany and Liberalism and Social Action, J. A. Boydston (Ed.), vol. 11, Carbondale: Southern Illinois University Press. Dewey, John (2004). Individ, skola och samhälle. Utbildningsfilosofiska texter. Sven Hartman, U. P. Lundgren & R. M. Hartman (Eds.). Stockholm: Natur & Kultur. Englund, Tomas (2000). Rethinking democracy and education: towards an education of deliberative citizens. Journal of Curriculum Studies, 32(2), 305–313. Englund, Tomas (2011). The linguistic turn within curriculum theory. Pedagogy, Culture and Society, 19(2), 193-206. Evaldsson, Ann-Carita (2003). Mångkulturalitet och jämställdhet i vardaglig skolverksamhet. In Ingrid Carlgren, I. Josefson & C. Liberg (Eds.), Forskning av denna världen – praxisnära forskning inom utbildningsvetenskap (pp. 27-34). Stockholm: The Swedish Research Council. Fautley, Martin (2010). Assessment in Music Education. Oxford: Oxford University Press. Ferm Thorgersen, Cecilia (2011). Assessment of musical knowledge from a life-world-phenomenological perspective – challenges of conceptualising and communication. Hellenic Journal of Music, Education and Culture, 2(1), 37-45. Ferm Thorgersen, Cecilia & Schwieler, Elias (2014). Translating the impossible: listening, learning, and art. Journal of Aesthetic Education, 47(4), in press. Ferm Thorgersen, Cecilia, Zandén, Olle, Vinge, John, Väkevä, Lauri, Andersson, Ninnie & Nyberg, Johan (2014). Assessment as learning in music education – the risk of ‘criteria compliance’ replacing ’learning’ in the Scandinavian countries. Conference symposium on assessment, Knowledge Formation in Music. NNMPF Conference, 23-25 April 2014, the Royal College of Music, Stockholm. Franzén, Bengt (1959). Att bedöma musikelever. Stockholm: Nordiska musikförlaget. EDUCARE 2015:2 97 JOHAN NYBERG Handal, Gunnar (1999). Consultation Using Critical Friends. New Directions For Teaching and Learning, 79(fall), 59-70. Holmstrand, Lars (2006). Deltagarorienterad aktionsforskning – ett nytt paradigm. In Birgitta Wingård (Ed.), Livslång nyfikenhet. En vänbok till Gunilla Härnsten (pp. 125-139). Stockholm: HLS förlag. Irwin, Rita L. & Chalmers, F. Graeme (2007). Experiencing the visual and visualizing the experiences. In Liora Bresler (Ed.), International Hand-book of Research in Arts Education (pp. 178194). Dordrecht: Springer. Isaacs, William N. (1993). Taking Flight: Dialogue, Collective Thinking, and Organizational Learning. Organizational Dynamics, 22(2), 24-39. Isaacs, William N. (2001) Toward an Action Theory of Dialogue, International Journal of Public Administration, 24(7-8), 709-748, Jefferson, Gail (2004). Glossary of transcript symbols with an introduction. In Gene H. Lerner (Ed.), Conversation Analysis – Studies from the first generation (pp. 13-34). Amsterdam: John Benjamins B.V. Klapp Lekholm, Alli (2010). Lärares betygsättningspraktik. Forskning om undervisning och lärande. Bedömning för lärande – en grund för ökat kunnande, 3(Jan.). Stockholm: Stiftelsen SAF i samverkan med Lärarförbundet. Lerner, Gene H. (2004). Introductory remarks. In Gene H. Lerner (Ed.), Conversation Analysis – Studies from the first generation (pp. 13-34). Amsterdam: John Benjamins B.V. Lewin, Kurt (1946). Action Research and Minority Problems. Journal of Social Issues, 4(2), 34-46. Liedman, Sven-Eric (2011). Hets! En bok om skolan. Falun: Albert Bonniers förlag. Lilja, Peter (2014). Negotiating Teacher Professionalism. On the Symbolic Politics of Sweden’s Teacher Unions. Malmö: Malmö University, Faculty of Education and Society Lundahl, Christian (2011). Bedömning för lärande. Stockholm: Norstedts. 98 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Nielsen, Frede V. (2002). Quality and Value in the Interpretation of Music from a Phenomenological Point of View – a Draft. Zeitschrift für Kritische Musikpädagogik, http://home.arcor.de/zf/zfkm/ nielsen1.pdf Nordin, Andreas (2012). Kunskapens politik – en studie av kunskapsdiskurser i svensk och europeisk utbildningspolicy. Växjö: Linnaeus University Press. Oxenswärdh, Anette (2011). Ansvarsförhållanden vid skolutveckling. Stockholm: Institutionen för pedagogik och didaktik, Stockholms universitet. Phillips, Louise J., Kristiansen, Marianne, Vehviläinen, Marja & Gunnarsson, Ewa (2013). Tackling the Tensions of Dialogue and Participation – Reflexive Strategies for Collaborative Research. In Louise J. Phillips, M. Kristiansen, M. Vehviläinen & E. Gunnarsson (Eds.), Knowledge and Power in Collaborative Research – A Reflexive Approach (pp. 1-18). New York: Routledge. Reason, Peter (2003). Pragmatist Philosophy and Action Research: Readings and Conversation with Richard Rorty. Action Research, 1(1), 103-123. Reason, Peter (2006). Choice and Quality in Action Research Practice. Journal of Management Inquiry, 15(June), 187-203. Regelski, Thomas A. (2009). Curriculum Reform: Reclaiming “Music” as Social Praxis. Action, Criticism, and Theory for Music Education, 8(1), 66-84. http://act.maydaygroup.org/articles/Regelski8_1.pdf Rönnerman, Karin (2000). Att växa som pedagog. Utvärdering av ett aktionsforskningsprojekt i förskolan. Göteborg: Göteborgs universitet. Rönnerman, Karin (2004). Aktionsforskning i praktiken. Lund: Studentlitteratur. Sadler, D. Royce (1989). Formative assessment and the design of instruc-tional systems. Instructional Science, 18(2), 119-144. Sadler, D. Royce (2009). Indeterminacy in the use of preset criteria for assessment and grading. Assessment & Evaluation in Higher Education, 34(2), 159–179. EDUCARE 2015:2 99 JOHAN NYBERG Sandberg, Ralf (1996). Musikundervisningens yttre villkor och inre liv. Några variationer över ett läroplansteoretiskt tema. Stockholm: HLS förlag. SFS 2010:800 Skollag. Utbildningsdepartementet. Sjöberg, Robert (2010). Balansakten bedömning – kontinuitet och transformation. Svenska språklärares bedömning och betygssättning som uppdrag, praktik och kompetens i förändring. Göteborg: Göteborgs universitet. Smylie, Mark A. (1996). From Bureaucratic Control to Building Human Capital: The Importance of Teacher Learning in Education Reform Educational Researcher, 25(9), 9-11. Solbrekke, Tone Dyrdal & Englund, Tomas (2011). Bringing professional responsibility back in, Studies In Higher Education, 36(Jan.), 847-861. Stanley, Anne Marie (2009). The experiences of elementary music teachers in a collaborative teacher study group. Michigan: UMI Publishing. Stedt, Lisbeth (2013). Samarbete och lärande. Om friktion, uppgifters komplexitet och erfarenhetsutbyten i samarbete. Stockholm: Stockholms universitet. Svensson, Lennart (2002). Bakgrund och utgångspunkter. In Lennart Svensson, G. Brulin, P-E. Ellström & Ö. Widegren (Eds.), Arbetsliv i omvandling. Interaktiv forskning – för utveckling av teori och praktik (pp. 1-22). Stockholm: Arbetslivsinstitutet. The Swedish National Agency for Education (2011). Programstruktur, Estetiska programmet. Online: www.skolverket.se. January 9. The Swedish Research Council (2002). Online: www.codex.vr.se/texts/ HSFR.pdf, May 3. The Swedish Schools Inspectorate. (2012). Nationella prov med upp-satsskrivning stöder inte likvärdig betygssättning. Press announcement 8/31/12. Online: http://www.skolinspektionen.se/sv/ Om-oss/Press/Pressmeddelanden/Nationella-prov-med-uppsatsskrivning-stoder-inte-likvardig-betygssattning/ October 3. 100 EDUCARE 2015:2 Professionalism in action – Music teachers on an assessment journey Timperley, Helen, Wilson, Aaron, Barrar, Heather & Fung, Irene (2007). Teacher Professional Learning and Development – Best Evidence Synthesis Iteration [BES]. Auckland: New Zealand Ministry of Education. Timperley, Helen (2011). Knowledge and the Leadership of Learning, Leadership and Policy in Schools, 10(2), 145-170. Torrance, Harry (2007). Assessment as learning? Assessment in Education: Principles, Policy & Practice, 14(3), 281-294. Varkøy, Øivind (2007). Instrumentalism in the Field of Music Education: Are We All Humanists? Philosophy of Music Education Review, 15(1), 37-52. Vinge, John (2014). Vurdering i musikkfag – En deskriptiv, analytisk studieav musikklæreres vurderingspraksis i ungdomsskolen. Oslo: Norgesmusikkhøgskole. Väkevä, Lauri (2007). Art Education, The Art of Education and the Art of Life. Considering the Implications of Dewey’s Later Philosophy to Art and music Education. Action, Criticism, and Theory for MusicEducation, 6(1), 2-15. http://act.maydaygroup.org/articles/ Vakeva6_1.pdf Väkevä, Lauri & Westerlund, Heidi (2007). The ”Method” of Democracy in Music Education, Action, Criticism, and Theory for Music Education, 6(4), 96-108. Wiliam, Dylan (2011). Embedded Formative Assessment. Bloomington: Solution tree. Winther Jørgensen, Marianne (2008). På framkant: Interaktiv forskning och vetenskapens plats i samhället. In Bengt Johannisson, E. Gunnarsson & T. Stjernberg (Eds.), Gemensamt kunskapande – den interaktiva forskningens praktik (pp. 349-366). Växjö: Växjö University Press. Zandén, Olle (2010). Samtal om samspel. Kvalitetsuppfattningar i musiklärares dialoger om ensemblespel på gymnasiet. Göteborg: Nämnden för konstnärligt utvecklingsarbete, Konstnärliga fakulteten, Göteborgs universitet. EDUCARE 2015:2 101 JOHAN NYBERG Zandén, Olle (2011). Professionalise or perish. A case for heightened educational quality through collegiate cooperation. In Sven-Erik Holgersen & S. Graabræk Nielsen (Eds.), Nordisk musikpedagogisk forskning (pp. 117-134). Oslo: Norges musikkhøgskole. Zandén, Olle (2013). Till en kritik av tydlighetsdoktrinen. Conference presentation Nordiskt nätverk för musikpedagogisk forskning (NNMPF), Feb. 27-March 1. Bergen, Norway. 102 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Lars Holm The article presents results from a study in language testing of children in two kindergartens in Copenhagen. Closely related to poor PISA-results in reading in the Danish schools language testing in Danish kindergartens have been vastly extended. This has caused an intense and heated debate among scholars, in which the extended language testing in Kindergartens are supported or opposed, based on either generalized perspectives on expected school progress or on generalized perspectives on the harm testing practices might do children in kindergartens. The study reported in this article goes beyond these generalized perspectives from “the outside”, and points to the necessity of an ethnographic-oriented “insideperspective” in which kindergartens language testing is researched empirically as a local and social practice. A theoretical framework for researching language testing as a social practice is developed and applied to ethnographic date from fieldwork in two kindergartens in Copenhagen. The study shows that the view of language and the view of measurement and knowledge embedded in the language test results in specific institutional practices in which the interaction between the child and the preschool-teacher focusses on children’s receptive knowledge of structural components of language. Furthermore the practices appear to be based on highly normative assumptions about children´s language development and everyday life. The analysis shows that the social practices around language testing are placing children in a position in which their potential as creative and productive producers of language in interaction is absent from the agenda. The implications of this for the ongoing development of kindergarten practices and for pre-school teachers are discussed. Keywords: Language evaluation, kindergarten, institutional practices, testing as social practice. Lars Holm, Associate Professor, Ph. D, Department of Education, Aarhus University, Campus Emdrup @[email protected] EDUCARE 2015:2 103 LARS HOLM Indledning Som pædagogisk institution er det en integreret del af daginstitutioners virksomhed at forholde sig evaluerende til børns sproglige udvikling. Det sker typisk på to forskellige måder. Der er dels tale om en løbende, uformel evaluering, der er indlejret i hverdagens almindelige interaktion mellem barn og pædagog. Gennem sproglige såvel som kropslige udtryk forholder pædagogerne i daginstitutionen sig eksplicit eller implicit evaluerende til børns sprogbrug. Et smil, et nik, en rynket pande, en understøttende eller korrigerende bemærkning er eksempler på denne form for evaluering. Ved siden af denne uformelle evaluering har der gennem mange år også været en formel sproglig evaluering af specialpædagogisk karakter, der har haft til formål at identificere karakteren af problemer hos børn med forskellige typer af indlæringsvanskelighed. Som oftest er denne formelle, specialpædagogiske evaluering blevet varetaget af særligt uddannet personale med udgangspunkt i forskellige evalueringsredskaber. Denne situation har i Danmark ændret sig markant inden for de seneste årtier, idet pædagoger nu i vid udstrækning gennemfører formelle sproglige evalueringer af alle børns sproglige udvikling fra 3-års alderen og opefter (Holm, 2010). I denne artikel belyses det, hvordan lokale aktører i en daginstitution konstruerer et niveau for sproglig dygtighed, og hvad det er for normer, værdier, relationer og processer, der kommer i spil i forbindelse med den institutionelle anvendelse af bestemte evalueringsredskaber. Den intensiverede sproglige evaluering i daginstitutioner er fra politisk hold blevet motiveret med et behov for at styrke børns sproglige udvikling (Bundgaard & Gulløv, 2008). Ser man nærmere på de mange politiske initiativer, der er taget med dette mål for øje, fremgår det, at styrkelsen af børns sproglig udvikling har en særlig baggrund og en særlig retning (Holm & Laursen, 2011). Baggrunden for den stærkt udvidede sproglige evaluering i daginstitutioner er et politisk ønske om bedre resultater i PISA-målingerne af danske elevers læsefærdighed, og som konsekvens heraf rettes den sproglige evaluering i daginstitutioner mod læsning i grundskolen. I ”Sprogpakken”, der er et omfattende efteruddannelsesprogram udarbejdet af Servicestyrelsen under Socialministeriet, argumenteres der fx på følgende måde: 104 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Forskningen kan således dokumentere sammenhæng mellem barnets tidlige sprogtilegnelse og senere uddannelsesmæssige succes. Dette skyldes især, at barnets tidlige sprogtilegnelse kan kædes sammen med læsefærdigheder som spiller en vigtig rolle i grundskolen. (Servicestyrelsen, 2011, s. 3). Centralt i dette uddrag er, at der etableres en kausalitet mellem tidlig sprogtilegnelse, læsefærdigheder og uddannelsesmæssig succes. Denne forståelse udbygges gennem en eksplicitering af følgende grundantagelse om, hvad læsefærdighed er: At læse kræver dels afkodningsfærdigheder (at kunne identificere skrevne ord), dels læseforståelse (at forstå det man læser) (Servicestyrelsen, 2011, s.3). Den politiske ambition om at styrke børns sproglige udvikling er således tæt relateret til et politisk ønske om bedre læsefærdighed, hvor læsefærdigheder forstås som noget, der konstitueres af afkodning og læseforståelse. I argumentationen i ”Sprogpakken” etableres der således af en kausal relation mellem målbare resultater i læsefærdighed og udvidet sproglig evaluering i daginstitutioner, og på baggrund heraf skabes et rationale, hvor det bliver oplagt at fastlægge karakteren af den sproglige evaluering ud fra det, der anses for at være centrale forudsætninger for at børn bliver bedre til at læse. Fra flere sider har der været rettet skarp kritik mod den øgede sproglige evalueringer i daginstitutioner. Professor Per Schultz Jørgensen fremhæver fx, at pædagoger i mange daginstitutioner gennem den formelle institutionelle evalueringspraksis besvarer 6-700 spørgsmål om det enkelte barns færdigheder inden skolestart. Schultz Jørgensen ser denne udvikling som udtryk for en fremvækst af en forestilling om ”det målbare barn”, hvor afvigelser fra den standardiserede udvikling skal dokumenteres og rettes til – ud fra en tro på, at det er til barnets og samfundets bedste (Jørgensen, 2014). På linje med Pettersvold og Østrem (2012) ser Schultz Jørgensen denne ”måleiver” som et resultat af en New Public Management tænkning, hvor en bred iagttagelse af barnets udvikling erstattes af eksakte målinger baseret på evalueringsredskaber. Børneforsker og tidligere venstrefløjspolitiker Erik Sigsgaard ser i sin analyse af den aktuelle situation i de danske pædagogiske institutioner sproglige evalueringer EDUCARE 2015:2 105 LARS HOLM som et udtryk for en øget overvågning og for en udvikling i autoritær retning (Sigsgaard, 2014). Den danske diskurs om sproglig evaluering i daginstitutioner er præget af skarpe modsætninger. Overordnet betragtet ses sproglig evaluering enten som et nødvendigt gode for det enkelte barns sproglige udvikling, fordi evalueringen antages at være et nyttigt redskab for det sprogpædagogiske arbejde i forhold til det enkelte barn (Kjærbæk, L. m.fl.,2014), eller som en uhensigtsmæssig foranstaltning med overvejende negative konsekvenser, fordi der gennem testen sker en tilsidesættelse af opmærksomhed på det enkelte barns autonome udvikling (Klitmøller & Sommer, 2014). Andersen (2009) fortolker modsætningerne som en kamp om hvilken viden, der skal/bør produceres om det enkelte barn og om den institutionelle praksis, mens Pettersvold og Østrem (2012) taler om den diskursive kamp som en kamp om ”godhedsmagten”, der handler om at fastlægge, hvilken institutionel praksis der er ”bedst” for ”barnet”. Det er et karakteristisk træk ved diskursen, både fra tilhængeres og modstanderes side, at der er fokus på den sproglige evaluerings forventede positive eller negative effekt i et overordnet samfundsmæssigt perspektiv. Herigennem rejses der centrale og væsentlige spørgsmål af pædagogisk og etisk karakter, men i den faglige diskurs savnes der empirisk forskning, der retter opmærksomheden mod den lokale praksis, der opstår, når et bestemt sprogligt evalueringsmateriale bringes i anvendelse i en daginstitution. For at kvalificere diskurserne om sproglig evaluering i daginstitutioner er der behov for en forskningsmæssig tilgang, der retter opmærksomheden mod de konkrete handlinger, værdier og normer, der kommer i spil, når der gennemføres sproglig evaluering i en daginstitution. De centrale forskningsspørgsmål, der søges besvaret i denne artikel gennem en empirisk analyse af den lokale praksis er, hvad det er for vurderende perspektiver, der løftes frem i forhold til børns sproglige udvikling, hvad det er for roller og relationer, der skabes mellem børn og pædagoger, og hvordan de sproglige evalueringer rammesætter vilkår for børneliv og pædagogisk virksomhed. 106 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Teoretisk udgangspunkt Når man kaster et blik på det internationale forskningsfelt, der beskæftiger sig med sproglig evaluering, kan der overordnet betragtet identificeres tre forskellige paradigmer med hver deres teoretiske forståelse af sproglige evalueringsredskaber, med hver deres forskningsmæssige interesser, og med hver deres foretrukne videnskabelige metoder. For det første er der tale om et forskningsparadigme, hvor den sproglige evaluering primært ses som et måleinstrument, der har til formål at være samfundsmæssigt behjælpelig med at generere sammenlignelig viden om individers, institutioners og nationers dygtighedsniveau. Det teoretiske udgangspunkt for dette paradigme er grundlæggende validitetsteori og psykometrisk teori, herunder item-response-theory, og der anvendes typisk kvantitative metoder til at tilvejebringe data (McNamara & Roever, 2006). Centralt inden for forskningsparadigmet er teoretiske diskussioner om kvalitetsudvikling af evalueringsredskaber samt empiriske analyser af evalueringsredskabers validitet og reliabilitet (McNamara & Roever, 2006; Gogolin, Neumann & Roth, 2005; Weir, 2005; Bachman & Palmer, 1996). For det andet ses der et paradigme, hvor den sproglige evaluering betragtes som et politisk magt- og styringsinstrument (Pettersvold & Østrem, 2012; Menken, 2008; Shohamy, 2001; Spolsky, 1995). Det teoretiske udgangspunkt for dette forskningsfelt er typisk sociologisk teori – især Bourdieu og Foucault (McNamara & Roever, 2006; Shohamy, 2001). Den forskningsmæssige interesse er først og fremmest rettet mod at afdække de generelle logikker og værdier, der er indlejret i de politiske processer omkring sproglig evaluering og mod at afsøge mere generelle såvel tilsigtede som utilsigtede effekter af den sproglige evaluering, herunder deres funktion i forhold til at kategorisere individer og konstruere social identitet (McNamara & Roever, 2006). Den sproglige evaluering relateres først og fremmest til dominans- og magtrelationer og indskrives i den diskursive kamp om samfundsmæssige værdier og normer (Andersen, 2009). I forskningen inden for dette paradigme ses der en bred vifte af kvalitative metoder, ikke mindst diskursanalyse. EDUCARE 2015:2 107 LARS HOLM Karakteristisk for begge disse paradigmer er, at den sproglige evaluering grundlæggende ses som et instrument, der fungerer i en given samfundsmæssig struktur, enten som et måleinstrument eller som et politisk instrument. Dette instrumentelle blik på sproglig evaluering medfører en tendens til udgrænsning af samspillet mellem test og aktører på mikro-niveau, således at den lokale praksis og den lokale fortolkning og forståelse af normer og værdier i sproglig evaluering ikke kommer i fokus. Det tredje forskningsparadigme, som skal omtales her, og som er udgangspunktet for analysen af den sproglige evaluering i denne artikel, er et etnografisk forskningsparadigme, hvor sproglig evaluering ses som en social praksis. Etnografi er ifølge Blommaert og Jie (2010) karakteriseret ved en særlig ontologi, hvor sprog ses som en ressource, der inddrages, anvendes og udnyttes af mennesker i et socialt rum og under mange forskellige omstændigheder, men altid på en måde, der har sociale konsekvenser. Etnografi er således ikke kun en metode, men et ”full intellectual programme” (Blommaert & Jie, 2010:5). Etnografi er desuden karakteriseret ved at være en induktiv videnskab med en induktiv analysestrategi, hvad der grundlæggende indebærer, at forskeren følger data i sit feltarbejde, og at data peger på bestemte teoretiske problemstillinger (Blommaert & Jie, 2010). Den forskningsmæssige interesse i relation til sproglig evaluering er inden for dette paradigme rettet mod at afdække mønstre i den institutionelle praksis, nærmere bestemt de værdier og normer, processer og relationer, der vokser frem, når et bestemt sprogligt evalueringsmateriale bringes i anvendelse (Se fx Monsen, 2014; Schmidt, 2013; Kousholt, 2010; Martin-Beltrán, 2010, Holm, 2009b). Det etnografiske paradigme retter med andre ord opmærksomheden mod, hvordan folk ”gør” sproglig evaluering, og mod hvad den sproglige evaluering gør med folk (Holm, 2009b). Feltarbejde, interviews og datanalyse er de centrale metoder, og der arbejdes frem mod analytiske generaliseringer, hvormed der forstås en type af generaliseringer, der indebærer en bedømmelse af, i hvilken grad resultaterne af undersøgelsen kan være vejledende, hvis der kastes et blik på andre lignende ”sites” (Kvale 1997:228) 108 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Metode og data Det empiriske grundlag for denne artikel udgøres af data fra feltarbejde i to daginstitutioner i Københavns Kommune. I begge institutioner er der mange børn af migranter, og man har i den ene institution valgt at benytte et kommunalt evalueringsmateriale, der er udarbejdet af Københavns Kommune til sproglig vurdering af ”tosprogede børn” (Københavns Kommune, u.å), mens man i den anden institution anvender det ministerielle evalueringsmateriale ”Sprogvurderingsmateriale til 3-årige”, der er udarbejdet af Ministeriet for Familie- og forbrugeranliggender i 2007. ”Sprogvurderingsmateriale til 3-årige” består af et registreringsskema og et forældreskema. Registreringsskemaet, der udfyldes af en pædagog, er opdelt efter køn, således at der er et registreringsskema til 3-årige drenge og et til 3-årige piger. Det begrundes med, at ”der er stor forskel på drenges og pigers sproglige udvikling i 3-års alderen” (Ministeriet for Familie- og Forbrugeranliggender, 2007:5). Registreringsskemaet til 3-årige drenge, der indgår i denne undersøgelse, omfatter en række delaktiviteter, der er domineret af to forskellige typer af interaktionsmønstre. Den ene type af interaktion, som illustreres af eksempel 1, er karakteriseret ved, at barnet skal vise forståelse ved at udføre de handlinger, som det bliver bedt om. Eksempel 1: Hanne: Så har vi tog og bog. Kan du pege på tog? Omar: [Barnet peger på billedet af et tog] Hanne:Ja. Det var sørme rigtigt. Så skal du vende igen. Så har vi bil og pil. Kan du pege på bil? I den anden type af interaktionsmønster, der illustreres i eksempel 2, fordres der i interaktionen mellem barn og pædagog en sproglig (re)produktion fra barnets side. Eksempel 2: Hanne: Omar: Hanne: EDUCARE 2015:2 Kan du så sige: lampe-bamse-sut? Lampe-bamse-sut. Hold da op, hvor er du bare god. 109 LARS HOLM I forældreskemaet er der tre rubrikker, der handler om henholdsvis ordforråd, ords endelser og sætningsopbygning. Forældrene bliver bedt om at afkrydse, om de har hørt deres barn sige 100 forskellige ord. De skal tage stilling til, om de har bemærket, at deres barn er begyndt at anvende flertalsformer af navneord, genitiv samt datidsformer af udsagnsord, og de skal tage stilling til, hvilke af seks forskellige sproglige muligheder, der bedst beskriver deres barns sprogbrug i en given situation. Det er et særligt træk ved ”Sprogvurderingsmateriale til 3-årige”, som ikke ses i andre evalueringsredskaber, at det inddrager forældre i produktion af viden om deres barns sproglige udvikling. Københavns Kommunes evalueringsmateriale er inddelt i seks overordnede rubrikker med følgende overskrifter 1) barnet og dets verden og omverden; 2) barnets modersmål (førstesproget); 3) barnets tilegnelse af dansk (andetsproget); 4) barnets sprogforståelse og brug af dansk 5) barnets øvrige udvikling; 6) institutionens bemærkninger til barnets generelle udvikling. En meget stor del af rubrikkerne udfyldes ved at afkrydse udsagn, der er baseret på generel viden og vurdering af forhold omkring barnet. Det er primært i relation til besvarelsen af rubrik fire, at der indgår en særligt tilrettelagt sproglig interaktion mellem pædagog og barn. I denne interaktion vurderes barnets sprogforståelse og brug af dansk med udgangspunkt i en række spørgsmål som f.eks: Kan barnet svare på simple hv-spørgsmål? Forstår barnet danske tillægsord og biord? Kan barnet fortælle om sin alder? Eksempel tre er et typisk eksempel på den sproglige interaktion, der er central i dette evalueringsmateriale. Eksempel 3: Ida: Amir: Ida: Amir: Ida: Hvad er det her for en bil? En ambulance Hvad farve har den? Grøn Ja, det er rigtigt. Nu skal du høre.. Ud over observationer af ni sproglige evalueringer gennemført med disse to evalueringsmaterialer er dategrundlaget for undersøgelsen tilvejebragt gennem interviews med institutionsledere og/eller de ansvarlige for den sproglige evaluering, gennem samtaler om de 110 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner observerede sproglige evalueringer med de personer, der gennemfører dem, gennem indsamling af information om de anvendte sproglige evalueringsredskaber og gennem indsamling af informationer, der belyser lovgrundlag og politiske beslutninger i relation til sproglig vurdering. Dataindsamlingen fandt sted i en periode fra oktober 2008 til februar 2009. De sproglige evalueringsmaterialers formål Når en formel sproglig evaluering ses som social praksis rettes opmærksomheden blandt andet mod, hvordan evalueringsmaterialet rammesætter den sproglige interaktion. Set i dette perspektiv er der flere karakteristiske fællestræk ved de to anvendte evalueringsredskaber. Det forventes i begge evalueringsredskaber, at den sproglige evaluering foregår i et roligt og afskærmet rum og har karakter af en sproglig interaktion mellem et barn og en pædagog (Schmidt, 2013). Denne rammesætning af den sproglige evaluering indebærer, at det bliver pædagogernes opgave at gøre børnene målbare og sammenlignelige og at producere den viden om børns sprog, som evalueringsmaterialet fordrer. Det er desuden et karakteristisk fællestræk, at evalueringsredskaberne rummer flere forskellige evalueringsformål. I informationsmaterialet til ”Sprogvurderingsmateriale til 3-årige” kan man læse at formålet med at sprogvurdere 3-årige børn: både er at finde ud af, om barnet har de sproglige redskaber, det har brug for som 3-årig, og at give en støtte til de børn, der har brug for det. Sprogvurderingen skal herudover bidrage til, at daginstitutionen generelt kan øge fokus på børnenes sprogudvikling”(MFF, 2007) Af informationsmaterialet fremgår det videre, at evalueringen med dette materiale forventes at resultere i, at 85 % af børnene vil få anbefalet en ”generel indsats”, 5-15 % af børnene ”en fokuseret indsats”, og 5 % af børnene ”en særlig indsats” (Ministeriet for Familie- og Forbrugeranliggender, 2007). En række formål er således indlejret i det ministerielle sproglige evalueringsmateriale (Holm, 2009, 2010). Det skal give grundlag for en vurdering af, om det enkelte barn har et såkaldt aldersvarende sprogligt niveau, og i forlængelse heraf skal det danne udgangspunkt EDUCARE 2015:2 111 LARS HOLM for en kategorisering af børn i tre grupper. Herudover skal resultatet af den sproglige evaluering anvendes til en differentiering af en sprogpædagogisk praksis, og endelig er det hensigten med den sproglige evaluering af 3-årige, at den skal bidrage til at daginstitutioner får et skarpere fokus på børns sproglige udvikling. Den sproglige evaluering af de 3-årige børn er således tænkt som en måling, der kan danne grundlag såvel for en kategorisering af et barn som for en sprogpædagogisk indsats. En lignende kombination af flere formål ses også i relation til Københavns Kommunes evalueringsmateriale. Det fremgår af procedurerne for anvendelsen af materialet, at den sproglige evaluering har to formål. For det første skal resultatet af den sproglige vurdering anvendes til en kategorisering af det tosprogede barn, enten som tilhørende den gruppe af tosprogede børn, der har behov for særlig sprogstimulering, eller som en del af en gruppe, hvor sprogstøtten kan finde sted inden for institutionens almindelige praksis. For det andet fremgår det af vejledningen, at en besvarelse af sprogvurderingens rubrikker kan fortælle noget om ”barnets stærke sider, der kan arbejdes ud fra efterfølgende” (Vurderingsskema til 3-årige, s.4). Den sproglige evaluering er således også i dette tilfælde tænkt som et redskab, der kan danne grundlag for udvikling af sprogpædagogiske initiativer, der er målrettet det enkelte barn. De sproglige evalueringers teorigrundlag For at kunne måle og veje et barns sprog og sproglige udvikling har et sprogligt evalueringsmateriale altid en teoretisk forankring. Der må for det første defineres et sprogsyn, der giver svar på, hvilke aspekter af sprog, der skal evalueres. For det andet må der udvikles et målingssyn, der rummer en vurderende skala, som barnets sprog kan relateres til, og for det tredje vil evalueringsmaterialet fastlægge et kundskabssyn, idet det sproglige evalueringsmateriale stiller krav til barnet om viden om bestemte forhold og om at formidle denne viden gennem bestemte måder at bruge sprog på (Holm, 2010). På baggrund af disse træk bliver det relevant at se på samspillet mellem sprogsyn, målingssyn og kundskabssyn på den ene side og evalueringens mange formål på den anden. 112 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Sprogsyn Med sprogsyn forstås de grundlæggende teoretiske antagelser om sprog, der kommer til udtryk i det sproglige evalueringsredskab. Det er altså forståelsen af fænomenet sprog, der er fokus på, når sprogsynet i et sprogligt evalueringsredskab analyseres. Inden for sprogvidenskaben kan der identificeres to overordnede forståelse af sprog. Med udgangspunkt i den schweiziske sprogvidenskabsmand Saussure ses der en strukturalistisk tradition, hvor sprog betragtes som et alment-abstrakt system for betydningsdannelse, og som en forudsætning for kommunikation i det hele taget (Widdowson, 1996). Det strukturalistiske paradigme indebærer, at sprog ses som noget, der konstitueres af bestemte delelementer som udtale, ordforråd, morfologi og syntaks. På baggrund af denne teoretiske forståelse af sprog rettes den evalueringsmæssige opmærksom typisk mod bestemte sproglige delelementer som evnen til at skelne lyde, mod det receptive ordforråd og mod kendskab til udsagnsords bøjninger, navneords flertalsformer og sætningsopbygning. Det er endvidere et karakteristisk træk, at der i det strukturelle paradigme er indlejret et perspektiv på sprog og sprogligt niveau som en individuel attribut – som noget det enkelte individ enten har eller ikke har. Det strukturalistiske paradigme er blevet udfordret siden 1920´erne af flere forskellige sprogvidenskabelige retninger, der har det tilfælles, at de arbejder ud fra en grundantagelse om, at sprog hverken kan adskilles fra de personer, der frembringer det, eller fra de situationer, som de frembringer det i. Det drejer sig for eksempel om retninger som antropologisk lingvistik, interaktionel sociolingvistik og konversationsanalyse (Davis & Taylor, 1990/2014; Spolsky, 1998). Inden for denne forståelsesramme, der ofte benævnes et interaktionelt paradigme, ses sprog ses som et dynamisk, socialt fænomen, hvor betydningsdannelsen er forankret i interaktionen i den enkelte situation (Goffman, 1959; Silverstein, 1992). Overføres denne forståelse til sproglig evaluering indebærer det, at den evalueringsmæssige opmærksomhed i væsentlig grad rettes mod, hvordan et individ bruger sprog og andre kommunikationskanaler til betydningsdannelse i interaktion med andre. Set i relation til en daginstitution vil et interaktionelt syn på sprog medføre, at den evalueringsmæssige opmærksomhed især retter sig mod, hvordan det enkelte barn indgår EDUCARE 2015:2 113 LARS HOLM i forskellige sprogbrugssituationer – både i interaktion med voksne og ikke mindst i interaktion med andre børn, fordi der i interaktion mellem børn typisk vil være en mere symmetrisk fælles produktion af betydning, end når interaktionen finder sted mellem barn og voksen. Den konkrete sproglige evalueringspraksis i daginstitutionerne indledes med, at pædagogen bringer barnet til et særligt rum, hvor kun barn og pædagog normalt er til stede. Pædagogen italesætter i mange tilfælde den sproglige evaluering som en leg, som barnet skal deltage i. Når selve evalueringen er begyndt, er forløbet stramt styret af anvisningerne og rubrikkerne i evalueringsmaterialets evalueringsskema, som pædagogen udfylder undervejs i interaktionen (Holm, 2009b). De følgende eksempler illustrerer nogle typiske træk ved den sproglige interaktion, der opstår. Eksempel 4 mellem pædagogen Ida og den 3-årige dreng Amir har udgangspunkt i ”København Kommunes vurderingsmateriale til tosprogede børn”, mens eksempel 5 og 6 mellem pædagogen Hanne og den 3-årige pige Yasmin har afsæt i ”Sprogvurderingsmateriale til 3-årige” (Holm, 2009b). Eksempel 4: Ida: Amir: Ida: Amir: Ida: Hvor er dine ryg henne? Her. Ja. Og hvor er numsen? Der. Den er der. Godt. Eksempel 5: Hanne: Så har vi tog og bog. Kan du pege på tog? Yasmin: [Barnet peger på billedet af et tog] Hanne:Ja. Det var sørme rigtigt. Så skal du vende igen. Så har vi bil og pil. Kan du pege på bil? 114 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Eksempel 6: Hanne: Hvor er pigen henne? Yasmin: [Yasmin peger på en lege-kuffert, hvori der ligge en pigeog en drengedukke] Hanne: Kan du tage pigen op af kufferten? Yasmin: [Yasmin tager pigen op af kufferten] Hanne: Ja, det var godt. Og hvor er drengen henne? Som det fremgår af disse eksempler medfører evalueringsmaterialets opbygning, at pædagogen bliver den styrende og mest talende, men også at barnet hverken forventes eller levnes mulighed for at bidrage til opbygning eller udvikling af en samtale eller en interaktion. Eksemplerne viser klart, at evalueringsredskaberne er udformet således, at de grundlæggende skaber en interaktion med en initiativrespons og en initiativ-respons-feedback struktur, hvor der kun fordres en minimalrespons fra barnets side. Det er dog ikke alle børn og pædagoger, der uden videre følger evalueringsmaterialernes stramme styring. Sekvensen nedenfor er den afsluttende aktivitet i den sproglige evaluering, som sigter mod gennem en tegneaktivitet at undersøge, om barnet kan benævne genstande på legepladsen. Eksempel 7: Nete: Den allersidste ting. Kunne du ikke tænke dig at tegne? Hvad er der vi har ude på legepladsen? Yasir: En legeborg. Nete: Prøv at se om du kan tegne legeborgen. Nu skal jeg hjælpe dig med den der drillesko. [Der er tale om skoen til en dukke, der har været en del af en tidligere aktivitet] Yasir: Måske har jeg sat den forkert på. Nete: Vil du tegne for mig? Yasir: Jeg vil tegne den der pige. Nete: Jeg synes du skal tegne legepladsen og børne haven, og hvad der ellers er derude. [Yasir begynder at tegne] Yasir: Det er en sh- sh- ismand. Nete: En snemand. EDUCARE 2015:2 115 LARS HOLM Yasir: En snemand. Og det er hans arme. Nete: Hold da op. Den bliver flot. Yasir: Og det er hans øjner, og der er hans mave og hans ben. Og det her er legepladsen. Man kan ikke slå sig. Nete: Man kan ikke slå sig? Der ligger sne måske? Yasir: Ja. Så kan man kælte. Nete: Hvad er det, du tegner der? Yasir: Det er så.. Det er hans mund, der er faldet ned. Nete: Hans mund, der er faldet ned. Nå, okay. Yasir: Ja. Og det er hans cykel, der er gået i stykker. Nete: Det var ærgerligt, for så kan han ikke cykle på den, vel? I dette eksemplet vælger barnet ikke at følge pædagogens opfordring til at tegne legepladsen, men beslutter sig for at tegne noget andet - først en pige og så senere en snemand. Pædagogen forsøger at fastholde barnet på den obligatoriske opgave, men barnet fastholder sin beslutning om selv at bestemme motivet på sin tegning. Meningsudvekslingen mellem barn og pædagog finder sted i et neutralt og ikke konfliktfyldt toneleje, hvad der kan bidrage til at forklare både barnets lyst til at tegne og til at inddrage den voksne pædagog i en samtale om sin tegning. Pædagogen vælger at tage imod invitationen og bidrager herigennem til en sproglig interaktion, der giver interessante informationer om barnets sproglige formåen, men ikke om barnets sproglige kapacitet til at benævne ting på en legeplads. Sammenlignes eksempel 7 med eksempel 4-6 illustrerer disse eksempler, hvordan et henholdsvis strukturelt og et interaktionelt paradigme grundlæggende skaber vidt forskellige typer af evaluerende interaktioner mellem barn og pædagog. Eksempel 7 belyser desuden det forhold, at et barns sprogbrug vil være afhængig af, at der opstår en vellykket interaktion mellem barn og pædagog (Daugaard, 2009). Derudover belyser eksempel 7, at en sproglig evaluering kan skabe dilemmaer for pædagogen, der må vælge enten at følge evalueringsmaterialets fordring og logik og afvise et barns invitation til samtale eller være imødekommende over for barnets ønske om at være medskaber af interaktionen. I evalueringsmaterialerne findes der enkelte elementer, der afspejler et interaktionelt orienteret sprogsyn, men ud fra en helhedsbetragtning fremstår et strukturelt orienteret sprogsyn klart som det dominerende. Det skyldes, at det først og fremmest er resultatet af den sproglige 116 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner evaluering mellem barn og pædagog, der er det centrale grundlag for kategoriseringen af barnet og for den intenderede sprogpædagogiske opfølgning. Som det fremgår af eksempel 4, 5 og 6, medfører det strukturelle sprogsyns dominans og dets fokus på bestemte sproglige træk et lukket og stærkt styret initiativ-respons-feedback (I-R-F) interaktionsmønster mellem barn og pædagog, og det er desuden i meget væsentlig grad barnets forståelse – eller ikke-forståelse – af enkeltord og dekontekstualiserede sætninger, der kommer i fokus. Set i et bredere perspektiv indebærer det strukturelle sprogsyn i evalueringsmaterialerne, at den evalueringsmæssige opmærksomhed først og fremmest rettes mod bestemte prædefinerede sproglige kategorier og kun i ringe grad mod barnets produktive sproglige kapacitet eller sproglige kompetencer i bred forstand. Det har som konsekvens, at barnet grundlæggende ikke ses som en kompetent samtalepartner, der kan bidrage konstruktivt til at udforme og forhandle forløb og indhold i en sproglig interaktion med en voksen. Inden for rammerne af den observerede evalueringspraksis vil selvstændige initiativer til at etablere en samtale om noget, barnet selv finder relevant, fremstå som et forstyrrende indslag i den evaluerende interaktion (Holm, 2010). Det fremgår af feltarbejdet og af interviews med aktører i institutionen, at de sproglige evalueringsredskaber i betydelig grad kommer til at præge den institutionelle forståelse af sprog og af børns sproglige udvikling samt den pædagogiske praksis. Pædagogerne tager i meget høj grad evalueringsmaterialernes sprogsyn, kategoriseringer og vurderinger til sig og formidler evalueringsresultater til forældre og til hinanden som objektive sandheder. Samtidig ses der en tydelig moddiskurs, idet en del pædagoger giver udtryk for, at den mere omfattende sproglige evaluering er spild af tid, hvilket de begrunder med, at de i forvejen har tilstrækkelig viden om det enkelte barns sproglige udvikling (Holm, 2009b). Der ses således en noget modsætningsfuld situation, hvor der på den ene side høres kritiske røster blandt pædagogerne, og på den anden side ses der samtidig en tendens i retning mod, at evalueringsredskabernes vurderende perspektiver bliver den dominerende norm for, hvordan børns sproglige udvikling italesættes. Sker det, kan det ifølge EDUCARE 2015:2 117 LARS HOLM Pettersvold og Østrem (2012) medføre en tilsidesættelse af andre måder at italesætte børns sproglige udvikling på – herunder vurderinger af børns sproglige udvikling, der hviler på et professionelt skøn fx med afsæt i en interaktionel forståelse af sprog (Pettersvold & Østrem, 2012). De sproglige evalueringsredskaber ses også at have den effekt, at det i institutionerne bliver en del af den daglige praksis at ”træne” og ”øve” de delaktiviteter og ord, der indgår i den evaluerende interaktion mellem barn og pædagog, og at artefakter, der er en del af den sproglige evaluering, bliver en del af institutionernes arsenal af ”legetøj” (Holm, 2009b). Målingssyn og kundskabssyn Målingssynet i de sproglige evalueringsredskaber, der analyseres i denne artikel er normrelateret (Guba & Lincoln, 1998). I relation til en sproglig evaluering betyder det, at normen typisk er baseret på en undersøgelse og statistisk bearbejdning af et sprogligt aspekt, som for eksempel ordforråd – hos et større antal børn i samme alder. Undersøgelsesresultater af denne type anvendes typisk til at fastlægge en norm for det, der kaldes alderssvarende sprog. Det er endvidere et centralt træk, at den statistiske bearbejdning af data indebærer, at den evaluerende opmærksomhed i normrelaterede sproglige evalueringer retter sig mod de aspekter af sprog, der lader sig kvantificere. Sproglige træk, der kun vanskeligt eller slet ikke kan indfri dette krav, indgår derfor ikke i den sproglige evaluering. Derudover er det et karakteristisk for de normrelaterede evalueringsredskabet, at de undersøger børns sproglige kompetence kontekstuafhængigt (se eksempel 1-6). Heri ligger en markant forskel set i relation til de interaktionelt orienterede sprogvidenskabelige paradigmer, hvor det er en central grundantagelse, at børn ikke lærer sprog for sprogets egen skyld, men for at kunne gøre noget med sprog – for at kunne handle i deres liv i den situation, de befinder sig i (Karrebæk, 2009). Ud fra denne position forstås sprog som et kontekstafhængigt fænomen, og på baggrund heraf rettes der kritik mod norm- og aldersrelaterede sproglige evalueringer og kategoriseringer, fordi de hviler på antagelser om at alle børn gennemløber de samme udviklingstrin i samme rækkefølge og derigennem bidrager til at producere et stærkt generaliseret og dekontekstualiseret syn på børns sproglige udvikling (Holm, 2009). 118 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Når den sproglige evaluering er rettet mod en prædefineret norm om det alderssvarende og ikke mod en bred undersøgelse af, hvad et barn kan gøre med sprog, kan det have som konsekvens, at det evaluerende blik bliver rettet mod, hvad barnet ikke kan i forhold til den prædefinerede norm. Dette kommer tydeligt til udtryk i en af de observerede sproglige evalueringer mellem barn og pædagog, hvor et barn i løbet af en interaktion på 9 minutter siger ”Det ved jeg ikke”, ”Det kan jeg ikke” og ”Det vil jeg ikke” 18 gange (Holm, 2009b). Normrelateringen i de sproglige evalueringer indebærer ikke kun en tendens til, at den evaluerende opmærksomhed rettes mod det, barnet ikke kan i forhold til en prædefineret norm. Anvendes den normrelaterede evaluering som afsæt for en sprogpædagogisk indsats, vil der desuden være en betydelig risiko for, at indsatsen vil orientere sig mod at bringe barnets sprog i overensstemmelse med bestemte prædefinerede forestillinger om, hvad der er alderssvarende sprog, og fx ikke mod de sproglige behov som fremstår som centrale i barnets hverdag i institutionen. Normrelaterede evalueringsredskaber rummer desuden særlige problemstillinger i forhold til flersprogede børn. Normen om et alderssvarende sprog er i de anvendte evalueringsredskaber udviklet med udgangspunkt i etsprogede børns sproglige udvikling og er derfor udtryk for, at flersprogede børn måles med etsprogede børns alen (Gogolin, Neumann & Roth, 2005; Holm, 2009b). Som konsekvens heraf vil en normrelateret evaluering typisk resultere i, at mange flersprogede børn bliver kategoriseret som børn med et ikke-alderssvarende sprog. Den sproglige evaluerings monolinguale perspektiv medfører således en tendens til en generel negativ kategorisering af flersprogede børn, fordi det sproglige evalueringsredskab kun forholder sig til det flersprogede barns sproglige udvikling på dets andetsprog og ikke til kompleksiteten og sammensatheden i et flersproget barns sproglige udvikling på flere sprog. En sproglig evaluering rummer også et kundskabssyn, der manifesterer sig i, at der i evalueringen er foretaget en prioritering af, hvilke kundskaber man ønsker at værdsætte institutionelt. Hvilke ord er det fx der værdsættes, og hvilke måder at vise viden på har prioritet? I de normrelaterede evalueringsredskaber værdsættes det typisk, at børn kan de ord, som de fleste andre børn kan, men ikke at de kan EDUCARE 2015:2 119 LARS HOLM ord, som kun få børn kan. Det tillægges således ikke værdi, hvis et 3-årigt barn har magt over en række specifikke ord fra barnets hverdag og fx kan skelne mellem en kajak og en kano. Set i dette perspektiv bliver det klart, at de normrelaterede sproglige evalueringsredskaber afspejler en forestilling om et fælles dansk børneliv, hvor børn forventes at møde nogenlunde de samme ting i deres hverdag og derfor forventes at tilegne sig nogenlunde de samme ord. Bag den normrelaterede tankegang ligger der tydeligvis en antagelse om, at alle børn møder de samme sproglige udfordringer, har de samme sproglige behov på det samme sprog og på samme tidspunkt i deres opvækst. Forskelle fx mellem opvækst i land og by, mellem børn med mange eller ingen søskende, mellem et- og flersprogede børns sproglige udvikling elimineres af den logik, der er indlejret i en forestilling om et alderssvarende sprog. I de sproglige evalueringsredskaber ses således stærke normalitetsforestillinger, der medfører, at børn med en anden socialisering end den dominerende allerede i 3-års alderen kategoriseres som ”behind schedule” (Anderson-Levitt, 1996) og dermed som problembørn og som potentielle tabere (jf. Pettervold & Østrem, 2012). Konklusion Enhver institutionel evaluering har en effekt på normer, værdier og praksis (Cheng m.fl., 2004). Denne effekt kan være større eller mindre og mere eller mindre direkte og tilsigtet. I relation til de sproglige evalueringer, der indgår i denne analyse, er der forventninger om en betydelig direkte effekt, idet de sproglige evalueringer ikke kun er tænkt som et måle- og kategoriseringsredskab, men også som et vidensgrundlag for udformning af en sprogpædagogisk praksis, og dermed som et redskab med en betydelig normsættende virkning. Gennem en værdsættelse af særligt udvalgte sproglige træk fungerer den sproglige evaluering som et udtryk for en officiel standard for vurdering af børns sprog og som et udsagn om, hvilke former for børnesprog der er passende i den institutionelle kontekst. De sproglige evalueringer sætter desuden rammer om den institutionelle praksis på en række områder, idet de fordrer en bestemt praksis, hvor pædagoger og børn forventes at foretage bestemte handlinger og at påtage sig særlige roller og positioner. 120 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Det fremgår af data i denne undersøgelse, at evalueringsmaterialernes fokus på bestemte aspekter af barnets sprog resulterer i en praksis, hvor den sproglige interaktion mellem barn og pædagog er lukket, prædefineret og stærkt styret, fordi pædagogerne i langt de fleste tilfælde føler sig bunder til evalueringsmaterialets fordring om at gøre ganske bestemte ting for at producere viden af en ganske bestemt karakter. I forbindelse med langt de fleste items i evalueringsmaterialer forventes det ikke, og der levnes ikke mulighed for, at barnet kan/skal bidrage til opbygning eller udvikling af en samtale eller en interaktion. Det generelle billede er, at den sproglige interaktion mellem barn og pædagog får karakter af en kontrol af, om barnet kender og forstår bestemte sproglyd, ord og sætninger. Den faglige og politiske diskurs om sproglig evaluering af småbørn er grundlæggende en ideologisk kamp, der drejer sig om, hvilken forståelse af sprog og sproglig udvikling, der skal prioriteres i daginstitutioner. I de analyserede daginstitutioner er den sproglige evalueringspraksis domineret af et strukturelt sprogsyn. Det medfører, at den evaluerende opmærksomhed især rettes mod kendskab til frekvente enkeltord og mod fonetiske forhold. Denne prioritering af bestemte dekontekstualiserede sproglige træk ses primært at være begrundet i et hensyn til en faglig forståelse af læseindlæring, hvor netop ordforråd og fonetisk kompetence betragtes som de mest betydningsfulde forudsætninger for at børn bliver gode til at afkode tekster (Holm & Laursen, 2011). Analysen af evalueringsmaterialernes sprogsyn, målingssyn og kundskabssyn viser desuden, at den sproglige evalueringspraksis er præget af en tung monolingual normativitet, der synes at være baseret på en grundlæggende antagelse om, at alle børn i danske daginstitutioner socialiseres på samme måde, på dansk og gennemløber de samme sproglige udviklingstrin i samme rækkefølge. Denne normativitet medfører, at der stilles flere og flere krav til at være et ”normalt” barn, samt at det kun er den dansksprogede del af flersprogede børns sproglige repertoire, der evalueres og værdsættes. EDUCARE 2015:2 121 LARS HOLM Diskussion og perspektivering En daginstitution er en pædagogisk institution, hvor man vil noget med børnene – blandt andet udvikle deres sprog. Visse former for sprog og sprogbrug anses for at være bedre end andre, og derfor er det – og har altid været – en del af en daginstitutions virksomhed at anlægge vurderende perspektiver på børns sprog og sproglige udvikling. Det centrale spørgsmål er derfor ikke, om der skal foretages sproglig evaluering i daginstitutioner, men hvordan den skal foretages. Den øgede politiske opmærksomhed på sproglig evaluering i daginstitutioner kan derfor ses som udtryk for et ønske om at ændre en institutionel praksis ved at installerer et andet sæt af normer og perspektiver på børns sproglige udvikling. Som det fremgår af denne artikel, har installeringen af de sproglige evalueringsredskaber i daginstitutionerne vidtrækkende betydning for normer og værdier, relationer og processer. Praksis omkring de sproglige evalueringer i daginstitutioner forudsætter, at barnet er villig til at indgå i den sociale praksis, som konstrueres i den sproglige evaluering. Eksempel 7 nedenfor, hvor pædagogen Trine har hentet den 3-årige dreng Hamza på stuen og bragt ham til et særligt lokale, hvor den sproglige evaluering skal foregå, belyser dette. Eksempel 8: Trine: Hamza: Trine: Hamza: Trine: Hamza: Trine: Hamza: Trine: Hamza: Trine: Hamza: Trine: Hamza: Trine: Hamza: 122 Sæt dig lige herop, så vi kan lege. Nej. Du skal sætte dig herop – ved siden af mig. Det vil jeg ikke. Jo, det skal du. Kom! Jeg [uforståeligt udsagn] Hvad siger du, skat? Prøv at kigge på mig. Jeg vil høre historie. Ja, men vi hører historie bagefter. Nej. Du vil slet ikke? Nej, jeg.. Vi har biler her, du kan lege med. [Ryster på hovedet og ser ned i bordet] Du vil ikke lege med biler? Nej, jeg vil have historie. EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Her afsluttes samtalen i denne omgang, og drengen og pædagogen forlader lokalet. Sekvensen viser, hvordan intentionen om at gennemføre en sproglig vurdering af denne dreng på dette tidspunkt giver anledning til en ganske betydelig magtkamp og konfrontation mellem barn og pædagog. Ikke alle børn ønsker at deltage i den særlige ”leg” med pædagogen, når de bliver bedt om det, og ikke alle børn virker motiverede og opsatte på at ”lege med”. Eksemplerne i artiklen viser klart, at barnet skal være parat til at følge evalueringens logik og præmisser og parat til at acceptere, at det er pædagogen, der styrer interaktionen. De sproglige evalueringer forudsætter således et veltilpasset og velsocialiseret barn for at kunne lykkes efter hensigten. Set i et sprogpædagogisk perspektiv skaber det betydelige problemer, at de sproglige evalueringsredskaber er domineret af et strukturelt sprogsyn, hvor sprog ses som en individuel egenskab, der grundlæggende konstitueres af ord og en række sproglige delkomponenter af stigende sværhedsgrad, som børn forventes at tilegne sig først og fremmest receptivt og i mindre grad produktivt. Et sådant syn på sprog og sproglig udvikling kan bidrage til unuancerede og forsimplede forestillinger hos pædagoger, forældre og børn om, hvad sprog og sprogbrug er for et fænomen. Derudover vil det være problematisk, hvis de sproglige evalueringers strukturelle sprogsyn kommer til at danne grundlag for udviklingen af den sprogpædagogiske praksis, fordi det vil betyde, at den sprogpædagogiske indsats ikke funderes i nyere teorier om sprog, hvor sprog og sprogbrug ses som en interaktionel betydningsdannelse, som en kontekstualiseret social praksis og som et multilingualt repertoire (Holm, 2009b). Den sproglige evaluerings monolinguale perspektiv kan endvidere bidrage væsentligt til at cementere eller etablere en” monolingual habitus” (Gogolin, Neumann & Roth, 2005) i institutionen med vidtrækkende konsekvenser såvel for flersprogede børn og deres familier som for pædagogers perspektiver på flersprogede børn. De seneste års udvidelse af den sproglige evalueringspraksis i daginstitutioner gør det relevant i fremtidige undersøgelser at se nærmere på, i hvilket omfang evalueringsmaterialernes syn på sprog, måling og kundskab kommer til at præge den sprogpædagogiske praksis. Gennem sproglige evalueringer i daginstitutioner konstrueres EDUCARE 2015:2 123 LARS HOLM en praksis, der rummer bestemte teoretiske forståelser af sprog og af børns sproglige udvikling, og indlejret i denne praksis er bestemte typer af relationer og processer mellem daginstitutionens aktører. En etnografisk orienteret tilgang til sproglig evaluering med fokus på sprogsyn, målingssyn og kundskabssyn forekommer at være et relevant og produktivt udgangspunkt for at analysere de dynamikker, der skabes, når et bestemt sprogligt evalueringsmateriale bringes i anvendelse i en daginstitution, fordi en tilgang af denne karakter åbner for og bidrager med en viden om hverdagsliv og social praksis i daginstitutioner, der ikke indfanges af andre forskningsmæssige tilgange til sproglig evaluering. Der er med andre ord behov for en løbende etnografisk orienteret forskning i den sproglige evalueringspraksis i daginstitutioner, ikke mindst når denne praksis udvides gennem introduktion af nye sproglige evalueringsredskaber. 124 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Referenser Andersen, Peter Østergaard (2009). Dokumentation og evaluering betragtet som kamp om viden. Dansk Pædagogisk Tidsskrift 1, 6071. Anderson-Levitt, Karen (1996). Behind Schedule: Batch-Produced Children in French and U.S. Classrooms. In Bradley A. Levinson, Douglas E. Foley & Dorothy C. Holland (Eds.) The cultural production of the educated person: critical ethnographies of schooling and local practice. Albany: State University of New York Press. Bachman, Lyle F. & Palmer, Adrian S. (1996). Language testing in practice. Oxford: Oxford University Press. Blommaert, Jan & Jie, Dong (2010). Ethnographic Fieldwork. Bristol: Multilingual Matters. Bundgaard, Helle & Gulløv, Eva (2008). Forskel og fællesskab. Minoritetsbørn i daginstitutioner. København: Hans Reitzels Forlag. Cheng, Liying, Watanabe, Yoshinori & Curtis, Andy (2004). Washback in language testing: Research contexts and Methods. Mahwah, NJ: Lawrence Erlbaum Associates. Davis, Hayley G. & Taylor, Talbot J. (1990/2014). Redefining Linguistics. London: Routledge. Goffman, Erving (1981) Forms of Talk. Philadelphia: University of Pennsylvania Press. Gogolin, Ingrid, Neumann, Ursula & Roth, Hans-Joachim (2005). Sprachdiagnostik im Kontext sprachlicher Vielfalt. In Ingrid Gogolin, Ursula Neumann & Hans-Joachim Roth (Eds.) Sprachdiagnostik bei Kinder und Jugendlichen mit Migrationshintergrund. Münster: Waxmann Verlag. Guba, Egon G. & Lincoln, Yvonna S. (1989): Fourth generation evaluation. Thousand Oaks: Sage. Holm, Lars & Laursen, Helle Pia (2011). Migrants and Literacy Crises. Apples – Journal of Applied Language Studies 5(2), 3-16. EDUCARE 2015:2 125 LARS HOLM Holm, Lars (2010). Språklig utvärdering i förskolan. In Lars Holm & Helle Pia Laursen (Red.) Språklig praxis i Förskolan. (ss. 73-90). Lund: Studentlitteratur. Holm, Lars (2009a). Who evaluates the evaluation? An analysis of computer-adaptive testing using literacy as an example. Nordic Educational Research 29, 137-148. Holm, Lars (2009b). Evaluering af sprogvurderingsmaterialer i daginstitutioner. En undersøgelse af sproglig evalueringspraksis i daginstitutioner i Københavns Kommune. Onlinepublikation på www.dpu.dk/om/larsh Jørgensen, Per Schultz. (2014). Barnet i systemets tjeneste. Information 15. januar 2014, s. 18-19. Karrebæk, Martha Sif (2009). Den prutter: Deltagelse og sproglig forhandling i børnehavebørns leg. In Lars Holm & Helle Pia Laursen (Eds.) En bog om sprog – i daginstitutioner. København: Danmarks Pædagogiske Universitetsforlag. Kjærbæk, Laila, Rasmussen, Sissal & Clausen, Marit (2014). Børn bør sprogtestes, men ikke for at klare sig bedre i PISA-test. Information 26. februar 2014, s.18-19. Klitmøller, Jakob & Sommer, Dion (2014). Læring, dannelse og udvikling: Kvalificering til fremtiden i daginstitution og skole. København: Hans Reitzel. Kousholt, Kristine (2010). Børneperspektiver, læring og evalueringspraksis. Pædagogisk Psykologisk Tidsskrift 47(6), 485498. Kvale, Steiner (1997). InterView. En introduktion til det kvalitative forskningsinterview. København: Hans Reitzel. Københavns Kommune (u.å): Individuel vurdering af det tosprogede 3-årige barns tilegnelse af dansk. København. Martin-Beltrán, Melinda (2010). Positioning proficiency: How students and teachers (de)construct language proficiency at school. Linguistics and Education 21, 257-281. McNamara, Tim & Roever, Carsten (2006). Language Testing: The Social Dimension. Oxford: Blackwell Publishing. 126 EDUCARE 2015:2 Kan du tage pigen op af kufferten? En analyse af sproglig evaluering i daginstitutioner Menken, Kate (2008). English learners left behind: Standardized testing as language policy. Clevedon: Multilingual Matters. Ministeriet for Familie- og Forbrugeranliggender (2007). Sprogvurderingsmateriale til 3-årige. København. Monsen, Marte (2014). Store forventninger? Læreropfatninger om eksterne leseprøver. Oslo: Universitetet i Oslo. Pettersvold, Mari & Østrem, Solveig (2012). Mestrer – mestrer ikke. Jakten på det normale barnet. Oslo: Res Publica. Schmidt, Lene (2013). Nationale statistikker, sprogkuffert og andre kuriositeter til test af børn. Dansk Pædagogisk Tidsskrift 1(13), 50-59. Servicestyrelsen (2011). Forskningskortlægning af behov for sprogvurdering, effektive sprogindsatser og pædagogisk efteruddannelse. Udarbejdet at Bleses, D, Højen, A., Lum, J., Markussen-Brown, J. & Andersen, M. K. for Servicestyrelsen. Shohamy, Elana (2001). The power of tests. Harlow: Longman. Sigsgaard, Erik (2014). Om børn og unges NEJ. København: Tiderne Skifter. Silverstein, Michael (1992). The indeterminacy of contextualisation: When is enough enough? In Adrian DiLuzio & Peter Auer (Eds.). The contextualization of Language. Amsterdam: John Benjamins. Spolsky, Bernhard (1995). Measured words: The development of objective language testing. Oxford: Oxford University Press. Spolsky, Bernhard (1998). Sociolinguistics. Oxford: Oxford University Press. Weir, Cyril J.(2005): Language Testing and Validation. An Evidencebased Approach. Basingstoke: palgrave/macmillan Widdowson, Henry G. (1996). Linguistics. Oxford: Oxford University Press. EDUCARE 2015:2 127 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och språknivåer i Europarådets Common European Framework of Reference for Languages (CEFR) Mats Oscarson In the early 1970’s, the Council of Europe commenced work that aimed at identifying levels of language learning in a transparent and generally applicable way. The project resulted in the definition of six cardinal levels of competence according to a descriptive model called the Common European Framework of Reference for Languages. This made a strong and lasting impact and the CEFR concept is now being employed both in Europe and beyond as an important tool in the communication about goals and activities in language teaching and assessment. The highly influential work inspired the Swedish National Agency for Education (Skolverket) to transpose the curricular goals for languages into an approximate CEFR model encompassing 7 levels, or stages (steg), which would thereby, among other things, enable comparison of features of language education across cultural and national boundaries.This article describes a previously unpublished study that investigated the conceptual relationship between the 7 stages of language ability laid out in Swedish school curricula and the 6-level CEFR system (Oscarson 2002). Against the background of the increasingly strong interest in the latter system, the purpose of the article is to update and review the analytical procedure and the results of this study. A text analytics method for stepwise comparison of the systems was devised and used in the alignment. Areas of competence were matched for content, and descriptions of abilities in the Swedish curricula close in meaning to descriptors in the CEFR system were identified. Conclusions were drawn about the interrelationships that exist between 128 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... the systems and points on the two scales. The results indicate where any given stage in a Swedish language curriculum is located on the CEFR scale. The general conditions for the work undertaken, as well as possible further research, are discussed. Keywords: Common European Framework, CEFR, GERS, language assessment, language proficiency scales Mats Oscarson, Professor emeritus Department of Pedagogical, Curricular and Professional Studies, University of Gothenburg [email protected] Inledning och bakgrund I kursplanereformen år 2000 i den svenska skolan infördes ett nytt system för beskrivning av kurser och mål i språk i den svenska skolan (Skolverket 2000). Systemet består av sju successiva språkfärdighetsnivåer, kallade Steg (1-7), som kurser i ämnena engelska, moderna språk och teckenspråk för hörande relateras till. Stegen visar på ett konkret och enhetligt sätt hur eleverna avancerar i sina studier genom grundskolan och vidare genom den gymnasiala utbildningen. Reformen ökade möjligheterna att se på lärandet av olika språk i olika skolformer i ett gemensamt övergripande perspektiv. Också de nyare kurs- och ämnesplaner som kom 2011 har denna formella struktur, som framgår av ”Kommentarmaterial till kursplanen i engelska”: Grundskolans nya kursplan ingår liksom tidigare, tillsammans med gymnasieskolan, i ett gemensamt system med generella och påbyggbara språknivåer, så kallade steg. Utgångspunkten för detta system är Europarådets ”Gemensam europeisk referensram för språk, lärande, undervisning och bedömning” (GERS). Detta är ett vedertaget europeiskt system med generella språknivåer. EDUCARE 2015:2 129 MATS OSCARSON Den nya kursplanen i engelska har ytterligare harmoniserats gentemot den europeiska referensramen. Bland annat omfattar det centrala innehållet de texttyper och kontexter för språkanvändning som förekommer i den europeiska referensramen. (Skolverket, 2011a, s 6) I Skolverket (2011c, s 5) meddelas det vidare: ”Språknivåerna i stegen är i princip desamma som tidigare” (dvs desamma som i Kursplaner 2000). Stegindelningen bygger alltså på CEFR (på svenska GERS, Gemensam europeisk referensram för språk), ett referenssystem som har sin grund i ett långsiktigt målbeskrivningsarbete i språk organiserat av Europarådet fr.o.m. början av 1970-talet samt i en till det arbetet kopplad empirisk undersökning om sekvensering av språkkunskaper på en nivåskala. Denna verksamhet resulterade så småningom i rapporten Common European Framework of Reference for Languages: Learning, teaching, assessment (Council of Europe, 2001), vilken också finns översatt till svenska (Skolverket, 2009). CEFR berör flera olika aspekter av organisation och lärande av språk, men det allmänna intresset för arbetet har främst kommit att gälla definitionen av kunskapsnivåer (levels of proficiency). I den här artikeln beskrivs ett uppdrag för Skolverket som genomfördes 2001-2002 och som främst gick ut på att undersöka hur de sju språkstegen i Kursplaner 2000 innehållsmässigt och strukturellt förhåller sig till CEFR-systemets sex Levels (Oscarson, 2002). I grunden var det fråga om en text-analytiskt baserad jämförelse som utgick från tolkningar av innebörden i beskrivningarna av mål i de två systemen och som redovisades fortlöpande i skriftliga och muntliga rapporter till uppdragsgivaren. Resultat angavs första gången i en preliminär översättningstabell i publikationen Europeisk språkportfolio 16+ (Uppsala universitet, 2001). De mera slutgiltiga resultaten har därefter använts (med endast marginella ändringar) av både Skolverket och andra för att informera om relationen mellan Steg och CEFR-nivåer, ofta med hjälp tabeller och figurer som anger de direkta sambanden (jämför t.ex. Skolverket 2005; Skolverket 2011c, s. 7; Skolverket, 2012, s 28-29; Erickson, 2011, s 35; Stenberg, 2013, s 9). De slutsatser som den föreliggande studien resulterade i har alltså anammats av uppdragsgivaren och är väl kända i den språkdidaktiska diskussionen. 130 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Beskrivningen av tillvägagångssättet vid fastställandet av dessa samband har däremot inte publicerats tidigare (och har heller inte refererats). Det har dock visat sig att det finns ett mer allmänt intresse för undersökningen och för den grundläggande frågan om hur kopplingen mellan språkstegen och CEFR faktiskt har åstadkommits (vilket bl.a. framgått av förfrågningar till författaren). Samtidigt kan nämnas att det är brukligt att grunden för uppgifter om kända test- och kursnivåers förhållande till CEFR motiveras och beskrivs tydligt, men uppenbarligen har sådan redovisning inte skett i tillräcklig omfattning i det här fallet.1 Bristen på bekräftande undersöknings- och sambandsdata har också påtalats i ett vidare forum. I EU-rapporten The Implementation of The Common European Framework for Languages in European Education System noteras att “several legal documents of the Swedish education system are based on the CEFR” och sägs samtidigt att ”there are some concerns about the implementation of the CEFR in Sweden: The relation between the legal documents for education and the CEFR is not empirically substantiated by any research study” (European Union, 2013, Section 4.5). Syften Det allmänna syftet med den här artikeln är därför att bidra med mer information av det slag som efterfrågas. Det sker främst genom att för en vidare krets aktualisera och uppdatera den ursprungliga redovisningen av studien. Avsikten är främst att ge ett fortsatt tolkningsstöd för lärare och andra som vill få en närmare uppfattning om vad kursplanernas 1 När det gäller test- och examinationsförhållanden finns det detaljerade anvisningar om hur man bör gå tillväga i denna sorts validering av de uppgifter man lämnar. Se t.ex.Council of Europe (2009), som är en manual “specifically focused on procedures involved in the justification of a claim that a certain examination or test is linked to the CEFR” (sid 1). Det nämns också att manualen har använts på många olika sätt, bl.a. “to assist schools to develop procedures to relate their assessments to the CEFR” (s 2) och då mot bakgrund av att “There are many contexts in which the examination or test leading to a significant qualification is set by the teacher or school staff rather than an external body” (s 3). Se också North (2009) om möjligheten att använda bl.a. lärarbedömningar i studier av den här typen. EDUCARE 2015:2 131 MATS OSCARSON Steg i språk uttrycker i förhållande till det internationellt välbekanta europeiska ramverket för språkstudier. Ett annat syfte är av mera metodisk art, nämligen att uppmärksamma proceduren för jämförelsen (som inte har beskrivits i tryck tidigare). Den visar på en möjlig väg att gå om man vill länka nivåindelade målbeskrivningar i olika studie- eller inlärningssystem till varandra. En förutsättning för att metoden ska kunna tillämpas är bland annat att målen är någorlunda konkret och tydligt specificerade. En del övriga villkor för tillämpningen av metoden på det föreliggande materialet anges i avsnittet Förutsättningar för studien och tillvägagångssätt nedan. Det empiriska underlaget till CEFR-skalorna Konstruktionen av den europeiska referensramen bygger i huvudsak på resultat från ett schweiziskt forskningsprojekt som genomfördes vid mitten av 1990-talet och som har beskrivits utförligt i en doktorsavhandling framlagd av Brian North (1995). Forskningen finns också sammanfattad i Council of Europe (2001, Appendix B) och Council of Europe (2002, kap 7). Kortfattat och mycket förenklat uttryckt innebar Norths arbete följande. Ett 30-tal språkfärdighetsskalor (med beskrivna nivåer) som användes i olika undervisnings- och utvärderingssammanhang samlades in och kategoriserades. Skalorna delades sedan upp i sina beståndsdelar, dvs i de enskilda satser och meningar som tillsammans utgör definitionerna av förmåga. Dessa enskilda uttryck refererade man i arbetet till som deskriptorer (eng. descriptors). Exempel, i svensk översättning, är: ‘Förstår tydligt långsamt tal i vardaglig enkel konversation’, ‘Uttrycker sig flytande och spontant, nästan utan ansträngning’, ‘Kan skriva ett personligt brev med beskrivningar av erfarenheter, känslor och händelser’. De tydligaste och mest relevanta av de samlade deskriptorerna granskades, bearbetades och nivågrupperades sedan för att användas i olika försök som gick ut på en validering av hela materialet. I denna process fick lärare göra bedömningar av i vilken mån de enskilda deskriptorerna stämde som beskrivningar på studerande vars färdigheter 132 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... de väl kände till. Lärarnas bedömningar analyserades sedan enligt en speciell statistisk metod (s.k. Rasch-analys) som gjorde det möjligt att fastställa slutliga skalnivåer för deskriptorerna och att eliminera sådana som inte entydigt kunde inordnas på en skala. Slutprodukten blev ett antal språkfärdighetsskalor uppbyggda av ”påståenden, utsagor” (statements) på kända färdighetsnivåer. Ett mycket stort antal lärare och studerande deltog i detta utvecklingsarbete. Resultatet har som antytts tidigare fått mycket stor användning, främst i Europa men också i andra delar av världen (se t.ex. North, 2014; European Union, 2013). På basis av detta arbete beskrivs i Europarådsrapporten bl.a. sex grundläggande färdighetsnivåer i språk, s.k. Common Reference Levels, inordnade under tre klassiska benämningar på stadier av språkutveckling (nybörjare, fortsättare och avancerade). Systemet betecknas på följande sätt: C2 Mastery C1 Effective operational proficiency B2 Vantage B1 Threshold A2 Waystage A1 Breakthrough Proficient user (Avancerat stadium) Independent user (Fortsättarstadium) Basic user (Nybörjarstadium) Varje nivå beskrivs i ett antal termer av förmåga i språket (s.k.’Can Do’ statements). Exempel: ”Can deal with most situations likely to arise whilst travelling in an area where the language is spoken.” Sammantaget bildar CEFR-nivåerna en beskrivningsskala som kan användas av myndigheter, språkutbildningsanordnare, läromedelsproducenter, testföretag m.fl. för att informera om och tolka färdighetsnivåer i bl. a kurser, läromedel och certifikat av olika slag. CEFR omfattar ett stort antal skalor avseende skilda färdighetsområden. Förutom de många skilda skalorna finns också en generell skala kallad The global scale (se Appendix). Denna har dessutom transformerats till en övergripande självbedömningsmatris (a self-assessment tool) som fått mycket utbredd användning. EDUCARE 2015:2 133 MATS OSCARSON För närmare information om CEFR (GERS) hänvisas till Council of Europe (2001) och Skolverket (2009). I den senare finns alla skalorna översatta till svenska. I rapporteringen använder jag en del förkortningar, enligt följande. CEFR GERS SV EV hög låg HF MI MP LF SP Common European Framework of Reference for Languages Gemensam europeisk referensram för språk Språkval (dvs i grundskolan) Elevens val (dvs i grundskolan) Övre delen av nivån (inom vissa Scales och Levels; jfr avsnittet ”En närmare jämförelse”) Nedre delen av nivån (dito) Hörförståelse Muntlig interaktion Muntlig produktion Läsförståelse Skriftlig produktion Andra tillämpningar av CEFR CEFR-konceptet har på kort tid fått stort genomslag som ett värdefullt referenssystem på områdena undervisningsplanering, materialproduktion och färdighetsbedömning. Tillämpningarna är många.2 Bland annat i utvecklingen av bedömnings- och dokumentationsmodellen The European Language Portfolio (ELP), som nu existerar i över ett hundratal språk- och målgruppsspecifika versioner, har CEFR-nivåerna spelat en central roll.3 De används till exempel, i lätt omredigerad form, som underlag för elevers självbedömningar. Det sker dels med hjälp av en övergripande nivåoch färdighetstabell i s.k. Can do-form (”I can recognise familiar words and very basic phrases concerning myself, my family and immediate concrete surroundings when people speak slowly and clearly” o.likn.), dels med hjälp av avsevärt mer omfattande checklistor med 2 Se t.ex. North (2014) samt rapporten Case Studies från Europarådet (Council of Europe, 2002) som beskriver användningen av CEFR i ett flertal länder. 3 Närmare information om The European Language Portfolio finns på Europarådets hemsida http://www.coe.int/t/dg4/education/elp/ 134 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... motsvarande innehåll. Också dessa är organiserade i de sex nivåerna (A1-C2) med fördelning över ett antal färdighetsområden. En annan mycket stor satsning, i vilken CEFR-skalorna används som ett praktiskt orienteringsinstrument, är det internetbaserade bedömningssystemet DIALANG (Diagnosis of Language Skills) (se Huhta m.fl. 2002; Alderson, 2005). Här erbjuds kostnadsfria test i 14 olika europeiska språk (danska, engelska, finska, franska, grekiska, iriska, isländska, italienska, nederländska, norska, portugisiska, spanska, svenska och, tyska). Resultaten rapporteras i form av uppnådda CEFR-nivåer, från A1-C2.4 Förutsättningar för studien, tillvägagångssätt och resultat Av självklara skäl kunde jag bara ta in i den här jämförande analysen sådana färdighetskategorier som återfinns i båda nivåsystemen (Steg och Levels). Därför fick exempelvis beskrivningarna av kulturmål utgå, eftersom de saknas i CEFR. Mål som närmast är aktuella för lite äldre språkanvändare, t.ex. ‘Note-taking (Lectures, seminars, etc)’ och ’Goal-oriented co-operation (e.g. Repairing a car, discussing a document, organising an event)’, liksom sådana som inte finns uttryckligen representerade bland Steg-systemets Mål, t.ex. förståelse av ’Public announcements’ och ‘Watching TV and film’, fick av samma anledning lämnas åt sidan. En generell skillnad mellan systemen är att i Stegen intar de s.k. metakognitiva aspekterna på inlärningen (“medvetandemålen”, reflektionen kring de egna studierna och lärandet) en bestämd plats i beskrivningarna (vilket de inte gör i CEFR). Utvecklingen av det viktiga självständiga tänkandet tas in som en komponent redan från början och hela vägen upp t.o.m. Steg 7. Detta speglas i formuleringar som “kunna reflektera över hur den egna inlärningen av t.ex. ord och fraser går till” (Steg 1), “kunna reflektera över och dra slutsatser om sitt sätt att lära sig språket” (Steg 4), “kunna utvärdera sitt arbete som ett led i att förändra och förbättra sitt lärande” (Steg 6). Sådana 4 Programmet kan laddas ner gratis på projektets hemsida: http://www. lancs.ac.uk/researchenterprise/dialang/about EDUCARE 2015:2 135 MATS OSCARSON metakognitiva färdigheter är inte inkluderade i CEFR Levels och jag har alltså inte kunnat ta hänsyn till dem i min jämförelse. Jag började mitt sorteringsarbete med att bryta ner var och en av de sju enskilda Stegens ”Mål som eleverna skall ha uppnått efter avslutad kurs” i sina skilda kategorier av deskriptorer (beskrivningar), dvs i sina delfärdigheter (hörförståelse, muntlig interaktion, muntlig produktion, läsförståelse, skriftlig produktion). Detta var lätt gjort, eftersom de återkommer i en given ordningsföljd i de olika Stegen. Sedan matchade jag de beskrivna delfärdighetsområdena i Stegen mot de motsvarande områdena i skilda CEFR-skalor. På grund av att inte alla skalor är direkt relevanta (jfr ovan), och dessutom på grund av att de är så många, fick jag göra ett urval enligt Tabell 1. Alla de som enligt min bedömning är centrala på varje färdighetsområde är dock med. Beteckningarna till vänster är mina egna (dvs de är inte betecknade så i Steg-beskrivningarna). Färdigheterna listas i den ordning de beskrivs inom de olika Stegen. I fråga om delfärdigheten Skriftlig produktion (SP) har jag, som framgår av tabellen, också gjort en del jämförelser med beskrivningar i två skalor i CEFR-kategorin Written interaction, närmare bestämt Overall written inter-action och Correspondence. Dessa innehåller också bestämningar av den rent produktiva förmågan, vilket gav mig en något bredare bas för jämförelserna. Annars är det ju så att ‘Skriftlig interaktion’ inte specificeras på något mer explicit sätt bland målen i Steg-systemet (medan ‘Muntlig interaktion’ gör det). Beskrivningarna av skriftlig förmåga i Steg-systemet är ganska konsekvent fokuserade på produktionen (dvs snarare än interaktionen). Exempel: “kunna göra sig förstådd i skrift i mycket enkel form för att meddela något” (Steg 1), “kunna uttrycka sig i enkel form i skrift för att berätta, beskriva eller informera om något” (Steg 3), “kunna begära och ge information i skrift samt berätta och beskriva något” (Steg 4), “kunna sammanställa och skriftligt redovisa ett arbete …” (Steg 7). Written interaction exemplifieras allmänt i CEFR med bland annat sådana numera vanliga språkliga aktiviteter som “passing and exchanging notes, memos etc. when spoken interaction is impossible and inappropriate”, “correspondence by letter, fax, email etc”, “participating in on-line or off-line computer conferences” (Council of Europe, 2001, avsnitt 4.4.3.2). 136 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Tabell 1. Delfärdigheter i Steg-beskrivningar och motsvarande delfärdighetsskalor i CEFR-systemet Delfärdighet i Stegbeskrivningar Delfärdighetsskala i CEFR Hörförståelse (HF) Aural reception (listening) Overall Listening Comprehension Understanding conversation between native speakers Listening as a member of a live audience Listening to announcements and instructions Listening to audio media and recordings Muntlig interaktion (MI) Spoken interaction Overall spoken interaction Understanding a native speaker interlocutor Conversation Informal discussion (with friends) Formal discussion and meetings Informal exchange Muntlig produktion (MP) Oral production (speaking) Overall oral production Sustained monologue: Describing experience Sustained monologue: Putting a case Läsförståelse (LF) Visual reception (reading) Overall reading comprehension Reading correspondence Reading for orientation Reading for information and argument Reading instructions Skriftlig produktion (SP) Written production Overall written production Creative writing Reports and essays Written interaction Overall written interaction Correspondence EDUCARE 2015:2 137 MATS OSCARSON Efter matchningen av färdighetsområden gick jag vidare till att försöka avgöra hur beskrivningarna i Steg-systemet betydelse- och innehållsmässigt förhöll sig till enskilda deskriptorer i CEFR-systemet. Eftersom det knappast i något enda fall finns en direkt jämförbarhet mellan systemen i det här avseendet, blev det ofta fråga om tolkningar av inbördes förhållanden mellan formuleringar på svenska och engelska. I många fall var avgörandena svåra och det var ofta så att jag hellre fick avstå från att pricka in förmodade motsvarigheter än att ta fasta på dem och därmed riskera att dra felaktiga slutsatser. På det hela taget kändes det dock fullt möjligt att hitta det antal länkar som behövdes för en någorlunda pålitlig skattning. För att försöka åstadkomma så oberoende och neutrala jämförelser som möjligt analyserade jag Stegen i slumpvis ordning. Om jag hade tagit Stegen i strikt ordningsföljd hade jag antagligen anpassat mig – successivt – efter mina egna närmaste föregående serie bedömningar. I grunden analyserade jag också Stegen ett i taget (i jämförelse med Levels) men tog i viss mån hänsyn till att de, som det sägs i kursplanerna, bygger på varandra. På samma sätt gick jag tillväga när det gäller Levels. Anledningen till att det inte är möjligt att fullt ut analysera ”kumulativt” är att ingendera skaltypen är endimensionell, dvs de är inte uppbyggda med utgångspunkt i definierade färdighetskategorier som återkommer längs hela skalan. Rent praktiskt är det heller knappast möjligt att åstadkomma detta i ett kursplanesammanhang. Se vidare kommentarerna efter resultatredovisningen (avsnittet ”Skalornas uppbyggnad”). Till att börja med gjorde jag en mycket allmän bedömning av hur de två skalsystemen förhåller sig till varandra. Den är baserad på en jämförelse mellan beskrivningarna av de sju Stegen och den globala CEFR-skalan, dvs Common Reference Levels: global scale (Council of Europe, 2001, sid 24; se också Appendix). Resultatet framgår av Tabell 2. Observera att det är de i förhållande till Stegen närmast skattade CEFR-nivåerna som anges i högerkolumnen, inte nödvändigtvis nivåer som exakt motsvarar Stegen. Detta framgår också av att olika steg kan stå mittemot en och samma CEFR-nivå (dvs i den här preliminära skattningen). Det är ett ganska brett register av färdigheter som ryms inom varje sådan nivå. 138 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Tabell 2. Översiktlig skattning av samband mellan Steg (kurser) och Levels, baserad på en jämförelse mellan Steg (kurskoder inom parentes) och den globala CEFR-skalan S T E G Kurser (kurskoder) Lpl 2000 Kurskoder Engelska/Moderna språk Lpl 2011 Preliminärt skattad CEFR Level 7 Eng C (MSPR1207) ENG7 / MOD7 C1 6 Eng B (MSPR1206) ENG6 / MOD6 B2 5 Eng A (MSPR1205) ENG5 / MOD5 B1 4 Eng 9 (MSPR1204) Åk 9 / MOD4 B1 3 Mod.spr. (MSPR1203) MOD3 A2 2 Mod.spr. (SV)9 (MSPR1202) Åk 6 / Åk 9 SV MOD2 A2 1 Eng 5, Mod.spr. (EV)9 (MSPR1201) -- / Åk 9 EV MOD1 A1/A2 Det här blev naturligtvis en mycket grov jämförelse, men den visar genast på det förhållandet att Stegen inte täcker in hela den mycket vida CEFR-skalan. Denna sträcker sig ju från en allra lägsta fungerande språknivå, där man t.ex. bara kan ”understand and use familiar everyday expressions and very basic phrases...” (A1) upp till den synnerligen avancerade nivå där man exempelvis “Can understand with ease virtually everything heard or read” (C2). I den här översiktliga jämförelsen tycks kursplanernas sju utbildningssteg svara mot 3.5 nivåer på CEFR-skalan. Därmed skulle man på det hela taget kunna säga att eleven behöver ta två Steg i skolan för att förflytta sig en nivå på CEFR-skalan. (Jämför också redovisningen nedan i avsnittet Utvidgad jämförelse.) En närmare jämförelse Jag behövde förstås tränga lite djupare in i underlagen för att kunna göra en säkrare bedömning och fortsatte då med att granska ytterligare material i CEFR som kan belysa relationen till Steg-definitionerna. Utgångspunkten är i det här fallet de ytterligare kalibrerade deskriptorer (‘scaled illustrative descriptors’) som togs fram i det schweiziska forskningsprojektet (North, 1995) och som resulterade i EDUCARE 2015:2 139 MATS OSCARSON det utvecklade skalsystem som beskrivs i Council of Europe (2001), kap 4 och Appendix B. De skalor jag i första hand kunde använda, dvs med tanke på deras inriktning i förhållande till Steg-definitionerna, är de som anges i Tabell 1 ovan. För att det skulle bli möjligt att göra direkta jämförelser mellan Steg och Levels (CEFR-nivåer) var det nödvändigt att göra vissa sammanvägningar av beskrivningar i vartdera systemet. Behovet av sådan sammanvägning i CEFR beror på att detta system totalt sett är avsevärt mer utvecklat än Stegen. För att ta ett exempel: Kategorin Hörförståelse sammanfattas kort på ett ställe (omfattande 1-3 rader) i varje Steg, medan den i CEFR karakteriseras i flera olika skalor och med betydligt mer text. Jag jämförde alltså i mitt fall den enskilda hörförståelsebeskrivningen i varje Steg med motsvarande färdighet som den beskrivs i fyra olika skalor i CEFR. För att jag skulle kunna komma fram till en sorts generell CEFRnivå som svarar mot ett givet Steg fick jag därför väga samman fem Level-skattningar för färdigheterna HF, MI, MP, LF och SP i varje Steg (jämför Tabell 3) till en genomsnittlig Level (angiven i kolumnen längst till höger). Det är alltså denna som blir den generella CEFR-nivå som kan sägas motsvara det givna Steg som jag utgick från. Tabell 3 sammanfattar resultaten av den fördjupade jämförelsen. Angivelse av två nivåer med bindestreck emellan (t.ex. A1-A2) innebär att den skattade sammanvägda nivån ligger i registret mellan de två, dvs i det här fallet i registret A1 (hög)-B1 (låg). I vissa CEFR-skalor finns en delningslinje mellan lägre och högre beskrivningar inom nivån.5 Uppdelningen förekommer dock bara i 5 I Council of Europe (2001) använder man beteckningen ’criterion level’ för exempelvis A2, dvs om nivån inte är uppdelad. Beskrivningarna kan då tolkas som minimikraven för hela nivån (jfr Andered, 2001, s. 31: ”De definitioner som används för de olika nivåerna i CEF är att betrakta som ’godkändkrav’ för dessa nivåer”). Om A2 är uppdelad på A2.1 och A2.2 kallar man den förra för ’criterion level’ och den senare för ’plus level’. A2.1 får alltså tolkas som en beskrivning av vad man lägst ska ha uppnått för att ligga på nivå A2. A2.2 innebär hög prestationsnivå inom densamma. Obs att skalnivåerna A1, C1 och C2 inte har denna uppdelning beroende på att det bara finns empiriska resultat för de sammanlagt 9 nivåerna (dvs inkl A2.2, B1.2 och B2.2). För närmare detaljer om dessa förhållanden, se avsnitt 3.5 i Council of Europe (2001) resp North (1995), avsnitt 12.1.2 och passim. 140 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... mittregistret av dessa skalor (nivåerna A2, B1 och B2) och är inte heller där systematiskt genomförd. I en del skalor finns den, i andra inte. I Tabell 3 markerar jag denna i vissa fall möjliga preciseringen med ’låg’ resp ’hög’ inom parentes. Tabell 3. Preliminär skattning av samband mellan Steg och CEFR Levels: Per enskilt färdighetsområde och sammanvägt S T E G CEFR Level per färdighetsområde SammanKurs vägd HörMuntlig Muntlig LäsSkriftlig (exempel) preliminär förståelse interaktion produktion förståelse produktion CEFR level 7 Eng C B2 (hög) B2 (hög) B2 (hög) B2 B2 B2 (hög) 6 Eng B B2 (hög) B1 (hög) B1 [B1-B2] B2 (låg) B1-B2 * 5 Eng A B2 (låg) B1 (hög) B1 [B1] B1 B1 (hög) 4 Eng 9 B1-B2 B1 (låg) A2-B1 B1 B1 (låg) B1 (låg) 3 Mod.spr B1 A2 (hög) A2 A2–B1 A2-B1 A2-B1 ** 2 Mod spr B1 (låg) A2 (hög) A2 (låg) A2 A2 A2 1 Eng 5 A1-A2 A2 (låg) A2 (låg) A1-A2 A1-A2 A1-A2*** * Dvs medelnivån för de två, som är B1 (hög)-B2 (låg) ** Dvs medelnivån för de två, som är A2 (hög)-B1 (låg) *** Dvs medelnivån för de två, som är A1 (hög)-A2 (låg) Den fördjupade analysen ger en mer nyanserad bild av sambanden än den jag antydde i det föregående avsnittet (”Översiktlig jämförelse”). Skattningarna är lite mer exakta och visar tydligare att det inte är så enkelt att direkt översätta de sju stegen till nivåer på CEFR-skalan. Skalpunkter ligger inte mitt emot varandra i de flesta fall. Det var ju heller inte väntat att de skulle göra det, bl.a. av det skälet att det inte är samma antal punkter på de två skalorna. Stegen faller alltså på lite olika sätt i förhållande till Levels som de är definierade. Det kan vara befogat att återigen påpeka att jämförelserna inte kan uttryckas i exakta kvantitativa mått, eftersom de är baserade på tolkningar av textinnehåll. I viss mån har jag försökt markera detta genom att sätta de något mer osäkra skattningarna inom hakparentes. EDUCARE 2015:2 141 MATS OSCARSON Utvidgad jämförelse Bedömningarna har hittills blivit ganska allmänna och ungefärliga. För att få ytterligare underlag för jämförelsen beslöt jag mig därför för att gå utanför de egentliga Steg-beskrivningarna (Målen) och också titta på de färdighetsdefinitioner som finns i Betygskriterier för varje Steg. Detta är möjligt av två skäl. För det första uttrycks kriterierna i absoluta termer, dvs de beskriver konkreta kompetenser (som i CEFR) och inte relativ kompetens, som i det gamla normrelaterade betygsystemet. För det andra talar Målen om vad ”eleverna skall ha uppnått efter avslutad kurs” och därför bör åtminstone betyget Godkänd, men strängt taget inget annat betyg (och motsvarande för betyget E enligt 2011 års kursplaner och Skolverket 2012, s 28), också kunna ses som ett uttryck för var nivån ligger förmågemässigt. Högre betyg som Väl godkänd och Mycket väl godkänd bör logiskt sett markera ”delsteg” på vägen till nästa nivå (Steg). Det vore således inte rimligt att i stället ta fasta på färdighetskriterierna (kunskapskraven) för den andel av eleverna som ”väl” uppnått nivån – och särskilt inte bara för den ganska lilla andel som ”mycket väl” uppnått nivån. Argumentet för att ta in ett betygskriterium i måldiskussionen och skaljämförelsen är alltså helt enkelt det att betyget uttrycker grad av måluppfyllelse, dvs nivå. Kriterierna är direkta härledningar ur kursplanernas målbeskrivningar och presenteras t.ex. i Skolverket (2000) som en underavdelning till det övergripande avsnittet Mål. Jag fogade således kriterierna för betyget Godkänd till det underlag som jag utgått ifrån i analyserna ovan, dvs de rena målbeskrivningarna per Steg. Stegbeskrivningar plus Kriterier för betyget Godkänd blev därmed det nya något utvidgade underlaget. Kriterierna blev i princip en ny kategori som jag tolkade innebörden av för sig. Jag summerar resultaten av denna utvidgade jämförelse i Tabell 4. Den förändring som denna innebär i förhållande till uppgifterna i Tabell 3 anger jag så här: 142 /+ /– /= /? Den angivna bedömningen ska höjas Den angivna bedömningen ska sänkas Bedömningen ändras inte Osäkerhet om bedömningen ska ändras EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Tabell 4. Slutlig skattning av samband mellan Steg, inkl. kriterier för betyget Godkänd, och CEFR Levels: Per enskilt färdighetsområde och totalt (sammanvägt) S T E G CEFR Level per färdighetsområde SammanKurs vägd HörMuntlig Muntlig LäsSkriftlig (exempel) slutlig förståelse interaktion produktion förståelse produktion CEFR level 7 Eng C B2(hög) /= B2 (hög) /? B2 (hög) /- B2 /= B2 /= B2 (hög) 6 Eng B B2(hög) /= B1 (hög) /+ B1 /+ [B1-B2] /+ B2 (låg) /+ B2 5 Eng A B2 (låg) /= B1 (hög) /=? B1 /=? [B1] /+ B1 /=? B1 (hög) 4 Eng 9 B1-B2 /+ B1 (låg) /= A2-B1 /? B1 /– B1 (låg) /= B1 (låg) 3 Mod.spr B1 /= A2 (hög) /– A2 /= A2–B1 /? A2-B1 /+ A2 (hög) 2 Mod spr B1 (låg) /- A2 (hög) /– A2 (låg) /= A2 /= A2 /+ A2 1 Eng 5 A1-A2 /= A2 (låg) /+ A2 (låg) /= A1-A2 /- A1-A2 /+ A1-A2 * * Dvs medelnivån för de två, som är A1 (hög)-A2 (låg) Som framgår av tabellen påverkas inte de tidigare resultaten mycket efter tillägget av betygskriterierna. Det blir dock en liten förändring (dragning uppåt) när det gäller Steg 6, som får en något tydligare B2profil. Annars är det många likhetstecken, och plus- och minustecknen tenderar att ta ut varandra. För övrigt var heller inte mycket annat att vänta. Definitionen av betyget Godkänd bör ju ligga i linje med målbeskrivningen för resp Steg (och som ju kan betraktas som ”minimimålet” för steget i fråga). De sju stegen i språk i svensk skola sträcker sig alltså från hög A1nivå till hög B2-nivå. Spännvidden är, i CEFR-termer, ungefär 3.5 nivåer. Detta motsvarar drygt hälften av de sammanlagt sex ’common reference levels’ som är definierade i Council of Europe (2001). Med endast obetydliga justeringar har denna skattning gällt under de två senaste läroplanerna. I den senaste sägs t.ex.: ”Skolverkets officiella beskrivning av 2011 års kursplaners relation till referensramen är följande, sett till ingångsnivåer/betygssteget E i respektive språksteg: Steg 1–A1 (hög); Steg 2–A2; Steg 3–A2 (hög); Steg 4–B1; Steg 5–B1 EDUCARE 2015:2 143 MATS OSCARSON (hög); Steg 6–B2; Steg 7–B2 (hög).” (Skolverket, 2012, s 28). (Se också Skolverket, 2011a, s 7). En nederländsk undersökning Från Nederländerna (CITO, Arnhem, och The Netherlands Institute for Curriculum Development, SLO) har rapporterats en studie med ungefär samma syfte som den föreliggande och som jag därför kort refererar här (för detaljer, se van Hest 2002 och van Hest, de Jong & Stoks, 2001). Uppgiften gick ut på att länka nationella mål i språk (’foreign languages’) till CEFR-nivåerna, dvs skalan A1-C2. Man gjorde bl.a. en innehållsanalys av målbeskrivningarna för följande gymnasieutbildningar (program) i det nederländska skolsystemet: VWO HAVO VMBO Pre-university education Senior general secondary education Pre-vocational secondary education 1 Basic vocational program 2 Middle-management vocational program 3 Theoretical or combined program Innehållsanalyserna gjordes med utgångspunkt i beskrivningar av varje programs olika övergripande mål, till vilka också kopplas mer konkreta exemplifierande kommentarer i form av en s.k. ”niveaumeter” (”level indicator”) med uppgifter om språkliga innehåll, svårighetsnivåer m.m. De undersökta färdighetsområdena var bl.a. engelsk läsförståelse, hörförståelse och muntlig förmåga (de tyska och franska språken undersöktes också men redovisas inte här). Några resultat av direkt intresse för oss ges i Tabell 5. CEFR-nivåangivelserna avser det lägre resp det högre skiktet inom nivån, motsvarande mina beteckningar (låg) resp (hög) i avsnitten ”En närmare jämförelse” och ”Utvidgad jämförelse” ovan. 144 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Tabell 5. Sambandet mellan kunskapsnivåer i nederländska programmål i engelska för secondary education och CEFR-nivåer enligt van Hest, de Jong & Stoks (2001) Reading Listening Speaking VWO Pre-university education B2 (hög) B2 (hög) B2 (låg) HAVO Senior general secondary education B2 (låg) B2 (låg) B1 (hög) VMBO Pre-vocational secondary Education 1. Basic vocational program B1 (låg) - - 2. Middle management voc progr B1 (låg) A2 (hög) A2 (låg) 3. Theoretical/combined program B1 (hög) B1 (låg) A2 (hög) Med tanke på att svenska och nederländska utbildningsmål i språk är ganska likartade kan man säga att utfallet överensstämmer ganska väl med de resultat jag kom fram till för våra svenska Stegs del (jämför Tabell 4). Resultatet är också i linje med erfarenheterna från en empirisk studie som vi tidigare genomförde i ett svensk-holländskt samarbete och som bl.a. gick ut på att göra vissa jämförelser mellan provdata genererade i våra två utbildningssystem (de Jong och Oscarson, 1990). Programmet VWO (högskoleförberedande) ligger i sin målbeskrivning på hög B2-nivå, dvs lika med vårt Steg 7 enligt resultaten i den här rapporten. Dock förefaller det som om målen för HAVO och VMBO, som ligger närmare våra yrkesprogram, är något lågt satta i förhållande till motsvarande svenska målangivelser. Sammanfattningsvis torde man kunna säga att den nederländska studien ger visst stöd för de resultat som kommit fram i den föreliggande svenska undersökningen. Diskussion Avslutningsvis vill jag nämna något om en del iakttagelser och erfarenheter som jag gjort under arbetets gång och som kan vara till hjälp vid försök att värdera och använda resultaten. Först några ord om de skalsystem som jämförts (CEFR och Steg). EDUCARE 2015:2 145 MATS OSCARSON Ej helt jämförbara skalor Innehållsligt skiljer sig de två bedömningssystemen åt i vissa avseenden. Så innefattar till exempel definitionerna av Steg också ‘den kulturella komponenten’ (kulturmålen), liksom förmåga till reflektion kring och organisation av inlärningsarbetet (metakognitiva mål). Dessa typer av mål saknas på det hela taget i CEFR. Å andra sidan bygger CEFR på vissa språkliga och kommunikativa kategorier som inte ingår i specifikationerna av Stegen (t.ex. Note-taking, Audiovisual reception och Orthographic control). Det är således viktigt att komma ihåg att ingetdera systemet har kunnat tas in i sin helhet i jämförelsen. Både Stegen och CEFR innehåller mer än vad som har varit rimligt eller möjligt att väga in här. Otydlighet i beskrivningarna En del deskriptorer visade sig egentligen vara lite för korta och vaga för att de skulle kunna tolkas och användas i den här jämförelsen. Exempel i Steg-systemet är “kunna informera muntligt på ett strukturerat sätt” (Steg 7, Muntlig produktion) och ”Eleven talar begripligt och med sammanhang” (Steg 4, muntlig produktion, betyget G). I Levels finns exempel som ‘Can agree and disagree with others’ (Informal discussion, A2) och “Can narrate a story” (Sustained monologue, B1). Sådana beskrivningar ger egentligen inte tillräcklig information om innehållet i de mål som avses. CEFR saknar dessutom deskriptorer för vissa nivåer i en del skalor (”No descriptor available”). Detta bidrar också till en viss osäkerhet i jämförelsen totalt sett. Skalornas uppbyggnad Det bör vidare observeras att ingetdera skalsystemet är helt logiskt eller konsekvent uppbyggt om man strikt beaktar de begreppskategorier som legat till grund för utformningen av deskriptorerna, eller om man ser till systematiken i användningen av dem. Detta har förstås sina förklaringar men kan göra jämförelser ganska svåra. Det blir vid läsningen av skaltexterna ibland inte helt klart vad konstruktörerna tagit fasta på i sina formuleringar. Några exempel: 146 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... I de svenska Stegen refereras bara i något enstaka fall till det viktiga och ofta betonade målet “vilja och våga” (dvs att använda språket). Ett omnämnande förekommer i Steg 5, under muntlig interaktion (“vilja, våga och kunna utan förberedelse delta i samtal…”), men inte under någon annan interaktiv färdighet finns det med. Ett annat centralt färdighetsmål, “ha förmåga att bearbeta och förbättra den egna produktionen”, anknyts det till i en färdighet (Steg 5, skriftlig produktion), men det förekommer inte med avseende på någon annan färdighet. Brist på konsekvens i det här avseendet kännetecknar i högre grad Levels. Där beror den dock på den speciella vetenskapliga metod man använde vid konstruktionen av hela skalsystemet. Levelsbeskrivningarna kom att bestämmas genom en empirisk urvalsprocess där bara de deskriptorer som i praktiska studier visat sig fungera bra som nivåangivare (oavsett begreppslig typ) togs med i de slutgiltiga skalorna. Därför blev det också en ganska varierad blandning av språkliga dimensioner och förmågor som kom att ingå i CEFR-skalorna. Även om det på det hela taget finns en tydlig allmän struktur i de två skalsystemen så är inget av dem helt systematiskt uppbyggt och de är naturligtvis heller inte kongruenta till innehållet. Det är snarare så att det finns vissa grundläggande överensstämmelser mellan dem, men att de samtidigt uppvisar vissa strukturella och innehållsliga skillnader som gör att försök till kalibrering av det slag som jag rapporterat här blir svåra och relativt ungefärliga. Andra författare har gjort liknande påpekanden (van Hest & Staatsen, 2002). Avgränsning och möjlig uppföljning I det här arbetet har jag jämfört åsyftade färdighetsnivåer som de beskrivs i dokumenten Council of Europe (2001) och Skolverket (2000; 2011a; 2011b). Det är här alltså inte fråga om en studie av de facto uppnådda nivåer, vare sig i ett CEFR- eller Steg-perspektiv. I fråga om Steg-beskrivningarna har jag utgått ifrån att dessa så att säga stämmer med verkligheten, dvs att elever som klarat de olika kurserna med godkänt betyg på det hela taget (genomsnittligen) också behärskar det som anges som mål för de motsvarande Stegen. Om det i realiteten förhåller sig på det sättet kan dock inte med säkerhet avgöras av den här eller liknande studier. I den nederländska undersökningen refererad ovan fann man t.ex. att de faktiskt uppnådda färdighetsnivåerna, EDUCARE 2015:2 147 MATS OSCARSON undersökta med hjälp av de reguljära nederländska examensproven (språktest), rätt ofta avvek från programmens beskrivningar av målen, ”the intended levels”. Avvikelserna gick både uppåt och nedåt. Engelsk läs- och hörförståelse tenderade att vara bättre i verkligheten än ”på papperet”, den muntliga förmågan däremot svagare. En angelägen uppföljning är därför att t.ex. med hjälp av erfarna lärares bedömningar, och/eller med hjälp av existerande eller särskilda för syftet insamlade provdata, empiriskt fastställa uppnådda kursmål i CEFR-termer. Vi skulle då på ett någorlunda säkert sätt kunna bestämma hur olika genomgångna kurser med godkända elevresultat typiskt förhåller sig kunskapsmässigt till sekvensen av Common Reference Levels (A1-C2). Anvisningar för hur sådan validering av korrespondensen mellan stegangivelser och CEFR-nivåer kan göras har utarbetats av Europarådet.6 Med tanke på att CEFR fått en mycket snabb spridning, och av allt att döma kommer att få en allt större betydelse framöver som en internationellt erkänd referensram, är det viktigt att få en sådan studie genomförd. I en ytterligare vidareutveckling av undersökningen skulle man kunna gå in på en granskning av de statistiska egenskaperna hos de deskriptorer som i slutändan kom att ingå i de olika CEFRskalorna och som på något sätt kan kopplas till målformuleringar i Steg-systemet. På så sätt kunde ett bättre underlag för jämförelser skapas. Utgångspunkten vore lämpligen den fylliga beskrivning av det grundläggande utvecklingsarbetet med skalmodellen som ges i North (1995). Samtidigt kunde man jämföra med tillvägagångssättet i liknande arbete inom språkbedömningsprojektet DIALANG, som i mycket är anknutet till utarbetade principer och framtagna material i CEFR-projektet. (Jämför beskrivningar i Huhta m.fl., 2002.) 6 Se Council of Europe (2009) och fotnot 1 ovan. 148 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Sammanfattning En textbaserad nivåjämförelse har gjorts mellan beskrivningar av successiva kursmål i språk i den svenska skolan (Stegsystemet, 7 nivåer) och beskrivningar av kunskaper i språk enligt den europeiska CEFR-skalan (6 nivåer). Jämförelsen gav bl.a. följande resultat i starkt sammandrag: • En CEFR-nivå svarar mot knappt två Steg i den svenska progressions-modellen. • Nivåerna för godkänt kursbetyg sträcker sig över c 3.5 CEFR-nivåer (från övre delen av A1 till övre delen av B2). • Nivåer i de två systemen korresponderar enligt följande tabell (beträffande kurser och kurskoder, se Tabell 2): Tabell 6. Sammanfattning av samband mellan Steg/kurser i språk och CEFR-nivåer STEG CEFR level 7 B2 (hög) 6 B2 5 B1 (hög) 4 B1 (låg) 3 A2 (hög) 2 A2 1 A1 (hög)-A2 (låg) Analysen visade att det finns vissa innehållsliga och begreppsliga skillnader mellan skalsystemen som gör strikt jämförelse mellan dem något svåra. Slutsatsen är dock att språkstegen tills vidare kan tolkas på CEFR-skalan i en mer allmän betydelse, i enlighet med utfallet av den här studien. För säkrare länkning rekommenderas kompletterande forsknings- och utvecklingsarbete, främst sådant som innebär kontrollerad mätning och kontroll av elevers faktiskt uppnådda kunskaper på de 7 kursnivåerna. EDUCARE 2015:2 149 MATS OSCARSON Efterskrift Den här komparativa studien startade först som ett forskningsuppdrag från Skolverket år 2001 (Beslut, Dnr 37-2001-773). Genomförandet samt preliminära resultat och delrapporter diskuterades vid arbetsmöten på Skolverket 10/6 2002 och 19/12 2002 (sammankallande i båda var undervisningsrådet Ingela Nyman). Vid båda antogs vissa förslag till komplettering av arbetet och ändringar i en preliminär rapporttext infördes. Året därpå (18/8 2003) hölls ett heldagsmöte på Skolverket under rubriken ”Jämförelser mellan svenska språkkursplaner och Common European Framework of Reference” med syfte att ”diskutera fortsatt arbete med jämförelser mellan kursplanerna i språk och Framework” (sammankallande var undervisningsråden Eva Jönsson och Tommy Lagergren). Till detta möte var en reviderad version av rapporten (Oscarson 2002) utskickad som underlag för diskussionen. På grund av ett sedan dess starkt ökande intresse för CEFR-konceptet och dess tillämpningar, både här hemma och internationellt, har originalrapporten i vissa delar vidarebearbetats och sammanfattats under 2014 (på eget initiativ). Referenser har också uppdaterats och kompletterats. Den föreliggande artikeltexten är resultatet av detta arbete. 150 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Referenser Alderson, Charles (2005). Diagnosing foreign language proficiency: the interface between learning and assessment. London: Continuum. Andered, Bror (2001). Europarådets Framework – en inspirationskälla för de nya kursplanerna. I Skolverket (2001). Språkboken. En antologi om språkundervisning och språkinlärning. Stockholm: Liber distribution. Council of Europe (2001). Common European Framework of Reference for Languages: Learning, teaching, assessment. Cambridge: Cambridge University Press and Council of Europe. Council of Europe (2002). Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Case Studies. Strasbourg: Council of Europe Publishing. Council of Europe (2009). Relating language examinations to the Common European Framework of Reference for Languages: learning, teaching, assessment (CEFR). A Manual. Strasbourg: Council of Europe, Language Policy Division. Tillgänglig 201501-16 på: http://www.coe.int/t/dg4/. Council of Europe (2013). The European Language Portfolio. Strasbourg: Council of Europe, Language Policy Division. Tillgänglig 2015-02-01 på http://www.coe.int/t/dg4/education/elp/. Erickson, Gudrun (2011). Handle with care. Om referensramen och bedömning av språklig kompetens. I Språklärarens stora blå? En samling texter om Gemensam europeisk referensram för språk. Uppsala universitet, Fortbildningsavdelningen för skolans internationalisering. European Union (2013). The Implementation of the Common European Framework for Languages in European Education Systems. Study. Brussels: European Parliament, Policy Department B: Structural and Cohesion Policies. (Tillgänglig 2015-01-16 på: http://www. europarl.europa.eu/studies ). EDUCARE 2015:2 151 MATS OSCARSON Huhta, Ari, Luoma, Sari, Oscarson, Mats, Sajavaara, Kari, Takala, Sauli & Teasdale, Alex. (2002). DIALANG – A Diagnostic Language Assessment System for Learners. I Council of Europe (2002). Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Case Studies. Strasbourg: Council of Europe Publishing. de Jong, John & Oscarson, Mats (1990). Cross-National Standards: A Dutch-Swedish Collaborative Effort in National Standardized Testing. AILA Review, 7, 1990, s 62-78. North, Brian (1995). The Development of a Common Framework Scale of Language Proficiency: Based on a Theory of Measurement. PhD thesis. Thames Valley University. North, Brian (1995). Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR). Further Material on Maintaining Standards across Languages, Contexts and Administrations by exploiting Teacher Judgment and IRT Scaling. Strasbourg: Council of Europe Publishing. North, Brian (2014). The CEFR in Practice. Cambridge: Cambridge University Press, English Profile Studies 4. Oscarson, Mats (2002). En Steg/CEFR-jämförelse. Skolverket, Stockholm, och Institutionen för didaktik och pedagogisk profession, Göteborgs universitet. Opublicerad rapport. Skolverket (2000). Språk: Kursplaner, betygskriterier och kommentarer. Stockholm: Fritzes. Skolverket (2009). Gemensam europeisk referensram för språk: lärande, undervisning och bedömning. Stockholm: Skolverket Fritzes. Tillgänglig 2015-02-02 på http://www.skolverket.se/ publikationer?id=2144. Skolverket (2011a). Kommentarmaterial till kursplanen i engelska. Stockholm: Skolverket (Fritzes). Tillgänglig 2015-02-02 på: http:// www.skolverket.se/2.5248?page=search&website=&q=Kommentarmaterial+till+kursplanen+i+engelska&search=S%C3%B6k. Skolverket (2011b). Läroplan för grundskolan, förskoleklassen och fritidshemmet 2011. Stockholm: Skolverket (Fritzes). 152 EDUCARE 2015:2 Bedömning på systemnivå - En komparativ studie av stegsystemet i språk i den svenska skolan och... Skolverket (2011c). Om ämnet moderna språk. Bakgrund och motiv. Tillgänglig 2015-02-02 på http://www.skolverket.se/laroplaneramnen-ochkurser/gymnasieutbildning/ (se Alla kommentarer). Skolverket (2012). Bedömning av språklig kompetens – En studie av samstämmigheten mellan Internationella språkstudien 2011 och svenska styrdokument. Skolverkets aktuella analyser. Stockholm: Skolverket. Stenberg, Gunnar (2013). Bedömningsaspekter i språk – vad och hur? LMS Lingua 3/2013, s 9-13. Uppsala universitet (2001). Europeisk språkportfolio 16+. Uppsala: Uppsala universitet, Fortbildningsavdelningen för skolans internationalisering. van Hest, Erna, de Jong, John & Stoks, G. (2001). Relating the CEF with school leaving exams in the Netherlands. Cito group & SLO (Specialisten in leerprocessen): Enschede, Nederländerna. van Hest, Erna & Staatsen, Francis (2002). Dutch language qualifications in a European perspective. Summary. Cito group & SLO (Specialisten in leerprocessen): Enschede, Nederländerna. EDUCARE 2015:2 153 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9 i finlandssvenska skolor Camilla Svens-Liavåg Johan Korhonen Karin Linnanmäki This study investigated differences in assessment in mathematics, Swedish and behavior between schools and how the students’ motivation and behavior can explain the discrepancy between grades and test results. The sample consisted of grade nine students (N = 1152) in 14 lower secondary schools in the Swedish speaking parts of Finland. Standardized tests for reading and writing skills, and mathematical performance were used. Grades in mathematics, Swedish and behavior were collected from the schools. No differences were found between schools in the assessment of mathematics and Swedish, but there were differences between schools in the assessment of behavior. Students with high motivation and high behavior grades got better grades than their test results would indicate in Swedish. High motivation for the subject raised the grades in mathematics, but the grades in behavior had no impact. Hence, motivation influences grades in mathematics and Swedish. Keywords: assessment, basic education, mathematics, Swedish Camilla Svens-Liavåg, Master in Education, Åbo Akademi University, Finland. [email protected] Johan Korhonen, Master in Special education, Åbo Akademi University, Finland. [email protected] Karin Linnanmäki, PhD, Åbo Akademi University, Finland [email protected] 154 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... Utvärdering inom den grundläggande undervisningen/grundskolan Utvärdering är en viktig del av den grundläggande utbildningen (grundskolan). Den grundläggande utbildningen utvärderas såväl regionalt som nationellt i Finland. Bestämmelser om den regionala utvärderingen finns både i den finländska kommunallagstiftningen och i utbildningslagstiftningen. Dessa ålägger utbildningsanordnaren att utvärdera den utbildning som ordnats och bedöma vilken verkan utbildningen har (Niemi, 2006). Utbildningsstyrelsen1 utvärderar undervisningen nationellt genom uppföljningsutvärderingar. Deltagandet i dessa baseras på slumpvist urval. Avsikten med uppföljningsutvärderingarna är att generera kunskap om hur väl de uppställda målen för utbildningen uppnåtts. Vidare ger de också utbildningsanordnare information om hur elevernas genomsnittliga kunnande och skolans allmänna linje gällande elevbedömningen förhåller sig till den nationella nivån (Ouakrim-Soivio & Kuusela 2012). Bedömning i en utbildningskontext innehåller bestämmande, insamlande och beslutsfattande om bevis relaterade till de uppställda målen för lärandet som bedöms (Harlen, 2012). Bedömningen har en fastställande, motiverande, handledande och prognosticerande uppgift (Atjonen 2007). I det finländska utbildningssystemet är elevbedömningen en process som stöder elevens lärande och ger feedback om lärandet redan från starten av grundläggande utbildning (Ouakrim-Soivio, 2013). Den enskilda elevens kunskaper och framsteg utvärderas och bedöms regelbundet. Enligt Lag om grundläggande utbildning (21.8.1999/628) är syftet med elevbedömningen bland annat att leda och sporra eleverna i deras studier. Elevens inlärning, arbete och uppförande ska bedömas mångsidigt (22§). Uppförandet bedöms med ett separat vitsord2. Syftet med bedömningen är dels att utreda i 1 Utbildningsstyrelsen i Finland motsvaras av Skolverket i Sverige. 2 Vid all sifferbedömning används skalan 4-10, där vitsordet 10 anger utmärkta, 9 berömliga, 8 goda, 7 nöjaktiga, 6 försvarliga, 5 hjälpliga kunskaper och färdigheter. Vitsordet 4 anger underkänd prestation (Förordning om grundläggande utbildning 20.11.1998/852, 10§). Denna skala används vid bedömning av såväl enskilda skolämnen som uppförande. Begreppet ”vitsord” motsvaras i Sverige av ”betyg”. EDUCARE 2015:2 155 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI vilken mån de uppställda målen för den grundläggande utbildningen uppnås, dels att ge eleverna mångsidig respons. Elevernas framsteg, arbete och uppförande bedöms i relation till läroplanens mål och profiler för goda kunskaper. Bedömningen grundar sig på mångsidigt kunnande. (Utbildningsstyrelsen, 2004). Respons på elevernas lärande och framsteg kan under läsårets gång ges genom betyg och fritt formulerad information samt genom samtal. I Förordning om grundläggande utbildning (20.11.1998/852) beskrivs närmare hur bedömningen ska verkställas. Bedömningen i varje enskilt läroämne görs av elevens lärare. Uppförandet bedöms av elevens lärare, eller om lärarna är många, av lärarna gemensamt (13§). I slutet av den grundläggande utbildningen görs en slutbedömning för att fastställa hur väl eleven har nått målen i den grundläggande utbildningens olika läroämnen då studierna avslutas. Slutbedömningen görs utgående från givna kriterier för respektive ämne och den grundar sig på elevens kunskaper i årskurserna 8 och 9. Bedömningen ska vara nationellt jämförbar och behandla eleverna på lika villkor i hela landet. (Utbildningsstyrelsen, 2010). I de finländska läroplansgrunderna ingår kriterier för goda kunskaper (vitsordet 8) i samtliga ämnen och eleverna bedöms i förhållande till dessa. Kriterierna är nationella. I bedömningen av respektive skolämne ingår en bedömning av elevens arbete. Denna omfattar elevens förmåga att planera, reglera, genomföra och bedöma sitt eget arbete. Dessutom beaktas hur ansvarsfullt eleven arbetar och hur eleven fungerar i samarbete med andra. I modersmål och litteratur (svenska) i årskurs 6-9 bedöms elevens prestationer och förmågor inom delområdena kommunikation, att tolka och bruka olika slags texter, att producera och bruka olika slags texter samt språk, litteratur och kultur. I matematik i årskurs 6-9 bedöms eleven inom delområdena tankeförmåga och tankemetoder, tal och räkneoperationer, algebra, funktioner, geometri samt sannolikhet och statistik (Utbildningsstyrelsen, 2004). I Finland betygsätts också elevens uppförande. När det gäller bedömningen av uppförande finns inga nationella kriterier för gott uppförande. Läroplansgrunderna anger att bedömningen av uppförandet ska fokusera på elevens sätt att ta hänsyn till andra människor och till omgivningen samt hur eleven följer regler. Målen för elevens 156 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... uppförande bör ingå i den lokala läroplanen, där de mål som skolan ställt upp för fostran beaktas (Utbildningsstyrelsen, 2004). I Sverige ska betyget visa i vilken mån en enskild elev har nått de nationella kunskapskraven för respektive ämne och läraren ska utnyttja all tillgänglig information om elevens kunskaper i förhållande till kunskapskraven och göra en mångsidig bedömning av dessa (Skolverket, 2011). Samtidigt ska bedömningen vara nationellt jämförbar. De nationella proven i svenska, engelska och matematik som ordnas i årskurserna 3, 6 och 9 i Sverige hjälper lärare att identifiera standarder och att justera sin skala för att göra bedömningen likvärdig oberoende av kontext (Wikström, 2006; Törnvall, 2001). Vidare ger dessa underlag för analys av i vilken omfattning kunskapskraven uppfylls på skolnivå, på huvudmannanivå och på nationell nivå (Skolverket, 2014). Bedömningen av eleven omfattar mer än enbart själva betygsgivningen. Elevbedömningen omfattar egentligen hela den process, vars syfte är att undersöka elevens lärande och ge eleven, läraren och föräldrarna information om elevens framsteg. Bedömingen ska ge en realistisk, men uppmuntrande bild av elevens kunskap, framsteg och förmågor (Ouakrim-Soivio, 2013). Effektiv bedömningspraxis är beroende av utbildarnas kunskaps- och värderingssystem (Scott, Webber, Lupart, Aitken & Scott, 2014). Det finländska betygssystemet är mycket decentraliserat, där enskilda lärare har det primära ansvaret för instruktion, bedömning och betygsgivning. Forskning har visat att lärarens bedömning av elevers prestationer kan ha samband med elevers individuella karakteristika och att det förekommer grader av subjektivitet i betygssättningsprocessen (Klapp Lekholm & Cliffordsson, 2008, 2009; Klapp Lekholm, 2011). Betyget speglar inte enbart elevens ämneskunskaper utan också icke-kognitiva förmågor som intresse och motivation. Denna bedömningspraxis vidkänns inte i våra styrdokument3, vilket skymmer 3 Klapp Lekholms (2011) och Klapp Lekholms & Cliffordssons (2008, 2009) studier gäller de svenska styrdokumenten, där inget nämns om bedömningens ”dubbla” funktion. Inte heller de finländska styrdokumenten vidkänner detta fenomen. I Finland ger man ett separat vitsord för uppförande, men eftersom bedömningen även omfattar elevens arbete är det troligt att icke-kognitiva förmågor avspeglas i ämnesvitsorden. EDUCARE 2015:2 157 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI genomskinligheten gällande vad betygen egentligen mäter och försvårar möjligheterna att utvärdera bedömningssystemets funktion. Etiska aspekter Bedömning i utbildning måste framför allt betjäna syftet att främja lärande (Black & Wiliam 2012a). Bedömningen av elevers prestationer, kunskaper och resultat görs av enskilda lärare. Lärarna är ålagda att bedöma eleverna och bedömmarens ställning och auktoritet innebär alltid en möjlighet att utöva makt (Jakku-Sihvonen & Heinonen, 2001). Även om betygssättningen baseras på givna kriterier för varje ämne är betygsättningsprocessen i sig själv komplex och varierar mellan lärare och ämnen (Wikström, 2006). Läraren undervisar eleverna och dryftar etiska problemställningar i ljuset av sina värderingar, föreställningar och känslor. Bedömningen har alltid följder, som påverkar den som bedöms och läraren bör därför vara klar över bedömningens ansvarfrågor och etiska känslighet (Tirri, 1999; Jakku-Sihvonen & Heinonen, 2001). Etiska problemställningar rör bland annat bedömningens grunder, alltså på vilka kriterier inlärningsresultat bedöms och bedömningens konsekvenser. Validitet är central i all bedömning. Det handlar om bedömningens ändamål, huruvida bedömningsformen är lämplig för ändamålet och huruvida den når sitt mål. Validitet innefattar också hur resultaten från en bedömning tolkas och används (Stobart, 2012). Bedömning bör alltid designas så att användarna av resultaten kan lita på resultaten. Det faktum att lärare kan vara omedvetna om tests begränsade reliabilitet är en allvarlig fråga, något som gäller all bedömning lärarna företar (Black & Wiliam 2012b). Reliabilitet reflekterar den följdriktighet med vilken bedömningar görs mellan bedömare, mellan tillfällen och mellan kontexter (Crisp & Novaković, 2009). Huruvida bedömarna har och tillämpar samma förståelse av bedömningskrav och samma uppfattningar av kompetens kan påverka om det går att uppnå en konsekvent bedömning. Bedömning är aldrig värdeneutral. I utbildningssammanhang hör omsorg till bedömningsetiken. Läraren ska handleda och uppmuntra eleven och då har läraren en sporrande funktion. Samtidigt ska läraren bedöma elevens kunskapsnivå. Omsorg och bedömning står 158 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... då i ett motsatsförhållande, något som lärare kanske inte tänker på medvetet. Bedömmaren bör hålla sig till några viktiga huvudprinciper. En sådan är att undvika skada. En negativ bedömning kan uppfattas som sårande av eleverna och påverka deras uppfattning om sig själva och om skolarbetet. En annan är att bedömningen ska vara rättvis. Den ska omfatta elevens arbete i sin helhet och läraren ska väga in alla aspekter i bedömningen. Vidare ska bedömningen vara pålitlig. Bedömningsprocessen ska vara genomskinlig så att eleverna vet vad som bedöms och på vilka grunder. (Atjonen, 2007). Nationella utvärderingar i matematik och i modersmål och litteratur (svenska) Utbildningsstyrelsens utvärderingar av olika ämnen inom den grundläggande utbildningen har producerat och producerar kriteriegrundade fakta, genom vilka man framför allt utvärderar om finländska elever uppnår likadana allmänbildande kunskaper och färdigheter oberoende av till exempel bostadsort, kön och socioekonomisk bakgrund. Man betonar vikten av en jämställd utbildning regionalt, mellan könen och mellan olika samhällsgrupper. Vidare granskar man elevernas jämbördiga möjligheter för fortsatta studier efter avslutad grundläggande utbildning. Mest systematiskt har man i Finland följt resultaten i matematik och modersmål och litteratur (Ouakrim-Soivio, 2013). Utbildningsstyrelsens uppföljningsutvärderingar visar att elever som bedömts med exakt samma modersmålsvitsord (betyg i svenska) uppvisar mycket varierande kunskaper och färdigheter i utvärderingsprovet. Utvärderingar gjorda 2010 visar att ju högre betyg eleven hade i ämnet, desto högre var korrelationen mellan betyg och provresultat. Flickornas och pojkarnas modersmålsbetyg och skrivfärdigheter motsvarade inte heller varandra. I fråga om de högsta betygen (vitsorden 9 och 10) fanns knappt några könsskillnader, men i övrigt har flickor genomgående klarat sig bättre än pojkar med samma betyg. Flickornas kunskaper och provresultat är aningen bättre än pojkarnas, då de ställs i förhållande till elevernas betyg. Utbildningsstyrelsens studier visar att flickor och pojkar med samma modersmålsvitsord inte har motsvarande kunskaper och färdigheter. EDUCARE 2015:2 159 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI En pojke med vitsordet sju har alltså inte motsvarande kunskaper som en flicka med vitsordet sju. Utvärderingarna omfattade tre centrala delområden av modersmålsämnet (skrivande, språkkännedom och läsning samt litteratur och textkännedom) och flickorna dominerade inom alla tre. Snedfördelningen har sin förklaring i att elevernas betyg bygger på en mer omfattande grund än detta. Resultaten visade en relativt stor variation mellan skolornas resultat nationellt. Skillnaden mellan ytterlighetsskolorna inom delområdet skrivande var 24 procentenheter och inom delområdet språkkännedom och läsning 23 procentenheter. Den minsta variationen fann man inom delområdet litteratur och textkännedom, där variationen var 13 procentenheter. De tydligaste skillnaderna mellan skolors resultat framträdde alltså inom de två förstnämnda delområdena. Inga nämnvärda skillnader kunde dock skönjas inom Svenskfinland4. De största skillnaderna mellan de svenskspråkiga skolorna fann man i elevernas skrivfärdigheter. Utbildningsstyrelsen lyfter fram de stora variationerna i elevernas kunskaper och färdigheter, könsskillnaderna i resultaten och bristerna i elevbedömningen som problemområden inom modersmålsämnet nationellt. (Hellgren, 2011) I Utbildningsstyrelsens utvärdering av matematikkunskaperna 2012 fick eleverna i genomsnitt 52% av totalt 86 poäng. Det skiljde cirka två procentenheter mellan pojkarnas och flickornas resultat till pojkarnas fördel. Pojkarna klarade sig bättre än flickorna inom flera delområden, till exempel funktioner, sannolikhetslära och statistik. I algebra och geometri klarade sig flickorna och pojkarna lika bra. Procenträkning var det delområde där resultaten var allra svagast. Lösningsprocenten var endast 37, ett resultat som också är klart svagare än vid den föregående mätningen 2011. Pojkarna klarade procenträkningen klart bättre än flickorna (pojkarna löste 42% av uppgifterna korrekt, flickorna 34%). Sett till den totala lösningsprocenten i matematiktestet höll pojkarnas och flickornas kunnande jämn nivå. I gruppen med de svagaste resultaten var andelen pojkar och flickor lika stor. Bland eleverna med klart bättre resultat än genomsnittet var andelen pojkar 4 Svenskfinland utgörs av de geografiska områden där merparten av befolkningen med svenska som modersmål bor. Det handlar om kustområdena i Österbotten, Åboland och Nyland. Ibland räknas också Åland till Svenskfinland. 160 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... högre än andelen flickor. Andelen flickor var oroande liten bland eleverna med utmärkta resultat. De största könsskillnaderna gällande lösningsprocent fanns inom delområdet huvudräkning, där pojkarnas resultat låg 10 procentenheter över flickornas. Några skillnader mellan de svensk- och finskspråkiga skolorna förekom inte. (Hirvonen & Rautopuro, 2012). Även om skillnaderna mellan skolorna i utvärderingar av matematikkunskaper är små i Finland i ett internationellt perspektiv, håller de på att växa en aning. Resultaten från studien 2012 visar att även om elevernas kunskapsnivå var densamma kunde betygsmedeltalet avvika med upp till två vitsord. Ju högre betyg en elev har, desto större kunnande visar eleven i testen. Flickorna fick bättre skolvitsord än pojkarna, men i utvärderingsprovet nådde fler pojkar än flickor goda eller utmärkta resultat. Detta visar att skolorna har olika bedömningspraxis. Det finns också ett samband mellan lärarens behörighet och inlärningsresultaten. Eleverna i de skolor där undervisningen sköttes av en behörig ämneslärare hade i gensomsnitt en högre lösningsprocent än eleverna som undervisades av en obehörig lärare. Skillnaden låg på cirka fyra procentenheter (Mattila & Rautopuro, 2012b). Resultaten i denna studie gällde elevernas avgångsbetyg från grundskolan. Avgångsbetyget ligger till grund för fördelningen av studieplatser på följande utbildningsstadium och elevernas betyg påverkar också deras utbildningsmålsättningar framöver (Savolainen, Ahonen, Aro, Tolvanen, & Holopainen, 2008). En rättvis och jämlik bedömning är därför av största vikt. (Mattila & Rautopuro, 2012a). I Sverige visar Skolverkets studie (2007) att de genomsnittliga provbetygen i svenska och matematik överstiger de genomsnittliga provbetygen på nationell nivå varje år sedan de nationella proven infördes 1998. Det är betydligt vanligare att lärare höjer en elevs slutbetyg i förhållande till provbetyget i dessa ämnen. Många skolors slutbetyg var betydligt högre än deras genomsnittliga provbetyg. Samtidigt var situationen den omvända i ett antal skolor. På skolnivå var dessa resultat stabila, vilket innebär att det var samma skolor som år efter år betygsätter eleverna högre respektive lägre än provresultaten skulle medge. Det är framför allt elever med underkända provresultat som får högre betyg vid slutbedömningen. Detta förekommer i störst EDUCARE 2015:2 161 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI grad i matematik, men även i svenska. Variationerna mellan skolorna är stora även gällande denna praxis. Resultaten indikerade att man tolkar betygskriterierna olika, vilket i sin tur kan innebära att likvärdigheten i betygsättningen brister. Vidare visar Skolstyrelsens resultat att flickor får högre vitsord än pojkar i förhållande till resultaten i nationella proven. En viktig mekanism bakom flickornas fördel verkar vara att de visar en högre grad av intresse och motivation för skolarbetet än pojkarna (Klapp Lekholm & Cliffordsson, 2009). Motivation, elevkarakteristika och bedömning Lärarna bör uppmärksamma de sociala och emotionella aspekterna i lärandet. När klassrumsklimatet karakteriseras av varma, respektfulla och emotionella stödande relationer presterar studerande bättre akademiskt beroende på ett högre engagemang i lärandeprocessen (Reyes, Brackett, Rivers, White & Salovey, 2012). Testningar och provsituationer är vanliga stressmoment i skolan. Testningar kan ha en generell negativ inverkan på inre motivation. Omfattande testningar kan leda till att eleverna gör dem för sakens skull istället för att vara motiverade av personligt intresse (Coutts, Gilleard & Baglin, 2011; Thuen & Bru, 2004). Frågor associerade med elevbedömning kan underminera rättvis och opartisk praxis för elever som av olika orsaker inte passar in i det allmänna skolgenomsnittet. Studier visar att kön regelbundet kopplades till beteende, så att pojkar uppfattades som mer sannolikt vara störande och mindre medgörliga, något som i sin tur påverkade betygen lärarna gav till pojkarna. Det fanns även en uppfattning att förväntningarna på elever med specialbehov i allmänhet var för låga och att begåvade elever inte utmanades tillräckligt. (Scott, Webber, Lupart, Aitken, & Scott, 2014). Lärare förväntar sig att eleverna ska vara motiverade för och engagerade i skolarbetet. För att uppnå goda prestationer hos eleverna behöver lärarna hitta vägar för att motivera o engagera eleverna. Lärare och elever har nödvändigtvis inte samma uppfattning om vilka faktorer som fungerar motiverande. Studerande motiverades av möjligheten att skapa sig en bra framtid, att se sitt arbete förbättras, av att vara bra på något, att få bra betyg och av att ha lärare man tycker om. Lärarna å sin sida knöt elevmotivation i mycket högre grad till 162 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... sin egen personlighet och till egna tilltag. Man antog att studerande motiveras av att de gillar sin lärare, av lärarens personliga engagemang i studeranden och av lärarens entusiasm (Wiesman, 2012). En elev som upplever en god kognitiv kompetens har en känsla av att klara sig bra i skolan. Denna upplevda kognitiva kompetens kan försvagas om eleven upplever misslyckanden i skolan. Introduktionen av betyg som ett utvärderingssystem kan stimulera social jämförelse och reducera den allmänna känslan av kognitiv kompetens hos eleverna. Specifika skolrelaterade stressmoment inkluderar bland annat testning och vitsord (Thuen & Bru, 2004). En norsk studie (Bru, 2006) visar att en rätt stor procent av eleverna i årskurs nio upplever skolarbetet som relevant. Elever som upplever misslyckanden kan försöka minska konsekvenserna av dessa genom att minska relevansen man tillskriver skolarbetet. Att investera mer ansträngning är inget alternativ för att återställa ett misslyckande, eftersom det kan bli ytterligare en indikation på bristande förmåga (Stornes, Bru & Idsoe, 2008). Stimulans och engagemang från lärarnas sida verkar leda till stabilt engagemang hos studerande. Hög grad av engagemang verkar ha ett samband med minimal förekomst av skolavbrott, medan låg motivation för skolan i kombination med låga vitsord eller fallande resultat kan vara indikatorer för potentiell skolavbrott. (Archambault, Janosz, Fallu, Pagani, 2009; Korhonen, Linnanmäki, & Aunio, 2014). Ett minskat intresse för skolan, bristande motivation och svag vilja att lära leder till att eleven fjärmar sig från skolan och uppför sig dåligt. (Janosz, Leblanc, Boulerice & Tremblay, 1997; Janosz, Archambault, Morizot, Pagani, 2008; Archambault, Janosz, Fallu, Pagani, 2009). Forskning visar att elevers karakteristika och lärares olika bedömningspraxis utövar ett inflytande på betygsgivningen (Klapp Lekholm & Cliffordsson 2008; Wikström 2006). Lärarna ger betyg, primärt baserade på klassrumsutvärdering, där elevernas prestationer bedöms på daglig basis och genom användningen av lärargjorda prov. Utbildningssystemet litar på att lärarnas bedömning av elevernas prestationer är rättvis. Eftersom betygen används i urvalssyfte till exempel vid inträde till följande utbildningsnivå är sambandet mellan bedömning, betygspraxis och validitet av största vikt (Klapp Lekholm & Cliffordsson, 2009). I studier gjorda av Klapp Lekholm & Cliffordsson (2008) identifierades två dimensioner i betygen EDUCARE 2015:2 163 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI inom och mellan skolor: en ämnesspecifik dimension relaterad till elevernas akademiska prestationer mätta i nationella prov och betyg och en generell dimension relaterad enbart till betyg. Den generella dimensionen tolkades ha samband med icke-kognitiva faktorer, som till exempel motivation, intresse och sociala färdigheter. Den generella betygsdimensionen antyder att betygsgivning är influerad av andra faktorer är prestation. På individuell nivå förklarade den generella betygsdimensionen 3-5% av variationen inom olika ämnesbetyg (Klapp Lekholm & Cliffordsson, 2009). Syfte och forskningsfrågor Syftet med denna studie är att undersöka skolvisa skillnader i bedömning samt hur elevernas motivation och uppförande kan förklara diskrepansen mellan vitsord och testresultat. Forskningsfrågorna är följande: Hur mycket av variationen i vitsorden i modersmål och litteratur, matematik samt uppförande kan förklaras på skolnivå? Hur kan elevernas motivation och uppförande förklara diskrepansen mellan vitsord och testresultat? Finns det könsskillnader gällande hur elevernas motivation och uppförande förklarar diskrepansen mellan vitsord och testresultat? Metod Deltagare och procedur I studien deltog 1152 elever (pojkar N = 576) från 14 skolor i Svenskfinland, vilket utgör cirka en tredjedel av hela åldersgruppen svenskspråkiga elever i årskurs nio. Denna studie är del av ”Vem väljer vad?”- projektet som genomförs vid Åbo Akademis specialpedagogiska enhet. Studien, som är longitudinell, följer finlandssvenska ungdomar från grundskolans nionde årskurs till tredje stadiet/arbetslivet. Syftet med detta projekt är att undersöka samband mellan inlärningssvårigheter, utbildning och skolavbrott. Datainsamlingen utfördes våren 2008 av forskare och utbildade forskningsassistenter inom projektet. 164 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... Mätinstrument Elevernas matematikfärdigheter mättes med KTLT-testet (Räsänen & Leino, 2005) som är ett standardiserat test för årskurserna 7-9 samt andra stadiet. Testet mäter elevernas färdigheter i grundläggande aritmetik, problemlösning, algebra, geometri och enhetsomvandlingar. Testet består av 40 frågor och finns tillgängligt i fyra parallellversioner. Studerande har 40 minuter tid att besvara frågorna. Utöver detta samlades information om elevernas vitsord i matematik in från skolorna. LS-klassdiagnoser (Johansson, 2005) användes för att mäta elevernas färdigheter i läsförståelse, ordförståelse och rättstavning. Testet är avsett för elever i årskurserna 7-9 samt första året i gymnasiet. I läsförståelsedelen skall eleven välja rätt rubrik för fem texter samt svara på flervalsfrågor angående innehållet i texterna. Ordförståelsedelen består av 40 meningar där det sista ordet saknas. Eleven skall välja det ord som passar in i meningen bland fem alternativ. Rättstavning mäts genom att testledaren läser en mening högt (50 st) och upprepar det ord som eleven skall skriva ner. Utöver detta samlades information om elevernas vitsord i modersmål och litteratur in från skolorna. Elevernas ämneslärare i modersmål och litteratur samt i matematik ombads skatta sina elevers motivation till sitt undervisningsämne på en skala 1 till 5 där 1=mycket omotiverad och 5=mycket motiverad. Elevernas uppförandevitsord erhölls direkt från skolorna. Deskriptiv statistik, korrelationer och reliabilitetsvärden för samtliga mätinstrument hittas i tabell 1. Analys av data Alla analyser utfördes med statistikprogrammet SPSS 21. För att svara på forskningsfråga 1 användes flernivåregressionsanalyser för att portionera variansen i elevernas vitsord i matematik, modersmål och litteratur samt uppförande mellan elevnivå och skolnivå. Diskrepansen mellan elevernas vitsord och testresultat räknades ut genom att utföra regressionsanalyser där vitsordet predicerades av elevernas testresultat och de ostandardiserade residualerna sparades för att erhålla ett värde för diskrepansen för samtliga elever. Dessa residualer användes sedan som beroendevariabler i fortsatta regressionsanalyser där denna diskrepans försökte förklaras med relevanta faktorer på basen av EDUCARE 2015:2 165 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI 166 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... litteraturen. För att svara på forskningsfråga 3 utfördes ovannämnda regressionsanalyser skilt för pojkar och flickor. Resultat För att svara på forskningsfrågan om hur mycket av variationen i vitsorden i modersmål och litteratur, matematik samt uppförande kan förklaras på skolnivå, specificerades tre flernivåregressionsmodeller, en för varje vitsord där variationen portionerades mellan skol och elevnivå (Tabell 2). Beträffande variationen i matematikvitsordet återfinns 99,0 % av variationen på elevnivå medan skolnivån endast kan förklara 1,0 % (p = ns.) av variationen i elevernas matematikvitsord. Samma trend kan ses i vitsordet i modersmål och litteratur där 95,6 % av variationen finns på elevnivån och 4,4 % på skolnivån % (p = ns.). Detta betyder att det inte överlag finns skolvisa skillnader i elevernas bedömning beträffande matematik och modersmål. I uppförandevitsordet finns dock skolvisa skillnader eftersom 16,1 % av variationen finns på skolnivå (p < 0,05). Bedömingen av elevernas uppförande varierar som en funktion av skola. Hur kan elevernas motivation och uppförande förklara diskrepansen mellan vitsord och testresultat? För att skapa variablerna diskrepans för matematik och diskrepans för modersmål och litteratur utfördes bivariata regressionsanalyser (skilt för respektive ämne) där elevernas vitsord i matematik predicerades av KTLT-testet och elevernas vitsord i modersmål och litteratur predicerades av det viktade medelvärdet av LS-klassdiagnoser. Modellerna förklarade en signifikant andel varians i vitsord både för matematik och modersmål och litteratur (Tabell 3). De ostandardiserade residualerna sparades från analyserna som två nya variabler (diskr_ matematik; diskr_modersmål). Ett positivt diskrepansvärde innebär att en elev får bättre vitsord än vad man kunde förvänta sig på basen av testresultaten medan ett negativt värde innebär att eleven erhållit ett sämre vitsord än vad man kunnat förvänta sig på basen av elevens testresultat. Dessa variabler användes sedan i fortsatta analyser. EDUCARE 2015:2 167 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI 168 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... EDUCARE 2015:2 169 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI För att förklara diskrepansen mellan vitsord och testresultat utfördes multipla regressionsanalyser. Först specifiserades en modell där diskr_ modersmål predicerades med uppförandevitsord och motivation för ämnet modersmål. Modellen förklarade en signifikant andel varians av diskr_modersmål (Tabell 4). Motivation till ämnet modersmål var den starkaste prediktorn men också uppförandevitsordet kunde förklara en del av diskrepansen mellan vitsord och testresultat. Ju mer motiverad och ju högre uppförandevitsord en elev hade, desto positivare diskrepansvärde. Den andra modellen där diskr_matematik var den beroende variabeln kunde också motivation till ämnet matematik och uppförandevitsord förklara en signifikant andel varians i diskrepansen mellan vitsord och testresultat i matematik. I denna modell var dock endast motivationen en signifikant prediktor, ju högre motivation en elev hade, desto högre diskrepansvärde. Uppförandevitsordet kunde inte i sig predicera diskrepansen mellan vitsord och testresultat i matematik. Finns det könsskillnader gällande hur elevernas motivation och uppförande förklarar diskrepansen mellan vitsord och testresultat? De två modellerna testades också skilt för pojkar och flickor för att undersöka eventuella könsskillnader i sambanden mellan diskrepansen (mellan vitsord och testresultat i modersmål och matematik) och motivation och uppförandevitsord. Resultaten var liknande för pojkar och flickor (tabell 4). Pojkars uppförande predicerade aningen starkare diskrepansen i modersmål men skillnaderna var inte särskilt stora. Överlag var resultaten liknande för pojkar och flickor. Pojkars uppförande predicerade aningen starkare (β = 0,26) diskrepansen i modersmål än vad det gjorde för flickorna (β = 0,14) men skillnaderna var inte särskilt stora. 170 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... EDUCARE 2015:2 171 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI Diskussion Resultaten i denna studie visar att det inte förkommer några skolvisa skillnader i bedömningen av eleverna i matematik eller i modersmål och litteratur i Svenskfinland. Resultaten är i linje med resultaten i utvärderingsstudierna gjorda av Utbildningsstyrelsen (Mattila & Rautopuro, 2012b; Hellgren, 2011). Detta visar att de finlandssvenska lärarna har en enhetlig uppfattning om och tolkning av de nationella bedömningskriterierna i dessa ämnen. Kravet på en nationellt jämlik och jämförbar bedömning av eleverna verkar uppfyllas i modersmål och litteratur och i matematik i slutskedet av den svenskspråkiga grundläggande utbildningen i Svenskfinland. Detta skiljer sig från resultaten i Sverige (Skolverket, 2007), som visar stora variationer mellan skolorna framför allt i bedömningen i matematik, men också i svenska. Orsakerna till denna skillnad kan kanske finnas i formuleringen och tolkningen av bedömningskriterierna i dessa länder (Utbildningsstyrelsen, 2004; Skolverket, 2011). Eventuellt kan också kulturella olikheter gällande syn på och förhållningssätt till bedömning överlag förklara dessa olikheter mellan länderna. När det gäller bedömningen av uppförandet förekommer skolvisa skillnader i Svenskfinland. Det finns inga nationella kriterier för den bedömningen, utan kriterierna definieras i de lokala läroplanerna i kommunerna (Utbildningsstyrelsen, 2004). Detta torde vara en av förklaringarna till variationerna mellan skolorna. Bedömning av uppförande kan inte baseras på några direkt mätbara fakta, utan lärarnas uppfattningar och tolkningar av de lokala kriterierna ligger till grund för bedömningen, något som försvårar en enhetlig bedömning. De test som respondenterna i studien gjorde täcker på intet sätt det totala innehållet i lärokurserna i modersmål och litteratur eller matematik i årskurs nio. Ämnena omfattar fler delområden än de som testades (Utbildningsstyrelsen, 2004). Det är därför inte överraskande att elevernas testresultat och deras ämnesvitsord inte alltid motsvarar varandra. I vår studie är motivation i skolämnet den starkaste prediktorn för diskrepans mellan testresultat och vitsord. Detta gäller såväl matematik som modersmål och litteratur. Elever med hög grad av motivation och höga uppförandebetyg ges högre betyg i modersmål och litteratur än testresultaten skulle antyda. På motsvarande sätt ger låg motivation i kombination med låga uppförandebetyg lägre betyg 172 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... i ämnet än testresultaten skulle antyda. Här finner vi en skillnad mellan modersmål och litteratur och matematik. Motivationsgraden ger högre respektive lägre betyg i matematik än testresultaten skulle antyda på samma sätt som i modersmålsämnet, men här inverkar inte uppförandebetyget. I matematik är följaktligen motivation för ämnet av större vikt än uppförandet. Detta kan bero på att det är lättare att göra en objektiv bedömning av matematikfärdigheter, då dessa är enklare att mäta än många av de färdigheter som ingår i bedömningen av modersmålsämnet. Styrdokumenten anger att läraren förutom de direkta kunskapsprestationerna också ska bedöma elevens arbete (Utbildningsstyrelsen, 2004). Detta ger eventuellt ett större utslag i modersmålsämnet än i matematiken eftersom ämnena till sin karaktär skiljer sig från varandra. Medan modersmål och litteratur är ett ämne där eleven i hög grad förväntas åstadkomma personliga tolkningar och där elevens mognadsnivå och uttrycksförmåga spelar en viktig roll för prestationerna (och därmed för bedömningen), finns det inte lika stort utrymme för personliga tolkningar i matematiken. Några större könsskillnader förekommer inte i sambanden mellan diskrepansen mellan betyg och testresultat i modersmål och matematik och motivation och uppförandevitsord. Situationen är överlag rätt jämlik för flickor och pojkar i den finlandssvenska grundläggande utbildningen. Pojkarnas uppförande påverkar i lite större grad modersmålsbetyget än flickornas, men skillnaderna är små. Klapp Lekholm och Cliffordsson (2008) fann två dimensioner i bedömningen: en ämnesspecifik dimension som baserades på elevens kunskapsnivå och en generell dimension, som baseras på icke-kognitiva förmågor. En av dessa icke-kognitiva förmågor är motivation. I Finland bedöms alla elevers uppförande med ett separat vitsord, baserat på elevens förmåga att ta hänsyn till andra människor och till omgivningen samt hur eleven följer regler. Uppförandevitsordets inverkan på modersmålsvitsordet väcker frågan huruvida lärare i Svenskfinland i någon mån väger in icke-kognitiva förmågor i bedömningen av ämnet. Finns det en generell dimension i den finländska bedömningen av modersmålsämnet trots att vi har uppförandevitsord? För att kunna besvara denna fråga behövs ytterligare forskning. En annan begränsning i denna studie var att den endast omfattade 14 skolor. Simuleringsstudier har visat att man helst skall ha över 50 observationer EDUCARE 2015:2 173 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI på nivå 2 (i detta fall skolnivån). Lyckligtvis påverkar ett litet sampel främst standardfelen och inte variansproportionerna som primärt användes för att tolka resultaten i denna studie (Maas & Hox, 2005). I denna studie förekom det inte några skolvisa skillnader i bedömningen av eleverna i matematik eller i modersmålsämnet i Svenskfinland. Däremot förekom skolvisa skillnader i bedömningen av uppförandet. Motivation var den starkaste prediktorn för skillnader mellan testresultat och betyg. Hög motivation och gott uppförande gav höga betyg i modersmålsämnet. Motivationsgraden inverkade också på matematikbetyget, men där inverkade inte uppförandet. Resultaten skall ses i ljuset av studiens begränsade omfattning. Referenser Archambault, Isabelle, Janosz, Michel, Fallu, Jean-Sébastien & Pagani, Linda S. (2009). Student engagement and its relationship with early high school dropout. Journal of adolescence, (32), 651-670. Atjonen, Päivi (2007). Hyvä, paha arviointi.[Bra, dålig bedömning]. Helsinki: Tammi. Black, Paul & Wiliam, Dylan (2012a). Assessment for learning in the classroom. I John Gardner (Red.), Assessment and learning (ss. 11-32). 2nd edition. London: Sage. Black, Paul & Wiliam, Dylan (2012b). The reliability of assessments. I John Gardner (Red.), Assessment and learning (ss. 243-263). 2nd edition. London: Sage. Bru, Edvin (2006). Factors associated with disruptive behaviour in the classroom. Scandinavian Journal of Educational Research, 50 (1), 23-43. Coutts, Rosanne, Gilleard, Wendy & Baglin, Robert (2011). Evidence for the impact of assessment on mood and motivation in first-year students. Studies in higher education, 36 (3), 291-300. 174 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... Crisp, Victoria & Novaković, Nadežda (2009). Are all assessment equal? The comparability of demands of college-based assessments in a vocationally related qualification. Research in Post-Compulsory Education, 14 (1), 1-18. Förordning om grundläggande utbildning 20.11.1998/852 Harlen, Wynne (2012). On the relationship between assessment for formative and summative purposes. I John Gardner (Red.), Assessment and learning (ss. 87-102). 2nd edition. London: Sage. Hellgren, Jan (2011). Modersmål och litteratur i årskurs 9. En utvärdering av inlärningsresultat i modersmål och litteratur i årskurs 9 våren 2010. Utbildningsstyrelsen, uppföljningsrapporter 2011:1. Tammerfors: Juvenes Print – Tampereen Yliopistopaino Oy. Hirvonen, Kati & Rautopuro, Juhani (2012). Arvioinnin tuloksia. I Rautopuro, Juhani (Red.). Hyödyllinen pakkolasku. Matematiikan oppimistulokset peruskoulun päättövaiheessa (ss. 33-54). . [Utvärderingens resultat. I Nyttig tvångsräkning. Matematikens inlärningsresultat i slutet av den grundläggande utbildningen] Opetushallitus, Koulutuksen seurantaraportit 2013:3. Tampere: Juvenes print – Suomen Yliopistopaino Oy Jakku-Sihvonen, Ritva & Heinonen, Sari (2001). Johdatus koulutuksen uudistvaan arviointikulttuuriin. Opetushallitus, Arviointi 2/2001. Janosz, Michel, Archambault, Isabelle, Morizot, Julien & Pagani, Linda S. (2008). School engagement trajectories and their differential predictive relations to dropout. Journal of social issues, 64 (1), 2140. Janosz, Michel, LeBlanc, Marc, Boulerice, Bernard & Tremblay, Richard E. (1997). Disentangling the weight of school dropout predictors: a test on two longitudinal samples. Journal of youth and adolescence, 26 (6), 733-762. Johansson, Maj-Gun (2005). LS. Handledning. Klassdiagnoseri läsning och skrivningför högstadiet och gymnasiet. M-G Johansson & Psykologiförlaget AB. Stockholm: Psykologiförlaget. Klapp Lekholm, Alli (2011). Effects of school charateristics on grades in compulsory school. Scandinavian journal of educational research, 55 (6), 587-608. EDUCARE 2015:2 175 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI Klapp Lekholm, Alli & Cliffordsson, Christina (2008). Discrepancies between school grades and test scores at individual and school level: effects of gender and family background. Educational Research and Evaluation, 14 (2), 181-199. Klapp Lekholm, Alli & Cliffordsson, Christina (2009). Effects of student characteristics on grades in compulsory school. Educational Research and Evaluation, 15 (12), 1-23. Korhonen, Johan, Linnanmäki, Karin & Aunio, Pirjo (2014). Learning difficulties, academic well-being and educational dropuot: A personcentred approach. Learning and individual differences, 31 (3), 1-10. Lag om grundläggande utbildning 21.8.1999/628 Maas, Coora J. M., & Hox, Joop J. (2005). Sufficient Sample Sizes for Multilevel Modeling. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 1(3), 86-92. Mattila, Leena & Rautopuro, Juhani (2012a). Koulukohtaisia tuloksia . I Rautopuro, Juhani (Red.). Hyödyllinen pakkolasku. Matematiikan oppimistulokset peruskoulun päättövaiheessa (ss. 55-64). [Skolvisa resultat. I Nyttig tvångsräkning. Matematikens inlärningsresultat i slutet av den grundläggande utbildningen] Opetushallitus, Koulutuksen seurantaraportit 2013:3. Tampere: Juvenes print – Suomen Yliopistopaino Oy. Mattila, Leena & Rautopuro, Juhani (2012b). Taustatietoja oppilaista ja opetuksesta. I Rautopuro, Juhani (Red.). Hyödyllinen pakkolasku. Matematiikan oppimistulokset peruskoulun päättövaiheessa (ss. 87-117). [Bakgrundsinformation om eleverna och undervisningen. I Nyttig tvångsräkning. Matematikens inlärningsresultat i slutet av den grundläggande utbildningen] Opetushallitus, Koulutuksen seurantaraportit 2013:3. Tampere: Juvenes print – Suomen Yliopistopaino Oy. Niemi, Eero K. (Red.), (2006). Arvioinnilla laatua koulutukseen. Ajatuksia paikalliseen ja seudulliseen arviointiin. . [Kvalitet i utbildningen genom utvärdering. Tankar om lokal och regional utvärdering.] Opetushallitus, Arviointi 1/2006. Helsinki: Yliopistopaino 176 EDUCARE 2015:2 Elevbedömning, motivation och uppförande. En studie av skolvisa skillnader i bedömning och diskrepans mellan vitsord och testresultat i årskurs 9... Ouakrim-Soivio, Najat (2013). Toimivatko päättöarvioinnin kriteerit? Oppilaiden saamat arvosanat ja Opetushallituksen oppimistulosten seuranta-arviointi koulujen välisten osaamiserojen mittareina. [Fungerar avgångsbedömningens kriterier? De vitsord eleverna fått och Utbildningsstyrelsens uppföljningsstudie av inlärningsresultaten som en mätare för kunskapsskillnader mellan skolorna] Opetushallitus, Raportit ja selvitykset 2013:9. Tampere: Juvenes Print – Suomen Yliopistopaino Oy. Ouakrim-Soivio, Najat. & Kuusela, Jorma (2012). Historian ja yhteikuntaopin oppimistulokset perusopetuksen päättövaiheessa 2011. [Inlärningsresultat i historia och samhällslära i slutskedet av den grundläggande utbildningen 2011.] Koulutuksen seurantaraportit, no. 2012:3. Helsinki: Opetushallitus. Reyes, Maria R., Brackett, Marc A., Rivers, Susan E., White, Mark & Salovey, Peter (2012). Classroom emotional climate, student engagement, and academic achievement. Journal of educational psychology, 104 (3), 700-712. Räsänen, Pekka & Leino, Leila (2005). KTLT. Laskutaidon testi. Opas yksilö- tai ryhmämuotoista arviointia varten. [KTLT. Test av räkneförmågan. Manual för individuell eller grupptestning]. Jyväskylä: NMI. Savolainen, Hannu, Ahonen, Timo, Aro, Mikko, Tolvanen, Asko & Holopainen, Leena (2008). Reading comprehension, word reading, and spelling as predictors of school achievement and choice of secondary education. Learning and Instruction, (18), 201–210. Scott, Shelleyann, Webber, Charles F., Lupart, Judy L., Aitken, Nola & Scott, Donald E. (2014). Fair and equitable assessment practices for all students. Assessment in Education: Principles, Policy & Practice, 21 (1), 52-70. Skolverket (2007). Provbetyg – slutbetyg – Likvärdig bedömning? En statistisk analys av sambandet mellan nationella prov och slutbetyg i grundskolan 1998-2006. Sammanfattning av rapport 300. Stockholm: Skolverket. Skolverket (2011). Läroplan för grundskolan, förskoleklassen och fritidshemmet. EDUCARE 2015:2 177 CAMILLA SVENS-LIAVÅG, JOHAN KORHONEN OCH KARIN LINNANMÄKI Skolverket (2014). Nationella prov & Bedömningsstöd. http:// www.skolverket.se/bedomning/nationella-prov-bedomningsstod. Nerladdat 31.1.2014. Stobart, Gordon (2012). Validity in formative assessment. I John Gardner (Red.), Assessment and learning (ss. 233-242). 2nd edition. London: Sage. Stornes, Tor, Bru, Edvin & Idsoe, Thormod (2008). Classroom social structure and motivational climates: On the influence of teachers’ involvment, teachers’ autonomy support and regulation in relation to motivational climates in school classrooms. Scandinavian journal of educational research, 52 (3), 315-329. Thuen, Elin & Bru, Edvin (2004). Coping styles and emotional and behavioural problems among Norwegian grade 9 students. Scandinavian journal of Educational research, 48 (5), 493-510. Tirri, Kirsi (1999). Opettajan ammattietiikka. [Lärarens yrkesetik] Juva: WSOY. Törnvall, Maj (2001). Uppfattningar och upplevelser av bedömning i grundskolan. Pedagogisk-psykologiska problem, 677. Malmö högskola: Institutionen för pedagogik. Utbildningsstyrelsen (2004). Grunderna för läroplanen för den grundläggande utbildningen. Föreskrift 1/011/2004. Utbildningsstyrelsen (2010). Ändringar och kompletteringar av grunderna för läroplanen för den grundläggande utbildningen. Föreskrift 29.10.2010. Wiesman, Jeff (2012). Student motivation and the alignment of teacher beliefs. The clearing house, (85), 102-108. Wikström, Christina (2006). Education and assessment in Sweden. Assessment in Education, 13 (1), 113-128. 178 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Pia Thornberg & Anders Jönsson Teachers’ assessment and grading of student achievement is often charged for not being reliable. Various suggestions of how to reach higher levels of reliability are advocated in different contexts, and one suggestion is “social moderation”. Social moderation involves teachers working together when assessing and grading student performance. Although the claim is often made that moderation practices lead to higher levels of reliability in teachers’ assessment and grading, such claims often lack scientific support. In this study, a literature review has been carried out in order to gain knowledge about the potential effects that moderation may have and whether these effects may in fact lead to more reliable assessment and grading. The results indicate that moderation practices do have an effect, which may ultimately lead to higher levels of reliability if these practices involve several levels in the assessment process. Moderation is also a process that can be affected by several factors, such as the organization of the moderation meetings and the selection of student performance. Keywords: grading, moderation, reliability, teacher assessment Pia Thornberg, Lecturer in Mathematics Education, Högskolan Kristianstad. [email protected] Anders Jönsson, Associate Professor in Science Education Research, Högskolan Kristianstad. [email protected] EDUCARE 2015:2 179 PIA THORNBERG OCH ANDERS JÖNSSON Inledning Skolverket och Skolinspektionen har i flera granskningar påvisat att bedömningen och betygssättningen i den svenska skolan brister i likvärdighet (ex Skolinspektionen, 2012, 2013; Skolverket, 2012b, 2012c, 2012d). Att lärares bedömning och betygssättning uppvisar sådana brister är problematiskt bland annat eftersom elevers betyg används som urvalsinstrument och som konkurrensmedel när eleverna senare söker anställning eller till högre utbildningar. Bristande likvärdighet vid bedömning och betygssättning kan därmed få betydande konsekvenser för den enskilde eleven. Olika förslag att åstadkomma en ökad likvärdighet vid bedömning och betygssättning förs fram i olika sammanhang. Skolverket (2004) föreslår i en handlingsplan att de nationella provens stödjande roll vid betygssättning ska förbättras, att lärar- och rektorsutbildningarna får en stärkt roll samt att stödmaterial som förtydligar hanteringen av styrdokumenten ska tillhandahållas. Liknande förslag lyfts fram av Gustavsson, Måhl och Sundblad (2012) vilka menar att de som kan vidta åtgärder för att bättre garantera att betygssättningen blir ”rimligt likvärdig”, det vill säga att ”elever med samma betyg har samma slags kunskaper/förmågor på ungefär samma kvalitetsnivåer” (sid. 97) är lärarutbildningen, Skolverket samt rektorer och huvudmän. På senare tid har sambedömning, det vill säga lärare som tillsammans genomför eller diskuterar bedömning, förts fram som en möjlighet att skapa förutsättningar för en mer likvärdig bedömning och betygssättning. Skolverket (2009a) skriver till exempel i ett missiv till regeringskansliet att ”ökade krav på sambedömning skulle leda till ökad bedömaröverensstämmelse bland lärare och vara ett effektivt sätt att höja kvaliteten på lärares bedömning av nationella prov” (sid. 17). Sambedömning förs även fram i andra rapporter som ett sätt att nå en ökad samsyn och samstämmighet bland lärare (se till exempel Erickson, 2009; Skolinspektionen, 2013; Skolverket, 2009b). Ett exempel är en analys utifrån lärarenkäter och omrättningar av de nationella proven som Skolinspektionen (2012) genomfört som visar att högstadie- och gymnasielärare som ensambedömer elevers prov sätter högre provbetyg relativt externa bedömare jämfört med lärare som sambedömer proven. Den analys som är gjord visar även att flertalet av de systematiska skillnader som återfinns i lärarnas 180 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? bedömningar är mindre uttalade när proven sambedömts än när de bedömts av enskilda lärare. Även om sambedömning lyfts fram som ett sätt att öka likvärdigheten vid bedömning och betygssättning är detta ofta ett antagande som inte är särskilt väl vetenskapligt förankrat och slutsatser och rekommendationer grundas ofta på intervjuer med lärare om deras upplevelser av sambedömning. Det finns således ett behov av mer kunskap inom området och syftet med denna studie är därför att undersöka och förstå hur sambedömning kan bidra till en mer samstämmig och likvärdig bedömning och betygssättning. Likvärdighet Likvärdig bedömning och betygssättning innebär i grunden att samma elevprestation förväntas ge samma bedömning och betyg oberoende av vem som bedömer eller hur prestationen bedöms, samt att det sker i linje med gällande styrdokument. I dagens mål- och kriterierelaterade bedömningssystem jämförs elevers prestationer med på förhand uppställda mål och kriterier, det vill säga kunskapskraven i nuvarande kurs- och ämnesplaner (Skolverket, 2011a, 2011b). De ämnesspecifika långsiktiga mål som formulerats i kurs- och ämnesplaner anger vad undervisningen ska leda fram till och beskriver elevers kunskaper så som de ska komma till uttryck i handling. Kunskapskraven, i förhållande till vilka elevers prestationer ska bedömas och betygssättas, utgår i sin tur ifrån de långsiktiga målen och beskriver hur dessa kan uttryckas på olika kvalitativa nivåer. Det blir därför centralt att undervisning och bedömning verkligen bygger på att eleverna får visa sitt kunnande så som det beskrivs i kurs- och ämnesplaner och att resultaten tolkas och värderas i enlighet med dessa. En likvärdig bedömning av elevers prestationer ställer därför stora krav på bedömaren eftersom det krävs tolkning i flera olika led. Allal (2013) beskriver professionell bedömning som en process vilken omfattar tre olika tolkningsled, se Figur 1. I ett första led ska kurs- och ämnesplaner tolkas och omsättas i undervisning och bedömningsuppgifter. Elevernas prestationer ska sedan tolkas och värderas utifrån bedömningsanvisningar och/eller kunskapskrav och slutligen ska elevers olika prestationer sammanvägas till ett betyg eller till ett kunskapsomdöme. Utifrån en sådan modell räcker det inte att EDUCARE 2015:2 181 PIA THORNBERG OCH ANDERS JÖNSSON beskriva bedömning och betygssättning som en process som startar i och med att elevers prestationer ska bedömas utan bedömningsprocessen behöver ha en tydlig linje som förbinder ett ämnes mål och syfte med undervisning, kunskapskrav och bedömning, så kallad ”alignment” (Biggs & Tang, 2007). Figur 1. Modellen beskriver hur bedömningsprocessen omfattar flera olika tolkningsled. (1) Tolkning av styrdokument för planering av undervisning och för konstruktion av bedömningsuppgifter, (2) tolkning och värdering av enskilda elevprestationer samt (3) sammanvägning av flera elevprestationer till betyg eller kunskapsomdöme. För en likvärdig bedömning krävs samsyn mellan lärare i samtliga dessa led. Modellen är anpassad med utgångspunkt från Allal (2013). För en likvärdighet i det första tolkningsledet krävs att lärare gör en gemensam tolkning av kurs- och ämnesplaner för sedan kunna planera undervisning och konstruera bedömningsuppgifter i linje med dessa. Harlen (2004) menar att hur konsekventa lärare är vid bedömningen 182 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? av elevprestationer hör samman med i vilken utsträckning de har förstått styrdokumenten och i vilken utsträckning detta sedan omsätts i undervisning. Det innebär även att lärare måste göra tolkningar av vad som är utmärkande för prestationer på olika nivåer och vad som skiljer prestationer på olika nivåer ifrån varandra. I det andra tolkningsledet handlar det om att tolka och värdera elevers prestationer på bedömningsuppgifter. Sadler (1998) beskriver detta som en process i tre steg vilken innebär att lärare (1) riktar uppmärksamhet mot elevprestationen (2) värderar denna mot till exempel ett ramverk och (3) ger ett explicit svar, som till exempel att ge prestationen en poäng, ett omdöme eller ett betyg. Att ha en samsyn kring bedömningen omfattar de två första stegen i Sadlers beskrivning, vilket kan innebära att lärarna har en gemensam uppfattning om vad det är som ska bedömas och vad som kännetecknar olika kvaliteter i elevernas visade kunnande. Att lärare har en samsyn behöver däremot inte nödvändigtvis innebära att de sedan avger samma omdöme i steg tre, det vill säga att de har en samstämmighet i sin bedömning. Sadler (1998) ger även exempel på faktorer som påverkar lärare vid bedömning. Sådana faktorer kan vara egna ämneskunskaper, kunskap om de kriterier och kravnivåer som används vid bedömningen, kunskap om eleven som bedöms eller erfarenhet av att ha bedömt liknande uppgifter tidigare. Det finns därför goda skäl att anta att det kan finnas en stor variation i hur olika lärare tolkar och värderar elevers prestationer. I det tredje tolkningsledet ska olika elevprestationer sammanvägas till ett betyg eller till ett kunskapsomdöme utifrån kurs- eller ämnesplanernas kunskapskrav. För att betygssättningen ska vara likvärdig krävs att kunskapskraven tolkas på samma sätt av olika lärare. I kunskapskraven används ett antal värdeord som i viss utsträckning är gemensamma och återfinns i flera ämnen. Skolverket (2012a) menar att värdeorden får ”sin betydelse i de sammanhang de används” och att det därför inte är möjligt att göra generella definitioner av dessa. Ett värdeords innebörd kan dessutom skilja mellan olika situationer och mellan olika uppgifter. Allal (2013) har studerat lärares betygssättningspraktik samt de överväganden som görs vid betygssättning och hon beskriver att denna praktik omfattar två huvudsakliga operationer: (1) insamlande av information utifrån EDUCARE 2015:2 183 PIA THORNBERG OCH ANDERS JÖNSSON varierade källor och (2) hur denna information tolkas och sammanvägs till ett betyg. Hur det samlade underlaget används vid sammanvägning till ett betyg beskrivs av Allal som en tolkningsprocess som kan se olika ut för olika elever. Sammantaget kan man konstatera att de tre tolkningsleden kan utgöra en osäkerhet i bedömningen och betygssättningen, vilket kan beskrivas i termer av bristande likvärdighet. För en ökad likvärdighet krävs därför en samsyn i samtliga tolkningsled och att lärare värderar liknande prestationer på ett likvärdigt sätt. I Sverige har lärare stort förtroende när det kommer till bedömning och betygssättning. Ofta är det samma lärare som både bedömer, rättar nationella prov och sätter betyg. Fördelarna med ett sådant system där summativa bedömningar utförs av samma lärare som också undervisar eleverna är bland annat att lärare har möjlighet att bedöma utifrån ett bredare underlag och utifrån fler lärandemål än när bedömning sker utifrån enstaka tester utförda vid särskilda tillfällen (Harlen, 2005). Lärares bedömningar anses därför ha hög validitet (Crooks, 1988). Däremot anses de ofta ha lägre reliabilitet, främst eftersom lärare har en förförståelse om enskilda elever samt om den undervisning eleverna fått. Ur ett internationellt perspektiv är det förhållandevis ovanligt att summativa bedömningar med stor betydelse för elever utförs av den undervisande läraren. Eftersom lärare i det svenska skolsystemet har ett stort inflytande över både undervisning, bedömning och betygssättning, trots de brister det kan medföra ur ett likvärdighetsperspektiv, blir det angeläget att finna metoder för att stärka likvärdigheten. Detta görs på olika sätt genom bland annat tillhandahållandet av nationella prov och bedömningsstöd av olika slag. Sambedömning En strategi som ofta lyfts fram i forskningslitteratur och i andra sammanhang som ett sätt att få valida och reliabla bedömningar är sambedömning. Sambedömning har till exempel föreslagits av Skolverket (2009a) att ingå som ett sätt att öka likvärdigheten i lärarnas bedömning och betygssättning, tillsammans med nationella prov och övrigt bedömningsstöd. Sambedömning används även i länder som inte har nationella prov då det därmed finns behov av andra sätt att stödja 184 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? en likvärdig bedömning. Ett känt exempel är i delstaten Queensland, Australien, där man har mångårig erfarenhet av sambedömning på olika nivåer, både lokalt, regionalt och på delstatsnivå (Klenowski, 2012). En vetenskaplig definition av sambedömning är inte tydligt etablerad. I forskningsstudier är det vanligt att man undersöker ”inter-rater reliability” där olika bedömare, oberoende av varandra, bedömer samma elevprestationer för att se hur dessa överensstämmer med varandra. Det är även vanligt att bedömare i sådana studier fått speciell träning för uppdraget. Ett annat begrepp är ”co-assessment” som innebär att lärare och elever eller studenter samverkar kring bedömning. Sambedömning, så som begreppet används i denna studie, har en annan innebörd och fokus ligger istället på hur lärare samverkar med varandra kring frågor om bedömning. Ett begrepp som återkommer i forskningslitteraturen är ”moderation”. ”Moderation ” kan innebära en extern inspektion där särskilt utvalda inspektörer kontrollerar hur bedömningen genomförs (Harlen, 1994). En annan form kan vara att lärares bedömning jämförs med något referenstest eller kalibreras mot något annat bedömningsinstrument (Gipps, 1994) genom så kallad ”statistical moderation”. Det begrepp som bäst fångar sambedömning i detta sammanhang är den beskrivning av ”moderation” som benämns ”social moderation” eller ”consensus moderation” (Gipps, 1994; Linn, 1993) och innebär att olika bedömare försöker nå konsensus i hur bedömning och betygssättning ska genomföras (Gipps, 1994). Begreppet ”moderation” kommer av ”att reglera” eller ”att plana ut” (Sadler, 2013). En sådan reglering kan åstadkommas genom att medelvärden av flera olika bedömares bedömningar beräknas, men då kommer man inte åt de underliggande orsakerna till olikheterna. Syftet med ”social moderation” är att få högre reliabilitet och validitet i lärares bedömningar så att de både stämmer överens med intentioner i styrdokumenten och att de är jämförbara på olika nivåer (Wilson, 2004). Eftersom sambedömning ger förutsättningar för diskussioner, som kan leda till en ökad samsyn kring styrdokument, samtidigt som det ger möjligheter för lärare att kalibrera sin bedömning gentemot andra lärares bedömningar, förs sambedömning ofta fram som en väg för att nå ökad samstämmighet vid bedömning. EDUCARE 2015:2 185 PIA THORNBERG OCH ANDERS JÖNSSON Begreppet ”moderation” används i vid bemärkelse i forsknings litteraturen och kan innebära att lärare träffas vid särskilda möten, antingen inom den egna skolan eller mellan olika skolor och har med sig exempel på elevarbeten på olika nivåer. ”Moderation” kan även genomföras ”on-line” vilket gör att lärare från geografiskt skilda skolor kan komma i kontakt med varandra (se till exempel Adie, 2010). ”Moderation” kan utföras före, under och efter själva bedömningstillfället och är även genomförbart som en fortlöpande process (Maxwell, 2002). Bedömningen kan ske med eller utan explicita bedömningsanvisningar eller direkt utifrån kriterier och kravnivåer. Vid sådana möten ges lärare tillfälle att diskutera olika exempel på elevarbeten och gå igenom hur de motsvarar specificerade kravnivåer. Genom sådan diskussion och klassificering ges förutsättningar för lärare att kalibrera sin bedömning mot andra vilket kan leda till en högre reliabilitet (Klenowski & Wyatt-Smith, 2010). Klenowski och Adie (2009) beskriver tre olika typer av ”social moderation”: 186 • ”The calibration model”. Denna modell innebär att lärare först bedömer ett antal elevarbeten från olika klasser eller skolor individuellt. Bedömningen diskuteras sedan gemensamt i syfte att nå konsensus och gemensam förståelse för kravnivåer. Därefter bedömer varje lärare sina egna elevers arbeten. • ”The conferencing model”. Denna modell innebär att lärare först bedömer sina egna elevers prestationer. Därefter diskuteras ett representativt urval gemensamt med målet att nå konsensus och gemensam förståelse. Eventuell görs sedan en omvärdering av den ursprungliga bedömningen. • ”The expert model”. Modellen innebär att lärare bedömer elevarbeten som sedan lämnas vidare till en expert. Lärarna får sedan tillbaka feedback på sin bedömning kring hur konsekvent de använt sig av angivna kravnivåer. EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Begreppet sambedömning så som det används och definieras i den här beskrivna studien avser lärare som tillsammans genomför eller diskuterar bedömning och/eller betygssättning och kan sägas omfatta de två första beskrivningarna av ”social moderation”. I båda dessa modeller är målet att nå konsensus kring bedömningen. I definitionen av sambedömning som avses i denna studie behöver målet nödvändigtvis inte vara konsensus utan kan även omfatta att synliggöra skilda synsätt vid bedömning och betygssättning av elevers prestationer. Studiens upplägg och genomförande Då likvärdighet vid bedömning och betygssättning är en process som kan påverkas i flera led blir det viktigt att förstå var i denna process som sambedömning kan ge effekter och om det finns andra faktorer som kan påverka, så kallade modererande faktorer. För att kunna diskutera på vilket sätt sambedömning kan bidra till en mer samstämmig och likvärdig bedömning och betygssättning blir de frågor som denna studie söker svar på därför: • Vilka effekter kan sambedömning ge? • Vilka faktorer kan påverka sambedömningsprocessen? För att få en översikt över det aktuella kunskapsläget kring sambedömning och dess eventuella effekter har en systematisk litteraturstudie valts som vetenskaplig metod (jfr Forsberg & Wengström, 2008), vilket innebär att sökningar efter kvalitativa och kvantitativa studier genomförs. Dessa studier granskas sedan och resultaten sammanförs till en ny helhet. Genom att använda resultaten från vetenskapliga studier kan en djupare förståelse och en bredare bild skapas samtidigt som det ger möjlighet att identifiera eventuella kunskapsluckor (ibid). Då de vetenskapliga studier och resultat som ligger till grund för denna litteraturstudie är rapporterade på olika sätt samt i stort sett saknar rapportering av kvantitativa data, har vi valt att inte göra en meta-studie utan istället en narrativ beskrivning av resultaten. EDUCARE 2015:2 187 PIA THORNBERG OCH ANDERS JÖNSSON Litteratursökning Studier söktes primärt under september 2012 i olika databaser. Följande sökord användes och kombinerades på olika sätt: teacher, assessment, teacher-based assessment, national test, moderation, marking, reliability, consensus, validity. Exempel på sökordskombinationer var teacher, assessment, moderation och teacher-based assessment, reliability. Den primära sökningen resulterade i ett stort antal sökträffar vilka utgjorde ett första urval. Efter genomläsning och katalogisering gjordes ett andra urval. Ett fåtal studier gick av olika anledningar inte att få fram eller var bortplockade ifrån de adresser som angavs. Även manuella sökningar utfördes utifrån referenslistor i syfte att utvidga det möjliga resultatet. Under arbetets gång gav tidskriften ”Assessment in Education: Principles, Policy & Practice” ut ett temanummer om ”Moderation practice and teacher judgement”. Även dessa artiklar lästes igenom och relevanta artiklar inkluderades i denna studie. Urvalskriterier För att en studie skulle anses relevant och inkluderas i det andra urvalet sattes följande urvalskriterier upp: 1. Studien skulle vara empirisk, det vill säga den skulle ha studerat lärare som sambedömer, antingen som studiens huvudfokus eller som en delstudie. 2. Studien skulle avse sambedömning i grundskola, gymnasium eller vuxenutbildning (på grundskole- eller gymnasienivå) eller motsvarande. Inte förskola eller högre utbildning. Vilket skolämne sambedömningen utfördes i var inte begränsande. 3. Studien skulle vara publicerad och vetenskapligt granskad. Urval Urvalet av studier genomfördes i olika steg. I det första urvalet ingick 62 studier. Efter genomläsning föll ett antal studier ifrån, främst eftersom det inte handlade om sambedömning i bemärkelsen att lärarna utförde bedömningen tillsammans eller för att de inte var empiriska. 188 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Efter en slutlig genomläsning återstod 23 studier vilka ligger till grund för denna litteraturstudie. Analys I studien har en kvalitativ innehållsanalys (se till exempel Graneheim & Lundman, 2004) genomförts. Innehållsanalysen inleddes genom att de studier som föll inom ramen för urvalskriterierna lästes igenom ett flertal gånger och därefter valdes meningsbärande enheter, meaning units, ut och fördes in i en tabell. Meningsbärande enheter är ord, meningar eller delar av texter som innehåller aspekter vilka relaterar till varandra genom innehåll och kontext (Graneheim & Lundman, 2004). Detta urval är en kritisk process (ibid.) och utfördes i två steg. Inledningsvis markerades delar av texterna och först efter ytterligare genomläsningar valdes enheterna ut och fördes in i en tabell. Kategorier skapades genom att de meningsbärande enheterna kodades och grupperades i gemensamma teman. I den genomförda studien skapades preliminära kategorier som efter diskussioner reviderades. Krippendorf (1980) menar att de kategorier som skapas måste vara både uttömmande och ömsesidigt uteslutande för att skapa tillförlitlighet. I något fall innebär kategoriseringen att data passade in i mer än en kategori. Graneheim och Lundman (2004) menar dock att det inte alltid är möjligt att skapa sådana ömsesidigt uteslutande kategorier när de texter studien baseras på innefattar människors erfarenheter, vilket är fallet i denna studie. Resultat Kontext och forskningsdesign Av de 23 studierna har sju genomförts i Australien, främst i delstaten Queensland, sju i Storbritannien, sex i USA och en studie vardera från Portugal och Nya Zealand. En av studierna har genomförts som en komparativ studie mellan Australien (Melbourne) och Hong Kong. De flesta studierna (17) innefattar lärare från olika nivåer i skolsystemet med en tonvikt mot grundskolan. Tre studier har omfattat lärare från motsvarande vårt gymnasium, två från högstadiet och en studie från lågstadiet. Merparten av studierna har varit huvudsakligen kvalitativa och inneburit att lärare som deltagit i sambedömning blivit intervjuade EDUCARE 2015:2 189 PIA THORNBERG OCH ANDERS JÖNSSON före, under och efter sambedömningsinsatsen. Observationer av sambedömningsmöten har ibland genomförts och ibland har olika typer av dokument och andra underlag samlats in. En del studier har kompletterat sådana data med enkäter. Lärare och rektorer är de huvudsakliga informanterna, men även personer med särskild kunskap eller ansvar för bedömningsfrågor har ingått som informanter. Få studier är experimentella, där effekter av sambedömningsinsatser studerats och mätts på ett systematiskt sätt. Tre studier har varit kvantitativa i bemärkelsen att de använt data för att avgöra i vilken omfattning sambedömningen leder till en ökad bedömaröverensstämmelse. Resultaten i denna studie baseras därmed till betydande del på lärares uppfattningar av sambedömning. Lärare kan till exempel uppfatta att likvärdigheten i bedömningen på en skola har ökat utan att man faktiskt har belägg för att det också förhåller sig på detta vis. Vilka effekter kan sambedömning ge? Analysen av den forskning som ligger till grund för litteraturöversikten resulterade i att fyra kategorier av effekter kunde urskiljas: • • • • Effekter på lärares förståelse för kriterier och kvaliteter i elevers prestationer Effekter på samstämmighet vid bedömning Effekter på lärares kompetens Effekter på de kollegiala relationerna Gränserna mellan dessa kategorier är inte skarpa vilket medför att resultat som kan sorteras in under en kategori eventuellt även kan höra hemma i en annan. Till exempel kan man anta att om en grupp lärare får en djupare förståelse för vad bedömningskriterierna innebär så ökar även kompetensen hos den enskilde läraren att bedöma sina elevers prestationer i förhållande till dessa. Resultaten i varje kategori kommer att redovisas genom att först ge en beskrivning av vad som är utmärkande för respektive kategori åtföljt av resultaten och exempel på någon eller några studier. 190 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Effekter på lärares förståelse för kriterier och kvaliteter i elevers prestationer Resultat inom denna kategori innebär att lärares förståelse för och uppfattning av de kriterier och kravnivåer som elevers prestationer ska bedömas utifrån vid sambedömning påverkas. Sådana uppfattningar blir synliga vid diskussioner utifrån konkreta elevprestationer varför även lärares förståelse för och uppfattning av olika kvaliteter i elevers prestationer hamnar inom denna kategori. Att lärare tillsammans diskuterar bedömning av elevers prestationer i förhållande till kriterier och kravnivåer verkar resultera i en ökad samsyn kring vad dessa kriterier och kravnivåer innebär och hur de kan användas (Connolly, Klenowski & Wyatt-Smith, 2012; Hall & Harding, 2002; Reid, 2007; Roberts, Wilson & Draney, 1997). Davison (2004) visar till exempel i en studie att lärare med erfarenhet av sambedömning har en större samsyn vid bedömning än lärare utan sådana erfarenheter. Trots det finns det variationer i hur lärare uppfattar och använder bedömningskriterier vilket kan tolkas som att även om bedömningar på ett ytligt plan är att betrakta som samstämmiga så kan de underliggande avvägningarna som ligger bakom ändå skilja sig åt (ibid.). Effekter på samstämmighet vid bedömning Till denna kategori räknas studier som ger belägg för att lärares samstämmighet vid bedömning av elevers prestationer påverkas vid sambedömning. I de studier som litteraturöversikten omfattar har detta uttryckts på olika sätt, till exempel i termer av reliabilitet, överensstämmelse och likvärdighet. Att lärares bedömning av elevers prestationer blir mer samstämmig som en direkt följd av sambedömning finns inte tydligt dokumenterat. I tre studier (de Eca & Torres, 2005; Falk & Ort, 1998; Syverson, 2009) rapporteras att lärares bedömningar överensstämmer till mellan 80 och 90 procent efter att de deltagit i sambedömning. Däremot är resultaten i samtliga dessa studier inte redovisade på ett sådant sätt att data kunnat verifieras. Det finns även studier som pekar på att sambedömning inte har någon större påverkan på lärares samstämmighet vid bedömning (Baird, Greatorex & Bell, 2004) och att lärare utan erfarenhet av sambedömning gör bedömningar som är jämförbara med bedömningar utförda av lärare med erfarenhet av sambedömning (Connolly et al., 2012; Morgan & Watson, 2002). EDUCARE 2015:2 191 PIA THORNBERG OCH ANDERS JÖNSSON Att samstämmigheten vid bedömning ökar lyfts däremot fram i några studier som en trolig effekt av sambedömning (Adie, Klenowski & Wyatt-Smith, 2012; Clarke & Gipps, 2000), men det poängteras samtidigt att sådana antaganden behöver styrkas genom ytterligare studier. Det finns alltså inga tydliga resultat, varken för eller emot, som pekar på att sambedömning skulle leda till en mer samstämmig bedömning av elevers prestationer. Effekter på lärares kompetens När lärare sambedömer elevers prestationer kan det ge effekter som påverkar den enskilde lärarens kompetens i dennes yrkesutövning. Sådana effekter som kunde urskiljas i de genomgångna studierna var: en ökad kompetens hos lärare i att tolka styrdokument och att omsätta dessa i undervisning, ökad kompetens att urskilja kvaliteter i elevers prestationer, ökad kompetens att på ett tydligt sätt kommunicera kriterier och kravnivåer till elever samt ökad ämnes- och ämnesdidaktisk kunskap hos lärarna. I en studie av Bolt (2011) uppgav till exempel lärare att de genom sambedömning blivit bättre på att finna belägg för elevers kunnande och att sedan använda dessa för att förbättra undervisningen. Effekter på de kollegiala relationerna Att samarbeta med andra lärare genom sambedömning kan också ge effekter som påverkar de kollegiala relationerna på olika sätt. Till denna kategori räknas därför resultat som pekar på att till exempel känslan av gemenskap och tillhörighet ökar eller att lärare får stöd att hantera olika situationer i det dagliga arbetet. Även om detta inte är en faktor som har en direkt påverkan på bedömningens likvärdighet så har det betydelse för enskilda lärares upplevelse av att sambedöma och därmed för på vilket sätt dessa lärare deltar i sambedömningen. Roberts et al. (1997) visar till exempel på att en stark kollegialitet bidrar till framgång vid sambedömning medan Adie (2012) varnar för att framför allt oerfarna lärare kan vara särskilt känsliga för meningsskiljaktigheter och för att uttrycka en avvikande åsikt. 192 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Vilka faktorer kan påverka sambedömningsprocessen? Det finns även en rad olika faktorer som kan påverka sambedömningsprocessen och därmed även indirekt bedömningens och betygssättningens likvärdighet. I analysen identifierades ett antal sådana faktorer vilka delades in i tre olika kategorier: (1) faktorer som kopplas till struktur och organisation; (2) faktorer kopplade till sambedömningssituationen och (3) faktorer kopplade till deltagarna i sambedömningsprocessen. Struktur och organisation Att ha en tydlig och noga genomtänkt struktur och organisation kring sambedömningen tycks vara en avgörande faktor för utfallet och i denna kategori finns tre faktorer som är särskilt viktiga att beakta. Den första är att det finns en god struktur och ett tydligt ledarskap eftersom detta bidrar till att hålla fokus och att fördjupa diskussionerna på ett utvecklande sätt (Little, Gearhart, Curry & Kafka, 2003). För det andra är det av vikt att ta ställning till om syftet med sambedömningen är att nå konsensus eller inte. Det verkar som att det är när lärare har olika uppfattningar kring hur en prestation ska bedömas som det ges störst möjlighet till lärande (Adie, 2012). Den tredje faktorn kopplad till denna kategori berör hur gruppen som ska sambedöma är sammansatt. I studier där lärare intervjuats om sin uppfattning om sambedömning värderar de ofta sambedömning tillsammans med kollegor på den egna skolan eller i det egna skolområdet högst (se exempelvis Bolt, 2011). I andra studier argumenteras för värdet av att sambedömning sker mellan lärare från olika skolor eller distrikt eftersom det innebär ökade möjligheter att tillföra nya perspektiv i diskussionerna (se exempelvis Reid, 2007). Bedömningssituationen När lärare sambedömer så kan bedömningssituationen utformas på olika sätt. Till denna kategori räknas därför faktorer som kan påverkas av hur bedömningssituationen utformas som till exempel vilket bedömningsunderlag som används, hur underlaget är utvalt samt vilka eventuella bedömningsanvisningar som används. Sådana val kan få betydelse för utfallet av sambedömningen. Till exempel så tenderar EDUCARE 2015:2 193 PIA THORNBERG OCH ANDERS JÖNSSON bedömningen att få en mer formativ karaktär om man utgår ifrån en icke-färdig prestation eftersom man då fokuserar på vad som kan bli nästa steg i elevens lärande (Reid, 2007). En viktig faktor för att sambedömningen ska bli framgångsrik är att det finns en variation och bredd bland de elevprestationer som väljs ut som underlag. En stor bredd av prestationer från elever med olika bakgrund är centralt för att lärare ska kunna göra mer nyanserade bedömningar av olika kvaliteter i elevernas prestationer och för att kunna ta med sig sina erfarenheter i nya situationer (Falk & Ort, 1998). Att kunna använda tillgängligt bedömningsmaterial, så som bedömningsanvisningar och kravnivåer, på ett flexibelt sätt är ytterligare en central faktor eftersom det hjälper lärare att hålla fokus på elevprestationerna och att fördjupa diskussionerna (Little et al., 2003). Bedömarna Till denna kategori räknas faktorer som kan knytas till deltagarna och det sätt på vilket de deltar. Det kan till exempel handla om den påverkan den ursprungliga bedömaren eller den undervisande läraren har om denne deltar i sambedömningen. Ett annat exempel är deltagarnas olika erfarenheter. Oerfarna lärare verkar ha särskilt stort utbyte av sambedömning (Baird et al., 2004; Crisp, 2013) eftersom det kan vara ett sätt att få stöd i att utföra bedömningar och att få ta del av mer erfarna kollegors kunskaper. Det kan emellertid vara svårt för en oerfaren lärare som har en avvikande uppfattning att göra sin röst hörd i förhållande till mer erfarna kollegor (Adie, 2012), vilket i sin tur kan påverka både diskussionerna och hur man ställer sig till att fortsätta delta i sambedömning (Adie, 2012; Adie et al., 2012; Black, Harrison, Hodgen, Marshall & Serret, 2010). Resultatdiskussion Studien har syftat till att förstå på vilket sätt sambedömning kan bidra till en likvärdig bedömning och betygssättning av elevers prestationer genom att söka svar på vilka dokumenterade effekter sambedömning kan ha samt hur denna process kan påverkas av olika faktorer. Resultaten pekar på att sambedömning kan bidra till en ökad likvärdighet främst eftersom det kan medföra en samsyn kring hur styrdokumenten tolkas 194 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? och kring hur elevers prestationer bedöms, men även eftersom lärare kan få en ökad kompetens att undervisa och bedöma. Som tidigare beskrivits kräver en likvärdig bedömning att lärare är samstämmiga i flera tolkningsled. I detta avsnitt kommer frågan om huruvida sambedömning har potential att leda till en sådan samstämmighet att diskuteras i förhållande till de tre tolkningsleden. Inledningsvis lyfts argument som talar för detta fram (dvs. ökad bedömarkompetens och ökad samsyn) och därefter argument som talar emot (dvs. lärares olika tolkning, att samsyn inte är samma sak som samstämmighet och sammanvägningen till omdömen). Ökad bedömarkompetens Ett av argumenten för att likvärdigheten i lärares bedömning och betygssättning ökar som en följd av sambedömning är att resultaten pekar på att det leder till ökad bedömarkompetens hos lärarna. Sambedömning ger lärare möjlighet till diskussion och reflektion kring frågor kopplade till undervisning och bedömning utifrån konkreta elevprestationer. Vid diskussioner kring kvaliteter i elevers prestationer tvingas lärare att sätta ord på vad som skiljer olika prestationer från varandra och vad som är prestationens styrkor respektive svagheter. Därmed måste lärare även identifiera vad som är nästa steg i elevernas lärande, vilket i sin tur kan innebära att lärare blir bättre på att finna belägg för elevers kunnande och att använda kunskapen som utgångspunkt vid planering av undervisning (Bolt, 2011; Falk & Ort, 1998; Malone, De Lucchi & Long, 2004). Ökad bedömarkompetens i kombination med utvecklade insikter som stödjer undervisningen (Bolt, 2011; Clarke & Gipps, 2000; Falk & Ort, 1998) innebär därmed att både det första och det andra tolkningsledet stärks, och därmed även likvärdigheten. Resultaten av denna forskningsöversikt ger däremot inga tydliga belägg för att lärares bedömningskompetens beträffande sammanvägning av olika prestationer till ett kunskapsomdöme eller betyg, det vill säga tolkningsled tre, ökar. Ökad samsyn Ett annat resultat som talar för att sambedömning kan leda till en ökad likvärdighet vid bedömning och betygssättning är att det skapar en EDUCARE 2015:2 195 PIA THORNBERG OCH ANDERS JÖNSSON samsyn mellan lärare kring vad mål, kriterier och kravnivåer innebär (Connolly et al., 2012; Hall & Harding, 2002; Reid, 2007; Roberts et al., 1997). Att lärare får en samsyn kring styrdokumenten beror bland annat på att olika sätt att uppfatta dessa blir synliggjorda och föremål för diskussion utifrån konkreta elevprestationer. Adie et al. (2012) menar att en gemensam förståelse bland lärare för de begrepp som används är en förutsättning för att kunna diskutera och sambedöma. Att utgå ifrån konkreta elevprestationer tvingar lärare att sätta ord på sina uppfattningar så att dessa blir tydliga och medvetandegjorda, både för den enskilde läraren men även för kollegor, vilket kan leda till att lärare omförhandlar sin bedömning (ibid.). Enligt Sadler (2009) är sådana kravnivåer som används i styrdokumenten abstrakta och för att utveckla en förståelse för dessa behövs just konkreta exempel för att illustrera olika kvaliteter. Diskussioner utifrån konkreta exempel blir då betydelsefulla för att utveckla en gemensam förståelse för innebörden av kravnivåerna och för utvecklandet av en känsla för vad som utmärker olika kvaliteter. Harlen (2004) menar att hur pass konsekventa lärare är i vid bedömningen av elevprestationer hör ihop med hur man tolkat styrdokumenten och hur dessa omsatts i undervisning. Att därför låta sambedömningen omfatta även det första tolkningsledet blir då betydelsefullt för en likvärdig bedömning och betygssättning eftersom samsyn påverkar både reliabilitet och validitet vid bedömning (Harlen, 2004; Holroyd, 2000). Lärares olika tolkning Ökad bedömarkompetens och samsyn ger goda förutsättningar för en likvärdig bedömning och betygssättning, men det finns å andra sidan sådant som talar emot detta. Ett problem kan vara att även om lärare enas om bedömningen av en elevprestation eller kring tolkningen av styrdokumenten så är det inte självklart att en sådan tolkning är korrekt eller i linje med hur andra lärare gör motsvarande tolkningar. En konsekvens kan då bli att lärares bedömningar blir samstämmiga utan att vara i linje med styrdokumenten. Ett sätt att komma ifrån att lärares bedömningar sker utifrån en felaktig tolkning av styrdokumenten skulle kunna vara att enbart utgå från till exempel nationella prov vid bedömning och betygssättning, eftersom olika provkonstruktörer här gjort tolkningen av styrdokumenten åt lärarna. Å andra sidan ger 196 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? det inte lärare den kunskap och kompetens som krävs för att själva kunna planera och genomföra undervisning och bedömning i linje med styrdokumenten. Genom att låta sambedömningen omfatta det första tolkningsledet kan man däremot förvänta sig att lärare utvecklar en samsyn kring styrdokumenten som i sin tur kan ge förutsättningar för en mer samstämmig bedömning också i andra bedömningssituationer än vid bedömningen av de nationella proven. En annan konsekvens kan vara att likvärdigheten tenderar att bli tämligen lokal när sambedömning sker mellan lärare på enskilda eller närliggande skolor. Det finns studier där lärare träffats över skolgränser och ibland också över internet, vilket kan skapa förutsättningar för nationell likvärdighet. Ett utvecklat exempel med goda erfarenheter från detta är i Queensland, Australien. Här har man inga nationella prov utan istället ett väl utbyggt system för sambedömning i flera steg, på lokal, regional och nationell nivå (Maxwell, 2007). Detta kräver dock en organisation och struktur som i dagsläget inte finns i Sverige. Samsyn är inte samstämmighet Ökad samsyn betyder inte heller nödvändigtvis att likvärdigheten vid bedömning och betygssättning ökar, eftersom samsyn och samstämmighet inte är samma sak. Det finns få studier som styrker att sambedömning ger ökad samstämmighet vid bedömning och de studier som återfunnits ger motsägelsefulla resultat. Sadler (1998) beskriver den del av bedömningsprocessen där lärare tolkar och värderar elevers prestationer som ett förlopp i tre steg: (1) uppmärksamhet riktas mot elevprestationen; (2) elevprestationen värderas mot till exempel ett ramverk och (3) poäng, betygsbelägg eller dylikt utdelas. Utifrån en sådan beskrivning av lärares bedömning kan samsyn innebära att lärare är överens i steg 2 om hur en elevprestation ska tolkas och värderas, det vill säga vad som utifrån bedömningskriterierna är elevprestationens styrkor och vad i denna som är mindre bra. En sådan samsyn betyder inte nödvändigtvis att lärare i nästa steg (3) är överens och ger elevprestationen exakt samma poäng eller betygsbelägg. Även det omvända förhållandet kan råda, det vill säga att lärare i steg 2 värderar olika kriterier på olika sätt i förhållande till varandra men ändå gör en likartad helhetsbedömning i steg 3. En svensk studie genomförd av Olofsson (2006) pekar på detta. I studien har fyra lärare bedömt EDUCARE 2015:2 197 PIA THORNBERG OCH ANDERS JÖNSSON elevarbeten från det nationella provet i matematik, först enskilt och därefter ännu en gång efter att ha sambedömt där emellan. Resultatet visar att lärarna efter sambedömning ändrade sina bedömningar i viss utsträckning så att de blev mer samstämmiga men även att lärare var olika benägna att revidera sina bedömningar, bland annat beroende på vilka kriterier de hade olika uppfattningar kring. Detta kan få till följd att olika elevers prestationer, även om man sambedömer, kan få en likartad bedömning men att denna baseras på olika kriterier. Om detta är att betrakta som godtagbart eller inte beror på i vilken utsträckning man kräver samstämmighet och på vilka grunder. Måste lärares bedömning och betygssättning vara exakt lika eller är det tillräckligt att vara överens om på vilka grunder elevprestationerna bedöms? Ett sätt att få till stånd samstämmighet är förstås att kräva konsensus. En nackdel med detta, förutom att det är väldigt tidskrävande att bedöma samtliga elevprestationer tillsammans, är dock att det finns en risk att olika uppfattningar blir svåra att hantera och att målet blir att komma överens snarare än att skapa en samsyn (Davison, 2004). Moss och Schutz (2001) varnar för att en strävan efter konsensus kan leda till en falsk trygghet där viktiga argument utesluts, vilket pekar på betydelsen av att skapa goda förutsättningar för ett öppet och tillåtande diskussionsklimat om sambedömningen ska ha möjlighet att leda till samsyn kring styrdokument och bedömning av elevprestationer. Sammanvägning Ett annat problem med en likvärdig bedömning är kopplat till det tredje och sista tolkningsledet när elevers olika prestationer ska sammanvägas till ett kunskapsomdöme eller ett betyg utifrån olika kravnivåer. För en likvärdig bedömning i detta led krävs att kunskapskraven tolkas på samma sätt av olika lärare och att sammanvägningen till omdöme och betyg sker enligt styrdokumentens föreskrifter. I en studie av Allal (2013) uppgav lärare att de ofta samarbetade i det första tolkningsledet, med att planera undervisning och att konstruera bedömningsuppgifter medan det var mindre vanligt med samarbete i de övriga tolkningsleden. Dessutom visade det sig att lärarna vid sammanvägning av elevers resultat till ett betyg gav olika tyngd åt olika informationskällor och att det skiljde sig åt hur man hanterade olika elevers resultat (ibid). Även Korp (2006) visar utifrån svenska förhållanden att lärare vid 198 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? betygssättning använder olika metoder för att sammanväga olika elevprestationer till ett betyg. Konsekvensen kan bli att även om lärare är överens om vad som ska bedömas och att enskilda bedömningar är både reliabla och valida så blir sammanvägningen av olika resultat en process som hanteras på skilda sätt. Även om det utifrån denna studie inte finns tydliga belägg för att sambedömning leder till ökad likvärdighet kring det tredje tolkningsledet finns det andra erfarenheter som talar för att sådan kan stödjas genom sambedömning, exempelvis erfarenheter ifrån Queensland. I en rapport från Queensland Studies Authority (QSA) där man granskat ett stort urval elevportföljer, fann man en överensstämmelse mellan skolornas och granskningsgruppens bedömning i 92 procent av fallen (QSA, 2012). Detta tyder på att sambedömning kan stödja även betygssättningen. Slutsatser Det visar sig således att den befintliga forskningen inte ger ett entydigt svar på frågan om sambedömning leder till en ökad likvärdighet vid bedömning och betygssättning eftersom utfallet av sambedömningsprocessen kan påverkas av flera olika faktorer. Den slutsats som ändå kan dras är att sambedömning har potential att stödja en likvärdig bedömning och betygssättning eftersom det finns belägg för att sambedömning kan bidra till en samsyn och till en ökad bedömarkompetens bland lärare. Man bör däremot inte förvänta sig att en samsyn är det samma som att lärare ger samma poäng eller betygsbelägg för samma elevprestation utan snarare att de grunder utifrån vilka sådana omdömen ges är likartade. Vidare bör sambedömning ses som en process som omfattar och inkluderar samtliga tolkningsled i bedömningsprocessen om sambedömning ska kunna leda till en ökad likvärdighet. Ju fler av tolkningsleden som sambedömningen omfattar desto större är förutsättningarna för ökad likvärdighet vid bedömning och betygssättningen. En ökad likvärdighet till följd av sambedömning bör även ses som en lokal process som sker på lång sikt och med behov av en tydlig struktur och ledning. Att likvärdigheten ökar på lokal nivå är däremot inte det samma som att likvärdigheten ökar på regional eller nationell nivå, om inte dessa nivåer kopplas samman på något sätt. En sammankoppling EDUCARE 2015:2 199 PIA THORNBERG OCH ANDERS JÖNSSON kräver en välutbyggd struktur och omfattande satsningar. Erfarenheter från Queensland, Australien, har visat att detta är möjligt och dessutom med hög likvärdighet som följd. Att identifiera andra enskilda faktorer som är av särskild att betydelse för att sambedömning ska leda till en ökad likvärdighet är svårare. Något som kan ses som centralt för att sambedömning ska vara framgångsrikt är variation. Variation blir då en indirekt en faktor som påverkar likvärdigheten genom att: (1) olika åsikter och perspektiv beaktas för att skapa förutsättningar för fördjupade diskussioner; (2) att urvalet av elevprestationer för bedömning speglar en bredd och variation av prestationer samt (3) att lärare kommer ifrån olika kontexter och ges möjlighet till sambedömning i olika konstellationer. Att befintlig forskning om sambedömning och dess effekter till betydande del grundas på intervjuer med lärare eller på observationer av lärare när de sambedömer får till följd att forskningen i stor utsträckning baseras på lärares uppfattningar om sambedömning och dess effekter. Till exempel kan lärare uppfatta att deras bedömningar blir mer samstämmiga utan att ha belägg för att det verkligen förhåller sig på detta sätt. Därför finns ett behov av ytterligare studier som på ett systematiskt sätt undersöker om sambedömning verkligen leder till ökad samstämmighet i lärares bedömning. Det finns även en avsaknad av forskning som studerat sambedömning i det tredje tolkningsledet, när elevers prestationer ska sammanvägas till ett kunskapsomdöme eller till ett betyg. Allal (2013) ser detta tolkningsled som centralt för att stödja en likvärdig bedömning och betygssättning eftersom detta är en process som hanteras på olika sätt av olika lärare. 200 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Referenslista Adie, Leonore E. (2010). Developing shared understandings of standards-based assessment: On-line moderation practices across geographically diverse contexts. Doktorsavhandling, Queensland University of Technology, Australien. Adie, Leonore (2012). Learning as identity and practice through involvement in online moderation. Educational Assessment, Evaluation and Accountability, 24, 43-56. Adie, Leonore E., Klenowski, Valentina & Wyatt-Smith, Claire (2012). Towards an understanding of teacher judgement in the context of social moderation. Educational Review, 64, 223-240. Allal, Linda (2013). Teachers’ professional judgement in assessment: a cognitive act and a socially situated practice. Assessment in Education: Principles, Policy & Practice, 20, 20-34. Baird, Jo-Anne, Greatorex, Jackie & Bell, John F. (2004). What makes marking reliable? Experiments with UK examinations. Assessment in Education: Principles, Policy & Practice, 11, 331-348. Biggs, John B. & Tang, Catherine S. (2007). Teaching for quality learning at university: what the student does. (3. ed.) Maidenhead: McGraw-Hill/Society for Research into Higher Education. Black, Paul, Harrison, Christine, Hodgen, Jeremy, Marshall, Bethan & Serret, Natasha (2010). Validity in teachers’ summative assessments. Assessment in Education: Principles, Policy & Practice, 17, 215232. Bolt, Susan (2011). Making consistent judgments: Assessing student attainment of systemic achievement targets. Educational Forum, 75,157-172. Clarke, Shirley & Gipps, Caroline (2000). The role of teachers in teacher assessment in England 1996–1998. Evaluation and Research in Education, 14, 38-52. Connolly, Stephen, Klenowski, Valentina & Wyatt-Smith, Claire M. (2012). Moderation and consistency of teacher judgement: teachers’ views. British Educational Research Journal, 38, 593-614. EDUCARE 2015:2 201 PIA THORNBERG OCH ANDERS JÖNSSON Crisp, Victoria (2013). Criteria, comparison and past experiences: how do teachers make judgements when marking coursework? Assessment in Education: Principles, Policy & Practice, 20, 127144. Crooks, Terence J. (1988). The impact of classroom evaluation practices on students. Review of Educational Research, 58, 438–481. Davison, Chris (2004). The contradictory culture of teacher-based assessment: ESL teacher assessment practices in Australian and Hong Kong secondary schools. Language Testing, 21(3), 305-334. de Eca, Pereira & Torres, Maria T. (2005). Using portfolios for external assessment: An experiment in Portugal. International Journal of Art & Design Education, 24, 209-218. Erickson, Gudrun (2009). Nationella prov i engelska – en studie av bedömarsamstämmighet. Hämtad 24 februari 2014, från http:// www.nafs.gu.se/digitalAssets/1319/1319572_bed.np-eng-g. erickson-2009.pdf Falk, Beverly & Ort, Suzanna (1998). Sitting down to score. Teacher learning through assessment. Phi Delta Kappan, 80, 59-64. Forsberg, Christina & Wengström, Yvonne (2008). Att göra systematiska litteraturstudier: värdering, analys och presentation av omvårdnadsforskning. (2., [uppdaterade] utg.) Stockholm: Natur & Kultur. Gipps, Caroline V. (1994). Beyond testing: towards a theory of educational assessment. London: Falmer. Graneheim, Ulla H. & Lundman, Berit (2004). Qualitative content analysis in nursing research: concepts, procedures and measures to achieve trustworthiness. Nurse Education Today, 24(2), 105-112. Gustavsson, Anders, Måhl, Per & Sundblad, Bo (2012). Betygssättning: en handbok. (1. uppl.) Stockholm: Liber. Hall, Kathy & Harding, Austin (2002). Level descriptions and teacher assessment in England: towards a community of assessment practice. Educational Research, 44(1), 1-16. Harlen, Wynne (Ed.) (1994) Enhancing Quality in Assessment. BERA Policy Task Group on Assessment, Paul Chapman Publishers. 202 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Harlen, Wynne (2004). A systematic review of the evidence of reliability and validity of assessment by teachers used for summative purposes. In: Research Evidence in Education Library. London: EPPI-Centre, Social Science Research Unit, Institute of Education. Harlen, Wynne (2005). Teachers’ summative practices and assessment for learning - tensions and synergies. Curriculum Journal, 16(2), 207-223. Holroyd, Colin (2000). Are assessors professional? Active Learning in Higher Education 1 (1), 28–44. Klenowski, Val & Adie, Leonore (2009). Moderation as judgement practice: Reconciling system level accountability and local level practice. Curriculum Perspectives, 29, 10-28. Klenowski, Valentina & Wyatt-Smith, Claire (2010). Standards-Driven Reform Years 1-10: Moderation an Optional Extra? Australian Educational Researcher, 37(2), 21-39. Klenowski, Valentina (2012). Raising the stakes: the challenges for teacher assessment. The Australian Educational Researcher, 39(2), 173-192. Korp, Helena (2006). Lika chanser i gymnasiet? En studie om betyg, nationella prov och social reproduktion. Doktorsavhandling, Malmö högskola. Krippendorff, Klaus (1980). Content Analysis. An Introduction to its Methodology. The Sage Commtext Series, Sage Publications Ltd., London. Linn, Robert L. (1993). Linking Results of Distinct Assessments. Applied Measurement in Education, 6(1), 83-102. Little, Judith W., Gearhart, Maryl, Curry, Marnie & Kafka, Judith (2003). Looking at student work for teacher learning, teacher community, and school reform. Phi Delta Kappan, 85, 185-192. Malone, Larry, De Lucchi, Linda, & Long, Kathy (2004). All Things in Moderation. Science and Children, 41(5), 30-34. EDUCARE 2015:2 203 PIA THORNBERG OCH ANDERS JÖNSSON Maxwell, Graham S. (2002). Progressive assessment: Synthesising formative and summative purposes of assessment. In Frank Ventura and Grace. Grima (eds), Contemporary issues in educational assessment: Proceedings of the ACEAB Second International Conference, Malta 2002, pp. 220–234. Msida, Malta: MATSEC Examinations Board. Maxwell, Graham (2007). Implications for moderation of proposed changes to senior secondary school syllabuses. Paper commissioned by the Queensland Studies Authority. Brisbane: Queensland Studies Authority. Morgan, Candia & Watson, Anne (2002). The interpretative nature of teachers’ assessments of students’ mathematics: Issues for equity. Journal for Research in Mathematics Education, 33, 78-110. Moss, Pamela A. & Schutz, Aaron (2001). Educational standards, assessment, and the search for consensus. American Educational Research Journal, 38, 37-70. Olofsson, Gunilla (2006). En studie av lärares bedömning av elevarbeten på ett nationellt prov i matematik kurs A. Stockholms universitet, PRIM-gruppen. Queensland Studies Authority. (2012). Random sampling project 2012. Report on random sampling of assessment in Authority subjects. Brisbane: Queensland Studies Authority. Reid, Lesley (2007). Teachers talking about writing assessment: valuable professional learning. Improving Schools, 10, 132-149. Roberts, Lily, Wilson, Mark & Draney, Karen (1997). The SEPUP assessment system: An overview BEAR Report Series (Vol. SA97-1). Berkeley: University of California. Sadler, D. Royce (1998). Formative Assessment: revisiting the territory. Assessment in Education: Principles, Policy & Practice, 5(1), 77-84. Sadler, D. Royce (2009). Grade integrity and the representation of academic achievement. Studies in Higher Education, 34(7), 807-82. Sadler, D. Royce (2013). Assuring academic achievement standards: from moderation to calibration, Assessment in Education: Principles, Policy & Practice, 20 (1), 5-19. 204 EDUCARE 2015:2 Sambedömning för ökad likvärdighet? Skolinspektionen (2012). Lika för alla? Omrättning av nationella prov i grundskolan och gymnasieskolan under tre år. Stockholm: Skolinspektionen. Skolinspektionen (2013). Tillsyn av bedömning och betygssättning. Stockholm: Skolinspektionen. Skolverket (2004). Handlingsplan för en rättssäker och likvärdig betygssättning. Stockholm: Skolverket. Skolverket (2009a). Redovisning av regeringsuppdrag att ge förslag på hur det nationella provsystemet bör utvecklas och utformas. Stockholm: Skolverket. Skolverket (2009b). Bedömaröverensstämmelse vid bedömning av nationella prov. Dnr 2008:286. Stockholm: Skolverket. Skolverket (2011a). Läroplan för grundskolan, förskoleklassen och fritidshemmet 2011. Stockholm: Skolverket. Skolverket (2011b). Läroplan, examensmål och gymnasiegemensamma ämnen för gymnasieskola 2011. (2011). Stockholm: Skolverket. Skolverket (2012a). Betygsskalan A-E. Hämtad 24 februari 2014, från: http://www.skolverket.se/bedomning/betyg Skolverket (2012b). Likvärdig utbildning i svensk grundskola? En kvantitativ analys av likvärdighet över tid. Rapport nr. 374. Stockholm: Skolverket. Skolverket (2012c). Redovisning av uppdrag om avvikelser mellan provresultat och betyg i grundskolan årskurs 9. Dnr 75-2012:311. Stockholm: Skolverket. Skolverket (2012d). Redovisning av uppdrag om avvikelser mellan provresultat och kursbetyg i gymnasieskolan. Dnr 75-2012:311. Skolverket: Stockholm. Syverson, Margaret A. (2009). Social justice and evidence-based assessment with the Learning Record. Forum on Public Policy, 1-27. Wilson, Mark (Ed.). (2004). Towards coherence between classroom assessment and accountability. Chicago: University of Chicago Press. EDUCARE 2015:2 205 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Ingela Andreasson, Maj Asplund Carlsson och Marianne Dovemark When competition and an increasing level of marketisation characterises school life, the number of evaluations and the level of control has grown out of proportion. Through comparisons, assessments and ranking systems, also called ‘the terrors of performativity’ according to Ball (2003) commercial agents have gained influence over practices of assessment and documentation within the education system. Increased demands on pupils’ and parents’ participation and a belief that written documentation will lead to better results has caused an extensive use of different web based tools like Unikum. With the point of departure in a collected material of more than a hundred Individual Educations Plans (IEP) where commercial web based tools have been used, we make an analysis with Basil Bernstein’s (1996, 2000) concepts Pedagogic Identity, and Instructional and Regulative discourse in relation to expectations and constructions manifest in the plans. The results show that all four identities are expressed in the plans however, with an emphasis on a neo-liberal identity. We discuss the results in relation to the instructional and regulative discourses. The conclusion is that the tools both shape and determine possible identities and possible discourses in the web based interaction between children, parents and teachers. Keywords: Keywords: Identity, Individual Education Plans, Pedagogic Discourse, Performativity, Regulativity Ingela Andreasson, docent, Institutionen för pedagogik och specialpedagogik, Utbildningsvetenskapliga fakulteten, Göteborgs universitet [email protected] 206 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Maj Asplund Carlsson, senior professor, Institutionen för pedagogik, kommunikation och lärande, Utbildningsvetenskapliga fakulteten, Göteborgs universitet [email protected] Marianne Dovemark, docent, Institutionen för pedagogik och specialpedagogik, Utbildningsvetenskapliga fakulteten, Göteborgs universitet [email protected] Inledning I en tid av konkurrens och tilltagande marknadisering har antalet utvärderingar och kontroller ökat inom utbildningsväsendet. Genom jämförelser, bedömningsmatriser och olika rankingsystem, vad Ball (2003) kallar ‘terror of performativity’, har kommersiella aktörer numera ett betydande inflytande över bedömnings- och dokumentationspraktiker inom förskola och skola. Ökade krav på elevers och föräldrars delaktighet och en förhoppning om att skriftlig dokumentation ska leda till ökad måluppfyllelse har lett till intensifierad användning av olika webbverktyg. Unikum, Info Mentor och Fronter är exempel på de största aktörerna på marknaden. Med utgångspunkt i ett insamlat material av drygt ett hundra Individuella Utvecklings Planer [IUP] där kommersiella dokumentationsverktyget Unikum har använts, gör vi i denna artikel en analys utifrån Basil Bernsteins (1996, 2000) begrepp pedagogisk diskurs och pedagogisk identitet i relation till de förväntningar och konstruktioner som skrivs fram i materialet. Syftet är således att studera hur olika pedagogiska diskurser formar de identiteter som skrivs fram av barn, föräldrar och lärare i de individuella utvecklingsplanerna. EDUCARE 2015:2 207 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Bakgrund Skolreformer i Sverige som decentralisering, mål- och resultatstyrning och valfrihet har på senare år banat väg för utveckling av en skolmarknad och en kultur av individualism. Individualiseringen skrevs tydligt fram bland annat i 1994 års läroplan (Lpo 94) med sitt starka fokus på ansvar (Dovemark, 2004). I kölvattnet av reformerna började individuella utvecklingsplaner att dyka upp inom utbildningsväsendet och sedan 2006 har det varit obligatoriskt att upprätta en individuell utvecklingsplan för alla elever i grundskolan1. Denna plan ska vara framåtsyftande (formativ) och upprättas i samband med utvecklingssamtal med vårdnadshavare för att beskriva elevers skolsituation och kunskapsutveckling. 2008 gjordes ett tillägg att IUP skulle kompletteras med skriftliga omdömen med syfte att beskriva elevens kunskapsstatus i varje ämne i förhållande till kursplanemålen. Dessa omdömen ska till skillnad från den individuella utvecklingsplanen vara av tillbakablickande karaktär (summativ). De skriftliga omdömena kan antingen ges i beskrivande form eller i standardiserad form som exempelvis en symbol eller uttryck (t.ex. ”ej uppnått målen”). För att minska lärares administrativa arbetsuppgifter gjordes dock en lagändring i november 2013 som innebar att för de årskurser där betyg sätts, finns det inte längre krav på upprättande av IUP (SFS 2010:800; Skolverket, 2013). Syftet med införandet av IUP var att skapa ett verktyg i skolan för ökad måluppfyllelse, att öka elevers och föräldrars delaktighet samt att likvärdigheten skulle stärkas (Skolverket, 2005). På nationell nivå ska introduktionen av IUP också ses i ljuset av att skolans mål- och resultatstyrning skulle få ökad genomslagskraft (Andersson, 2011). Den individuella utvecklingsplanen ska enligt allmänna råden (Skolverket, 2013) användas kontinuerligt under hela skolåret för planering och utvärdering av elevens lärande. Upprättande av IUP och de kontinuerliga bedömningar som föregår denna, såsom exempelvis portofolier eller självvärderingar, ska hjälpa eleverna att förstå sina egna inlärningsprocesser och på så sätt ta ansvar för sina studier (Dovemark, 2004) vilket också ligger i linje med den formativa bedömningen som uppmärksammats under senare år (se exempelvis Black & Wiliam, 1998; 2009; Hattie & Timperley, 2007; 1 Gäller även grundsärskolan, specialskolan och sameskolan 208 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Lundahl, 2011). IUP:n ska också ses vara utgångspunkt för lärarens kontinuerliga utvärdering och planering av undervisningen. Rektor kan besluta att även information om elevernas sociala utveckling kan ingå. Riktlinjerna i Allmänna råden om utvecklingssamtalet och den skriftliga individuella utvecklingsplanen (Skolverket, 2013) betonar emellertid att ”varken informationen om elevens sociala utveckling eller kunskapsutveckling får innehålla subjektiva beskrivningar av elevens karaktär och beteenden, som kan kränka elevens personliga integritet” (s.14). Noterbart är att IUP inte är en isolerad bedömningspraktik utan existerar i ett komplext sammanhang tillsammans med andra kunskapsmätningar i skolan. Bedömningar (ofta i form av olika test) har sedan lång tid tillbaka varit en viktig drivkraft för att styra skolan både i Sverige och internationellt (Lundahl, 2011; Lingard et al, 2006; Jeffrey & Troman, 2012). Det finns inget krav på nationell likvärdighet när det gäller de skriftliga omdömena. Jämförelser mellan skolor kan inte göras eftersom det är varje enskild rektor som bestämmer utformningen av skolans IUP med skriftliga omdömen. I en uppföljningsstudie av IUP påpekar emellertid Skolverket (2010) att en utveckling av ett gemensamt och likriktat språk är av betydelse när det gäller bedömningsformuleringar på varje enskild skola. I omdömena ska också anges mot vilka mål i läroplanen eller kursplanen som bedömningen görs. Detta gäller även för bedömningar av den sociala utvecklingen. Ända sedan införandet har den individuella utvecklingsplanen emellertid varit omdiskuterad och styrdokumentens intentioner har haft svårt att förverkligas i praktiken. I Skolinspektionens och Skolverkets rapporter (Skolinspektionen 2009; 2012; Skolverket, 2010) påpekas att variationen mellan skolorna är mycket stor när det gäller hur man arbetar med IUP och i vilken mån som IUP är kopplad till läroplanens kunskapsmål. Resultaten pekar vidare mot att varken i den individuella utvecklingsplanens framåtsyftande del eller i de skriftliga omdömena finns den tydlighet som efterfrågas och uppdraget har därmed uppfattats olika av lärare och rektorer. Många lärare har dessutom känt sig osäkra hur dokumentationen ska genomföras trots Skolverkets riktlinjer i de allmänna råden (Skolverket, 2008; 2013). Andra synpunkter som EDUCARE 2015:2 209 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK framkom var att skrivandet av IUP och skriftliga omdömen tagit mycket tid i anspråk, tid som tas från undervisningen. Tidigare studier av elevdokumentation visar vilka förväntningar som riktas mot eleverna i texterna. De begrepp som används i dokumenten visar att elevernas förhållningssätt till lärande betonas i högre utsträckning än själva lärandet. Självständighet, motivation och lust att lära betonas ofta (Andreasson, 2007). Flera studier har också visat att elevdokumenten ofta fokuserar elevernas eget ansvar och handlar till syvende och sist om självreglerande bedömningar som styrningsteknik (jfr Foucault, 2000). Skolsvårigheter beskrivs ofta som individuella brister hos eleverna (Isaksson, Lindqvist & Bergström 2007; Asp Onsjö, 2006; Vallberg Roth, 2009). Vidare framkommer att ”personliga” omdömen ofta är rikligt förekommande i dokumenten, beskrivningar som kan påverka ett barns identitetsutveckling (Andreasson, 2007; Vallberg Roth & Månsson, 2008). Skolverket har, som tidigare nämnts, senare i sina allmänna råd (Skolverket 2008; 2013) också slagit fast att dokumenten inte ska innehålla värderingar och omdömen av integritetskränkande karaktär. Det finns även studier som har fokuserat på själva arbetsprocessen vid upprättandet av IUP. Eva Morell-Olsson (2012) visar i sin avhandling att både elever, föräldrar och lärare uttrycker att arbetet med IUP möjliggör ett förändrat arbetssätt som sätter elevens eget lärande i fokus. Studien visar emellertid också på att det i arbetsprocessen framträder olika former av makt, kontroll och förhandling. I ytterligare en avhandling visar Åsa Hirsh (2013) att de lärare som är mest positiva till arbetet med IUP:n är de som lyckats införliva det i det dagliga arbetet och gjort det till ”sitt eget”. De ser då IUP verktyget som en självklar del av arbetet och något man arbetar kontinuerligt med tillsammans med eleverna. I en internationell metastudie av nästan 300 studier visar Mitchell, Morton och Hornby (2010) att det finns en generell kritik mot systemet med elevdokumentation som verkar återkomma i olika sammanhang. De visar på starkt inflytande av beteende- och utvecklingspsykologi med en överbetoning på det individuella och personliga i dokumenten. Det finns med andra ord anledning att ytterligare granska denna praktik och sätta in den i ett utbildningssociologiskt snarare än ett individualpsykologiskt sammanhang. 210 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Pedagogiska identiteter som förväntningar och konstruktioner Till hjälp i vår analys har vi haft användning av Basil Bernsteins (1990; 1996; 1999; 2000) utbildningssociologiska teorier2 som i hög grad baseras på idén om att vårt medvetande formas och har sina rötter i sociala och ekonomiska relationer, med andra ord är materiellt betingat. Vår utgångspunkt är således att utbildning ska ses som ett kollektivt åtagande (jmf t.ex. Bourne, 2004:79). Från denna position, är det sociala och det pedagogiska, med andra ord även relationen mellan lärare och elever, grundläggande för att förstå elevers framgångar och tillkortakommanden i skolan. Bernstein skiljer här mellan den instruktionella diskursen som handlar om skolans och undervisningens innehåll, och elevernas kunskaper, färdigheter och förmågor och den regulativa diskursen som ses som en moralisk och fostrande diskurs då den handlar om ordning och uppförande. Den regulativa diskursen ses alltid som överordnad den instruktionella och egentligen kan man tala om en enda diskurs. Analytiskt är det dock en poäng att urskilja två skilda diskurser vilket vi gör i analysen av vårt material. Den pedagogiska diskurs som markerar den sociala relationen mellan lärare och elev konstruerar inte bara kunskaper och färdigheter som ska förvärvas, utan även de specifika sociala identiteter och inriktningar som får betydelse för elevers skolkarriärer (jfr. Bourne, 2008; Singh, 2013; Singh et al, 2013). Bernstein (1996) uppmärksammar hur den officiella pedagogiska diskursen konstruerar två samtida utbildningsmodeller, dels en prestationsmodell och dels en kompetensmodell. Prestationsmodellen grundar sig på ett sammanhang där kompetens, rutiner och ämnesområden är klart och tydligt definierade, med andra ord starkt klassificerade och inramade. Lärare och elever har liten kontroll över urval och sekvensering. Eleverna bedöms utefter tydliga kriterier efter vad de har åstadkommit och de upplyses också om vad de ska uppnå i framtiden. Däremot görs de inte medvetna om hur deras lärande är socialt betingat och beroende av det institutionella sammanhanget, utan istället presenteras prestationer som ett resultat av medfödda talanger och förmågor (jfr Bourne, 2008). 2 I vår beskrivning av Bernsteins teori har vi haft god hjälp av nutida forskare som Jill Bourne och Parlo Singh. EDUCARE 2015:2 211 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Till skillnad från prestationsmodellen grundar sig kompetensmodellen på ett sammanhang där ämnesområden är mer diffusa, integrerade i form av projekt och teman. Ämnen är svagt klassificerade och inramade och eleverna har mer kontroll över urval och sekvensering. Undervisningen bygger mer på valfrihet och kontrollen är personlig och fokuserad på självreflektion och självdisciplinering (jfr Beach & Dovemark 2007; 2009; 2011). Lärare bedömer elevers prestationer men (i motsats till prestationsmodellen) är den oftast dold och delas inte med eleven (Dovemark, 2013). Eleverna kan därför inte veta hur de uppfattas i förhållande till andra i sin åldersgrupp förrän kanske för sent, när de får finna sig placerade i lägre årskurser, eller finna sig i att anses vara ”svagpresterande” (Dovemark, 2004). De ges därmed inte heller någon möjlighet till vidare utbildning (jfr Bourne, 2008). Bilden är naturligtvis mer komplex med en bred typologi av pedagogiska modeller och stilar (Bernstein, 1990), men i syfte att göra vårt fall synligt och klart görs dessa distinktioner. Vid olika tider och i olika nationella sammanhang, kan antingen prestations- eller kompetensmodellen vara mer eller mindre framträdande i den officiella pedagogiska diskursen. Samtidigt kan olika diskurser vara dominerande för olika elever, dels den som fokuserar på elever som kategoriseras som “högpresterande”, och dels den som fokuserar på de elever som kategoriseras som “lågpresterande” (Bernstein, 1996; jfr Bourne, 2008). De skilda diskurserna kan således framträda i olika skolor eller inom en och samma skola och klass vid samma period eller vid olika tider. Följaktligen konstruerar varje form av pedagogisk modell en viss form av “idealelev”, som ”framstående”, ”lydig” och följsam till regler eller helt enkelt som ”stark” och “begåvad och talangfull”. Mot denna “idealelev”, konstrueras andra kategorier av elever som ”långsamma”, “underpresterande”, ”svaga”, elever med ”särskilda behov”. Genom de olika formerna av pedagogiska diskurser och deras sätt att kategorisera elever olika, skapas en strukturering av elevens identitet (Bernstein 1999: 259). Vi menar att olika diskurser blir synliga i elevdokumenten beroende på om eleven anses som ”stark” eller ”svag”. För att ytterligare komplicera bilden av hur elever kategoriseras i IUP-planerna inför vi även begreppet pedagogisk identitet (Bernstein, 2000). Bernstein beskrev pedagogiska identiteter som 212 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter meningsskapande, en känsla av tillhörighet. Pedagogiska identiteter är inte individuella attribut, men inte heller är de politiskt eller ideologiskt konstruerade eller följden av en viss läroplan, utan uppstår snarare genom ett samspel mellan officiell och lokal kunskap och de metoder som används inom en pedagogisk gemenskap (Bernstein, 1996). Pedagogisk identitet är alltså inbäddad i de sociala praktiker som existerar inom utbildningsvärlden inom olika ”sociala ordningar” och utvecklar i detta sammanhang relationer “av ömsesidigt erkännande och stöd, ömsesidig legitimering och slutligen genom förhandlade kollektiva syften” (Bernstein, 1996:73 vår övers.). Enligt Bernstein (1996, 2000) är pedagogiska identiteter konstruerade inom institutionen, såväl som utåt jämfört med andra institutioner. De är inte nödvändigtvis stabila positioner utan kan förväntas skifta beroende på möjligheterna att behålla den diskursiva och ekonomiska basen för identiteten (jfr Lundahl et al, 2014). De pedagogiska identiteterna består av fyra positioner som representerar olika förhållningssätt till reglering och förvaltning av moraliska, kulturella och/eller ekonomiska förändringar (Bernstein, 2000). De centrerade traditionellt konservativa och neo-konservativa identiteterna reflekterar en sorts ”top-down” politik som syftar till enhetlighet i bevarandet av stora nationella, religiösa och kulturella berättelser. Det handlar således om att skapa en kollektiv identitet. Samhället investerar i utbildning för att i viss mening behålla status quo i form av ett stabilt samhälle in i framtiden. Resultatet i form av en färdig produkt är en individ som är bärare av traditionella värden och som i en snäv mening är bildad, för sin egen skull. Den neo-konservativa identiteten är också den framåtriktad och bärare av ett bildningsideal för att stärka kollektivet inför framtida konkurrensutsatta prövningar. De två andra identiteterna, den marknadsorienterade och den terapeutiska pedagogiska identiteten betraktas som de-centrerade. Dessa identiteter uppfattar utbildning mer som ett privat projekt och utveckling av den enskilde individen (Bernstein, 2000:66). De två sistnämnda identiteterna genereras från lokala resurser, vilket visar på att lokala institutioner har stor självständighet gällande t.ex. anställningar, kompetensförsörjning och företagande. Bernstein förutspådde att den decentrerade marknadsidentiteten bildar en skola som fokuserar på att skapa en “produkt” med ett EDUCARE 2015:2 213 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK bytesvärde som är livskraftig på marknaden. Fokus ligger snarare på kortsiktighet än långsiktighet och på externa snarare än på interna mål, helt enkelt på vad som anses vara nyttigt och säljbart på arbetsmarknaden (jfr Lundahl et al, 2014). Pedagogiska identiteter ska, liksom prestations-och kompetensmodellerna ovan, ses som idealtyper. De existerar inte i “rena” former i verkligheten, utan erbjuder ett analysverktyg för att få syn på olika önskvärda och mindre önskvärda elevidentiter i vårt material. I denna artikel använder vi framförallt begreppen regulativ och instruktionell diskurs jämte pedagogisk identitet på en institutionell nivå. Vi sätter in begreppen i prestations- och kompetensmodellen såsom de speglas i en polarisering av elevpositioner. Vi undersöker med hjälp av dessa teoretiska verktyg hur skolaktörers, elevers och föräldrars texter skrivs fram i ett digitalt verktyg och hur olika diskurser framträder i de analyserade individuella utvecklingsplanerna. Empiriskt material, metod och analys De individuella utvecklingsplanerna, totalt 118 stycken, som utgör vårt empiriska material samlades in under läsåret 2011/2012 genom ett slumpmässigt urval från elever i årskurs fem i en kommun i Sverige3. Ett urval gjordes från klasslistor där var femte namn på listan valdes ut. Anonymiserade IUP med skriftliga omdömen för de utvalda eleverna samlades därefter in från varje skola. Planerna är skrivna i det webbaserade dokumentationsverktyget Unikum och har en omfattning av mellan 10-40 sidor per elev. Unikums verktyg bygger på en textuell dialog mellan elev, föräldrar och lärare inför utvecklingssamtalet på skolan. Inledningsvis i mallen finns 27 stycken självreflekterande frågor som eleven ska besvara. Dessa handlar om skolmiljön i relation till trivsel, kamrater, skolmat etc. Därefter ska eleven reflektera över sin personliga och sociala utveckling, sitt eget lärande och hur hon/han tar ansvar för sitt lärande. Frågorna ska eleven besvara i en fyrgradig skala genom att kryssa för gubbar med olika ansiktsuttryck (glad gubbe, ledsen gubbe etc.). Först efter denna självskattning ska eleven också kommentera denna och därefter ska 3 Materialet utgör en del av en större studie finansierat av Högskolan Väst (se Sjöberg, 2015). 214 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter läraren och föräldrarna också kommentera och ge synpunkter på elevens självskattning. Efter självskattningsfrågorna inklusive kommentarer börjar de skriftliga omdömena i varje enskilt ämne i Unikums mall. Dessa omdömen bygger i princip på samma dialogform som tidigare. De inleds med elevens självskattning (fyrgradig skala med olika ansiktsuttryck, från glad till ledsen) i varje kunskapsämne. Rubrikerna för elevens självskattning är: ”Mitt intresse... ”, ”Jag kan…” samt ”Jag behöver bli bättre på…” följt av elevens egen kommentar runt självskattningen. Därefter följer lärarens sammanfattande omdöme och föräldrars kommentarer. Dokumentationsverktyget avslutas genom upprättande av en individuell utvecklingsplan för varje elev, det vill säga den framåtsyftande delen med mål och insatser för den kommande terminen. Det finns en stor variation i hur mycket elever, lärare och föräldrar använder sig av att skriva kommentarer. Det finns föräldrar i materialet som inte skriver någon kommentar alls medan andra skriver flera kommentarer i varje ämne. Det visar sig också att elever hoppar över och inte svarar på självskattningsfrågorna. Antalet kommentarer och bedömningar varierar därför mellan 20-70 stycken per dokument. Vårt fokus ligger på dokumentens diskursiva funktion. Vi utgår ifrån att de digitala verktygens design och innehåll styr bedömningarna genom sitt sätt att forma våra tankar. I processen skapas, genom sättet att ställa frågor och uppmaningar inom specifika områden, en bild av vad som kan anses vara relevant eller inte inom undervisningen. Således utgår vi ifrån en föreställning om att de sätt, på vilka policydokument, rutiner och mallar (i vårt exempel webbverktygens mallar) utformas och uttrycks, påverkar hur bedömningspraktiker utförs. Diskurserna som finns inbäddade i dokument och mallar ramar in de faktiska bedömningarna på speciella sätt och representerar olika diskursiva praktiker. Dokumentens och mallarnas form ska således förstås som agenter i skolpraktiken (Andreasson & Dovemark, 2013). På en mer generell nivå ska dokumenten ses som ett medel för styrning (Foucault, 2000; Simons & Masschelein, 2008). Vi har läst de individuella utvecklingsplanerna upprepade gånger. Ett återkommande mönster angående undervisningens innehåll framkom i texterna. Dessa mönster analyserades därefter med hjälp av Bernsteins teoretiska begrepp. Nedan presenteras inledningsvis EDUCARE 2015:2 215 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK exempel på den regulativa och den instruktionella diskursen i de analyserade dokumenten. Därefter exemplifierar vi skolaktörers, elevers och föräldrars uttalanden och hur dessa orienterar sig mot olika pedagogiska identiteter. Vi har för tydlighetens skull försökt att skriva fram de olika identiteterna var för sig trots att vi är medvetna om att de sällan eller aldrig förekommer renodlade utan gränserna är flytande. Den överordnade regulativa diskursen Analysen pekar mot en stark relation mellan ämnesspecifikt innehåll och elevens sociala utveckling (moralutveckling), i Bernsteins (2000) termer den regulativa respektive instruktionella diskursen. Den regulativa diskursen handlar framförallt om elevens moraliska värderingar och sociala utveckling såsom beteende, karaktäristika och ordningssamhet. Den instruktionella diskursen handlar istället om det ämnesinnehåll som elever förväntas möta i skolan dvs. begrepp, texter och fakta som hör till ett specifikt ämne. Det är emellertid viktigt att återigen poängtera att den regulativa diskursen alltid är överordnad den instruktionella och att särskiljandet görs för att tydligare göra en analytisk poäng (Bernstein, 2000). De studerade individuella planerna består både av ämnesspecifika bedömningar utifrån en prestationsinriktad modell och av bedömningar av elevers skolsociala liv utifrån en kompetensinriktad modell. Dokumenten har i allmänhet en stark betoning på en nyttighetsorienterad marknadslogik mot framtida anställningsbarhet. En traditionell bildningsdiskurs med fokus på en framtida samhällsmedborgare förekommer endast sporadiskt. Att lärare använder bedömning och betyg i rent disciplinerande syfte visar både Selghed (2005) och Tholin (2006) i sina studier och även i våra studerade planer förekommer rikligt med reglerande skrivningar (se även Andreasson, 2007; Vallberg Roth, 2009). Analysen visar på en tydlig regulativ diskurs som riktar sig mot frågor om attityd, arbetsförmåga, läxor, reflektionsförmåga (medvetenhet om hur man lär), tid, ordning och uppförande. Av de drygt 5000 kommentarer och bedömningar vi har läst i de 118 analyserade individuella utvecklingsplanerna har en klar majoritet, cirka 65 %, visat på en överordnad regulativ diskurs. 216 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Det är ett starkt individualiserat förhållningssätt som framträder i dokumenten dvs. det mesta tillskrivs eleven att göra, medan skolans pedagogiska ansvar ofta blir osynliggjort. I dokumentmallen finns till exempel en rubrik som uppmanar eleven att skriva fram vad hon/han ”behöver bli bättre på”. En elev påpekar att han inte förstår vad läraren menar. Han skriver: att fatta vad Erik [läraren] säger … Läraren Erik svarar upp mot denna önskan med följande kommentar: Att inte glömma penna och sudd till lektionerna. Att försöka vara koncentrerad på skolarbetet under lektionerna. Exemplet visar att läraren undviker att svara på elevens önskan att förstå lärarens instruktioner utan lägger över hela ansvaret på eleven själv. Insatserna individualiseras således och läggs på individnivå där eleven själv påläggs ansvar för eventuella förbättringar genom självreglerande disciplinering (Foucault, 2000). Lärarens reflektion över sin egen undervisning och dess innehåll finns inte framskriven. I Skolverkets allmänna råd (2007, 2008, 2013) poängteras emellertid att det är den pedagogiska organiseringen som ska förändras för att svara upp mot elevens behov. Frågan är hur eleven känner inför lärarens svar då han försökt uttrycka vad han behöver blir bättre på. Även följande exempel visar på den regulativa diskursens starka disciplinerande kraft då lärare uppmanar eleverna till eget ansvarstagande för att de ska nå sina mål: Satsa på eget ansvar och använd tiden väl, då har du goda möjligheter att nå målen Ansvara för dig själv, ditt material och arbeta på, ta hem och göra klart om du inte hinner I ett annat dokument skriver en elev om vad han skulle behöva förbättra i engelska: Nothing!!! engelska är tråkigt för att vi håller på med repetition. EDUCARE 2015:2 217 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Eleven kommenterar undervisningen, men även här förläggs ansvaret på den enskilde eleven. Läraren svarar eleven: Du behöver ta mycket bättre ansvar för hur din egen språkinlärning sköts och tänka på hur du lär dig engelska. Det fungerar inte bra med läxor, inlämningar och elevutvärderingar. Detta är JÄTTEVIKTIGT och ligger till grund för fortsatt bra utveckling./…/ men då är det viktigt att ändra inställning och inse att det ALLTID finns saker man kan bli bättre på. I dialogen ovan uttrycker sig eleven i relation till ämnesinnehållet, att engelska är tråkigt när de jobbar med repetition, dvs. eleven rör sig i den instruktionella diskursen, medan läraren svarar och ger bedömningar utifrån den regulativa diskursen. Det är således eleven som ska ändra inställning och ta ansvar för sina läxor, inlämningar etc. för att kunna lära sig engelska. Läraren bidrar inte med något om att ändra undervisningens innehåll och/eller organisering för att gå eleven till mötes. Att ta ansvar och göra sina läxor är vanligt förekommande reglerande uppmaningar i planerna, vilket följande exempel från ett skriftligt omdöme visar: Kalle sköter sina läxor bra och får då goda resultat. Läxorna fungerar inte. Viktigt att ta hem dem och träna. Engelska glosor till exempel kräver nötning och det hinner du inte göra i skolan. Jobba stenhårt för att göra dina läxor. Den omfattande läxdiskursen visar bland annat lärarnas förväntningar att mycket av lärandet ska ske i hemmet. Även föräldrarna förväntas hjälpa till och det är inte ovanligt med direkta uppmaningar riktade till föräldrar eller andra vårdnadshavare: Vårdnadshavare kan fortsätta stötta Lisa i hennes skolarbete, påminna henne att göra läxor och ta med i tid till skolan. Hjälpa hemma med läxor. Kontrollera läxorna hemma. Hjälp av föräldrar vid läxor och annat skrivande hemma. 218 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Ovanstående citat visar att föräldrarna också innefattas av skolans regulativa diskurs och det tas för givet att skolarbete också ska göras i hemmet. Forsberg (2007) har studerat läxdiskursen i Sverige och menar att kontrollen och hjälpen med barnens läxor är starkt kopplat till diskursen om ett gott föräldraskap. Att vara en bra förälder innebär inte bara att ta hand om barnen hemma, man behöver även ha ett aktivt intresse för barns utbildning och prestation i skolarbetet (jfr. Bouakaz, 2007). Elevens förmåga att reflektera och medvetandegöras om hur man lär ingår även det som en del i den regulativa diskursen. Det är bra att du är medveten om vad du behöver tänka på och jag tycker det har blivit bättre och du lyssnar på instruktionerna. Fortsätt att jobba på och vara aktiv så kommer du att utvecklas ännu mer. I en annan plan skriver en elev att han i ämnet svenska vill bli ”bättre på att skriva och jobba”. Läraren svarar genom följande korta och koncisa påståenden: Du har utvecklat din vilja att läsa litteratur av eget intresse. Du kan utveckla din förmåga att reflektera över hur du lär dig. Svaren saknar råd och vägledning om hur eleven ska bära sig åt för att bli ”bättre på att skriva och jobba”. Här finns heller inga råd om hur den pedagogiska organiseringen skulle kunna förändras för att hjälpa eleven. Det är vanligt att lärarna skriver att eleverna behöver reflektera över sitt eget lärarande. Eleven förmodas genom denna reflektion förbättra sitt lärande. Några anvisningar och råd från lärarnas sida hur denna reflektion ska gå till förekommer dock inte. Texterna vittnar istället om ett förgivet-tagande från lärarnas sida gällande de elvaåriga elevernas förmåga att reflektera över hur man lär sig. Tid är ytterligare en viktig faktor i skolans regulativa diskurs där även ordning och uppförande ingår. Exemplen nedan visar på hur denna diskurs omfattas av skolans olika aktörer. EDUCARE 2015:2 219 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Tänk på tiden, det är viktigt att komma i tid. Det senaste har du kommit både fem och tio minuter för sent flera gånger. (lärare) Sköt dig själv och använd tiden i skolan. (förälder) Mina mål är att veta när man ska vara tyst och när det är ok att prata. (elev) Kan lyssna på en instruktion och vänta på sin tur. (lärare) I dessa citat blir tid också kopplad till skolans praktik som plats. Att vara på rätt plats på rätt tid tillskrivs stor betydelse för att socialiseras in i skolans normsystem. Det finns i citaten ovan en tydlig moralisk underton som verkar disciplinerande. Sammantaget visar analysen att lärarnas bedömningar betonar både ämnesområden (instruktionell diskurs) och den sociala utvecklingen inklusive moraliska värderingar (regulativ diskurs) vilket enligt Bernstein (2000) är ofrånkomligt i all undervisning. Analysen visar också att i flera exempel är den regulativa diskursen överordnad i förhållande till den instruktionella, även när eleven kommenterar pedagogikens organisering och innehåll. Pedagogisk identitet Dokumentens diskurser visar inte endast på en instruktionell och regulativ diskurs utan orienterar sig också mot olika pedagogiska identiteter (Bernstein, 2000). Retrospektiv eller konservativ pedagogisk identitet Dokumentverktyget är konstruerat utifrån ett starkt klassificerat innehåll där skolans elevbedömningar är framskrivna i form av en matris. Klassificeringen har att göra med makten över det som ska läras. Detta kan förstås som en form av retrospektiv konservativ identitet då läroplan- och kursmål är starkt styrande för verksamhetens innehåll. Rubriker i planerna för att kontrollera att eleven når upp till dessa mål är exempelvis: ”Förväntas att nå nationella målen”; ”Riskerar att ej nå nationella målen” samt ”På väg att nå nationella målen”. På så sätt konstrueras en kollektiv nationell identitet i form av en ”idealelev” som även möter upp mot de gemensamma målen för hela den svenska skolan. 220 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Den elvaåring som når målen i alla ämnen ingår därmed i ett stabilt nationellt kunskapskollektiv. Den retrospektiva eller konservativa identiteten positioneras med hjälp av traditionella ämneskunskaper i till exempel svenska (stavning, grammatik, ordförråd) och matematik (aritmetik och geometri). En elev skriver under rubriken ”Vad jag behöver bli bättre på”: Jag kan det mästa [sic] och gör mitt bästa! Eleven utvecklar sina egna tankar om vad som skulle kunna förbättras: Jag skulle vilja göra något annat än att jobba i böcker och sånt skulle va kul. Läraren lägger i sitt svar tillbaka ansvaret på eleven utan att komma med några idéer om hur hon/han skulle kunna ändra på undervisningens innehåll och organisering: Svenska är ett stort ämne där vi ska lära oss många olika saker som t.ex. det vanligaste reglerna för skriftspråket och språkläran, de vanligaste reglerna för stavning (veckans ord) och att använda en ordlista (ordremsor). /…/ du kan utveckla din förmåga att bearbeta dina texter och reflektera över hur du lär dig. Eleven uppmanas i citatet att bearbeta sin text och reflektera över sitt eget lärande. Några konkreta verktyg för hur detta ska genomföras ges emellertid inte. Liknande resultat visas i Andersson Vargas (2014) studie där hon diskuterar vikten av att lärare ger elever verktyg för att kunna utveckla sitt lärande. Uppmaningar från lärare om betydelsen av att träna traditionella kunskaper förekommer frekvent i planerna, det vill säga en orientering mot en konservativ pedagogisk identitet: Satsa på att göra snygga jobb och vårda handstilen! Han känner till ordklasserna substantiv och verb och vet hur han använder en ordlista. Han har också blivit säkrare på när han använder stor bokstav och skiljetecken men han behöver öva lite till. Multiplikationstabellen måste du öva mycket på framöver så att du snart kommer att känna dig säkrare… EDUCARE 2015:2 221 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK I denna retrospektiva konservativa pedagogiska identitet ingår således traditionella ämneskunskaper såsom multiplikationstabellen, stavning, språklära och handstil. Ett innehåll som länge varit en del av skolans bedömningspraktik oavsett olika läro- och kursplaner. Prospektiv eller neokonservativ pedagogisk identitet Orientering mot den prospektiva identiteten innebär att synliggöra och motivera läroplan- och kursmålen för eleverna. Måluppfyllelse ligger i fokus där målen på varje nivå ska vara väl kända. Nedanstående exempel i ämnet engelska visar vad en elev anser sig behöva ”bli bättre på” och där läraren svarar med kursplanens målformuleringar: prata engelska (elev) Du visar att du har förmåga att delta i samtal på engelska. (lärare) Läraren fortsätter: Kunna läsa och tillgodogöra sig det viktigaste innehållet i enkla instruktioner och beskrivningar. Kunna reflektera över hur den egna inlärningen av t.ex. ord och fraser går till. Kunna genomföra korta, enkla muntliga och skriftliga uppgifter i samarbete med andra eller på egen hand. Citaten visar på ett stark resultatinriktat innehåll och omdömenas formuleringar vävs samman med kursplanens målformuleringar så gott som ordagrant. Ytterligare ett exempel är hämtat från de samhällsorienterade ämnena där lärarens omdömen också är starkt kopplade till kursplanens formuleringar: Du har utvecklat din förståelse för demokratins värdegrund. Du har utvecklat din kunskap om hur det är i andra länder. Du har god förmåga att kritiskt granska hur saker är i samhället. Du har god förmåga att reflektera över olika frågor som är viktiga för dig. 222 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Du har god kunskap om natur och samhälle. Du har utvecklat din förmåga att se människans påverkan på naturprocesser. Citatet visar på hur läraren använder sig av kursplanens ord då han/hon skriver fram bedömningen i ämnet vilket gör bedömningen generell och till sin form opersonlig och rigorös. Den prospektiva pedagogiska identiteten har också en orientering mot kollektiva värden och en framtida kollektiv identitet. I citaten nedan kan skönjas en önskan om kollektiva gemensamma värden som demokrati- och medborgarfostran. En elev som i dokumentverktyget uppmanas att skriva om vad hon vill arbeta med framöver formulerar följande: Jag skulle vilja jobba med andra länder och bli bättre på det. Det skulle vara kul. Läraren svarar eleven: Du har utvecklat din förtrogenhet med vilka rättigheter och skyldigheter du har som medborgare. Du har utvecklat din förståelse för centrala begrepp. Du har utvecklat din självständighet i att söka, bilda och använda kunskap om samhällsfrågor. Du kan utveckla din förmåga att reflektera över samband och sammanhang som finns mellan det som händer i samhället nu och det som har hänt förr i tiden. Även i denna dialog svarar läraren på flickans önskan om att vilja arbeta med andra länder genom att ge direkta svar och formuleringar från kursplanens mål. Frågan reser sig hur eleven uppfattar och förstår svaret på sin önskan genom dessa formuleringar. Nedan följer ytterligare exempel på en orientering mot en prospektiv identitet mot kollektiva framtida värden. Lärare skriver: God förmåga att samarbeta, lyssnar på andras idéer, bra för gruppen, frågar så att alla hänger med i grupparbeten. Släppa in andra kompisar när det är grupparbete. Utvecklar sin förmåga att arbeta i demokratiska former. EDUCARE 2015:2 223 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Sammantaget visar planerna på att oberoende av ämnesinnehåll är omdömen och kommentarer starkt sammanvävda med kursplanens målformuleringar vilka i många fall bli omöjliga för elever att förstå i termer av språk och ordval. Både den retrospektiva och den prospektiva identiteten riktar sig mot kollektiva värden där den konservativa framförallt vilar på traditionella färdigheter och värden medan den neo-konservativa skapar en gemenskap inför framtida förmågor och värden. Terapeutiska pedagogiska identiteten I de studerade dokumenten framträder även betydelsen av elevernas trivsel och hälsa i skolan. Detta framstår som en central diskurs vilket i vår analys tolkas som en orientering mot den terapeutiska identiteten: Jag e social och snäll. (elev) Ja, du är snäll och vill alla väl. (lärare) Snäll och hjälpsam både mot vuxna och kamrater. (förälder) Visar att han bryr sig om andra, är omtänksam. Verkar vara en bra kamrat. (lärare) Fortsätta att vara positiv och glad tjej. Bra för gemenskapen i klassen. (lärare) Pigg och glad klasskamrat som sprider glädje i klassen. (lärare) Den terapeutiska identiteten handlar snarare om känslomässiga och sociala aspekter än kognitiva i det pedagogiska innehållet. Den visar bort från en kollektiv gemenskap mot individuella och lokala mål, från framtid och dåtid mot en tydlig nutid. Ett exempel som handlar om läxor, visar på hur viktig denna trivsel betraktas inom den terapeutiska identiteten. En pojke skriver om sina läxor och får svar från läraren: Väldigt svåra men roliga! Läraren: Vad skönt att du trivs i skolan. Läxorna är svåra. Det får vi tala mer om på samtalet. 224 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Läraren poängterar att trivseln är viktig i skolan medan läxorna får en underordnad betydelse. Tidigare studier av elevdokumentation har även visat på liknande resultat där trivsel och anpassning till skolans normer var mer framträdande i dokumenten än kunskapsdiskursen (se Andreasson, 2007) Inom den terapeutiska identiteten ingår också idén om personlig utveckling. I nedanstående exempel framkommer betydelsen av ”att vilja” som en viktig komponent för denna personliga utveckling. Läraren: Du vet att jag väldigt gärna hjälper dig. Men för att lyckas måste du vilja det själv. Det är där vi måste börja. Jag vill att du tar vara på dina chanser att bli säkrare på matematik Läraren tar i detta exempel upp ”viljan” som en förutsättning för att läraren ska hjälpa eleven med matematik, det vill säga eleven behöver vara motiverad att lära sig. Här läggs ansvaret återigen på elevens egenansvar att själv se till att bli motiverad och att vilja. Det nämns ingenting om en förändring av undervisningssituationen. Matematiken blir här en personlig strävan mot säkerhet snarare än en gemensam möjlighet för eleven att ingå i ett nationellt kunskapskollektiv. Det finns exempel i planerna på en retorik som ger uttryck för en hållning om att läraren och eleven gemensamt ska hjälpas åt med elevens personliga och sociala utveckling. I nedanstående citat är det läraren som erbjuder sig att hjälpa till med en förändring av elevens beteende. Eleven skriver under rubriken ”Jag behöver bli bättre på”: Att inte springa runt. (elev) Läraren svarar: En sak som jag skulle önska att du funderade över är hur vi tillsammans kan komma iordning med det där att du vandrar runt i klassrummet. Det får bli våran gemensamma utmaning. I detta citat framkommer att eleven själv är medveten om sitt problem att ”springa runt” i klassrummet. Eleven ska förändras med lärarens hjälp. Det blir i citatet en ”gemensam utmaning” vilket kan tolkas orientera sig mot den terapeutiska identiteten där läraren och eleven EDUCARE 2015:2 225 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK kan erhålla en speciell stödrelation. De ska göra detta ”tillsammans”. Vi konstaterar att eleverna positioneras i ett individuellt rum där ordning och reda framstår som ett nödvändigt villkor för att senare – kanske – kunna arbeta med kunskapsmålen. Marknadsliberala pedagogiska identiteten I skollag (SFS 2010:800) och läroplan (Lgr 11) framställs vilka värden som är förenliga med dagens samhälle där samarbete, entreprenöriellt lärande, ansvar och självständighet lyfts fram som viktiga. Detta är också något som är frekvent förekommande i de studerade dokumenten. I planerna framträder en entreprenörsdiskurs där en tydlig nyttoaspekt blir uppenbar. I dokumentverktyget finns en fråga som lyder: Vad vill jag särskilt lära mig under det kommande halvåret? Eleven svarar och skriver: Jag vill kunna prata engelska Läraren svarar: Det är viktigt att kunna tala engelska, det är ett språk som pratas över allt och man kan komma långt med engelskan när man reser och jobbar. Lärarens omdöme senare i det skriftliga omdömet inom ämnet engelska lyder: Det är viktigt att du fortsätter så att du tar mer ansvar för dina läxor och arbetsuppgifter och rättar i arbetsboken och du måste också fråga om du inte förstår. Läraren svarar upp mot elevens önskan genom att poängtera användbarheten och vikten av kunskaper i engelska för framtida arbete och fritidsaktiviteter. För att nå upp till detta mål uppmanas eleven att bland annat ta ”ansvar för sina läxor”. Ansvaret läggs därmed på den enskilde individen snarare än på undervisningen vilket också eleven visar sig helt inställd på. Eleven lägger ansvaret på sig själv, och kommenterar genom att framhålla ”jag ska sköta läxan”. Nedan ges fler exempel på en orientering mot en marknadsliberal identitet i lärarnas skriftliga omdömen: 226 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Ambitiös, noggrann och flitig. Våga prata mer i klassrummet. Ta mer plats under lektionstid. En tjej som arbetar mycket självständigt. Våga säga ifrån och stå upp för sig själv. Fortsätta att utveckla sina positiva ledaregenskaper kommer med goda idéer. Vill gärna bestämma. Är ambitiös och vill hela tiden utvecklas. Det som premieras i många av de studerade individuella utvecklingsplanerna är sociala individuella ledarskapsförmågor som ”självständighet”, ”att våga” och ”ta plats” vilket också framställs i skollagen (SFS 2010:800) och läroplanen (Lgr 11) som viktiga mål. Även här individualiseras förmågorna till eleverna även om diskursen i en förlängning ska bidra till byggandet av gemensamma materiella värden. Vi kan dock konstatera att ingenstans i läroplaner och kursplaner finns några motsvarande nationella mål. Den regulativa diskursen och pedagogiska identiteter Studien har haft som syfte att illustrera hur skolaktörers, elevers och föräldrars texter i 118 Individuella utvecklingsplaner skrivs fram i ett standardiserat webbverktyg och mot vilka olika pedagogiska identiteter texterna är orienterade. Vi kan konstatera att det webbaserade dokumentationsverktyget styr de pedagogiska diskurserna starkt (jmf Andreasson & Asplund Carlsson, 2009; Andreasson & Asplund Carlsson, 2013; Andreasson & Dovemark, 2013). Resultatet av vår studie visar att i de studerade planernas texter runt pedagogikens innehåll och organisering och kommunikationen runt densamma, framträder en orientering mot såväl traditionella konservativa (retrospektiva), som neo-konservativa (prospektiva), terapeutiska och marknadsliberala identiteter. Ett påfallande mönster som framträder är att planerna speglar en starkt regulativ diskurs. Enligt Bernstein (1996) påverkas lärare av en förändrad skolpolitisk diskurs; den EDUCARE 2015:2 227 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK inbjuder eller tvingar dem att tolka och anpassa sig till nya idéer. Även kravet på dokumentation i olika webbverktyg tvingar in lärare i vissa rutiner. I vår studie framträder de olika aktörernas texter som intvingade i webbverktygets mall bland annat genom verktygets tydliga framskrivning och koppling till läro- och kursplanernas mål. Lärarnas formuleringar följer i många fall kursplanemålens formuleringar till punkt och pricka. Frågan är hur de inblandade förstår kommentarerna och hur mycket det hjälper eleverna till en måluppfyllelse. En prestationsmodell (Bernstein, 1996), grundad på klara och tydligt definierade ämnesmål orienterad mot en marknadsliberal identitet utkristalliseras i de studerade planerna. Lärare och elever har liten kontroll över urval då kursplanernas mål styr genom att frågor och kommentarer i verktyget gång på gång relateras till kursplanens mål. Eleverna bedöms utefter tydliga kriterier efter vad de har åstadkommit (eller inte) och de upplyses också om vad de ska uppnå i framtiden bland annat genom formuleringar som ”har ännu inte uppnått de nationella målen”. Däremot saknas formuleringar gällande planering och utvärdering av elevens lärande vilket var de intentioner som låg till grund för införandet av Individuella utvecklingsplaner (Skolverket, 2005). Det som framträder i texterna är snarare bedömningar av sociala förmågor, personlighet och färdigheter såsom samarbetsförmåga, relationer till kamrater, viljan att göra sitt bästa, hur läxorna görs, uppförande etc. Den regulativa diskursen överordnas den instruktionella. Ett starkt individualistiskt förhållningssätt framkommer i planerna där individuella ledarskapsförmågor som till exempel självständighet, att våga och att ta plats premieras. Detta kan jämföras med det fokus i läroplanen som numera lyfter fram vikten av att elever ”skall utveckla ett förhållningssätt som främjar entreprenörskap” (Lgr 11:9). Till skillnad från Skolverkets allmänna råd (2008; 2013) där man poängterar vikten av pedagogikens förändring av innehåll och organisering visar vår studie att ansvaret för ett förändringsarbete snarare läggs på den enskilde eleven. Det är eleven som ska ändra sig, genom självreglering och reflektion för att medvetandegöras hur man lär och hur man bör vara och bete sig. En diskussion om anpassning av undervisningen förekommer mycket sparsamt i de studerade planerna. Istället finns det ett flertal exempel på hur läraren för tillbaka 228 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter ansvaret på eleven (jfr Beach & Dovemark 2009, 2011; Dovemark, 2004). Eleven uppmanas att förändra sin egen uppfattning och sitt eget förhållningssätt om undervisningens innehåll och organisering. Vad som ska bedömas styrs genom mallens frågor och utformning och även hur dessa bedömningar kommuniceras bestäms av bedömningsverktyget i de analyserade planerna (Andreasson & Dovemark, 2013). Frågan är hur dessa verktyg påverkar lärarnas professionalitet eftersom dessa uppgifter traditionellt sett ingått som en del av lärarnas kärnverksamhet. Vår studie visar att kommersiella och privata aktörer har kommit att få ett stort inflytande över skolans bedömningspraktik på bekostnad av lärares professionalitet. Referenser Andersson, Håkan (2011). Skriftliga omdömen. I Agneta Hult & Anders Olofsson (Red). Utvärdering och bedömning i skolan. För vem och varför? (ss 195-211). Stockholm: Natur och Kultur Andersson Varga, Pernilla (2014). Skrivundervisning i gymnasieskolan. Svenskämnets roll i den sociala reproduktionen. (Göteborg Studies in Educational sciences, 359). Göteborg: Acta. Andreasson, Ingela (2007). Elevplanen som text – om identitet, genus, makt och styrning i skolans elevdokumentation (Göteborg Studies in Educational sciences, 259). Göteborg: Acta. Andreasson, Ingela & Asplund Carlsson Maj (2009). Elevdokumentation - om textpraktiker i skolans värld Stockholm: Liber. Andreasson, Ingela, & Asplund Carlsson Maj (2013). Individual Educational Plans in Swedish Schools--Forming Identity and Governing Functions in Pupils’ Documentation. International Journal of Special Education, (28), 58-67. Andreasson, Ingela & Dovemark, Marianne (2013). Transforming Insecurity into a Commodity: using the digital tools Unikum and InfoMentor as an example in Swedish education. European Educational Research Journal. (12), 480-491. EDUCARE 2015:2 229 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Asp-Onsjö, Lisa (2006). Åtgärdsprogram – dokument eller verktyg? En fallstudie i en kommun . (Göteborg Studies in Educational sciences, 248). Göteborg: Acta Ball, Stephen J. (2003). The Teacher’s Soul and the Terrors of Performativity. Journal of Education Policy, (18), 215-228. Beach, Dennis & Dovemark, Marianne (2007). Education and the Commodity Problem: Ethnographic Investigations of Creativity and Performativity in Swedish Schools. London: Tufnell Press. Beach, Dennis & Dovemark, Marianne (2009). Making ‘right’ choices? An ethnographic account of creativity, performativity and personalised learning policy, concepts and practices. Oxford Review of Education, 1465-3915, (35). 689-704. Beach, Dennis & Dovemark, Marianne (2011). Twelve Years of UpperSecondary Education in Sweden: The Beginnings of a Neo-liberal Policy hegemony. Educational Review. (63), 313-327. Bernstein, Basil (1990). Class, codes and control. Vol. 4, The structuring of pedagogic discourse. London: Routledge. Bernstein, Basil (1996). Pedagogy, Symbolic control and identity: theory, research, critique. London: Taylor and Francis. Bernstein, Basil (1999). Official knowledge and pedagogic identities, in Frances Christie (Red.), Pedagogy and the Shaping of Consciousness. (ss. 246-261) London: Continuum. Bernstein, Basil (2000). Pedagogy, Symbolic control and identity: theory, research, critique.[Rev.ed.] Oxford: Rowman & Littlefield. Black, Paul & Wiliam, Dylan (1998). Inside the Black Box: Raising Standards through Classroom Assessment. London: School of Education, Kings College. Black, Paul & Wiliam, Dylan (2009). Developing the Theory of formative assessment. Educational Assessment, Evaluation and Accountability. (21), 5-31. Bouakaz, Laid (2007). Parental involvment in school: what hinders and what promotes parental involvementin an urban school. Malmö Studies in Educational Sciences, 30. Lärarutbildningen, Högskolan i Malmö. 230 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Bourne, Jill (2004). Framing talk. Towards a ’radical visible pedagogy’. I Johan Muller, Brian Davies & Ana Morais (Red). Reading Bernstein. Researching Bernstein. (ss. 61-74). London: Routledge Falmer. Bourne, Jill (2008). Official pedagogic discourses and the construction of learners’ identities. I Nancy H. Hornberger, (Red.). Encyclopedia of Language and Education. (ss. 798-809). Springer US. Dovemark, Marianne (2004). Pupil Responsibility in the Context of School Changes in Sweden: market constraints on state policies for a creative education. European Educational Research Journal, (3), 658-673. Dovemark, Marianne (2013). A school for all? Different worlds: Segregation on the basis of freedom of choice. I Ulf Blossing, Gunn Imsen & Leijf Moos (Red.). The Nordic Education Model: ‘A School for All’ Encounters Neo-Liberal Policy (ss. 173-189). Dordrecht: Springer. Foucault, Michel (2000). Governmentality. I James. D. Faubion (Red.), Essential works of Foucault, 1954-1984. Power. Vol.3. (ss. 201222). New York. The New Press. Forsberg, Lucas (2007). Homework as serious family buisness: power and subjectivity in negotiating about school assignments. British Journal of Sociology of Education, (28), 209-226. Hattie, John & Timpeley, Helen (2007). The power of feedback. Review of Educational Research, (77), 81-112. Hirsh, Åsa (2013). The individual development plan as tool and practice in Swedish compulsory school (Doktorsavhandling). Jönköping: Högskolan för lärande och kommunikation. Isaksson, Joakim, Lindqvist, Rafael & Bergström, Erik (2007). School problems or individual shortcomings? A study of individual educational plans in Sweden. European Journal of Special Needs Education. (22), 75-91 Jeffrey, Bob & Troman, Geoff (Eds). (2012). Performativity in UK Education. Ethnographic Cases of its Effects, Agency and Reconstructions. Hockley: Tufnell Press. EDUCARE 2015:2 231 INGELA ANDREASSON, MAJ ASPLUND CARLSSON OCH MARIANNE DOVEMARK Lgr 11 (2011). Läroplan för grundskolan, förskoleklassen och fritidshemmet 2011. Stockholm: Fritzes Lingard, Bob, Mills, Martin & Hayes Debra Nola Anne. (2006). Enabling and Aligning Assessment for Learning: some research and policy lessons from Queensland, International Studies in Sociology of Education, (16), 83-102. Lpo 94 Läroplan för det obligatoriska skolväsendet, förskoleklassen och fritidshemmet Stockholm: Fritzes Lundahl, Christian (2011). Bedömning för lärande. Stockholm: Nordstedts. Lundahl, Lisbeth, Erixon Arreman, Inger, Holm, Ann Sofie, & Lundström, Ulf (2014). Gymnasiet som marknad. Umeå: Borea. Mitchell, David, Morton, Missy & Hornby, Garry (2010). Review of the literature on individual education plans. Report to the New Zealand Ministry of Education. Ministry of Education. Morell Olsson, Eva (2012). Att göra lärandet synligt? Individuella utvecklingsplaner och digital dokumentation (Doktorsavhandling). Umeå universitet. Institutionen för tillämpad utbildningsvetenskap, Interaktiva medier och lärande Selghed, Bengt (2005). Betygen i skolan. Stockholm: Liber SFS (2010:800). Skollag. Stockholm: Fritzes Simons, Maarten & Masschelein, Jan (2008). The governmentalization of learning and assemblage of a learning apparatus. Educational Theory, (58), 391-415. Singh, Parlo (2013). Unlocking pedagogic mazes. Discourse: Studies in the Cultural Politics of Education (34), 799-807. Singh, Parlo, Thomas, Sue & Harris, Jessica (2013). Recontextualising policy discourses: a Bernsteinian perspective on policy interpretation, translation, enactment, Journal of Education Policy, (28), 468-480 Sjöberg, Lena (2015). The Construction of Mathematical Knowledge and Learning in and Through Individual Education Plans. EDUCARE (2015:1), 7-29 232 EDUCARE 2015:2 Bedömnings-, dokumentationspraktiker och pedagogiska identiteter Skolinspektionen (2009). Skolinspektionens bedömning av skolors arbete med skriftliga omdömen. Dnr 40-2009:2348 Stockholm: Skolinspektionen. Skolinspektionen (2012). En skola med tilltro lyfter alla elever. Skolinspektionens erfarenheter och resultat från tillsyn och kvalitetsgranskning 2011. Dnr 40:2012:2991. Stockholm: Skolinspektionen Skolverket (2005). Allmänna råd. Den individuella utvecklingsplanen Stockholm: Fritzes. Skolverket (2007). Hur används individuella utvecklingsplaner. En studie efter införandet av nya bestämmelser. Stockholm: Skolverket. Skolverket (2008). Allmänna råd. Den individuella utvecklingsplanen med skriftliga omdömen. Stockholm: Fritzes Skolverket (2010). Individuella utvecklingsplaner med skriftliga omdömen i grundskolan – en uppföljning och utvärdering av skolornas arbete. Dnr 71-2009:115. Stockholm: Skolverket. Skolverket (2013). Allmänna råd. Utvecklingssamtalet och den skriftliga individuella utvecklingsplanen. Stockholm: Skolverket Tholin, Jörgen (2006). Att kunna klara sig i ökänd natur. En studie av betyg och betygskriterier – historiska betingelser och implementering av ett nytt system. Borås: Institutionen för pedagogik, Högskolan i Borås. Vallberg Roth, Ann-Christine (2009). Styrning genom bedömning av barn. EDUCARE, (2009:2–3),195–219. Vallberg Roth, Ann-Christine & Månsson, Annika (2008). Individuella utvecklingsplaner som uttryck för reglerad barndom. Likriktning med variation. Pedagogisk forskning i Sverige, (13), 81-102. EDUCARE 2015:2 233 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Åsa Hirsh The present study aims to deepen the knowledge about how teachers’ work with individual development plans (IDPs) is shaped at the intersection of national and local governance on the one hand and teachers’ professional autonomy on the other. The conceptual points of departure are mainly taken from Wartofsky’s distinction between primary, secondary and tertiary artifacts, Latour’s conceptual pair inscription - translation, and the activity theoretical understanding of contradictions and dilemmas. Methodologically, the study is based on qualitative content analysis of material based interviews with five teachers from each of the three school stages: primary, intermediate, and secondary stage (in total 15 teachers). Through the analysis of how IDPs are understood and used by teachers, a picture emerges of the complexity that is involved when a school reform takes shape in different local contexts. The results show that IDP work on the one hand is shaped by the aims that teachers perceive that they need to achieve by using the IDP tool, on the other hand by the contextual conditions framing their work, particularly in terms of external control vs. autonomy. Further in-depth analysis also indicates that teachers’ work with IDPs takes shape in relation to various dilemma management strategies related to time/workload, scope/complexity of document content, and the fact that IDPs are to fulfil summative as well as formative assessment purposes. Teachers’ emerging IDP work is discussed in the light of international studies that in similar ways point to the contextual/ organizational conditions as contributing to creating concrete assessment and instructional practices. Keywords: Individual development plans (IDPs), assessment practices, contextual conditions, external control – autonomy, dilemmas Åsa Hirsh, PhD and senior lecturer in Education, Jönköping University asa,[email protected] 234 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Introduktion Individuella utvecklingsplaner (IUP) har varit en lagstadgad del av svenska grundskollärares bedömningsarbete sedan 2006. Under denna förhållandevis korta tidsperiod har förutsättningarna för lärares IUParbete förändrats tämligen drastiskt. Från en första reform 2006, där IUP skulle fungera som en sammanfattande och framåtsyftande överenskommelse mellan tre parter vid utvecklingssamtalet två gånger om året (Skolverket, 2005), via en ny reform 2008 med skriftliga omdömen i skolans alla ämnen som tillägg till redan befintlig formativ funktion (Skolverket, 2008), kom 2013 ett nytt förslag som innebär att IUP ska bli enklare och mindre tidskrävande att skriva, och inte ska behöva upprättas mer än en gång om året för årkurs 1-5 och inte alls för årskurs 6-9 (Skolverket, 2013). Bakom den sistnämnda reformen ligger en diskussion och utredning (Ds 2013:23) kring det faktum att många lärare upplever att administration och dokumentation har tagit orimliga proportioner i förhållande till den tid de lägger på undervisning. Det är framför allt 2008 års reform med skriftliga omdömen som gjort att dokumentationens omfattning har ökat markant. Besluten för hur dokumentationen ska utformas har också kommit att i ökad grad ligga på andra än den lokala skolan. IUP formas inte bara av lärare, utan av olika aktörer på olika nivåer, där samtliga aktörer och nivåer bidrar till vad IUP blir i praktiken på lokala skolor. Innehållet i föreliggande artikel syftar till att fördjupa kunskapen kring lärares arbete med IUP, och hur detta arbete – i termer av möjligheter och svårigheter - formas i skärningspunkten mellan nationell och lokal styrning1 å ena sidan och lärares professionella autonomi å andra sidan. Resultaten från två tidigare studier (Hirsh, 2014; Hirsh, 2015), som empiriskt bygger på kvalitativ innehållsanalys av intervjuer med 15 lärare på grundskolans tre stadier, dras samman (i termer av att det som i tidigare studier betraktats som två separata analysenheter nu betraktas som en) och diskuteras utifrån fyra frågeställningar: 1. Vilka kvalitativt olika sätt att förstå och arbeta med IUP kan urskiljas i lärares beskrivningar? 1 Med nationell styrning avses här skollag och Skolverkets allmänna råd, medan lokal styrning avser såväl huvudmannanivå som lokal skolenhet. EDUCARE 2015:2 235 ÅSA HIRSH 2. Vilka kontextuella faktorer påverkar lärares förståelse av och arbete med IUP? 3. Vilka dilemman och dilemmahanteringsstrategier kan urskiljas i lärares beskrivningar av IUP-praktik? 4. Hur kan förhållandet mellan lärares dilemmahantering och framväxande IUP-praktiker förstås? De två första frågorna relaterar till det som tidigare var analysenhet 1, och den tredje frågan till det som tidigare var analysenhet 2. Den fjärde frågan tar sin utgångspunkt i den nya (gemensamma) analysenheten. För att dessutom sätta in resultaten i föreliggande artikel i ett större sammanhang görs i diskussionsdelen en jämförelse med internationella studier med liknande situerad förståelse av hur lärares bedömningspraktiker tar form. Bakgrund IUP har under senare år utgjort en väsentlig del av lärares bedömningspraktik. Som sådan är den representativ för ett ’nytt bedömningsparadigm’ (jfr Havnes & McDoewll, 2007), där bedömningsinformation används i såväl summativa som formativa syften. När IUP för första gången introducerades 2006 var det enbart den formativa funktionen som betonades. Grundskolans terminsvisa utvecklingssamtal skulle regelmässigt leda fram till att varje enskild elev fick en framåtsyftande individuell utvecklingsplan, där mål och insatser för att nå målen skulle summeras. Redan 2008 förändrades dock villkoren för IUP tämligen drastiskt. I en promemoria från utbildningsdepartementet (2008) hävdades att den information som gavs elever och föräldrar vid utvecklingssamtal inte var tillräckligt tydlig, och med anledning av detta skulle lärarna nu avge skriftliga omdömen i varje ämne som eleverna hade undervisning i. Dessutom ansåg man att lärarna skulle få möjlighet att uttrycka sig med hjälp av så kallade ”betygsliknande symboler”2 (Utbildningsdepartementet, 2 I Skolverkets allmänna råd (2008) beskrivs att en betygsliknande symbol till sin form kan likna ett betyg (vilket tolkas som att symbolen kan utgöras av exempelvis en bokstav eller en siffra), men att den inte är att betrakta som 236 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi 2008, s 4) i de skriftliga omdömena. Reformen genomfördes 2008 och IUP antog i och med detta benämningen den individuella utvecklingsplanen med skriftliga omdömen. Förändringen kan ses som symptomatisk för en tid där resultatredovisning anses vara ett sätt att höja skolors resultat. Diskursiva kontrasteringar ställdes emot varandra i IUP-debatten: flum, tröghet och diskontinuitet ställdes mot klarhet, regelbundenhet och tidig diagnos av skolsvårigheter (Krantz, 2009). Med sådana beskrivningar blev det svårt för lärare och skolledare att hävda kritik gentemot reformen, och i den stora utvärdering som gjordes av Skolverket 2010 beskrivs också reformen i mångt och mycket som positiv: IUP med skriftliga omdömen ansågs av lärare och skolledare bidra till såväl förtydligande av kursplanens mål som en underlättad implementering av styrdokumenten i praktiken, samtidigt som den också beskrevs som ett verktyg som tränar elevers metakognitiva förmåga. På basis av Skolverkets utvärdering (2010) kunde man kunna förstå verktyget IUP som bidragandes till en professionalisering av lärarkåren (jfr Krantz). Innehållet i dokumenten har däremot fått utstå en del kritik, framför allt rörande det faktum att elevers olika svårigheter sällan ses i ljuset av kontextuella faktorer, utan betraktas som individuella tillkortakommanden (jfr Isaksson m. fl, 2007). Kritiken har också handlat om att en relativt stor del av innehållet i IUP-mål har varit riktade mot eleven som person snarare än elevens kunskap i skolämnen (Korp & Sjöberg, 2012; Hirsh, 2011; Skolverket 2007; Skolverket, 2010). I Skolverkets utvärdering från 2010 nämns på den problematiska sidan också att IUP-skrivande upplevs av lärare som oerhört tidskrävande, och att det finns en tendens till att skolor i allt högre utsträckning använder standardiserade mallar för dokumentation som mer eller mindre mekaniskt kan fyllas i. Skolverket (2010) menar att detta kan innebära en viss fara för den professionaliseringseffekt som man annars konstaterat att IUP har medfört. Senare års forskning visar också indikationer på att så kan vara fallet (se t ex Hirsh, 2013; Mårell Olsson, 2012). I såväl skollagen som Skolverkets allmänna råd kring IUP uttrycks att ansvaret för utformandet av IUP ligger hos rektor på den lokala skolan. Utformandet av de skriftliga omdömena är således inte likställd med ett betyg. Ett betyg är nationellt standardiserat, vilket en betygslikande symbol i en IUP inte är. EDUCARE 2015:2 237 ÅSA HIRSH nationellt standardiserat. Den kritik som i både utvärderingar och forskning kring IUP framkommit kring lärares sätt att formulera innehåll kan tänkas ha bidragit till att huvudmän, trots detta, velat styra lärare mot att uttrycka sig på ett visst sätt i dessa dokument. Det faktum att innehållet i dokumenten ska relatera till kursplanernas texter har ofta kommit att betyda att dokumenten innehåller kursplanernas exakta formuleringar. Svårigheten för kommuner att själva utforma mallar för dokumentation har också lett till att man i hög grad köper in tjänster från företag som skapar och säljer lösningar för skoldokumentation. I och med detta har såväl huvudmän som dokumentationsföretag blivit aktiva IUP-aktörer som måste betraktas som medskapare av den IUPpraktik som utvecklas på lokala skolor (Hirsh, 2013; Lindqvist, 2012; Mårell Olsson, 2012). Fenomenet IUP har nyligen inträtt i en tredje fas. Efter senare års allt intensivare debatt kring det faktum att dokumentation upplevs av lärare som så tidskrävande att de inte längre hinner med att planera och utvärdera sin undervisning (jfr Asp-Onsjö, 2012) beslutades i november 2013 att kraven på IUP skulle reduceras till icke-betygssättande årskurser (d.v.s. åk 1-5) och att den bara skulle behöva skivas en gång om året. IUP kallas sedan dess för den skriftliga individuella utvecklingsplanen. IUP-dokumentation har stundtals i den allmänna debatten (se t ex Helte, 2012) jämförts med betyg, och med en sådan syn blir IUP överflödig i och med införandet av betyg i årskurs 6. Detta är också den bakomliggande meningen i departementspromemoria 2013:23, där rekommendationen om borttagande av krav på IUP i årskurs 6-9 grundar sig på införandet av betyg i årskurs 6, samt det faktum att betygsskalan efter 2011 har fler steg och därmed, tillsammans med innehållet i kursplanernas kunskapskrav, anses ge en mer nyanserad information. Teoretiska utgångspunkter En central utgångspunkt är att skolreformer – i det här fallet IUPreformerna – formas snarare än implementeras av de olika aktörer som förväntas implementera dem i enlighet med de syften som beskrivs i policy. I genomförda studier (Hirsh, 2014; Hirsh, 2015) har en viktig fråga därför rört lärarnas uppfattning av syftena med IUP, med andra ord, vad de uppfattar att de ska åstadkomma med hjälp av verktyget IUP. 238 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi En utgångspunkt är också att människor handlar i en kontext med hjälp av medierande verktyg, fysiska såväl som intellektuella. Verktygen får sin funktion i händerna på användarna, men användarnas bruk påverkas av vad de uppfattar att den omgivande kontexten kräver, tillåter eller möjliggör (Säljö, 2000). Lärarnas uppfattningar och användning av IUP förstås här i relation till kontextuella villkor som traditioner, regler, rutiner och andra aktörers inflytande. Dessutom påverkas verktygsanvändandet av i vilken grad brukaren (i det här fallet lärarna) anser sig ha nytta av verktyget. Wertsch (1998) beskriver hur verktygsanvändande å ena sidan kan ses som kopplat till att man behärskar verktyget i teknisk mening (mastery), utan att man för den skull approprierar det som ett fruktbart verktyg som i varierande mån förändrar ens sätt att tänka och handla. Appropriering, å andra sidan, innebär att man anammar verktyget mer än i teknisk mening, att man finner det fruktbart och användbart. Appropriering är starkt kopplat till ett uppfattat behov; om ett verktyg uppfattas som ålagt användaren kan det i stället leda till känslor av motstånd. Vidare används Wartofskys (1979) distinktion mellan primära, sekundära och tertiära artefakter, samt Latours (1987) begreppspar inscription – translation i det analytiska ramverket. Termen IUP kan förstås och användas på olika sätt. Vardagligt syftar man ofta på det fysiska dokumentet, men termen används ibland också med referens till arbetsprocesser och användarmönster som dokumentet medför. Man kan dessutom anta att arbetet med IUP får till följd att användarna börjar tänka i nya banor som följd av IUP-arbetet. Med hjälp av Wartofskys begreppsapparat definieras det fysiska dokumentet IUP som primär artefakt, när IUP används för att informera elever och föräldrar, när den används som arbetsinstruktioner i kontinuerligt klassrumsarbete eller när den exempelvis utgör grund för att rapportera resultat till huvudman. IUP som sekundär artefakt handlar om tolkningar och modeller för hur IUP kan användas i praktiken, medan IUP som tertiär artefakt innebär att IUP på en meta-nivå kan förstås som ett verktyg som möjliggör nya och/eller alternativa sätt att tolka och förstå företeelser. Nya sätt att tänka och handla som tillägnats som resultat av IUP-arbete kan betraktas som exempel på tertiär artefakt (jfr Habib & Wittek, 2007). EDUCARE 2015:2 239 ÅSA HIRSH Begreppen inscription (inskription) och translation (översättning) är hämtade från Actor Network Theory (ANT) (Akrish & Latour, 1992), och används som ett sätt att förstå den sekundära nivån: hur IUP blir ett verktyg i undervisningspraktiken. Inskription syftar på hur vissa användningsmönster införlivas i ett objekt redan då detta skapas på basis av tilltänkta användare och användningsområden. I ANT förstås ett sådant objekt som en aktör som ålägger användaren ett visst handlingsmönster. Faktisk användning kan dock i olika grad avvika från det inskriberade handlingsmönstret. Processen när användare tolkar, omförhandlar eller rekonstruerar objektet kallas översättning. I fallet IUP sker inskribering på nationell nivå, i skollag och allmänna råd från Skolverket, men också på huvudmannanivå, i termer av lokala riktlinjer och inköpta program med färdiga IUP-lösningar. Översättningsprocessen handlar om hur lärare (och skolledare) sedan – i varierande grad - anpassar och utvecklar det redan inskriberade objektet till sina lokala förutsättningar och omständigheter. Då lärares IUP-arbete ses som kontextuellt format behövs en definition av kontext-begreppet. I analogi med verksamhetsteori och Engeström (2001) definierar jag kontextuella faktorer som regler (skrivna och oskrivna regler som bestämmer IUP-arbete), gemenskap (olika aktörer som finns på skolan i form av personal och elever) och arbetsdelning (ansvars- och rollfördelning mellan olika aktörer). Ett annat viktigt begrepp som använts i analysen av IUP-relaterade svårigheter är motsättningar. Med utgångspunkt i verksamhetsteori förstås motsättningar som ständigt närvarande i verksamhetssystem och som varande en viktig drivkraft för förändring. Engeström och Sannino (2011) beskriver motsättningar som historiskt framvuxna strukturella spänningar inom och mellan verksamhetssystem. Diskursiva manifestationer av sådana motsättningar kan vara dilemman som artikuleras av dem som finns i systemet. I genomförda intervjuer med lärare framkommer såväl möjligheter som svårigheter med IUParbete, där svårigheterna i många fall kan tolkas som dilemman. Dilemman definieras i föreliggande studie som situationer i vilka två delvis motsägelsefulla syften måste uppfyllas och inget av dem kan väljas bort. Dilemman har därmed ingen given lösning utan måste balanseras på något sätt. 240 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Metod Föreliggande studie tar sin empiriska utgångspunkt i 15 intervjuer genomförda hösten 2011 med lärare från grundskolans tre stadier (5 från varje stadium). Eftersom IUP-skrivande och IUP-arbete inte är nationellt standardiserat och därmed kan se olika ut från skola till skola, var variation en viktig faktor i urvalet av informanter. 13 lärare arbetade på kommunala skolor i totalt fem olika kommuner, och två lärare arbetade på fristående skolor. För de kommunala skolorna lämnade den centrala skolförvaltningen namn på ett antal rektorer som kontaktades och fick en kort beskrivning av studiens syfte. Rektorerna ombads tillfråga ett antal lärare om de var villiga att delta i intervjuer kring IUP, och bland inkomna namn kontaktades 13 stycken, fördelade på olika kommuner, skolor och stadier. Två rektorer på fristående skolor kontaktades på motsvarande sätt och lämnade förslag på lärare som var villiga att delta. Intervjuerna var materialbaserade, vilket innebär att varje lärare till intervjutillfället hade med sig två IUP:er som hen själv hade varit huvudansvarig för att upprätta under det senaste året. Tack vare detta kunde lärares utsagor relateras till dokumentens innehåll i hög grad. Intervjuerna transkriberades ordagrant. Kvalitativ innehållsanalys (Graneheim & Lundman, 2004) användes ursprungligen vid processande och analys av data i båda de studier som här har förts samman och betraktats som en analysenhet, Detta har möjliggjort fördjupad förståelse och diskussion av den fråga som handlar om hur förhållandet mellan lärares dilemmahantering och framväxande IUP-praktiker kan förstås. Ur analysenheten (intervjuerna) har meningsenheter (meningar eller textstycken innehållandes aspekter som relaterar till ett visst givet innehåll) identifierats där lärarna ger uttryck för 1/ uppfattade syften med IUP (Vad är IUP? Varför IUP?) 2/ användning av IUP (När används IUP? Hur?) 3/ kontextuella villkor som påverkar IUP-arbete (Explicita/implicita rutiner, organisatoriska/strukturella faktorer, hur olika aktörer är inblandade) 4/ svårigheter med IUP 5/ hur svårigheter hanteras EDUCARE 2015:2 241 ÅSA HIRSH Identifierade meningsenheter har sedan kondenserats, vilket innebär en förkortning av texten utan att kärnmeningen går förlorad eller abstraheras. Kondenseringen är ett mellanled mellan meningsenhet och kod som underlättar överblicken i det annars väldigt omfattande materialet. I tabellen nedan exemplifieras stegen meningsenhet – kondensering – kod. Samtliga utdrag i tabellen nedan kommer från samma intervju (Lärare 2): Tabell 1. Exempel på analysarbete Meningsenheter Kondenserade meningsenheter Koder/ Handlar om Mmmm… IUP är en slags avstämning där jag får sammanfatta vad eleven har gjort. Det känns ju som att, det är ju bättre att göra det två gånger per termin, både vid betygssättning OCH till en IUP. För att hålla sig uppdaterad liksom SJÄLV. Och för att eleven själv ska veta... så att man formulerar vad de måste göra. Har jag formulerat det i ett dokument så finns det kanske mer tydligt att eleven MÅSTE satsa på det här, den eleven vill nå MVG, men då MÅSTE den bli bättre på det här och det här, och då har man försökt formulera det. IUP är en extra avstämning/ sammanfattning av elevens nivå. Uppfattade syften Nej, jag vet inte… man har ju såna där IUPtider på vissa skolor, där de liksom jobbar med sin IUP i stället för Elevens val eller vad det nu kan va… Men då gäller det ju att det står något bra där i IUPn, som de kan jobba med. Det går säkert för dem som är duktiga och inkörda i det här arbetet… och som liksom känner själv att DET HÄR skulle jag kunna använda så här och så här... Men vi har inga strategier här känns det som, vi samarbetar inte… inga direkta… riktlinjer från rektor eller så… ingen följer upp i skolledningen heller, eller verkar tycka att det är viktigt… man kan ju göra som man vill… Jag vet inte, men här är det vid utvecklingssamtal vi använder den. Som information då. Det känns ändå som att IUP först och främst är en extra avstämning… eller.. ja en extra information då. Det bäste vore om det fanns en koppling mellan dokumentinnehåll och undervisning, men strategier för sådant arbete saknas. Stöd och intresse från skolledning saknas. Då blir IUP som en information vid utvecklingssamtal. Dokumentet tydliggör vad eleven måste göra för att höja nivån. Kontextuella villkor Svårigheter med IUP Användning av IUP (Tabell 1 forts. på nästa sida) 242 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi (Tabell 1 forts.) Ja, men, som jag säger, det finns ju en viss slags avstämningsnytta… och information… med det… men den TIDEN som det tar för mig att sitta och formulera detta på ett bra sätt för SÅ många elever som jag har… det är HELT orimligt alltså… jag känner… det är frustrerande alltså… Plus att… Vi fick gå nån kurs, det var förra hösten… och man fick se såna här omdömen och hur de SKULLE skrivas, som förslag, och det var liksom UPPSATSER på varje elev. Då kände man ju bara… ja, det bara vänder sig i magen på en… ALDRIG att jag sitter och skriver de uppsatserna om varje elev, jag gör det bara inte alltså… Eller hur ska jag hinna det? Om jag ska göra det så hinner jag inte undervisa alltså… eller planera… Nej, såna omdömen skriver jag inte, det får bli.. oftast nåt kort… bara för att det ska bli gjort… Det tar mycket tid att skriva omdömen som de ”borde vara”. Om man skulle skriva så skulle man inte hinna planera eller undervisa. Uppfattade syften Svårigheter med IUP (Under kategorisering: Dilemma -Tid) (Strategi för att hantera dilemma: Procedural display) Läsningen av materialet har gått från helhet till delar, och tillbaka till helhet igen. Analysens pendling mellan delar och helhet indikerade att det var möjligt att förstå lärarnas uppfattningar av syften med IUP som avgörande för hur och när IUP användes i kontinuerlig praktik. I de utdrag som exemplifieras i Tabell 1 ovan beskrivs IUP som tjänandes syftena avstämning och information, och man kan förstå det faktum att IUP används två gånger om året vid utvecklingssamtal som en logisk följd av just dessa uppfattade syften. I en annan intervju säger en lärare ”IUP innebär ju en JÄTTESTOR förändring... Den ska ju hjälpa barnen… att sätta mål, vara medvetna om sina mål… och utvärdera dem” (Lärare 3), vilket tyder på att läraren ser metakognitiv träning som ett syfte med IUP. Längre fram i intervjun säger samma lärare ”Några gånger per termin sitter jag tillsammans med varje elev… och de får utvärdera, liksom tänka kring sina IUP-mål… och kanske, om vi tycker att de har nått dem, så tänker de på nya mål”, vilket kan förstås som en logisk följd av att IUP uppfattas som ett verktyg för metakognitiv träning. Uppfattade syften blev därför den definierande faktorn i skapandet av en typologi som visar tre kvalitativt olika sätt att förstå och arbeta med IUP. Ett antal aspekter av kontextuella villkor sammanföll med uppfattat syfte och kontinuerlig arbete, varför det blev EDUCARE 2015:2 243 ÅSA HIRSH möjligt att beskriva tre olika IUP-praktiker som innefattar även vissa kontextuella villkor. För det som kodats som IUP-relaterade svårigheter gjordes en ny läsning som resulterade i en underkategorisering utifrån aspekter relaterade till tid (arbetsbelastning i relation till arbetstid), kommunikation (språk och formuleringar i dokumenten), och bedömning (relationen mellan summativa och formativa syften). Var och en av de tre kategorierna förstås som innehållandes ett dilemma som behöver balanseras/hanteras. Lärares sätt att balansera/ hantera dessa dilemman resulterade också i en i underkategorisering (Procedural display, Enligt konstens alla regler och Towards a new thirdness), som i sin tur – specifikt i denna studie - sätts i relation till typologin av tre kvalitativt olika IUP-praktiker. Resultat Resultatredovisningen utgår ifrån studiens fyra frågeställningar. Inledningsvis beskrivs kortfattat tre kvalitativt olika IUP-praktiker, innefattandes kontextuella faktorer som kan påverka arbetet med IUP. Därpå redovisas tre centrala IUP-relaterade dilemman och strategier för att hantera dessa dilemman. Kopplingen mellan de olika praktikerna och sätten att hantera dilemman avslutar resultatdelen. Som beskrivits i metoden ovan visade den empiriska analysen att lärarnas uppfattning av syftena med IUP kunde förstås som avgörande för hur arbetet med IUP formas i kontinuerlig praktik. Totalt kunde fem olika uppfattade syften/funktioner med IUP utläsas i det empiriska materialet: A: IUP som dokument med information kring elevens nuvarande kunskapsnivå och framåtsyftande mål B: IUP som utgångspunkt för utvecklingssamtal C: IUP som verktyg för att visualisera varje individ och identifiera individers lärandebehov D: IUP som verktyg för att involvera eleven i bedömning/ utvärdering och för metakognitiv träning E: IUP som verktyg för utvärdering och anpassning av undervisning 244 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Syfte A, B och C fanns i varierande utsträckning med i utsagor från alla intervjuer, medan syfte D endast fanns med i utsagor från lärare som placerades i praktik 2 och 3 och syfte E enbart fanns med i utsagor från lärare som placerades i praktik 3. Man kan därmed visa på indelningen i tre kvalitativt olika IUP-praktiker utifrån följande figur (Figur 1): IUP-praktik 1 Syfte A, B, C beskrivs IUP-praktik 2 Syfte A, B, C, D beskrivs IUP-praktik 3 Syfte A, B, C, D, E beskrivs Figur 1. Typologi av IUP-praktiker baserad på uppfattade syften IUP-praktik 1 IUP beskrivs i första hand som ett dokument som ger information till elev och vårdnadshavare vid de terminsvisa utvecklingssamtalen. Lärarna beskriver att dokumenten inte används i skolan mellan samtalen, varför IUP kan betraktas som ett formativt verktyg endast om mottagarna (elever och föräldrar) förstår den information som ges och själva kan agera utifrån den. Givna mallar och riktlinjer för IUP-skrivande följs tämligen strikt. Inskriptionen – särskilt i termer av mallar som huvudmannen tillhandahåller - är stark, medan översättningen förefaller vara mycket begränsad: Nu säger de ju liksom bara ”Det här är kommunövergripande, så här är det, alla ska använda de här mallarna”. That’s it, det är det enda vi har fått… Vet inte om jag kan påverka… jag vet inte om jag bryr mig… om man ändå inte tycker att IUPn är så användbar, så kanske det inte spelar så himla stor roll för en hur det är uppspaltat liksom. (L2) Ett mått av motstånd är närvarande i lärarnas beskrivningar i termer av att de menar att oproportionerligt mycket arbete läggs ned på skrivande som inte upplevs göra någon större skillnad. Lärarna i IUP-praktik 1 beskriver att det finns få forum för kollegialt samarbete kring IUP; var och en sköter sitt skrivande och skolledarna blandar sig i låg grad i vare sig skrivande eller uppföljande arbete. EDUCARE 2015:2 245 ÅSA HIRSH IUP-praktik 2 Även här beskrivs IUP i första hand som ett dokument som ger information vid terminsvisa utvecklingssamtal, men också som bildandes utgångspunkt för ett mer professionellt utvecklingssamtal. IUP används till att inför samtal involvera eleverna i att sätta upp och utvärdera mål, vilket anses vara fruktbart för deras metakognitiva utveckling. Lärarnas arbete med att skapa IUP-dokumentet beskrivs leda till att varje individs behov synliggörs på ett annat sätt än tidigare, och dessa behov ’finns med i bakhuvudet’ hos läraren mellan samtalen. IUP som dokument är dock statisk mellan samtalen och förändras inte, även om eleverna på olika sätt påminns om sina mål. Lärarna beskriver också här att en mycket stor del av deras arbetstid ägnas åt att dokumentera, men till skillnad från lärarna i praktik 1 upplever de att det ger tillbaka i termer av att deras egen reflektion kring elevernas lärande fördjupas: Eh… alltså, även om det tar VÄLDIGT lång tid att skriva och så ju… så känns det ändå som det ger nånting. Dels får man verkligen tänka igenom, gör jag på rätt sätt? Det är väldigt mycket kopplat till kursplanerna ju. Så man blir betydligt mer medveten om vad man gör, vad eleverna verkligen lär sig. (L5) Inskriptionen väger tungt och lärarna beskriver att de följer mallar och riktlinjer strikt. Vilja till översättningsprocess finns, men den omgivande kontexten – främst i termer av riktlinjer från huvudmannanivå och skolledare – uppmuntrar inte till översättning. Skolledarna beskrivs som involverade främst i termer av att ge ramar för hur tiden för lärares skrivarbete ska organiseras och att skapa vissa forum för samarbete kring formuleringsarbete: Och sen har vår rektor organiserat det så att… vi har både under hösten och våren tre veckors dokumentveckor, som vi kallar det då. Det är mötesfria veckor och då får vi hålla på att skriva våra skriftliga omdömen på arbetsplatsförlagd tid då. Och det är också bra, för när man kör fast i hur man formulerar sig och skriver, så kan man ju fråga andra kollegor som också sitter vid datorn, ”Hur tycker du detta låter?” eller ”Du känner ju Kalle, hur kan jag formulera detta?”. (L3) 246 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi IUP-praktik 3 Även här betraktas IUP som information till elev och förälder vid utvecklingssamtal, men den beskrivs främst som ett formativt verktyg som på ett mer genomgripande sätt påverkar lärarnas planering och genomförande av undervisning. Fortlöpande används IUP för att involvera eleverna i reflektion och planering av sin egen utveckling, och för detta finns regelbundet schemalagd tid. Eftersom eleverna dessutom anses motiveras av mer kortsiktiga mål som påtagligt kan ’prickas av’ och ersättas med nya kan dokumentet inte vara statiskt mellan samtalen, utan uppdateras kontinuerligt på elevernas IUPtid i takt med att de utvecklas och behöver nya mål. Endast i praktik 3 beskriver lärarna att de använder elevernas dokument som grund för gemensamma utvärderingar i syfte att hitta mönster och anpassa undervisning: Det som är bra, det är ju att vi TILLSAMMANS sitter med det här… det gör ju att man kan se ”Vad händer? Är det något vi behöver ta fasta på?” För vi diskuterar ju ofta med varandra i arbetslaget när vi skriver IUP, vad är det som påverkar att eleven får bättre betyg hos dig än hos mig? Och varför presterar hon eller han sämre när hon eller han skriver hos dig? Hur kan vi överbrygga de olikheterna och skillnaderna? Beror det på situation, kompisar, grupper, vad är det liksom? (L11) De förefaller ha approprierat IUP som ett konceptuellt verktyg, och beskriver IUP-tanken som ett sätt att organisera och fortlöpande dokumentera lärprocesser, snarare än administration som löper vid sidan av undervisningen. Eftersom IUP beskrivs ha bidragit till att lärarna tänker annorlunda kring undervisning är det möjligt att tala om att den fungerar som en tertiär artefakt. Lärarna beskriver att skolledarna är aktivt inblandade i en kritisk diskussion kring hur IUP kan formas, och arbetar tillsammans med lärarna för att översätta den till ett lokal fungerande verktyg. Inskriptionen förefaller därmed vara mindre påtaglig i praktik 3 än i övriga två. IUP-relaterade dilemman 14 av 15 intervjuade lärare beskriver påtagliga svårigheter med IUParbete. Överensstämmelsen i de svårigheter som beskrivs är stor, oavsett vilken kommun, skola eller stadium man representerar, och EDUCARE 2015:2 247 ÅSA HIRSH det är i huvudsak tre problemområden som framträder som centrala; tidsrelaterade, kommunikationsrelaterade och bedömningsrelaterade. Det som skiljer lärarnas beskrivningar åt är framför allt deras sätt/ förutsättningar att hantera dessa problemområden, eller – med andra ord – att balansera de dilemman som de medför. Som tidigare nämnts definieras dilemman som situationer i vilka två delvis motsägelsefulla syften måste uppfyllas och inget av dem kan väljas bort. Dessa dilemman kan sammanfattas enlig följande: Dokumentation vs. Undervisning: Dokumentationsarbetet upplevs som så tidskrävande att man känner att man inte längre har adekvat tid över för att planera och efterarbeta sin undervisning. Arbetsbördan ökade kraftigt när lagen om skriftliga omdömen i alla ämnen kom 2008, utan att det skedde några justeringar av lärarnas övriga arbetsuppgifter: Det som jag tror de flesta lärare tänker på, det är ju att det blev en till pålaga på oss. Utan att vi vare sig fick tid eller pengar för det. Det är det som gör att det kanske känns extra jobbigt. Att man kanske skulle ha gett oss… TID på nåt sätt… så att det inte BARA blir på vår planeringstid då. För annat blir ju lidande. Och som det blir för många, man sitter ju även utöver det, för att bli färdig. Det blir ju ett irritationsmoment, det blir ju det. Och då är det lätt att man själv får en negativ inställning till IUP. Så det känns som att… ja… det tar TID… men samtidigt så hjälper det när jag väl har gjort det, men det tar ju tid från det övriga vi gör. (L7) Officiellt korrekt vs. Elevvänligt språk: Dilemmat handlar om omfånget och komplexiteten i det innehåll som formuleras i dokumentet, och har därmed viss koppling till tidsdilemmat. Lärarna känner krav från huvudmanna- och skolledarhåll på att uttrycka sig byråkratiskt och kursplanelikt i IUP. Följden av detta blir, menar de, att mottagarna inte förstår innehållet och blir överväldigade av dokumentens språk och omfattning. Detta får konsekvensen att lärarna känner att de lägger mycket tid på något som elever och föräldrar i låg grad förstår och kan använda sig av: Det tar ju så lång tid att skriva, man ska ha med så mycket från kursplanen och så…Det här (pekar) är ju krångligt att läsa för mig, som vet hur man ska läsa det. Och då tänker jag mig en elev… eller förälder… de har ju jättesvårt att läsa det. De förstår kanske inte nånting… Förutom om 248 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi man har föräldrar som då är… välutbildade och som har god insikt i styrdokument och sånt här /.../ Det här som är hämtat från kursplanen… man hör lite att föräldrar uttrycker att ’Ja, det är ju inte solklart direkt’. Så det är svårt med språket för att det ska bli bra det här. Professionellt. För det har vi ju pratat mycket om, att vi ska ha ett språk för lärarkåren… Men samtidigt då, vem skriver man för? Ska inte föräldrar förstå det? Det känns lite konstigt… man önskar väl att det skulle vara mer för elevers och föräldrars skull. (L8) Summativ vs. Formativ bedömning: Lärarna menar att det finns en svårighet i att ett och samma dokument ska fylla både en summerande och en framåtsyftande funktion. Mottagarnas uppmärksamhet riktas enligt lärarna automatisk mot de betygsliknande delarna av dokumentet och det framåtsyftande – som samtliga lärare beskriver som det mest centrala i IUP - hamnar därmed i bakgrunden. Flera lärare – särskilt på lägre stadier - menar också att eleverna bedöms på ett onödigt instrumentellt sätt, och de beskriver en oro för att detta ska leda till minskad lust att lära hos eleverna: De (eleverna och föräldrarna) tittar bara på matriserna med kryssen. Det är det enda de kollar på… och säger ’Det ser ju bra ut, jag når målen i alla ämnen’. ’Jaha, har du läst den framåtsyftande texten då’ frågar jag. ’Näää’, säger de. Man vill ju att de ska se IUP som en hjälp att bli bättre… Men nu tittar de bara på själva ”betyget”… (L8) Det är väldigt konfliktfyllt för en när man jobbar med små barn… De är liksom så små och oskrivna på något vis, och många barn vi har här på skolan har ett annat modersmål. Då är det inte enkelt och självklart att man fixar SO och NO när man går i årskurs 3. Och hjälper det då att bli bedömd med de här kryssen? /…/ Det är så lätt att stjälpa dem när man håller sig till såna här kryss och betyg. (L3) Dilemmahantering och formandet av IUP-praktiker De lärare som upplever dilemman i hög grad återfinns främst i IUP-praktik 2. De vill följa alla riktlinjer (nationella såväl som från huvudmannanivå) fullt ut och utforma sina dokument enligt konstens alla regler. Det finns inga givna strategier för att hantera de dilemman EDUCARE 2015:2 249 ÅSA HIRSH som uppstår, och det blir därmed svårt för dem att hitta en balans i sitt arbete. Lärarna försöker anpassa sig genom att ändra på vissa delar av sitt IUP-relaterade arbete, men dessa förändringar sker individuellt snarare än kollektivt och innebär inte sällan ytterligare merarbete; det finns exempelvis lärare som beskriver att deras frustration över att mottagaren inte förstår innehållet i dokumenten har lett till att de skapar mer dokumentation vid sidan av den officiella IUP:n, för att kunna ge elever och föräldrar ett dokument som de förstår också. I lärarnas utsagor i den samlade empirin går det att uttolka tre kvalitativt olika sätt att hantera dilemman. Det ovan beskrivna enligt konstens alla regler är ett av dem. Detta är ingen balansering, utan snarare ett merarbete. Nära knutet till praktik 1 är ett sätt att hantera dilemman som jag har valt att kalla för procedural display (jfr. Bloome m.fl, 1989). Lärare uppvisar (för skolledare och mottagare) procedurer som kan räknas som IUP-praktik, men deras beskrivningar indikerar snarast ett ’rituellt’ beteende i termer av att man gör det som krävs för att få ihop ett dokument. ”För många av oss är det klipp och klistra, man skriver detsamma för de flesta elever, och efteråt känner man Skönt, nu är det gjort, nu är det ett halvår till nästa gång” säger en av lärarna i intervjun. Det tredje sättet att hantera de dilemman som finns har jag kallat för towards a new thirdness. Som tidigare nämnts ser man inom verksamhetsteorin på motsättningar som en drivkraft för förändring av verksamheten. När motsättningar växer och blir ohållbara kan det leda till en kollektiv förändringsprocess där kvalitativt nya sätt att arbeta utvecklas. De nya sätten är inte att betrakta som en kompromiss av det som tidigare utgjort grunden för motsättningarna, utan som en mer genomgripande förändring som kan betraktas som en tredje väg (jfr Engeström & Sannino, 2011). Flera lärare beskriver hur de varit i enligt konstens alla regler, men upplevt det som ohållbart. Kollegialt och med stöd av sin rektor har de bestämt sig för förändringar som inneburit elevvänligt formulerade dokument och en betoning av de undervisningsmässiga konsekvenserna av dokumentets innehåll. Den dokumentation som fyller formativa funktioner hanteras kontinuerligt och involverar eleverna. Dessa tre sätt ska inte betraktas som kategorier med några absoluta gränsdragningar mellan, utan mer som utgörandes grund för att diskutera möjliga sätt att hantera dilemmaliknande situationer som 250 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi genomgripande påverkar lärares arbetssituation och professionella identitet. Från och med införandet av de skriftliga omdömena i skolans alla ämnen har lärarna haft Skolverkets allmänna råd att förhålla sig till, och dessutom ofta ytterligare riktlinjer från huvudmannanivå. Givna mallar för dokumentation har ofta ålagts lärare utan att de har haft möjlighet att påverka utformningen av dem eller arbetet med dem. Det har blivit ett omöjligt uppdrag för många att hantera den omfattande dokumentationen som detta har medfört inom ramen för sin arbetstid, och då kan man – hypotetiskt – anta att lärare som finns i enligt konstens alla regler, för att klara sin arbetssituation, till slut hamnar i procedural display eller towards a new thirdness. Vilken utav dem det blir beror inte bara på enskilda lärares eller lärargruppers kunskap, inställning och engagemang, utan också på kontextuella faktorer som riktlinjer från huvudman, rektors kunskap, engagemang och sätt att organisera arbetet, skolstadium, vilka mallar för dokumentation som används och lärarnas möjlighet att ha inflytande över arbetet. Diskussion Den sammantagna empiriska analysen har visat att IUP-relaterat arbete kan se ut på olika sätt. IUP kan betraktas som ett exempel på komplexiteten som är involverad när en skolreform formas i lokala praktiker. Den nya analysen av materialet (de två ursprungliga analysenheterna sammantaget) visar att det går att förstå framväxande IUP-praktiker inte bara som formade av de syften lärare uppfattar som centrala, utan också som kopplade till lärares olika sätt att hantera dilemman. Den formella dimensionen av IUP (knuten till skrivelser i skollag, allmänna råd och indirekt även till läroplanen) tolkas inte sällan av aktörer på huvudmannanivå och dokumentationsföretagsnivå innan den lokala skolnivån träder in med sin förståelse. För olika lokala skolor kan inskriptionen, i termer av hur mycket tolkning som gjorts på huvudmanna- och företagsnivå, väga olika tungt. IUP-lösningar som är tungt inskriberade med vissa givna sätt att formulera dokument och arbeta med IUP kan hindra översättningsprocesser på den lokala skolan. Utifrån empirin i föreliggande studie kan konstateras att de lärare som i hög grad beskriver dilemman som är svåra att balansera arbetar med IUP-lösningar som är tungt inskriberade med regler och EDUCARE 2015:2 251 ÅSA HIRSH riktlinjer från huvudmanna- och företagsnivå. De lärare som i högre grad fått vara med och forma/förändra IUP-lösningar i samklang med sin rektor beskriver att de hittat sätt att balansera dilemman. Utifrån verksamhetsteoretiska perspektiv betraktas dilemman som diskursiva manifestationer av historiskt framvuxna motsättningar inom och mellan verksamhetssystem. Jag betraktar motsättningen mellan central styrning och lärares professionella autonomi som central i det här sammanhanget. I samband med införandet av det målrelaterade betygssystemet på 1990-talet decentraliserades också skolans styrning till kommunnivå. En av tankarna bakom detta var att vägar till målen i hög grad skulle beslutas i den lokala kontexten. På senare år har makten att formulera vägar till målen snarare re-centraliserats (jfr Forsberg, 2014), och formandet av lokala skolpraktiker hamnar därmed i skärningspunkten mellan nationell, kommunal och lokal skolnivå. I fallet IUP har marknaden i form av dokumentationsföretag också gjort sig gällande på ett påtagligt sätt. När lärares IUP-praktiker formas förefaller balansen mellan inskription och översättning vara central. Detta, i sin tur, kan relateras till övriga teoretiska begrepp som i genomförda studier använts för att analysera och förstå lärares arbete med IUP. För lärare som åtnjuter en högre grad av autonomi har översättningsarbetet blivit en process under ständig utveckling. Möjligheten att dessa lärare ska appropriera IUP som ett användbart verktyg ökar, vilket i sin tur ligger nära min förståelse av IUP som tertiär artefakt. Tertiära artefakter färgar vår förståelse av fenomen i världen (Wartofsky, 1979; Säljö, 2000) på ett sätt som delvis är frikopplat från den primära artefakten. De förändrade sätt att tänka och tala om företeelser som vi utvecklar kan överföras mellan kontexter, varför tertiära artefakter blir viktiga som medierande verktyg för att förändra etablerad praxis. En konceptuell förståelse av IUP som ett formativt verktyg som involverar kontinuerligt arbete med lärandemål, utvärdering, bedömning, reflektion och involverande av elever i processen kan spilla över på andra delar av undervisningspraktiken och vice versa. När inskriptionen – i termer av regler, riktlinjer och givna mallar – är tung redan när IUP-lösningen når den lokala skolan kan IUP komma att betraktas som en given och färdig lösning. Tolkningarna av skollagen och det som står i de allmänna råden har redan gjorts av aktörer på andra 252 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi nivåer, vilket kan minimera den lokala skolans översättningsprocess. Skolorna förväntas anpassa sig till en given lösning i effektivitetens och likvärdighetens namn. Det kan naturligtvis finnas positiva aspekter av detta, och det är på ett sätt inte svårt att förstå kommuner som i detta avseende förespråkar likvärdighet i termer av ’lika för alla’. Mallar kan dessutom i mångt och mycket uppfattas som en hjälp för dem som använder dem. Agevall och Jenner (2008) menar dock att själva förmågan att balansera och finna lösningar i komplexa situationer utvecklas genom autonom handling. Om lärare inte förväntas tänka i termer av översättning, är det möjligt att deras professionella förmåga att forma, anpassa, förfina och utvärdera sin praktik inte utvecklas. Med en begränsad grad av autonomi kan lärares möjlighet att appropriera IUP som konceptuellt verktyg reduceras, vilket medför en risk för att IUP blir något som man ’hanterar’ på ett sätt som Wertsch (1998) beskriver som mastery utan appropriering. Detta, i sin tur, leder ofta till ett visst mått av motstånd hos användarna av ett verktyg, och till att man betraktar det som något som löper vid sidan av snarare än något som är en del av undervisningssammanhanget. Jämförande utblick Denna studie handlar om lärares arbete med individuella utvecklingsplaner i Sverige, men resultaten kan lyftas och diskuteras på en mer övergripande nivå som handlar om lärares bedömningspraktiker som situerade i en kontext, där organisation och villkor på olika nivåer i skolsystemet blir medskapare av konkret klassrumspraktik. En nyligen genomförd översiktsstudie om 2000-talets forskning kring formativ bedömning (Hirsh & Lindberg, 2015) visar att påtagligt många studier lyfter fram kontextuella/organisatoriska villkor som starkt bidragande till att forma lärares (formativa) bedömningspraktiker (se exempelvis Cooper & Cowie, 2010; Gardner m fl, 2011; Harlen, 2010; Smith, 2011). Pryor och Crossouard (2008) positionerar exempelvis lärares implementering av formativa bedömningsprocesser som situerade, och använder just basen av Engeströms (2001) triangulära verksamhetssystem (regler, gemenskap, arbetsdelning) för att förstå hur lärares arbete formas olika trots att principerna för formativ bedömning skulle kunna betraktas som generella. Davies och Neitzel (2011), liksom Hermansen och Nerland (2014) hävdar att lärare som i intervjuer EDUCARE 2015:2 253 ÅSA HIRSH uppvisar komplex och fördjupad förståelse för formativ bedömning ändå inte förmår arbeta i enlighet med denna förståelse, då de i så hög utsträckning styrs av externa krav på resultatredovisning. En studie av Birenbaum m fl (2011), där 122 lärare deltagit i en enkätstudie och sex lärare och deras klassrumspraktiker och skolkultur sedan närstuderats med avseende på sambandet mellan implementeringen av formativt klassrumsarbete och skolkultur, påvisar dessutom stora likheter med föreliggande studie. De sex närstuderade fallen kategoriserades i två grupper – A och B. I grupp A, där formativa praktiker fungerade sämre, uppvisar lärarna i olika grad bedömningspraktiker som forskarna benämner som ”pseudo-formativa” (Birenbaum m fl, 2011, s 45, min översättning). En uppsättning formativa tekniker anammas, men bedömningsinformationen används inte i formativt syfte. Här finns likheter med den dilemmahanteringsstrategi som jag har valt att kalla procedural display, och det som Wertsch (1998) menar är mastery utan appropriation. I grupp B är formativ bedömning i betydligt högre grad inbäddad som naturlig del av klassrumsarbetet. I likhet med min diskussion kring begreppsparet inscription – translation och graden av lärares autonomi kontra extern reglering, menar Birenbaum m fl (2011) att de kan se ett påtagligt samband mellan styrning/autonomi å ena sidan och utvecklandet av högkvalitativ formativ bedömningspraktik å den andra: Overall, a dimension along which our six cases vary, which underlies both classroom and organizational contexts, is that of regulation, ranging from external to internal. Group A cases are located toward the external pole, indicating their submissiveness to external regulation. This characteristic is evident at all levels of the hierarchy – school leadership vis-à-vis an inspectorate; teachers vis-à-vis school leadership; students vis-à-vis teachers. Group B (particularly Rona’s school) is located toward the internal pole, indicating their organizational self-regulation, as exemplified by the staff directing their professional development, developing their school-based curriculum, and continuously investigating their practice to improve it. (s 46) I likhet med mig menar de att lärares bedömningspraktiker å ena sidan formas av hur de förstår sitt uppdrag, och å andra sidan av organisation och förväntningar i den kontext de befinner sig i. 254 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Avslutningsvis Utifrån den teoretiska argumentation som har förts i föreliggande artikel är IUP ett fortsatt viktigt område att studera. Under de år som gått sedan den första reformen infördes har svenska lärare arbetat intensivt med IUP och dokumentation i en kontext där förändringar och nya riktlinjer duggat tätt. Min utgångspunkt är att nya reformer i skolan formas snarare än implementeras, och de genomförda studierna bekräftar att så har varit fallet med IUP. De kvalitativt olika praktiker som formas har vuxit fram i olika lokala kontexter, och IUP-relaterade dilemman upplevs mer eller mindre påtagligt av de olika lärarna. Det tar tid att forma en praktik som fungerar, det krävs kontinuerligt översättningsarbete. Frågan är om de senaste åtta årens arbete med IUP har lett till nya sätt att tänka och arbeta som kommer att bestå oavsett om de formella kraven på IUP försvinner. I linje med denna artikels argumentation kan man tänka sig att de som har approprierat IUP på ett sätt som gör att den kan beskrivas som en tertiär artefakt kommer att fortsätta med ett IUP-inspirerat arbetssätt oavsett formella krav på dokumentation. De som inte har sett några vinster med IUP å andra sidan, och möjligen drar en lättnadens suck när de formella kraven i betygssättande årskurser försvinner, behöver måhända fundera över alternativa sätt att dokumentera och informera om elevers kunskaper vid utvecklingssamtal. Inte minst behöver man också ta ställning till frågorna kring de formativa funktionerna som IUP antas fylla. Ett borttagande av IUP i årkurs 6-9 innebär inte bara ett borttagande av något som är summativt och betygsliknande, det innebär också ett borttagande av ett redskap med formativ funktion som skulle kunna göra skillnad för elevers lärande och lärares utvärdering av sin egen undervisning. EDUCARE 2015:2 255 ÅSA HIRSH Referenser Agevall, Lena. & Jenner, Håkan. (2008). Lärares professionalitet – förmågan att hantera dilemma. I Jonnergård, K., E.K. Funck, & Wolmesjö, M. (Red.), När den professionella autonomin blir ett problem. Växjö: Växjö University Press. Akrish, Madeleine., & Latour, Bruno. (1992). A Summary of a Convenient Vocabulary for the Semiotics of Human and Nonhuman Assemblies. In W.E. Bijker & J. Law (Red), Shaping Technology/ Building Society – studies in societal change, (259-264). Cambridge: The MIT Press. Asp-Onsjö, Lisa. (2011). Dokumentation, styrning och kontroll i den svenska skolan. Educare, nr 2, 39-56. Birenbaum, Menucha., Kimron, Helena., & Shilton, Hani. (2011). Nested contexts that shape assessment for learning: School-based professional learning community and classroom culture. Studies in Educational Evaluation, 37, 35-48. Bloome, David., Pamela. Puro., & Erine. Theodorou. (1989). Procedural Display and Classroom Lessons. Curriculum Inquiry 19 (3): 265-291. Cooper, B., & Cowie, B. (2010). Collaborative research for assessment for learning. Teaching and Teacher Education, 26, 979-986. Davies, Dennis. S., & Neitzel, Carin. (2011). A self-regulated learning perspective on middle grades classroom assessment. The Journal of Educational Research, 104(3), 202–215. Ds 2013:23 Tid för undervisning – lärares arbete med skriftliga individuella utvecklingsplaner. Stockholm: Utbildningsdepartementet. Engeström, Yrjö. (2001). Expansive Learning at Work: toward an activity theoretical reconceptualization. Journal of Education and Work, 14(1), 133-156. Engeström. Yrjö., & Sannino, Annalisa. (2011). Discursive manifestations of contradictions in organizational change efforts: A methodological framework. Journal of Organizational Change management 24 (3): 368-387. 256 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Forsberg, Eva. (2014). “Rätt man på rätt plats” i redovsiningssamhället. I Lars Svedberg (Red). Rektorn, skolchefen och resultaten – mellan profession och politik. Malmö: Gleerups Utbildning. Gardner, John., Harlen, Wynne., Hayward, Louise., & Stobart, Gordon. (2011). Engaging and Empowering Teachers in Innovative Assessment Practice. I A. Berry & B. Adamson (Red), Assessment Reform in Education, Policy and Practice. Dordrecht: Springer. Graneheim, Ulla. H. & Lundman, Berit. M. (2004). Qualitative content analysis in nursing research: concepts, procedures and measures to achieve trustworthiness. Nurse Education Today, 24, 105-112. Harlen, Wynne. (2010). What is quality teacher assessment? I J. Gardner, W. Harlen, L. Hayward, G. Stobart, & M. Montgomery (Red), Developing teacher assessment (29–52). Berkshire: Open University Press. Havnes, Anton., & McDowell, Liz. (2007). Introduction: Assessment dilemmas in contemporary learning cultures. In A. Havnes & L. McDowell (Eds.), Balancing Dilemmas in Assessment and Learning in Contemporary Education. London: Routledge. Helte, Stefan. (2012). Dokumentationen har gått för långt. Lärarnas Tidning. 7-20 September. Hermansen, Hege., & Nerland, Monika. (2014). Reworking practice through an AfL project: an analysis of teachers’ collaborative engagement with new assessment guidelines. British Educational Research Journal, 40(1), 187–206. Hirsh, Åsa. (2015). IDPs at work. Scandinavian Journal of Educational Research, Vol. 59, (1) 77-94. (i-first-publicerad online 2013-1007) Hirsh, Åsa. (2014). The Individual Development Plan: supportive tool or mission impossible? Swedish teachers’ experiences of dilemmas in IDP practice. Education Inquiry Vol. 5, (3) 405-427. Hirsh, Åsa. (2013). The individual development plan as tool and practice in Swedish compulsory school. Doktorsavhandling. Högskolan i Jönköping. EDUCARE 2015:2 257 ÅSA HIRSH Hirsh, Åsa. (2011). A tool for learning? An analysis of targets and strategies in Swedish Individual Education Plans. Nordic Studies in Education, Vol. 31, 14–30. Hirsh, Åsa., & Lindberg, V. (2015). Formativ bedömning på 2000-talet: en översikt av svensk och internationell forskning. SKOLFORSK delstudie XI. Vetenskapsrådet. Isaksson, Joakim., Lindqvist, Rafael., & Bergström, Erik. (2007). School problems or individual shortcomings? A study of individual education plans in Sweden. European Journal of Special Needs Education, 22(1), 75-91. Korp. Helena., & Sjöberg, Lena. (2012). Individual Education Plans: sustaining or challenging power relations? Ingår i ECER European Educational Research Association: The Need for Educational research to Champion Freedom, Education and Development for All. Refereegranskat konferensbidrag. Krantz, Joakim. (2009). Styrning och mening: anspråk på professionellt handlande i utbildning och skola. Växjö: Doktorsavhandling, Växjö universitet. Latour, Bruno. (1987). Science in action: How to follow scientists and engineers through society. Milton Keynes: Open University Press. Lindqvist, Eva. (2012). Digitala uppföljningssystem i skolan värld – möjligheter och hinder. Forskning om undervisning och lärande, nr 9, 56-62. Mårell-Olsson, Eva. (2012). Att göra lärande synligt? Individuella utvecklingsplaner och digital dokumentation. Doktorsavhandling, Umeå Universitet. Pryor, John., & Crossouard, Barbara. (2008). A socio-cultural theorisation of formative assessment. Oxford review of Education, 34(1), 1-20. Skolverket. (2005). Skolverkets allmänna råd och kommentarer. Den individuella utvecklingsplanen. Stockholm: Fritzes. Skolverket. (2007). Hur används individuella utvecklingsplaner? En studie efter införandet av nya bestämmelser. Stockholm: Skolverket. Skolverket. (2008). Allmänna råd för den individuella utvecklingsplanen med skriftliga omdömen. Stockholm: Fritzes. 258 EDUCARE 2015:2 IUP i Praktiken: En skolreforms formande i skärningspunkten mellan yttre styrning och professionell autonomi Skolverket. (2010). Skriftliga omdömen i grundskolans individuella utvecklingsplaner. En uppföljning av skolornas arbete ett år efter reformen. Rapport 340. Stockholm: Fritzes. Skolverket. (2013). Skolverkets allmänna råd med kommentarer. Utvecklingssamtalet och den skriftliga individuella utvecklingsplanen. Stockholm: Fritzes. Smith, Kari. (2011). Professional development of teachers—A prerequisite for AfL to be successfully implemented in the classroom. Studies in Educational Evaluation, 37, 55-61. Säljö, Roger. (2000). Lärande i praktiken. Stockholm: Prisma. Utbildningsdepartementet. (2008). Departementspromemoria: En individuell utvecklingsplan med skriftliga omdömen. Stockholm: Utbildningsdepartementet. Wartofsky, Marx W. (1979). Models. Representation and the scientific understanding. Dordrecht, The Netherlands: Riedel. Wertsch. James V. (1998). Mind as Action. New York: Oxford University Press. EDUCARE 2015:2 259 Medverkande författare Ingela Andreasson är docent i pedagogik vid Göteborgs universitet. Hennes forskning rör framförallt likvärdighet och elevbedömningar ur ett diskursivt perspektiv. Mer specifikt handlar det huvudsakligen om analyser av diskurser och marginaliseringsprocesser i skolans elevdokumentation såsom individuella utvecklingsplaner och åtgärdsprogram. Maj Asplund Carlsson är senior professor i utbildningsvetenskap vid Högskolan Väst och docent i pedagogik vid Göteborgs universitet, där hon för närvarande arbetar som gästlärare. Hon forskar om olika textpraktiker i skolans värld, framförallt fiktionsläsningen och litteraturanvändningen i förskolan men också elevplaner och pedagogisk dokumentation. Lisa Asp-Onsjö är docent i pedagogik vid Göteborgs universitet och verksam vid Institutionen för pedagogik och didaktik vid samma lärosäte. Hennes forskningsintresse rör det specialpedagogiska forskningsfältet i allmänhet med särskilt fokus på elevdokumentation och bedömning. Hon har också ett intresse för frågor som fokuserar relationen mellan genus och skolprestationer. Frank Bach är verksam vid institutionen för didaktik och pedagogisk profession vid Göteborgs universitet och ingår i den grupp som, för Skolverkets räkning, utformar nationella prov i NO-ämnena för årskurs 6. Hans utbildnings- och forskningsintresse är ämnesdidaktik med inriktning mot naturvetenskap och framförallt då fysik. Marianne Dovemark är docent i pedagogik vid Göteborgs universitet. Hennes huvudsakliga forskningsintressen rör strukturella faktorers påverkan på barns och ungas utbildning. Speciellt intresse ligger på faktorer som klass, kön och etnicitet vilket beforskas huvudsakligen genom etnografisk ansats men också genom diskursanalys. 260 EDUCARE 2015:2 MEDVERKANDE FÖRFATTARE Olof Franck är docent i religionsfilosofi och universitetslektor i ämnesdidaktik med inriktning mot samhällsorienterande ämnen vid Institutionen för didaktik och pedagogisk profession, Göteborgs universitet. Hans forskning är särskilt inriktad på etik, värdegrundsfrågor och det religionsdidaktiska fältet, i synnerhet där detta aktualiserar religionsfilosofiska problemställningar. För närvarande är han engagerad i det av Vetenskapsrådet finaniserade projektet “What May be Learnt in Ethics? – Varieties of Conceptions of Ethical Competence to be Taught in Compulsory School” (http://idpp.gu.se/english/Research/research_ projects/what-may-be-learnt-in-ethics), men också i ett forskningsprojekt om etik i läromedel samt nationella och europeiska samarbeten kring forskning rörande ESD (Education for Sustainable Development). Birgitta Frändberg är verksam vid institutionen för didaktik och pedagogisk profession vid Göteborgs universitet och ingår i den grupp som, för Skolverkets räkning, utformar nationella prov i NOämnena för årskurs 6. Hennes utbildnings- och forskningsintresse är ämnesdidaktik medinriktning mot naturvetenskap och framförallt då biologi och kemi. Mats Hagman är verksam vid institutionen för didaktik och pedagogisk profession vid Göteborgs universitet och ingår i den grupp som, för Skolverkets räkning, utformar nationella prov i NO-ämnena för årskurs 6. Hans utbildnings- och forskningsintresse är ämnesdidaktik med inriktning mot naturvetenskap Åsa Hirsh är fil dr och lektor i pedagogik vid Högskolan för lärande och kommunikation i Jönköping. Såväl avhandling som pågående forskning är finns inom fältet bedömning, dokumentation och formativa undervisningsprocesser. Åsa tillhör det nationella nätverket för pedagogisk bedömning. Lars Holm er lektor, ph.d. ved Institut for Uddannelse og Pædagogik (DPU), Aarhus Universitet, Campus Emdrup. Hans forskningsinteresse retter sig blandt andet mod sproglig evaluering i førskole og skole, mod literacy i flersprogede og postkoloniale kontekster, og mod udviklingen af heldagsskoler. EDUCARE 2015:2 261 MEDVERKANDE FÖRFATTARE Anders Jönsson är biträdande professor i naturvetenskapernas didaktik vid Högskolan Kristianstad. Hans främsta forskningsintresse är klassrumsbedömning, både för formativa och summativa ändamål. Anders medverkar även i konstruktionen av nationella prov i NOämnen för årskurs 6. Johan Korhonen är universitetslärare och forskarstuderande i special pedagogik vid Åbo Akademi i Finland. Annika Lilja är universitetslektor i pedagogiskt arbete vid Institutionen för didaktik och pedagogisk profession, Göteborgs universitet. Hennes forskning är dels inriktad mot relationell pedagogik, dels mot etikdidaktik inom det av Vetenskapsrådet finaniserade projektet “What May be Learnt in Ethics? – Varieties of Conceptions of Ethical Competence to be Taught in Compulsory School” (http://idpp.gu.se/ english/Research/research_projects/what-may-be-learnt-in-ethics). Lilja har under flera år arbetat som provutvecklare för de nationella proven i religionskunskap. Annika Lindskog är universitetsadjunkt i ämnesdidaktik med inriktning mot samhällsorienterande ämnen vid Institutionen för didaktik och pedagogisk profession, Göteborgs Universitet, där hon bl.a. är projektledare för Nationella Prov i Religionskunskap åk 6 och åk 9. Lindskog är också doktorand vid institutionen och bedriver forskning om religionskunskapslärares perspektiv på ämnet och dess centrala innehåll. Karin Linnanmäki är docent och akademilektor vid Åbo Akademi, Finland. Johan Nyberg är doktorand i musikpedagogik vid Luleå tekniska universitet, Institutionen för konst, kommunikation och lärande, Musikhögskolan i Piteå. Hans forskningsintresse riktar sig mot utbildning som kommunikation. Kontexten för det pågående avhandlingsarbetet är gymnasieskolans nationella, estetiska program. 262 EDUCARE 2015:2 MEDVERKANDE FÖRFATTARE Christina Osbeck är docent i religionsvetenskap och universitetslektor i ämnesdidaktik med inriktning mot samhällsorienterande ämnen vid Institutionen för didaktik och pedagogisk profession, Göteborgs Universitet. Hennes forskning är särskilt inriktad på religionsdidaktik, etik och värdegrundsfrågor. För närvarande utgör det VR-finansierade projektet “What May be Learnt in Ethics? – Varieties of Conceptions of Ethical Competence to be Taught in Compulsory School” (http:// idpp.gu.se/english/Research/research_projects/what-may-be-learnt-inethics) en stor del av hennes forskningsverksamhet. Mats Oscarson är professor emeritus vid Institutionen för didaktik och pedagogisk profession (IDPP) vid Göteborgs Universitet. Hans forskningsintressen rör främst lärande och bedömning av språk i skola och vuxenundervisning. Camilla Svens-Liavåg är speciallärare i Vasa och forskarstuderande i specialpedagogik vid Åbo Akademi, Finland. Pia Thornberg är universitetsadjunkt i matematik vid Högskolan Kristianstad. Hon undervisar inom lärarutbildningen och har ansvar för programområdet kompetens- och skolutveckling. Pia har ett särskilt intresse för bedömningsfrågor och har skrivit en masteruppsats där sambedömning och dess effekter diskuteras. Eva West är verksam vid institutionen för didaktik och pedagogisk profession vid Göteborgs universitet och ingår i den grupp som, för Skolverkets räkning, utformar nationella prov i NO-ämnena för årskurs 6. Hennes utbildnings- och forskningsintresse är ämnesdidaktik med inriktning mot naturvetenskap. Ann Zetterqvist är verksam vid institutionen för didaktik och pedagogisk profession vid Göteborgs universitet och ingår i den grupp som, för Skolverkets räkning, utformar nationella prov i NO-ämnena för årskurs 6. Hennes utbildnings- och forskningsintresse är ämnesdidaktik med inriktning mot naturvetenskap och framförallt då biologi och kemi. EDUCARE 2015:2 263 EDUCARE – vetenskapliga skrifter Utgivning EDUCARE 2015:1. Artiklar: Lena Sjöberg, The Construction of Mathematical Knowledge and Learning in and Through Individual Education Plans; Peter Håkansson, Folkbildningen och det sociala kapitalet; Pia Sundqvist & Christina Olin-Scheller, Engelska på fritiden och engelska i skolan – en omöjlig ekvation; Marie Nordlund, Vocabulary in textbooks for young learners; Eva Änggård, Gåturer som forskningsmetod med barn; Anette Svensson, ”New technologies” and ”old values”: The function of various text and media forms in literary studies; Niclas Månsson & Ali Osman, Lärarutbildningen och miljonprogrammets skola EDUCARE 2014:2. Tema: Childhood, Learning and Didactics. Ingegerd Tallberg Broman, Preface; Susanne Thulin & Agneta Jonsson, Child Perspectives and Children’s Perspectives – a Concern for Teachers in Preschool; Annika Månsson & Lena Rubenstein Reich, Democracy in Research Circles to Enable New Perspectives on Early Childhood Education and Didactics; Mats Bevemyr, Childrens Use of Every Day Mathematical Concepts to Describe, Argue and Negotiate Order of Turn; Dorota Lembrér & Tamsin Meaney, Socialisation Tensions in the Swedish Preschool Curriculum – Scaffolding and Challening Conversational Skills; Carina Hermansson, Tomas Saar & Christina Olin-Scheller, Rethinking ’Method’ en Early Childhood Writing Education; Camilla Löf, Didactics for Life? EDUCARE 2014:1. Artiklar: Helena Andersson, Elevers berättelser om sina upplevelser av högstadiet; Magnus Persson, Blåst? Från kulturindustriell manipulation till entreprenöriellt lärande; Per-Åke Rosvall, Programarbetslag som stöd för nyexaminerade kärnämneslärare etablering som gymnasielärare; Michael Tengberg, Konstruktion och bedömning av förmågan att läsa (och förstå) skönlitterär text. Två nedslag i det nationella provets läsförståelsedel, åk 9 264 EDUCARE 2015:2 EDUCARE 2013:2. Tema: Samhällsfrågor i skolans matematik- och NO-undervisning. Mats Lundström, Förord; Per Hillbur, Good to Be Different? On Cosmopolitanism, Pluralism and ‘the Good Child’ in Swedish Educational Policy; Jonas Dahl & Maria C. Johansson, The Citizen in Light of the Mathematics Curriculum; Thomas Lundblad, Claes Malmberg, Mats Areskoug & Per Jönsson, Dialogic Manifestations of an Augmented Reality Simulation. EDUCARE 2013:1. Artiklar: Monica Lindgren & Claes Ericsson, Diskursiva legitimeringar av estetisk verksamhet i lärarutbildningen; Anita Norlund, ”Varför tycker du man ska ha dödsstraff, då?” Ett sociologisk-didaktiskt verktyg för analys av klassrumsdebatter; Elsa Foisack, Claudia M. Pagliaro & Ronald R. Kelly, Matematikprestationer och elever med dövhet eller hörselnedsättning. EDUCARE 2012:1. Artiklar: Thom Axelsson, Att konstruera begåvning – Debatten om IQ; Hans Larsson & Claes Nilholm, Att utmana eller återkskapa traditionen – Sex skolors arbete med elever i relationssvårigheter; Jonas Lindbäck & Ove Sernhede, Från förorten till innerstaden och tillbaka igen – Gymnasieskolan, valfriheten och den segregerade staden. EDUCARE 2011:3. Tema: Tvåspråkig undervisning på svenska och arabiska i mångkulturella storstadsskolor. Anna-Lena Tvingstedt, Inledning; Berit Wigerfelt, Undervisning på svenska och arabiska tar form i ett mångetniskt område; Berit Wigerfelt & Eva Morgan, Balansgång mellan två språk. Lärares berättelser om tvåspråkig undervisning på svenska och arabiska; Anna-Lena Tvingstedt, ”Barnen talar två språk och har två kulturer” – Föräldraperspektiv på tvåspråkig undervisning; Anna Sandell, ”Vi förstår, du behöver inte översätta” – Elevperspektiv på tvåspråkig undervisning i den svenska skolan; Helen Avery, Lärares språkbruk i tvåspråkiga klassrum; Eva-Kristina Salameh, Grammatisk och fonologisk utveckling på svenska och arabiska vid tvåspråkig undervisning; Eva-Kristina Salameh, Lexikal utveckling på svenska och arabiska vid tvåspråkig undervisning; Anna-Lena Tvingstedt & Eva-Kristina Salameh, Läsoch kunskapsutveckling hos elever som fått tvåspråkig undervisning på svenska och arabiska; Anna-Lena Tvingstedt, Avslutande reflexioner. EDUCARE 2015:2 265 EDUCARE 2011:2. Tema: Välfärdsstat i omvandling: regelerad barndom – oregerlig ungdom? Ove Sernhede & Ingegerd Tallberg Broman, Förord; Patrick J. Ryan, Discursive Tensions on the Landscape of Moderna Childhood; Lisa Asp-Onsjö, Dokumentation, styrning och kontroll i den svenska skolan; Ann-Marie Markström, ”Soft Governance” i förskolans utvecklingssamtal; Ingela Kolfjord, En skolas implementering av kamratmedling; Philip Lalander & Ove Sernhede, Social mobilization or street crimes: Two strategies among young urban outcasts in contemporary Sweden; Johan Söderman Vem är egentligen expert? Hiphop som utbildningspolitik och progressiv pedagogik i USA. EDUCARE 2011:1. Tema: Svenska med didaktisk inriktning. Lotta Bergman, Förord: Svenska med didaktisk inriktning; Magnus Persson, Den friska boken och den sjuka läsaren: Om litteratur som medicin; Kent Adelmann, Lyssnandets århundrade? Att lyssna till den talande boken; Cecilia Nielsen, Kroppen läser och skriver? Läsandets och skrivandets kroppslighet i ljuset av Merleau-Pontys kroppsfilosofi; Annbritt Palo & Lena Manderstedt, Texter, språk och skrivande med utgångspunkt i de nya ämnesplanerna i svenska; Cecilia Olsson Jers, Den retoriska arbetsprocessens betydelse för möjligheten att framstå med starkt och trovärdigt ethos i muntlig framställning; Lisa Källström, Vad kan vi lära oss av berättelser? Det fiktivas funktion i svenska som främmande språk. EDUCARE 2010:1. Thomas Johansson Etnografi som teori, metod och livsstil, Sara Irisdotter Aldenmyr Förvaltningsarbete för mångfald och konkurrens: En studie av den kommunala skolförvaltningens ansvar att främja mångfald i den konkurrensutsatta grundskolan, Maria Simonsson & Mia Thorell Att börja på förskolan: Exempel på barns sociala samspelsprocesser under inskolningen, Lena Sjöberg ”Same same, but different”: En genealogisk studie av den ’goda’ läraren’, den ’goda’ eleven och den ’goda’ skolan i svenska lärarutbildningsreformer 1940-2008, Ann-Louise Petersen Studieförbundens institutionella förutsättningar skapar möjligheter på utbildningsmarknaden 266 EDUCARE 2015:2 EDUCARE 2009:4. Lena Lang Förord: Att infånga praxis – kvalitativa metoder i (special)pedagogisk forskning i Norden, Dianne L. Ferguson Introduction: Honoring and celebrating diversity in educational research, Dora S. Bjárnason Walking on eggshells: Some ethical issues in research with people in vulnerable situations, Lena Lang & Lisbeth Ohlsson Ytterst berörd - sällan hörd: Att som forskare lyssna till berättelser, Susan Tetler & Kirsten Baltzer Læring i inkluderende klasserum: Når eleverne gives stemme, Lotta Andersson & Anna-Lena Tvingstedt Med fokus på samspel: Att använda video i specialpedagogisk forskning, Anne Morin Praksisforskning: På tværs af almen- og specialpædagogik, Inger Assarsson Att skapa mening i en skola för alla: Ett diskursanalytiskt förhållningssätt, Birgit Kirkebaek Efterord: Kontrol betyder ikke nødvendigvis kvalitet. EDUCARE 2009:2-3. Mångkontextuell barndom. Ingegerd Tallberg Broman Inledning, Pauline Stoltz Styrning, barndom och skola, Berit Wigerfelt En likvärdig skola? Tomas Peterson Barndomens reglering via skol- och föreningsidrott, Camilla Löf Livskunskap – en gränsöver skridande praktik i skolan Ingela Kolfjord Alternativ konflikthantering: Hur kamratmedling kan påverka elevers relationsskapande, AnnCarita Evaldsson Verbal mobbning och normerande praktiker i flickors relationsprat, Angerd Eilard Barndomsbilder i förändring i grundskolans läseböcker, Ann-Christine Vallberg Roth Styrning genom bedömning av barn, Ingegerd Tallberg Broman ”No Parent Left Behind”: Föräldradeltagande för inkludering och effektivitet, Mats Trondman Slutkommentar: Mångkontextuella och gränsöverskridande läroprocesser - Om barn som självreglerande och egenansvariga subjekt. EDUCARE 2009:1. Redaktör. Idrottsvetenskap: Kutte Jönsson Fysisk fostran och föraktet för svaghet: En kritisk analys av hälsodiskursens moraliska imperativ; Anna Fabri & Torun Mattsson Betydelsen av praktisk-personlig färdighet i idrottslärarutbildningen; Lars Lagergren & Jesper Fundberg Integration i förening: Kritiska reflektioner kring ett projekt; Susanna Hedenborg Till vad fostrar ridsporten? En studie av ridsportens utbildningar med utgångspunkt i begreppen tävlingsfostran, föreningsfostran och omvårdnadsfostran; Ingegerd Ericsson, Patrik Grahn & Erik Skärbäck Närmiljöns betydelse och hur den kan påverkas. EDUCARE 2015:2 267 EDUCARE 2008:3 CiCe/CLaD: Jens Qvortrup, Childhood and politics; Annika Månsson The construction of “the competent child” and early childhood care: Values education among the youngest children in a nursery school; Nanny Hartsmar & Maria Sandström, The right of all to inclusion in the learning process: Second language learners working in a technology workshop; Tomas Peterson, When the field of sport crosses the field of physical education; Alistair Ross, Human rights and education for citizenship, society and identity: Europe and its regions. EDUCARE 2008:2. Redaktör. Artiklar: Thomas Johansson Fostran till kulturentreprenörer, Ylva Wibaeus Historiedidaktik, Anders Jönsson & Gunilla Svingby Underlag till ramverk för en provbank i grundskolan. Malmö, Lärarutbildningen, 2008. EDUCARE 2008:1. Redaktör. Artiklar: Maj Asplund Carlsson & Johannes Lunneblad ”När han är arg är han turkisk”: Identitetsskapande i Lin Hallbergs kompisbokstrilogi; Jonas Aspelin och Sven Persson Lärares professionella/personliga utveckling; Ann-Marie Markström Förskolans utvecklingssamtal – ett komplex av aktiviteter i tid och rum. Malmö, Lärarutbildningen, 2008. EDUCARE 2007:2. Redaktör. Artiklar: Johan Söderman, Claes Ericsson & Göran Folkestad Traditionsbärare och fostrare – samtal om lärande med två amerikanska rappare; Lars Berglund, Lise-Lotte Malmgren, Bim Riddersporre & Ingrid Sandén Profession, forskning och praktik: 30 rektorers syn på specialpedagogisk professionalitet; Boel Westerberg ”Jag tar varken kristendom eller islam på allvar, jag går efter vad jag själv tycker”. Malmö, Lärarutbildningen, 2007. EDUCARE 2007:1. Redaktör. Artiklar - tema kreativitet: Lars Lindström Kan kreativitet läras ut? En bildpedagogisk översikt; Li Bennich-Björkman Universiteten, kreativiteten och politikens aningslöshet; Feiwel Kupferberg Läraruppdragets egenart och rollmodeller: Kreativitetsregimer i hybridmoderniteten. Malmö, Lärarutbildningen, 2007. 268 EDUCARE 2015:2 EDUCARE 2006:6. Redaktör. Rapport: Rune Jönsson & Bodil Liljefors Persson Religionskunskap i årskurs 9. Malmö, Lärarutbildningen, 2006. EDUCARE 2006:5. Redaktör. Rapport: Lars Berggren & Roger Johansson Historiekunskap i årskurs 9. Malmö, Lärarutbildningen, 2006. EDUCARE 2006:4. Redaktör. Rapport: Maja Lundahl, Anders Olsson & Inge-Marie Svensson Hållbar utveckling och geografi i årskurs 9. Malmö, Lärarutbildningen, 2006. http://dspace.mah.se/ bitstream/2043/3392/1/Geografirapport SG 12 dec.pdf EDUCARE 2006:3. Redaktör. Rapport: Anna Henningsson-Yousif & Haukur Viggósson Lärarstudenters bidrag i skolutvecklingen. Malmö, Lärarutbildningen, 2006. http://dspace.mah.se/bitstream/2043/3391/1/ partner9dec.pdf EDUCARE 2006:2. Redaktör. Artiklar: Ingegerd Tallberg Broman Att förändra den sociala ordningen; Eva Änggård Förskolebarns bildaktiviteter utamanar vuxenvärlden; Annelis Jönsson och Lena Rubinstein Reich Invandrade lärares arbetssituation och läraridentitet – efter fyra år som lärare i den svenska skolan. Malmö, Lärarutbildningen, 2006. http://www.mah.se/upload/LUT/ Publikationer/EDUCARE/artikelnummer 6 dec.pdf EDUCARE 2006:1. Redaktör. Artiklar: Anna-Lena Tvingstedt & Gunilla Preisler Children with Cochlear Implants in Different School Settings; Fredrik Lindstrand Gestaltning, konstruktion och meningsskapande i ungdomars arbete med film; Ingegerd Ericsson Koncentrationsförmåga ur ett relationellt perspektiv. Malmö, Lärarutbildningen, 2006. EDUCARE 2005:1. Redaktör. Rapport: Specialpedagogik i två skolkulturer. Lena Holmberg, Annelis Jönsson & Anna-Lena Tvingstedt. Malmö, Lärarutbildningen, 2005. EDUCARE 2015:2 269 270 EDUCARE 2015:2 EDUCARE EDUCARE – Vetenskapliga – Vetenskapliga skrifter skrifter är enärskriftserie en skriftserie som som ges ut ges vidutFakulteten vid Fakulteten för lärande för lärande och och samhälle, samhälle, vid Malmö vid Malmö högskola högskola sedan sedan hösten hösten 2005. 2005. Den speglar Den speglar den mångfald den mångfald av ämnen av ämnen och och forskningsinriktningar forskningsinriktningar som som finnsfinns inominom utbildningsvetenskap. utbildningsvetenskap. EDUCARE EDUCARE är också är också ett nationellt ett nationellt och nordiskt och nordiskt forum forum där nyare där nyare forskning, forskning, aktuella aktuella perspektiv perspektiv på utbildningsvetenskapens på utbildningsvetenskapens ämnen ämnen samtsamt utvecklingsarbeten utvecklingsarbeten med med ett teoretiskt ett teoretiskt fundament fundament ges plats. ges plats. EDUCARE EDUCARE vänder vänder sig tillsig till forskare, forskare, lärare lärare och studenter och studenter vid lärarutbildningar, vid lärarutbildningar, högskolor högskolor och universitet och universitet samtsamt alla alla intresserade intresserade inominom skola-skolaoch utbildningsväsende. och utbildningsväsende. ADRESS ADRESS EDUCARE EDUCARE -vetenskapliga -vetenskapliga skrifter, skrifter, Malmö Malmö högskola, högskola, 205 205 06 Malmö. 06 Malmö. www.mah.se/educare www.mah.se/educare ARTIKL ARTIKL AR AR EDUCARE EDUCARE välkomnar välkomnar originalmanus originalmanus på max på max 80008000 ord. Artiklarna ord. Artiklarna ska vara ska vara skrivna skrivna på något på något nordiskt nordiskt språkspråk eller eller engelska. engelska. Tidskriften Tidskriften är refereegranskad är refereegranskad vilketvilket innebär innebär att alla att inkomna alla inkomna manus manus granskas granskas av två avanonyma två anonyma sakkunniga. sakkunniga. Redaktionen Redaktionen förbehåller förbehåller sig rätten sig rätten att redigera att redigera texterna. texterna. Författarna Författarna ansvarar ansvarar för innehållet för innehållet i sinai artiklar. sina artiklar. För ytterligare För ytterligare information information se se författarinstruktioner författarinstruktioner på hemsidan på hemsidan www.mah.se/educare www.mah.se/educare eller eller vändvänd er direkt er direkt till redaktionen. till redaktionen. Artiklarna Artiklarna publiceras publiceras ävenäven elektroniskt elektroniskt i MUEP, i MUEP, Malmö Malmö University University Electronic Electronic Publishing, Publishing, www.mah.se/muep www.mah.se/muep REDAK REDAK TIONTION Johan Johan Söderman, Söderman, huvudredaktör huvudredaktör och Björn och Björn Sundmark, Sundmark, biträdande biträdande redaktör redaktör Redaktionsråd: Redaktionsråd: Cecilia Cecilia FermFerm Thorgersen, Thorgersen, Hector Hector Perez, Perez, Lisa Asp-Onsjö, Lisa Asp-Onsjö, Thomas Thomas Johansson, Johansson, Andreas Andreas FejesFejes och Anna-Carita och Anna-Carita Evaldsson. Evaldsson. COPYRIGHT: COPYRIGHT: Författarna Författarna och Malmö och Malmö högskola högskola EDUCARE EDUCARE 2015:2 2015:2 Kritiska Kritiska perspektiv perspektiv på bedömning på bedömning och dokumentation och dokumentation TitelnTiteln ingåringår i serien i serien EDUCARE, EDUCARE, publicerad publicerad vid vid Fakulteten Fakulteten för lärande för lärande och samhälle, och samhälle, Malmö Malmö högskola. högskola. GR AFISK GR AFISK FORM FORM TRYCK: TRYCK: Holmbergs Holmbergs AB, Malmö, AB, Malmö, 20152015 ISBNISBN : 978-91-7104-498-3 : 978-91-7104-498-3 ( tr yck) ( tr yck) ISBNISBN : 978-91-7104-499-0 : 978-91-7104-499-0 ( pdf)( pdf) ISSNISSN : 1653-1868 : 1653-1868 BESTÄLLNINGSADRESS BESTÄLLNINGSADRESS www.mah.se/muep www.mah.se/muep Holmbergs Holmbergs AB AB Box 25 Box 25 201 201 20 Malmö 20 Malmö TEL. 040-660 TEL. 040-660 66 60 66 60 FAX 040-660 FAX 040-660 66 70 66 70 EPOST EPOST : [email protected] : [email protected] LisaLisa Asp-Onsjö Lisa Asp-Onsjö Asp-Onsjö Challenges Challenges Challenges of of Assessment of Assessment Assessment in in Ethics in Ethics Ethics – Teachers’ – Teachers’ – Teachers’ reflections reflections reflections when when when assessing assessing assessing National National National Tests Tests Tests Christina Christina Christina Osbeck, Osbeck, Osbeck, Olof Olof Olof Franck, Franck, Franck, Annika Annika Annika LiljaLilja and Lilja and Annika and Annika Annika Lindskog Lindskog Lindskog E D U C A R E 2 0 15 : 2 E D U C A R E 2 0 15 : 2 E D U C A R E 2 0 15 : 2 Gästredaktören Gästredaktören Gästredaktören har har har ordet! ordet! ordet! Kritiska Kritiska Kritiska perspektiv perspektiv perspektiv påpå bedömning på bedömning bedömning och och och dokumentation dokumentation dokumentation 22 015 2015 015 : 2: 2 :2 DeDe nationella De nationella nationella proven proven proven i NO i NO i NO åkåk 6. åk 6. Skillnader 6. Skillnader Skillnader i resultat i resultat i resultat mellan mellan mellan olika olika olika grupper grupper grupper Frank Frank Frank Bach, Bach, Bach, Birgitta Birgitta Birgitta Frändberg, Frändberg, Frändberg, Mats Mats Mats Hagman, Hagman, Hagman, EvaEva West Eva West West ochoch Ann och Ann Zetterqvist Ann Zetterqvist Zetterqvist Professionalism Professionalism Professionalism in in action in action action – Music – Music – Music teachers teachers teachers onon an on an assessment an assessment assessment journey journey journey Johan Johan Johan Nyberg Nyberg Nyberg Kan Kan Kan dudu tage du tage tage pigen pigen pigen opop af op af kufferten? af kufferten? kufferten? EnEn analyse En analyse analyse af af sproglig af sproglig sproglig evaluering evaluering evaluering i daginstitutioner i daginstitutioner i daginstitutioner LarsLars Holm Lars Holm Holm Bedömning Bedömning Bedömning påpå systemnivå på systemnivå systemnivå - En - En -komparativ En komparativ komparativ studie studie studie avav stegsystemet av stegsystemet stegsystemet i språk i språk i språk i den i den i den svenska svenska svenska skolan skolan skolan och och och språknivåer språknivåer språknivåer i Europarådets i Europarådets i Europarådets Common Common Common European European European Framework Framework Framework of of Reference of Reference Reference forfor Languages for Languages Languages (CEFR) (CEFR) (CEFR) KRITISKA KRITISKA KRITISKAPERSPEKTIV PERSPEKTIV PERSPEKTIV PÅ PÅ PÅBEDÖMNING BEDÖMNING BEDÖMNINGOCH OCH OCH DOKUMENTATION DOKUMENTATION DOKUMENTATION Mats Mats Mats Oscarson Oscarson Oscarson Elevbedömning, Elevbedömning, Elevbedömning, motivation motivation motivation och och och uppförande. uppförande. uppförande. EnEn studie En studie studie avav skolvisa av skolvisa skolvisa skillnader skillnader skillnader i bedömning i bedömning i bedömning och och och diskrepans diskrepans diskrepans mellan mellan mellan vitsord vitsord vitsord och och och testresultat testresultat testresultat i årskurs i årskurs i årskurs 9 99 i finlandssvenska i finlandssvenska i finlandssvenska skolor skolor skolor Camilla Camilla Camilla Svens-Liavåg, Svens-Liavåg, Svens-Liavåg, Johan Johan Johan Korhonen Korhonen Korhonen ochoch Karin och Karin Karin Linnanmäki Linnanmäki Linnanmäki Sambedömning Sambedömning Sambedömning förför ökad för ökad ökad likvärdighet? likvärdighet? likvärdighet? PiaPia Thornberg Pia Thornberg Thornberg ochoch Anders och Anders Anders Jönsson Jönsson Jönsson Bedömnings-, Bedömnings-, Bedömnings-, dokumentationspraktiker dokumentationspraktiker dokumentationspraktiker och och och pedagogiska pedagogiska pedagogiska identiteter identiteter identiteter Ingela Ingela Ingela Andreasson, Andreasson, Andreasson, MajMaj Asplund Maj Asplund Asplund Carlsson Carlsson Carlsson ochoch Marianne och Marianne Marianne Dovemark Dovemark Dovemark IUP IUP IUP i Praktiken: i Praktiken: i Praktiken: EnEn skolreforms En skolreforms skolreforms formande formande formande i skärningspunkten i skärningspunkten i skärningspunkten mellan mellan mellan yttre yttre yttre styrning styrning styrning och och och professionell professionell professionell autonomi autonomi autonomi ÅsaÅsa Hirsh Åsa Hirsh Hirsh E DUC EEDUC DUC AA RAR EREE VE VE VE TE TTNS EENS NS KAP KAP KAP L IG LLIG IG AAA SKR SKR SKR I FI T FI FE TTR EERR Lärande Lärande Lärande ochoch samhälle, och samhälle, samhälle, Malmö Malmö Malmö högskola högskola högskola ISBN ISBN ISBN 978-91-7104-498-3 978-91-7104-498-3 978-91-7104-498-3 (tryckt) (tryckt) (tryckt) ISBN ISBN ISBN 978-91-7104-499-0 978-91-7104-499-0 978-91-7104-499-0 (pdf) (pdf) (pdf) 2015: 2015: 2015: 1 Kritiska 1 Kritiska 1 Kritiska perspektiv perspektiv perspektiv på på bedömning på bedömning bedömning ochoch dokumentation och dokumentation dokumentation E DUC EEDUC DUC AR AR AR E EE VE VE VE TE TTNSKAP EENSKAP NSKAP L IG LLIG IG AAA SKR SKR SKR I FI T FI FE TTR EERR
© Copyright 2024