Datoriserad examination i matematik
Natur, miljö, samhälle Examensarbete i fördjupningsämnet matematik 15 högskolepoäng, avancerad nivå Datoriserad examination i matematik Computerized examination in mathematics Nina Sveno Ämneslärarexamen med inriktning mot arbete i gymnasieskolan, kompletterande pedagogisk utbildning 90 högskolepoäng 2015-03-23 Examinator: Leif Karlsson Handledare: Handledare: SanelaAnge Mehanovic handledare Sammanfattning / Abstract För att ta reda på i vilket utsträckning digitala prov kan användas i ämnet matematik på gymnasiet har en studie gjorts, där fokus legat på ämnesplanens olika förmågor, vilka utmaningar som är förknippade med denna examinationsform samt hur det kan påverka elevernas motivation. Studien har en kvalitativ inriktning och består av en inledande dokumentanalys, implementation och genomförande av prov på dator, samt utvärdering av resultat. Genomförandet gjordes med en grupp elever på det naturvetenskapliga programmet, vilka fick lösa uppgifter digitaliserade från ett nationellt prov, och sedan fylla i en enkät som utvärdering. Tolkningen av resultaten var att examination av förmågorna begrepp, procedur och problemlösning var digitaliserbar i hög utsträckning, medan modellering och kommunikation var de mest problematiska. Vidare kunde några utmaningar fastställas och bland dessa var dels behovet av att minska tidsåtgången och dels att hitta ett lämpligt program som hanterar matematiska uttryck utan att vara för komplicerat, men även symbolhantering och grafritning generellt. I studien finns belägg för att digitaliserade prov i matematik kan ha positiva effekter på elevernas motivation. Nyckelord: Matematik, dator, gymnasium, examination, förmågor, MapleTA 2 Innehåll 1 Inledning.................................................................................................................... 4 Bakgrund ...................................................................................................................... 4 Elevernas perspektiv ..................................................................................................... 5 2 Frågeställning ............................................................................................................ 7 3 Litteraturgenomgång ................................................................................................. 8 Digitalisering av matematikprov .................................................................................. 8 Programvara.................................................................................................................. 9 Ämnesplan .................................................................................................................. 10 4 Metod ...................................................................................................................... 13 Dokumentanalys ......................................................................................................... 13 Implementationsfas ..................................................................................................... 13 Genomförande av testprov.......................................................................................... 14 Elevernas reflektioner ................................................................................................. 15 5 Resultat .................................................................................................................... 16 Analys av det nationella provet och förmågorna ........................................................ 16 Implementationens utmaningar .................................................................................. 17 Provtillfället ................................................................................................................ 19 Sammanställning av elevernas enkätsvar ................................................................... 22 6 Slutsats och diskussion ............................................................................................ 24 Förmågorna................................................................................................................. 24 Utmaningar ................................................................................................................. 24 Motivation .................................................................................................................. 26 Slutligen ...................................................................................................................... 26 7 Referenser................................................................................................................ 27 8 Bilagor ..................................................................................................................... 28 Bilaga 1: Uppgiftsexempel ......................................................................................... 28 Bilaga 2: Elevlösningar .............................................................................................. 28 3 1 Inledning I och med vår moderna digitaliserade värld har vi klivit in i en ny era, en era utan återvändo. Man kan se det som att den digitaliserade världen ställer nya krav på skola och undervisning, krav som för många är förknippade med stora svårigheter och ovilja, eller så kan man se det som att den skapar nya möjligheter. Självklart är detta också förknippat med nya utmaningar, som likt all annan oprövad mark kan upplevas skrämmande och oövervinnerlig tills den är kartlagd. Som före detta programmerare på väg att bli lärare blev jag genast intresserad av hur man kan utnyttja datorn i undervisningen, inte bara som ett lärverktyg i klassrummet utan även som examinationsform. Därför blev syftet med min studie att undersöka i vilken utsträckning datoriserade prov kan användas i matematik med avseende på den svenska läroplanen, samt kartlägga eventuella svårigheter. Min förhoppning var att kunna överbrygga det gap som verkar finnas mellan teknik och didaktik och därmed bidra till att lägga en grund för användande av datoriserade prov i matematik. Bakgrund På en studiedag som ägnades åt kvalitetsarbete på min partnerskola ProCivitas Privata Gymnasium i Malmö kom det fram att det fanns stora behov av att frigöra tid hos lärarna. Dels för att i större utsträckning kunna applicera ett formativt arbetssätt och dels för att kunna samarbeta mer med andra lärare. En av de aktiviteter som upplevdes stjäla mest tid var rättningsarbete - vilket blir extra tydligt på en skola med stora klasser. Hur kan då rättningsarbetet minskas? Kan datoriserade och i viss mån självrättande prov frigöra tid för läraren, eller är det förknippat med för många praktiska svårigheter i ämnet matematik och därmed för stor tröskel att komma över för att kunna få glädje av de positiva aspekterna? Det känns inte orimligt att förutsätta att de olika förmågorna som är kopplade till matematik i ämnesplanen lämpar sig olika väl för att testas digitalt. Exempelvis kan man tänka sig att den förmåga som handlar om att förstå matematiska begrepp även lämpar sig väl för att utföras digitalt, medan matematisk kommunikation kan upplevas problematisk eftersom den kännetecknas av så mycket mer än bara skriven text. 4 Denna examinationsform ligger i allra högsta grad i linje med den digitala värld vi lever i idag. Digitala hjälpmedel anges även i läroplanen samt ämnesplanen för matematik som något som eleverna ska utveckla sin förmåga inom (Skolverket 2011a). Det kan dock knappast ses som kontroversiellt att hävda att det finns en stark utbildningstradition och ovilja till förändring förknippat med just ämnet matematik. Visserligen har flera matematiklärare på min partnerskola uttryckt ett intresse att testa datorprov då skolan köpt in programvara som testats i andra ämnen. Men den allmänna uppfattningen verkar vara att datoriserade prov i matematik innebär för stora problem och att tiden aldrig räcker till för att sätta sig in i problematiken. Av den anledningen är ett av målen i denna studie att reda ut eventuella svårigheter och utmaningar som är förknippade med denna examinationsform. På så vis kan förhoppningsvis uppfattningen av digitala hjälpmedel gå från att vara något diffust och svårt till något mer konkret och greppbart. Elevernas perspektiv Vilken påverkan kan digitaliserade prov ha på eleverna? Den förhoppning jag hade var att det skulle upplevas som roligare än ett traditionellt prov och att det därmed skulle kunna bidra till att öka elevernas motivation. Men det skulle också kunna innebära en viss risk att gynna vissa elever mer än andra om man ser till elevers olika så kallade tekniska kapital, det vill säga vilken vana de har att använda tekniska hjälpmedel (Samuelsson 2014). Flera elever på partnerskolan har uttryckt en önskan och en trygghet i att använda dator på lektioner, jämfört med papper och penna. Dessa elever är sannolikt hjälpta av datorn även på prov. Däremot har det framkommit, främst på datorlaborationer, att några elever förknippar digitala verktyg med obehag och därmed undviker de både datorer och grafritande räknare i möjligaste mån. Det känns troligt att ovana är en av de största bakomliggande orsakerna till det upplevda obehaget och därför kan det vara viktigt att uppmärksamma detta så att eleverna i fråga får möjlighet att bättre bekanta sig med verktygen. Om nya digitala prov kan skapas förhållandevis enkelt och om rättningsbördan kan minskas jämfört med traditionella prov så finns också möjligheten att genomföra prov oftare. Detta kan leda till en avdramatisering av själva provtillfället och även större möjligheter för elever i behov av omprov. Jag har även blivit varse att det just nu pågår en undersökning om hur nationella prov kan digitaliseras. Därmed bör det vara extra 5 intressant att införa digitala prov som en del av den ordinarie examinationen, så att elever ges möjligheten att bekanta sig med denna examinationsform innan det nationella provet. 6 2 Frågeställning Det studien främst är tänkt att besvara är om det överhuvudtaget är genomförbart att införa digitaliserade prov i ämnet matematik, med tanke på de praktiska svårigheter som finns förknippade med ämnet. Kan man åstadkomma ett digitalt prov som medger bedömning utifrån centralt innehåll och kunskapskrav och som även testar av alla olika förmågor? Utöver detta ville jag också få en bild av konsekvenserna ur ett elevperspektiv och för att hålla denna studie inom ramarna för examensarbetet har jag begränsat mig till att undersöka påverkan på motivationen. Totalt mynnade detta ut i tre konkreta frågeställningar: Hur väl lämpar sig datoriserad examinering för de olika förmågorna i ämnesplanen i matematik? Vilka utmaningar är förknippade med datorexamination i matematik? Vilken påverkan kan datorexamination i matematik ha på elevernas motivation? Här kan den första frågeställningen identifieras som specifik för den svenska läroplanen, medan de två sista syftar till ett mer generellt perspektiv. 7 3 Litteraturgenomgång Digitalisering av matematikprov I en forskningsartikel som undersöker effekterna av en övergång till digitala prov i matematik (Threlfall et al 2007) har man analyserat vilken examinationsform som bäst möjliggör en önskvärd bedömning, samt vilken som ger den bästa prestationen hos eleverna. En central aspekt i artikeln är vilka särskilda möjligheter för eleven som är förknippade med prov på dator och vilka som är förknippade med papper och penna. De menar att det krävs ett noggrant övervägande för varje unik uppgift, både huruvida en digitalisering av uppgiften kan medföra en förändring av uppgiftens svårighetsgrad, men även att vi ställer oss frågan vad det faktiskt är vi vill att uppgiften ska testa. "It requires clarity in what is wanted from assessment - What behaviours are valued? Which approaches are legitimate? With these questions clarified, the analysis can proceed to suggest whether a computer-based assessment item is more or less likely to assess the mathematics fairly, compared to its paper-based (Threlfall et al 2007, s 347) equivalent." Det kan dock sägas att de exempel på digitaliserade uppgifter som Threlfall et al tar upp i sin studie, där man funnit att elevernas resultat skiljt sig anmärkningsvärt från de som använt penna/papper, inte var helt överensstämmande med dess ordinarie motsvarighet. Framförallt verkar många uppgifter på datorn ha inneburit större möjligheter för elever som behövt pröva sig fram, vilket inte pappersformatet tillät i samma utsträckning. Ett exempel var hur fem kort med olika siffror skulle placeras på rätt ställe i en additionsuppställning för att generera en viss summa. I datorversionen kunde varje sådant sifferkort dras ner till olika positioner och på så sätt kunde eleven testa olika uppställningar och ändå alltid använda rätt uppsättning siffror. I pappersversionen däremot var risken för felskrivningar större då eleven var fri att skriva vad som helst. Digitaliseringen av uppgifter i detta examensarbete har dock utförts med detta i åtanke och därför har målsättningen varit att uppgifterna inte ska skilja sig från de ordinarie. En kunskapsöversikt från skolverket redogör för upptäckter i samband med pilotprojekt som gjorts med datorbaserade prov (Skolverket 2010). Denna kunskapsöversikt innehöll en del intressanta uppslag, även om pilotprojekten i matematik var genomförda i årskurs 3 och 6 och därmed inte helt applicerbara på gymnasienivå. En av de saker som testats 8 och utvärderats är användning av adaptiva prov, vilket är prov som rättar elevens svar omedelbart och anpassar följande uppgifters svårighetsgrad efter tidigare resultat. Detta sammanfattas bland annat genom följande slutsatser (där linjära prov syftar till vanliga, icke-adaptiva prov): "Datorbaserade adaptiva prov kräver datorrättning, vilket innebär begränsningar i hur frågor kan ställas och besvaras. Detta kommer att begränsa möjligheterna att pröva alla mål och kunskapskvaliteter som beskrivs i kursplaner och andra styrdokument." ... " Samtidigt innebär linjära datorbaserade prov som även ska kunna användas för formativa syften att det behövs en lång provtid" (Skolverket 2010, s110-111) Det faktum att självrättande prov skulle begränsa möjligheterna till vad som kan testas av är en mycket viktig aspekt och därmed kommer denna studie i första hand att inte inrikta sig på adaptiva eller självrättande prov. Vidare menar de alltså att icke-adaptiva prov skulle kräva en lång provtid och detta var något som även skulle visa sig i denna studie. Programvara För programmet Maple TA (TA står för Testing and Assesment), den mjukvaruplattform som valts för studien och som motiveras under metodbeskrivningen, har den brittiska professorn I.S. Jones i en forskningsartikel samlat sina erfarenheter av att skapa frågor till ingenjörsstudenter (Jones 2007). Utöver själva utformningen av frågor redogör han dels för olika svårigheter förknippade med implementationen och dels för mottagandet hos studenterna. Även om artikeln baserar sig på erfarenheter gjorda på universitetsnivå är lärdomarna i allra högsta grad applicerbara även på gymnasiet. Bland de positiva aspekter som Jones tillskriver programmet är följande kommentar värd att nämna: "It is simple to use in its basic mode for staff who do not want to explore its more (Jones 2007, s 342) sophisticated types of questions." Jones tar upp flera av de svårigheter som ofta förknippas med matematik via dator och en av dessa svårigheter är hanteringen av matematiska uttryck. Det kanske mest uppenbara här är själva inmatningen av speciella symboler, uppställningar och liknande. 9 Men även det faktum att eleverna inte alltid matar in svaren på det sätt som MapleTA förväntar sig. "Initially, some students experience frustration in using MapleTA because of the necessity for precision as required in any situation in dealing with computers. The student’s answer to the question may be mathematically correct, but he/she is disheartened when the answer is marked as incorrect because of an incorrect (Jones 2007, s 347) submission." Den reflektion jag själv gör här är att vissa uppgifter hur som helst måste kontrolleras av läraren, samt att det mest naturliga helt enkelt vore att inaktivera den inställning som gör att eleven omedelbart delges rättningen. Detta stämmer även överens med vad som sagts ovan relaterat till Skolverkets kunskapsöversikt. Vidare kan man dock tänka sig att även den manuella tolkningen som läraren gör av elevens inmatade uttryck kan bli problematisk och att det ibland kan bli svårt att skilja ett matematiskt misstag från ett typografiskt dito. Det Jones däremot inte tar upp är redovisning av lösningar, resonemang och skisser. Han betonar visserligen problematiken att enbart bedöma elevens svar, men väljer istället att dela upp frågorna i delmoment och därigenom möjliggöra delpoäng till eleven. Ämnesplan Kunskapsöversikten från skolverket som nämns ovan (Skolverket 2010) var gjord innan läroplanen 2011 och tog därmed inte upp något angående förmågor. Just förmågorna verkar vara förknippade med en viss tolkningsproblematik, både hos lärare och elever. För att kunna gå vidare i studien upplevde jag ett behov av ökad inblick i de olika förmågornas betydelser. Här visade sig Skolverkets kompletterande material Om ämnet Matematik vara en välkommen hjälp (Skolverket 2011b). Nedan följer en redogörelse för betydelsen av de olika förmågorna, vilket är en sammanfattning som jag sammanställt utifrån Skolverkets beskrivning. Begreppsförmåga. Att beskriva innebörden av ett begrepp och samband mellan begrepp innefattar att kunna redogöra för definitioner, egenskaper och relationer hos begrepp och samband mellan begrepp. Begreppsförmåga innebär att kunna använda 10 begrepp och veta varför begreppen är viktiga, i vilka situationer de är användbara och hur olika representationer kan vara användbara för olika syften. Procedurförmåga. Procedurförmåga innebär att tillämpa olika matematiska procedurer, rutiner så att säkerhet, precision och effektivitet stärks efterhand. Häri ingår att kunna lösa uppgifter av standardkaraktär, som även kan benämnas som rutinuppgifter, men också hantering av digitala verktyg samt att kunna välja en lämplig procedur. Problemlösningsförmåga. Ett problem är en uppgift som inte är av standardkaraktär och kan lösas på rutin. Det innebär att varje frågeställning där det inte på förhand för eleven finns en känd lösningsmetod kan ses som ett problem. Problemlösningsförmåga innebär att kunna analysera och tolka problem vilket inkluderar ett medvetet användande av problemlösningsstrategier som att till exempel förenkla problemet, införa lämpliga beteckningar, ändra förutsättningarna. Att lösa problemet innebär att genomföra ett resonemang där grunderna för resultatets giltighet blir tydligt och resultatet korrekt. Det ingår att värdera både resonemanget och resultatet. Modelleringsförmåga. Modelleringsförmåga innebär att kunna formulera en matematisk beskrivning – modell – utifrån en realistisk situation. Det handlar om att själv utforma en koppling i form av en modell snarare än att använda färdigformulerade modeller. När modellen är färdig innebär modelleringsförmåga att kunna använda modellens egenskaper för att till exempel lösa ett matematiskt problem eller en standarduppgift. Modelleringsförmågan innebär också att kunna tolka resultatets relation till den verklighetssituation man hade från början. Resonemangsförmåga. Resonemangsförmågan innebär att kunna föra matematiska resonemang som involverar matematikens begrepp och metoder samt utgör lösningar på problem och modelleringssituationer. Det innefattar även att kunna formulera och allmänt undersöka hypoteser samt genomföra bevis i tal och skrift. Detta inkluderar att uppmärksamma betydelsen av och kunna redogöra för de bärande idéerna i ett matematiskt bevis och inse skillnader mellan gissningar och välgrundade påståenden. Kommunikationsförmåga. Kommunikationsförmåga är inte bara att kunna kommunicera med hjälp av termer, symboler, tabeller, grafer utan även med hjälp av 11 ord, bilder, ritningar, gestaltningar och modeller och att anpassa sin kommunikation till sammanhanget. Relevansförmåga. Relevansförmåga innebär att kunna sätta in matematiken i ett större sammanhang. Relevansförmågan kan till exempel utvecklas i arbete med matematiska problem som har betydelse för privatekonomi, samhällsliv, tillämpning i andra ämnen och då inte minst i karaktärsämnena. 12 4 Metod Initialt låg det nära till hands att anta att frågeställningen bäst skulle kunna besvaras genom att använda olika former av tolkande analysmetoder och därmed kan studien sägas ha en kvalitativ inriktning. Huvudmetoden bestod av en experimentstudie som av praktiska skäl utfördes på min partnerskola, men det visade sig att även de utredningar som låg till grund för experimentstudien kunde i sig mynna ut i en hel del givande tolkningar. Dokumentanalys För att svara på frågan om hur väl datoriserade prov lämpar sig för de olika förmågorna, samt i viss utsträckning även frågan om utmaningar, så genomfördes i ett första skede en dokumentanalys. Målet med denna var att få djupare inblick i dels ämnesplanen, som är grunden till vilka krav som bör ställas på en lämplig examination, och dels att göra en teknisk kartläggning med utvärdering av befintlig programvara samt konsultation av tidigare forskning. Implementationsfas Nästa fas var implementationen av det testprov som sedan skulle genomföras som experimentstudie på en grupp elever. Om dokumentanalysen främst adresserade frågeställningen om förmågor, så var tanken med denna fas framförallt att kunna generera fler och bättre förankrade svar på frågan om vilka utmaningar som är förknippade med denna typ av examination. Min avsikt var att utgå ifrån ett gammalt nationellt prov och sedan digitalisera detta i något befintligt datorprogram. Genom att använda ett nationellt prov minimeras osäkerheten i huruvida uppgifterna svarar väl mot ämnesplanen och dessutom är de olika förmågorna tydligt specificerade. Det var också här det visade sig att själva genomgången och analysen av det nationella provet i sig kunde bidra till värdefulla tolkningar om hur de olika förmågorna lämpar sig för digitalisering. Här ska också nämnas att jag valt att helt bortse från förmågan relevans då denna inte finns representerad i de nationella proven. Valet av datorprogram föll på Maple TA, ett webbaserat gränssnitt för att skapa prov och läxor i matematik med kalkylprogrammet Maple i grunden. Anledningen till detta var framförallt dess många funktioner, de positiva aspekter som Jones framhäver i sin 13 artikel (Jones 2007), samt att licenser till programmet redan fanns på skolan. Implementationsfasen visade sig oerhört tidskrävande - framförallt för att sätta sig in i programvaran, vilken var allt annat än användarvänlig. Jag är övertygad om att mer användarvänliga program finns att tillgå på marknaden, men problemet är att hitta program som stödjer matematiska uttryck och beräkningar. För att koppla tillbaka till de resonemang som Jones lägger fram angående konstruktionen av frågor i Maple TA så hamnar detta i direkt kontradiktion till möjligheten att använda ett befintligt nationellt prov, eftersom Jones lösning till att inte enbart bedöma elevens svar på en uppgift är att dela in uppgiften i delmoment. Detta låter sig inte göras utan en alltför stor risk att förändra de befintliga uppgifternas karaktär så pass mycket att de inte längre skulle vara jämförbara med originaluppgifterna. Därmed skulle poängen med att använda de nationella provuppgifterna ha gått förlorad. Genomförande av testprov Själva genomförandet av testprovet innebar en del överväganden. En fråga som föreföll relevant var ifall eleverna i testgruppen, om de inte hade något att vinna på genomförandet, skulle vara tillräckligt engagerade för att testprovet skulle kunna liknas vid ett vanligt prov. Denna oro ledde till att jag tillsammans med min handledare på partnerskolan beslutade att testprovet skulle erbjudas några elever som en möjlighet till betygskomplettering för en kurs som precis höll på att avslutas. Förhoppningen var att maximera engagemanget för testprovet då det fanns ett eget intresse för eleverna att lyckas bra. Detta ledde emellertid till att fler och mer noggranna förberedelser blev nödvändiga, för att inte tekniken skulle hindra eleverna att prestera efter bästa förmåga. Eleverna förbereddes därför dels med en genomgång av programmet Maple TA, där de själva fick testa att använda programmet, samt genom ett mindre förtest som de i lugn och ro kunde logga in och göra hemifrån för att bekanta sig med systemet. På grund av de problem med inmatning av matematiska uttryck som Jones erfarit, valde jag att ge eleverna extra vägledning i detta samt en manual där jag samlat de för dem mest användbara inmatningstipsen. Väl under genomförandet av själva provet fick eleverna även viss teknisk assistans. De hade kladdpapper och kunde på så vis välja att lösa uppgiften på vanligt sätt först, innan den skrevs in på datorn. De uppmanades även att lämna in lösning både på papper och via datorn i händelse att en uppgift upplevdes omöjlig att redovisa digitalt på ett tillfredsställande sätt. 14 Den aktuella elevgruppen bestod av 11 elever på det naturvetenskapliga programmet som fick möjlighet att utföra betygskompletteringar i slutet av kursen matematik 4. Sju elever skulle komplettera för betyget A och fyra för betyget B, och den kvalitativa bedömningen av elevgruppen var att samtliga kan beskrivas ha en stark studiemotivation. När resultatet av provet sedan utvärderades så fanns samtliga av elevernas tidigare prov från den aktuella kursen till förfogande. Därmed kunde en kvalitativ jämförande analys göras, exempelvis för att göra tolkningar av lämpligheten för digitalisering av de olika förmågorna. Elevernas reflektioner Efter provtillfället inhämtades sedan värdefull information genom en enkät som eleverna fick fylla i. Enkäten inriktade sig både på konkreta reflektioner kring praktiska lösningar, men även mjuka värden som attityder och upplevd stressnivå. På så vis berördes även frågeställningen om påverkan på elevernas motivation. Enkätfrågor: 1. Hur var det att skriva prov på dator istället för på papper? (Kul? Stressigt? Svårt? Krångligt? Enklare än jag trott?) 2. Hur gick det att läsa uppgifterna från skärmen? 3. Hur gick det att skriva in lösningar? 4. Använde du Equation Editor för att skriva in matematiska uttryck och hur gick det i så fall? Om inte, varför? 5. Provade du Geogebra för att klippa in en plot av en graf och hur gick det i så fall? 6. Var det någon särskild uppgift som var mer problematisk än övriga att hantera på datorn? 7. Var det något som du tyckte blev bättre eller enklare med datorn? 8. Något som blev svårare? 9. Vad tycker du om att använda dator i andra sammanhang, t ex vid annat skolarbete eller på fritiden? 15 5 Resultat Analys av det nationella provet och förmågorna Det nationella provets bedömningsanvisningar var en mycket bra källa till att ge inblick i bedömningen av de olika förmågorna, för att i sin tur kunna analyseras kvalitativt med avseende på möjligheten till digitalisering. Bedömningsanvisningarna innehöll dels en fullständig kartläggning av vilka uppgifter som svarade mot vilka förmågor, men också en ingående redogörelse för bedömning av skriftlig kommunikativ förmåga. Som komplement fanns också konkreta exempel på elevlösningar, vilka också kunde ge en direkt fingervisning om möjligheten till digitalisering. En omedelbar reflektion som gjordes vid analysen av det nationella provet var att merparten av uppgifterna var utformade så att en mer eller mindre komplex lösning krävdes av eleven. Eftersom inmatning av lösningar på dator kan vara problematisk så fann jag det extra intressant att undersöka den del av provet där endast svar krävdes. Genom att se vilka förmågor som var kopplade till denna delen av provet, borde också slutsatser kunna dras om dessa förmågors lämplighet för digitalisering. Förmågorna som fanns med i provdelen med bara svar var begrepp, procedur och problemlösning. Därmed blev min hypotes att dessa förmågor lämpar sig bättre för digitalisering än övriga förmågor. Vidare inom området förmågor så jobbade jag tidigt efter ansatsen att kommunikationsförmåga är en av de mest problematiska att överföra till datorn. Detta för att kommunikationen ska ske med ett matematiskt språk, vilket ofta innefattar symboler, grafer och andra skisser (se beskrivning av de olika förmågorna i avsnittet Ämnesplan under kapitel 3). Med andra ord exempel på inmatningar och strukturer som även ett avancerat kalkylprogram kan ha svårt att hantera. Den beskrivning som ges i det nationella provets bedömningsanvisningar stärker denna ansats, då den bland annat tar upp symboler och figurer, men även vikten av att lösningen ska vara lätt att följa och förstå. Att lösningar gjorda på datorn ofta blir svårare att följa än motsvarande lösning på papper är ett av resultaten nedan, från genomförandet av testprovet. 16 Distribuering av förmågor på det nationella provet Implementationens utmaningar Som tidigare nämnts var implementationen av det nationella provets uppgifter i programmet Maple TA mycket tidskrävande då tröskeln för att komma igång var hög att ta sig över. Både själva strukturen i programmet - hur användaren hittar de olika funktionerna - samt skapandet av uppgifter var komplicerat. Den tolkning jag gör är att Maple TA inte är gjort med användbarhet i åtanke och inte heller enkelhet och tydlighet för att passa gymnasiet och dess lärare. Programmet är däremot väldigt kraftfullt med sina många avancerade funktioner, men för detta användningsområde är det förmodligen en nackdel snarare än en fördel, eftersom det kräver att användaren är väldigt insatt. Med andra ord håller jag inte alls med Jones i hans beskrivning av Maple TA som ett enkelt program för de som inte önskar använda de mer avancerade funktionerna (Jones 2007, s 342). 17 För övrigt skulle flera av de utmaningar som stöttes på under uppgiftskonstruktionen även komma att bli aktuella för eleverna under provtillfället. En sådan utmaning var att lista ut hur symbolinmatningen kunde ske på ett effektivt sätt. De problem som Jones tar upp angående matematiska uttryck stötte även jag på och eftersom det utgör en viktig del i användningen av digitala prov i matematik valde jag att lägga lite extra energi här. I Maple TA hanteras inmatning av specialsymboler genom applikationen Equation Editor. Equation Editor Denna applikation var tyvärr både ganska "buggig" och svårnavigerad och den bedömning jag gjorde var att eleverna inte skulle vara hjälpta av den såvida inte viss vägledning gavs. Visserligen fanns det stöd för att anpassa applikationen efter egna behov, men detta visade sig endast användbart för en viss typ av frågor och inte applicerbart på uppgifterna från det nationella provet. Därför valde jag att gå igenom Equation Editor och identifiera användbara symboler, vilket mynnade ut i en manual med inmatningstips som eleverna sedan hade tillgång till under provtillfället. En annan utmaning som jag stötte på under konstruktionen av uppgifterna, men som jag bedömde vara ännu viktigare vid elevernas lösningsinmatning var att rita grafer. Tanken från början var att använda ritverktyget i Maple TA, men detta fungerade tyvärr inte. För uppgiftskonstruktören är det fullt möjligt, om än kanske lite krångligt, att använda något annat ritverktyg och i lugn och ro klippa och klistra in grafer och andra bilder i 18 uppgifterna. Detta skiljer sig förmodligen inte nämnvärt från de tillvägagångssätt som används för ett utskrivet uppgiftsblad. Skulle eleverna också kunna överföra ritandet av grafer från papper och penna till dator på ett liknande sätt, genom att exempelvis använda det fria plotverktyget Geogebra? Jag arbetade vidare utefter denna hypotes då inga andra idéer, genomförbara inom ramen för denna studie, verkade ge ett tillräckligt bra resultat. Detta trots att metoden hade en stor brist och det var hur man skulle hantera uppgifter som kräver en lösning med graf men där digitala hjälpmedel inte är tillåtna. Lösning med infogad graf från Geogebra I bilaga 1 ges exempel på implementerade uppgifter, samt deras ursprungsutseende från pappersversionen. Provtillfället Provtillfället syftar både till att utvärdera det framtagna datorprovet, alltså att få ett kvitto på att de implementerade uppgifterna är genomförbara och fungerar som det är tänkt, men kanske ännu viktigare till att ge inblick i elevernas synpunkter och motivation. 19 Trots att eleverna påtalade att de var mer stressade än vanligt inför denna nya examinationsform flöt själva provtillfället på utan större missöden. Mest anmärkningsvärt var att provet tog oväntat lång tid, samt att eleverna loggades ut ur programmet vid för lång tid av inaktivitet. Vad det gäller provtiden hade jag väntat mig att den skulle behöva vara längre än normalt, då detta nämns i Skolverkets kunskapsöversikt (Skolverket 2010, s 110). Men att vissa elever skulle behöva tre gånger längre tid än normalt, vilket uppskattningsvis var fallet, var ändå helt klart oväntat. Detta kan dock ha påverkats av att jag hade utlovat att provet skulle göras utan tidsbegränsning, då tidsåtgången var en osäker faktor. Det händer förstås lätt att elever blir sittande länge med vissa uppgifter när ingen tidsbegränsning tvingar dem att skynda på, vilket gör att det blir svårt att avgöra om tidsåtgången var problem med tekniken eller problem med matematiken. Men jag ansåg det viktigt för studien att alla hann med att åtminstone försöka lösa alla uppgifterna de tilldelats och eftersom gruppen bestod av högpresterande elever med god motivation var det rimligt att anta att inga uppgifter skulle lämnas därhän. En källa till frustration hos eleverna var att programmet automatiskt loggade ut användaren efter en viss tid av inaktivitet, vilket jag inte själv hade vetskap om förrän det inträffade under provet. När eleven loggades ut så sparades ändå de uppgifter som denne hade besvarat tidigare, dock inte för den som höll på mitt i en lösning och inte aktivt hade sparat denna genom att exempelvis navigera mellan olika uppgifter. Detta blev helt klart en extra stress för eleverna, då de kontinuerligt fick hålla sig aktiva för att inte råka bli utloggade och behöva göra om uppgiften. Efter provtillfället, då jag läst igenom elevernas svar samt de lösa kladdpapper de lämnat in, noterade jag en intressant inverkan som inskrivningen på dator verkade ha. Lösningarna på datorn var förhållandevis avskalade, både i jämförelse med vad som stod att finna på motsvarande lösblad och i jämförelse med hur elevernas lösningar vanligen är uppbyggda. Min uppfattning var att eleverna funnit det nödvändigt att verkligen tänka igenom vad som är relevant för att lösningen ska vara fullständig, men inte innehålla något ovidkommande i onödan. Förmodligen på grund av att eleverna inte ville skriva in för mycket på dator - både av bekvämlighet och svårighet. Detta hade enligt min mening en positiv effekt, då elever ofta lämnar in lösningar med mycket onödigheter för att förse sig med både livrem och hängslen. 20 För att koppla tillbaka till förmågorna har en kvalitativ analys av elevernas lösningar utförts, delvis med hjälp av jämförelser med elevernas tidigare individuella prestationer i kursen. Här noterade jag att de uppgifter som riktade in sig på elevens kommunikativa förmåga i enighet med tidigare resonemang var de mest problematiska uppgifterna. Även elever som tidigare visat på god kommunikativ förmåga hade svårt att få till det matematiska språket på det sätt som krävdes för att erhålla poäng enligt det nationella provets bedömningsanvisningar, och då framförallt när det gäller att lösningarna ska vara lätta att följa. Ett exempel på elevlösning av en uppgift där den kommunikativa förmågan bedöms ges i bilaga 2, exempel 2. Eleven hade här lämnat in både datorlösning och papperslösning, vilket möjliggör en direkt jämförelse. Den bedömning jag gör är att datorlösningen innehåller de väsentliga delar som gör lösningen komplett, men har en sämre kvalitet än papperslösningen när det kommer till kommunikationen. Det jag främst syftar på är datorlösningens avsaknad av den informativa bilden som finns i papperslösningen, men även att eleven i datorlösningen väljer att skriva ut matematiska symboler så som "delta-Y" och "pi", vilket blir svårt att följa. Vidare upplevde jag att de uppgifter där modellering var centralt också var svåra för eleverna att redovisa på ett lämpligt sätt, vilket enklast kunde avgöras med hjälp av jämförelser med de kladdpapper som också lämnades in i samband med provet. Resonemangsförmågan däremot fungerade förhållandevis bra både att redovisa och bedöma digitalt, även om uppgifterna lämpade sig dåligt för självrättning. Som tidigare nämnts så fanns resterande förmågor, alltså begrepp, procedur och problemlösning, representerade bland de frågor som endast krävde svar, men även i viss utsträckning bland övriga frågor. I min analys har jag inte kunnat hitta något som talar emot den hypotes som gjordes under analysen av det nationella provet, det vill säga att dessa förmågorna skulle vara de mest lämpade för digitalisering. Se även bilaga 2, exempel 1, som är en uppgift klassificerad med förmågan problemlösning och där endast svar krävs. Där framgår att programmet tolkar elevens matematiska uttryck korrekt trots att det inte är inskrivet exakt som det rätta svaret. Därmed lyckas alltså självrättningen för den aktuella uppgiften. I övrigt kan nämnas att jag inte hade några större problem att skilja elevers matematiska misstag från typografiska, vilket annars var en farhåga utifrån vad Jones erfarit (Jones 2007), främst då det framgick av sammanhanget vad eleven avsåg skriva. 21 Sammanställning av elevernas enkätsvar Tekniskt kapital och mjuka värden. Nästan alla elever angav att de var vana datoranvändare som inte drar sig för att använda datorn varken till skoluppgifter eller på fritiden. Endast två elever sade sig utnyttja datorn lite mindre, men ingen beskrev sig som ovan eller ovillig användare. Eleverna hade en anmärkningsvärt positiv attityd trots en del tekniskt strul. Många hade stressat upp sig innan, men upplevde att det gick bättre än väntat. Flera poängterar att de mot förmodan inte upplevde provet stressigt och några skriver att det var roligt att prova något nytt och få lite omväxling från de vanliga traditionella examinationsformerna. Endast en elev uppgav sig föredra prov på papper framför dator. Tidsåtgång. Något som nästan alla tar upp är att det datoriserade provet tog längre tid än att skriva för hand. En av anledningarna var att flera upplevde krångel med symbolinmatningsapplikationen Equation Editor. Många skriver att mycket nog beror på ovana och att både tidsåtgång, stress och andra problem delvis skulle kunna avhjälpas om man tidigt hade fått vänja sig vid denna examinationsform. Flera poängterar att det blir en del dubbelarbete med både kladdpapper och dator och att detta är en stor tidstjuv, men att dubbelarbetet i gengäld bidrar till en bättre medvetenhet om uppgifterna. Flera elever skriver att det trots dubbelarbetet är viktigt att man alltid får ha kladdpapper tillhands. Kommentarer kring tekniken. En del säger att det är enklare att få en helhetsbild av sin lösning och att det blir en bra struktur i texteditorn. Några använder orden "renare" och "stilrent". Angående själva inmatningen så upplevde flera elever att ren text gick snabbare att skriva på datorn än för hand, medan uträkningar tog längre tid och var krångligare. Som tidigare nämnts hade många elever problem med Equation Editor, men några anger att det inte gjorde något eftersom det vanliga tangentbordet var tillräckligt. En elev föreslår en så kallad drawpad för att ge förbättrade möjligheter till symbol- och figurinmatning. Flera tar upp problematiken med att skissa figurer och grafer. Ett exempel var problem att rita teckenschema som används flitigt inom området differentialkalkyl. Endast en elev provade att använda ett plotverktyg (dock inte Geogebra) och klippte in grafer i sin lösning, detta med tillfredsställande resultat. En annan positiv kommentar som kom från en elev med dyslexi var att allt fokus låg på en 22 enda uppgift, eftersom programmet bara visade en uppgift åt gången och att man därför inte blev distraherad av alla andra uppgifter. 23 6 Slutsats och diskussion I studien har både en del hypoteser som lagts fram från början kunnat bekräftas, exempelvis att kommunikation kan anses vara en av de förmågor som är svårast att digitalisera, men även flera oväntade upptäckter har gjorts. Då tänker jag dels på svårigheten att hitta ett lämpligt datorprogram, men även problematiken kring tidsåtgången. Förmågorna Vilka slutsatser kan vi då dra om möjligheten till digitalisering av de olika förmågorna? Jag vill påstå att förmågorna begrepp, procedur och även problemlösning kan examineras på dator utan större svårigheter. Detta eftersom förmågorna finns representerade i den del av det nationella provet där endast svar efterfrågas, samt att inget under varken implementationsfasen eller genomförandet av provet i denna studie har kunnat påvisa motsatsen. Vidare är min tolkning att även om resonemang inte lämpar sig särskilt väl för självrättning, så kan denna förmåga ändå anses enklare att utföra på dator än förmågorna kommunikation och modellering eftersom den inte nödvändigtvis kräver matematiska uttryck. Kommunikation däremot kräver både symbolinmatning och en lösning som är lätt att följa, vilket visat sig problematiskt i undersökningen. Tittar vi på modellering så är det även här svårt att komma runt behovet av symbolinmatning, och förekomsten av uträkningar ställer också till det då detta är en av de saker som elever uttrycker som svåra. Här vill jag dock nämna en utveckling som flera av mina lärarkollegor tyckt sig ha uppmärksammat och det är det ökade användandet av digitala hjälpmedel på nationella prov. De menar att uppgifter har konstruerats för att eleven i större utsträckning ska använda hjälpmedel och istället för att redovisa långa avancerade uträkningar så vinner eleven på att lösa den med räknaren och istället redogöra för hur denne gick till väga. Detta underlättar examination på dator eftersom det är enklare för eleven att skriva in i datorn hur räknaren har använts än att ställa upp de faktiska uträkningarna. Utmaningar Av de utmaningar jag identifierat vill jag dels lyfta fram svårigheten att hitta ett lämpligt program som hanterar matematiska uttryck utan att vara för komplicerat. I 24 inledningen till detta arbete tog jag upp problematiken med att komma igång med datoriserade prov i matematik när tröskeln är för hög att komma över. Min förhoppning var att kunna utmana tidigare utbildningstraditioner och bidra till en ökad användning av denna examinationsform, men i dagsläget kan jag inte se hur detta kan göras på ett smidigt sätt såvida inte bättre program finns tillgängliga. I MapleTA finns visserligen möjligheten att importera så kallade uppgiftsbanker som någon annan implementerat. Om detta exempelvis hade skett centralt för att distribueras till alla skolor hade det absolut kunnat underlätta. Nästa utmaning som jag vill belysa är svårigheterna med symbolinmatning, grafritning och övriga skisser. Både symbolinmatnings- och grafritningsverktyg finns tillgängliga, men ställde alltså till en del bekymmer under provtillfället och bidrog även till ökad tidsåtgång. Men även om verktygen förbättras eller att man finner metoder för att komma runt dessa problem så är det fortfarande oklart hur man ska hantera uppgifter där lösningar krävs men digitala hjälpmedel inte är tillåtet. Metoder som är enkla för hand blir väldigt problematiska på datorn. Men varför inte tillåta digitala verktyg alltid när allt annat i dagens tekniksamhälle utvecklas i den riktningen? Bör vi inte snarare ställa oss frågan om hur uppgifterna kan konstrueras på lämpligt sätt för att kunna testa av elevens förmågor trots tillgång till digitala hjälpmedel? Här vill jag också återkoppla till Threlfall et al där de påpekar vikten av att reflektera över vad det egentligen är vi vill att uppgiften ska testa av (Threlfall et al 2007). Som en elev påpekar i enkäten så finns det även vissa tekniska hjälpmedel som förmodligen hade kunnat underlätta skissande för hand, som en drawpad eller en typ av digital penna som kan överföra handskrift in i dator. Här kan man tänka sig att den ekonomiska aspekten kan komma att inverka, men detta är helt klart något som skulle kunna undersökas i en annan studie. Något som fastslås både i denna studie och i Skolverkets kunskapsöversikt är att tidsåtgången för datorprov i matematik lätt blir alldeles för stor (Skolverket 2010). Inverkande faktorer bedöms vara tekniska problem och dubbelarbete vid användande av kladdpapper, men till stor del även ovana. Precis som flera elever nämner i enkäten så tror också jag att både tidsåtgång och stress kan minskas om datorprov introduceras tidigt för eleverna. Detta skulle också kunna vara fokus för en vidare studie. Exempelvis skulle man kunna utreda huruvida en utveckling av elevernas prestationer skulle vara märkbar, då eleverna fått genomföra ett antal digitala prov utspridda under en viss tid. 25 Motivation Ett positivt utfall i denna studie var elevernas attityd. Som nämns i inledningen hade jag redan innan studien en förhoppning om att prov på datorn skulle kunna upplevas som en rolig förändring och öka elevernas motivation i ämnet matematik. Under förberedelserna inför provet, när eleverna fick testa på att använda programmet, så uppfattade jag en ökad stress och oro. Men väl under själva genomförandet så bedömde jag att stressnivån var jämförbar med den för ett traditionellt prov. Som nämnts i sammanställningen av enkäterna så hade eleverna en positiv attityd och några angav att det var roligt att prova något nytt. Här bör visserligen nämnas att elevgruppen hade ett starkt tekniskt kapital, samt en god studiemotivation redan innan, vilket med största sannolikhet har påverkat resultatet. Om man får tro Ulli Samuelsson i hennes avhandling om IKT i svensk skola så finns det en tydlig digital ojämlikhet mellan svenska elever, vilken också skolan misslyckas med att utjämna (Samuelsson 2014). Min slutsats blir ändå att digitala prov kan öka motivationen för eleverna i matematik. Slutligen Det jag tar med mig till yrkeslivet är att det finns många positiva aspekter med att använda digitala prov i matematik, där den kanske viktigaste är elevernas ökade motivation, men att detta bör introduceras så tidigt som möjligt för att vänja eleverna. Det kan dock behöva kompletteras med andra typer av examination inom de områden där digitala prov inte riktigt lämpar sig (ännu). Det gäller framförallt bedömning av elevens förmåga att kommunicera matematiskt, utföra uträkningar, samt skissa grafer och andra figurer. Men att tillämpa varierade examinationsformer är något jag ser som positivt, då eleverna får en större omväxling och därmed ökad stimulans och nyfikenhet. 26 7 Referenser Jones, I.S. (2007). Computer-aided assessment questions in engineering mathematics using Maple TA. International Journal of Mathematical Education in Science and Technology, Vol. 39, No. 3, 15 April 2008, 341–356. Samuelsson, Ulli (2014). Digital (o)jämlikhet? IKT-användning i skolan och elevers tekniska kapital. Länkadress: http://hj.divaportal.org/smash/get/diva2:681386/FULLTEXT01.pdf Skolverket (2010). Adaptiva och andra datorbaserade prov. Länkadress: http://www.skolverket.se/publikationer?id=2430 Skolverket (2011a). Läroplan, examensmål och gymnasiegemensamma ämnen för gymnasieskola 2011. Länkadress: http://www.skolverket.se/publikationer?id=2705 Skolverket (2011b). Om ämnet Matematik. Länkadress: http://www.skolverket.se/laroplaner-amnen-ochkurser/gymnasieutbildning/gymnasieskola/mat/comment.pdf?subjectCode=MAT&com mentCode=ABOUT_THE_SUBJECT&lang=sv Threlfall, J., Pool, P., Homer, M., Swinnerton, B. (2007). Implicit aspects of paper and pencil mathematics assessment that come to light through the use of the computer. Educational Studies in Mathematics, Vol. 66, No. 3, November, 2007, 335-348. 27 8 Bilagor Bilaga 1: Uppgiftsexempel Omfattas av sekretess, förfrågan om utlämning skickas till examinator. Bilaga 2: Elevlösningar Omfattas av sekretess, förfrågan om utlämning skickas till examinator. 28
© Copyright 2024