Institutionen för informatik Göran Landgren Sammanfattning av kursutvärdering Sid 1 (1) Sammanfattning av kursutvärdering Informatik C – Kvalitetsarbete, Programvarukvalitet, vt2014 Sammanfattning Svarsfrekvens: 41% ( 14 / 34 ) Se bifogat dokument för fullständiga svar från studenterna. Vad som fungerat bra och/eller särskilt bra Studenterna har överlag varit nöjda med kursen. Vad som fungerat mindre bra eller brustit Några upplevde att arbetet med att skapa programmet som skulle testas i uppgift 2 tog för mycket tid och ledde till att själva testningen med jUnit blev lidande. En dåligt inplanerad uppdatering av byggsystemet Hudson ledde till att visst dubbelarbete fick göras av läraren. Vissa konstigheter i med datorerna i Linuxlabbet störde vissa studenter. Viss kritik mot den nya jUnit-boken framfördes också. Denna kritik gick ut på att den innehöll för få praktiska exempel. Vilka förändringar som anses nödvändiga inför nästa kurstillfälle Upplägget på uppgift 2 bör utredas: är det bättre att studenterna får ett färdigt Java-program (med olika brister) som de sedan skall testa m.h.a. jUnit? Fler övningar i att använda jUnit borde nog införas. Inför nästa omgång måste alla system: NetBeans, Redmine, Subversion och Hudson vara uppdaterade. Linuxlabbet bör också ses över. Detta är något som åligger IT-ansvarig på institutionen att se till. Gästföreläsning bör tidigareläggas i kursmomentet då majoriteten av studenterna valde bort detta i förmån för grupparbetet. Kursutvärdering - programvarukvalitet vt 2014 Programvarukvalitet vt2014 (27306VT14) Results of survey Startade: February 24, 2014 Avslutad: March 17, 2014 Svarsfrekvens: 41% ( 14 / 34 ) Elektroniskt utvärderingssystem Kursutvärdering - programvarukvalitet vt 2014 Kursutvärdering för Informatik C - Kvalietsarbetet, moment 1 Programvarukvalitet, våren 2014 Kurs/grupp-objekt 1. Vad har varit bra under kursen? • Grupparbetet och hjälpsam lärare • Jag tycker att kursen har varit ganska bra i sin helhet. Det var lärorikt, speciellt när man fick testa ett eget program man skapat. • Föreläsningarna har varit riktigt bra • Handledning då det behövs • Föreläsningarna och workshopen. • Självreflektion och case • Det praktiska, dvs programmeringen och workshops • Man har fått veta sina bra/ dåliga sidor i självreflektionen • Fick lära mig om testning då jag visste inte innan att programmet behöver testas • Caseuppgiften • Läraren är en bra pedagog 2. Vad har inte varit bra med kursen och hur skulle detta behöva förändras? • examinationsuppgift 2 var alldeles för svår, det skulle ha hjälpt om någon av workshoparna var mer knutna till uppgiften • Jag tycker det var lite mycket skrifuppgifter, hade mycket hellre sett någon/några till programmeringsuppgfter. Jag tror att jag hade lärt mig bättre om jag praktiskt fått arbeta med olika typer av test. Kanske en uppgift som innehåller diverse fel och man ska försöka hitta dessa genom att testa applikationen? • De workshops som hölls var bra i sig men inte till någon större nytta för att klara av examinationsuppgift 2. Vi borde ju få lära oss det vi examineras på under kursen kan jag tycka. • Önskade mer information om hur man utför test. Åtminstone en föreläsning som visar hur de kan se ut med kod och allt. • Vissa problem med system/workshops. Läraren har varit svår att nå pga mycket att fixa • Instruktioner har varit spretiga. Exempelvis så var instruktionerna för J-unit dels utspridda på PDF men också i Java-doc kommentarer. Bör istället samlas på ett ställe, dvs antingen som Java-doc eller i PDF-format. Ett ytterligare problem är att formatet för hur man skriver och tolkar Java-doc inte har framgått tydligt på tidigare moment vilket leder till att ovanan att läsa Java-doc gör det svårare att tolka vad programmet ska göra. • Programmering som inte var den huvudsakliga uppgiften som tog enormt med tid. • För många skrivuppgifter • Macdatorerna i skellefteå, tiden räckte inte till på workshops, tempot var för snabbt • För mig som en nybörjare och har inte så mycket kunskap inom Java, har det varit väldigt svårt att jobba igenom upp.2. Fick ställa massa fråga till lärare innan jag fick ihop det. Tyckte att vi borde få en färdig program då vi behöver bara fokus på testningen • Det kändes som att programmeringsuppgifterna hade fel fokus i förhållande till kursen. • Jag tycker att det har varit ett enormt hopp mellan workshops och uppgift. Det känns som att vi hade behövt ha fler workshops och den sista workshopen med gäster var inte så givande. 3. Finns det något du har saknat under kursen? • Mer grundläggande om jUnit. Det har varit mycket teori men jag hade uppskattat att får lära mig ordentligt hur det fungerar praktiskt och inte behöva gissa mig fram så som jag fick lov att göra. Jag tror att det var en del av utmaningen med uppgift 2 men jag läser ju kurser för att få fördelen av att ha en lärare och inte behöva googla mig till lösningar. • Exempelkod på tester • Repetition av programeringens grunder. Fler konkreta exempel av hur J-unit test bör skrivas. Ett exempel på hur man ska hantera ett exception samt hur man bör behandla testning av fil IO. • Nej • Jag hade uppskattat en "uppfräschning" i början av kursen, för att komma in i programmeringen igen. • Inte som jag kommer på • En lärare på plats i skellefteå • Vill ha mer workshop gällande enhettestning • Fler workshops eller handledningar för att komma igång med programmeringen. • Jag saknar fler workshops med exempel på hur man skriver olika test. 4. Vad anser du om kursboken The Art of Software Testting av Meyrs et al (2004)? 14 svar, medelvärde = 3.29 Unsatisfactory • Bra bok men under kursen jag har inte använt så mycket av det 0 % (0) Inadequate 14 % (2) Adequate 50 % (7) Good Excellent 8. Vad anser du om jUnit-uppgiften? 14 svar, medelvärde = 3.00 29 % (4) 7 % (1) Unsatisfactory 7 % (1) Inadequate 5. Utveckla dina åsikter om The Art of Software Testting av Meyrs et al (2004)! • Jag tycker att den har varit bra. Relativt lättläst och det fanns mycket bra information i den. • Jag tyckte det var en helt ok kursbok som delvis var ganska intressant. • Skummade boken, dock så kändes den överflödig efter att lystnat på föreläsningarna. • Ointressant • Bra tips och råd som var till hjälp under uppgifterna, speciellt testningen • Bra bok • Jag tycker den var bra 6. Vad anser du om kursboken jUnit om Action av Tahchiev et al (2011)? 14 svar, medelvärde = 2.86 Unsatisfactory 7 % (1) Inadequate 29 % (4) Adequate 43 % (6) Good Excellent 14 % (2) 7 % (1) 7. Utvecka din åsikt om kursboken jUnit om Action av Tahchiev et al (2011)! • Inte lika bra som den ovan men ändå okej. Det fanns mycket bra information gällande flera aspekter, som t ex debugging och saker att tänka på. Det fanns bra indexering där man kunde hitta information lätt. Exemplen gav dock inte så jättemycket, google fungerar bra för detta också. • Hade varit bra med en mer grundläggande bok om praktisk testskrivning. Men det är nog svårt att hitta. Det var mycket i boken som iof var intressant men helt irrelevant för kriterierna för att klara kursen i mina ögon. • Läste första 4 kapitlena och blev sedan utråkad. • Använde den inte alls • Jag valde att inte läsa så mycket ur denna bok, utan att istället använda mig av exempel funna på internet, med mera. 36 % (5) Adequate Good Excellent 29 % (4) 7 % (1) 21 % (3) 9. Utvecka din åsikter om jUnit-uppgiften! • SVÅR! • Tycker den var bra. Att vi fick lära oss om både interfaces och test var något jag tyckte var positivt. Det är saker jag vet att jag kommer att ha användning för i framtiden om det skulle hända att jag arbetar med programmering. • den förutsatte att programmering av grundprogrammet skulle vara enkelt för alla i klassen vilket det inte var. Vi har inte hållit på med interface på det sättet tidigare och även om det inte var jättesvårt så var det väldigt tidskrävande för en guppgift. Att skriva själva testerna var det som gick snabbast efter det att man spenderat x antal timmar med att försöka hitta exempel på nätet. Mitt största problem med uppgiften är att vi inte hade någon handledning till den. Nu efteråt så finns det fortfarande saker jag hade velat lära mig att testa men jag kunde inte hitta det själv och jag kunde inte fråga någon. Jag vet fortfarande inte hur man skulle kunna göra vilket är mycket otillfredsställande. • Det känns som uppgiften handlade mer om programmering än testning. • Förutom tidigare nämda spretiga uppgiftsinstruktioner så var jUnit-uppgiften väldigt rolig. Dock tydligare satta mål vore bra så att man vet när man ska sluta. Andra saker som var mindre bra med jUnit uppgiften var till exempel att en fel-koll inte var vid inläsning av datan utan istället då man konstruerar objekt. Detta strider mot de tidigare principer vi har lärt om att kontrollera input då det läses in för att slippa göra kontrollerna senare. Ett annat huvudbry om man ska följa specifikationen är att varje grade-objekt ska ha sitt egna Assignment objekt. Ett alternativt och på många sätt enklare sätt är att låta alla grade -objekt dela på Assignment-objekt. • Inte lärt mig nånting om test innan uppgiften. Svårt att lära sig och dessutom programmera • Själva test-delen var väldigt enkel när man äntligen tog sig dit. Det var programmeringen som var komplicerad, då det tog tid att komma in i tankesättet igen. Men det gick, till slut. • Svårläst • Svår • Som det nämt ovan så är det för svårt för mig att genomföra • Uppgiften i säg var bra men anledningen är att vi hade behövt fler workshops och fler exempel för att veta att vi gjort en bra testning. • Det är svårt att försöka formulera sina goda egenskaper och de sämre. Men jag tror uppgiften kan ha varit till nytta för att få förståelse gällande vad jag behöver bli bättre på. • Helt ok och lite kul att faktiskt sätta sig och utvärdera sig själv. 10. Vad anser du om hemtentan? • Bra att tänka efter om sig själv. 14 svar, medelvärde = 3.21 Unsatisfactory 7 % (1) Inadequate 14 % (2) Adequate 36 % (5) Good 36 % (5) Excellent • Trots att många såg uppgiften som en onödig uppgift tyckte jag att den var bra, det är viktigt att börja fundera på vad man vill bli bätre på och vad man måste tänka på när programmet tar slut om några månader. • Bra då jag börjar tänka mig på vad jag är bra på och dålig på samt att vad jag vill göra i framtiden. Ibland tänker jag inte på det 7 % (1) 11. Utvecka din åsikter om hemtentan! • Svåra och komplicerade frågor, men överlag bra ändå. • Den var helt enkelt en normal hemtena • Den var bara pinsam att skriva eftersom det inte är något som intresserar mig att bygga vidare på. • Behövdes inte någon uppgift av denna sort eftersom det är saker man reda är medveten om • Helt okej • Bra bredd, uppgiften täckte in stora delar av kursen 16. Vad anser du om gruppuppgiften? 12. Vad anser du om case-uppgiften? 14 svar, medelvärde = 3.50 14 svar, medelvärde = 3.57 Unsatisfactory Unsatisfactory 0 % (0) 0 % (0) Inadequate Inadequate 21 % (3) Adequate 21 % (3) Good 36 % (5) Excellent 14 % (2) Adequate 36 % (5) Good 36 % (5) Excellent 14 % (2) 21 % (3) 17. Utveckla dina åsikter om gruppuppgiften! 13. Utveckla dina åsikter om case-uppgiften! • Hade hellre sett ett längre seminarium i mindre grupper för en djupare diskussion och ingen inlämningsuppgift. • Tycker den borde ha varit större och lite mer komplex. Kanske som en gruppuppgift. • Kändes relevant och lärorik • Tycker att det räcker med att ha seminarium, inte skrivuppgiften • Här lärde man sig mer om hur det fungerar i verkligheten och fick genom diskussion se på saker ur olika perspektiv. 14. Vad anser du om sjävreflektionsuppgiften? 14 svar, medelvärde = 3.50 Unsatisfactory 7 % (1) Inadequate 7 % (1) Adequate Excellent 43 % (6) 14 % (2) 15. Utvecka din åsikter om självreflektionsuppgiften! • Alltid svårt att reflektera sina kunskaper. • Den var ganska bra, tycker dock inte den typen av test är speciellt intressant till skillnad från enhetstestningen. • Hade behövts tydligare instruktioner om vad det var man skulle göra. • Lite mer instruktioner på hur mycket som vi förväntas testa vore trevligt. Annars var det en trevlig uppgift :) • Ganska ointressant • Bra att det bara är en G uppgift, då det känns som inte alla i gruppen bidragit • Fick pröva på högnivåtestningen vilket jag tyckte att det var bra 18. Vad anser du om gästföreläsningen av Eleonore Lantz? 29 % (4) Good • Roligt 14 svar, medelvärde = 3.14 Unsatisfactory 14 % (2) Inadequate 14 % (2) Adequate 36 % (5) Good • Dels tror jag att de skulle kunna bli lite mer omfattande eller att det i alla fall fanns möjlighet att gå djupare, dels tror jag inte att gästföreläsningen gav oss lika mycket som den kunde gjort datavetare eller studenter på högre nivå. 14 % (2) Excellent • Förutom sista WS där några gick igenom hela så man inte fick göra själv. 21 % (3) 19. Om du inte deltog vid gästföreläsningen, vad var anledningen till detta? • Jag deltog vid gästföreläsningen men jag tycker att det hade varit bättre om denna hade inträffat i början eller i mitten av kursen i stället för slutet. • Helt fel tillfälle, bättre att lägga den tidigare under kursen. Vi var inte många där vilket kan bero på att flera valde att jobba med uppgifterna istället. • Dåliga datorer, och fel klassrum, i skellefteå • Mer workshop. Det sista workshop är värdelös • Alldeles för få! • för få och inte tillräckligt omfattande när man jämför med test uppgiften 22. Hur har kontakten med lärarna fungerat? 14 svar, medelvärde = 4.14 • Examinationsuppgifterna tog tillräckligt med tid. • För hög nivå för många av oss Unsatisfactory Inadequate 0 % (0) 7 % (1) Adequate • Jag måste jobba 14 % (2) Good • Hade för mycket att göra med de andra uppgifterna i kursen. 20. Vad anser du om Workshoptillfällena? 21 % (3) Inadequate 36 % (5) Adequate 29 % (4) Good 7 % (1) Excellent 7 % (1) Excellent 43 % (6) 23. Hur har våra datorlabb fungerat under kursmomentet? 14 svar, medelvärde = 2.43 Unsatisfactory 36 % (5) 14 svar, medelvärde = 3.43 Unsatisfactory Inadequate 0 % (0) 14 % (2) Adequate 43 % (6) Good 21. Utveckla dina åsikter om Workshoptillfällena! • Tycker att de hade kunnat varit mer knutna mot examinationsuppgiften nr 2. Tycker speciellt att gästworkshopen inte var givande eftersom det var alldeles för svårt. • Tycker att de var ganska okej. Hade gärna kunnat vara lite mer avancerad programmering och test av dessa. • Dom var för skilda från resten av kursen så det blev lite svårt att ta till sig. Antingen var det för simpelt eller för långt bort från det vi förväntades prestera på egen hand. • Jag kan inte påstå att jag lärde mig något under dessa. Den första handlade bara om inställningar, den andra var det bara copy/paste och ingen förklaring för varför man gjorde de man gjorde och den tredje vet jag inte riktigt hur den hörde ihop med resten av kursen. • Förutom Workshoppen med matte-personerna, den var väldigt ohjälpsam och visade väldigt lite. Fundera på att ersätta denna med att kompletera med fler exempel på test som kan göras. • Inte för att lära oss. Mer för att kunna lämna in uppgiften överhuvudtaget. Lärde sig ju ingenting om test. Excellent 29 % (4) 14 % (2) 24. Övriga kommentarer! • Överlag en väldigt bra kurs som skulle må bra av att instruktionerna ses över en extra gång. • Klona Göran och sätt honnom som lärare på alla moment! :) Fundera på att lägga till workshoppar från de tidigare programeringskurserna så att vi kan repetera det vi gjort tidigare. • Linux-datorerna har generellt sett konstiga buggar - som tex nyckelringsproblemet eller att det inte alltid går att använda alla datorer.