Digital vurdering gjennom analyse av læringsdata
(Learning analytics).
Jan Frick, Thomas Laudal og Vegard Moen
Beskrivelse av prosjektet
Dette prosjektet tar utgangspunkt i erfaringer gjort i emnet "Organisasjonsteori og politisk økonomi",
ved Handelshøgskolen ved Universitetet i Stavanger. Målet med prosjektet er å utforske hvordan vi
best kan utnytte vårt LMS (Its learning) til digital vurdering for å motivere studentene til å jobbe både
hardere og smartere, og til å stimulere deres utveksling av ideer og samarbeid. Samtidig ønsker vi
gjennom tilgjengeliggjøring av læringsdata, å gi universitetslærere et verktøy for i større grad å
tilpasse sin egen undervisning studentenes læring. En slik tilnærming gis gjerne betegnelsen "Adaptiv
læring" (Krokan 2012). Prosjektets overordnede ide og ambisiøse mål er å konvertere vårt ”student
informasjonssystem” til et reelt ”læringsanalysesystem”. Gjennom å legge til rette for bedre og mere
målrettet vurdering av studentene gjennom utvidede funksjoner, er målsettingen å stimulere
studentene til å bli mer engasjert og bidra til et høyere læringsutbytte. Vi ønsker å hente informasjon
i Its learning fra et bestemt emne og med denne informasjonen som råmateriale, generere eposter til
lærere og studenter. Eposter fordi vi antar at det er enklere å gi studenter tilbakemelding på epost
enn å endre informasjonsbildene studentene ser på Its learning.) Utgangspunktet vårt er at de
aktuelle emnene har ulike typer ”kursdokumenter”. Dokumentene kan karakteriseres i ulike
kataloger. For eksempel kan det være fem kataloger med følgende navn:
1.
2.
3.
4.
5.
Pensum
Tilleggslitteratur
Lenker (til faglig relevant stoff på nettet)
Case
Forelesninger (PDF eller Powerpoint med forelesningsnotater)
Vi ønsker å lage en applikasjon (app) som aksesserer Its learning for bestemte kursdokumenter i
bestemte intervaller for bestemte kurs. For hvert kursdokument, teller applikasjonen hvor mange
dokumenter hver student har lastet ned (evt. klikket på) og regner så ut hvor mange dokumenter
studentene på kurset i gjennomsnitt har lastet ned/klikket på. For hvert kursdokument generes det
en epost med en standard tekst (spesifikk for kursdokumentet og lagt inn av læreren i
startprosedyren) til de studenter- og bare de – som har lastet ned/klikket på færre dokumenter enn
gjennomsnittet for alle på kurset. Eposten skal ha en tekst som refererer til hvor mange dokumenter
de har lastet ned/klikket på i forhold til gjennomsnittet på kurset. (Dvs. flette inn verdier i en
standard tekst.)
I tillegg genereres det med samme intervall en epost med en standard tekst til hovedlærer på kurset
med bare snittverdiene for hver dokumenttype. Endelig genereres det, med samme intervall som
over, en epost med en standard tekst (lagt inn av læreren i startprosedyren) til de studenter som ikke
har vært pålogget i siste periode.
1
Vi vil videre utvide dette til også å omfatte diskusjonsgrupper. Dvs. at startprosedyren på
applikasjonen også ber en oppgi navn på eventuelle diskusjonsgrupper en ønsker å følge på kurset.
Her lages det en rutine som, med et bestemt intervall, kjøres for å fange opp alle som har skrevet
minst to innlegg i en diskusjonsgruppe siden sist. Til disse sendes det en epost med en standard tekst
som legges inn av læreren for hver diskusjonsgruppe. I tillegges sendes det samtidig en epost til
læreren som lister alle studenter/diskusjonsgrupper som har vært aktive siden sist.
Potensielt vil denne typen vurdering gi både studentene selv, vedkommende lærer og universitetets
studieadministrasjon relevant tilbakemelding om både progresjon, oppfølging av forpliktelser og
læringsutbytte. Den enkelt student får en vurdering av seg selv mot et gjennomsnitt i
studentgruppen, noe som vil kunne virke disiplinerende og motivere for økt studieinnsats. Læreren
vil få informasjon om studentgruppen som helhet og om enkeltstudenters innsats og progresjon. En
slik informasjon vil kunne gi grunnlag for justering og kalibrering av innhold, læringsmåter og
tilpassing av undervisningen, samt oppfølging av enkeltstudenter der det er behov for slik.
Analyserte data om den enkelte students progresjon og oppfølging vil stilles til disposisjon for
studieadministrasjonen, som vil kunne iverksette tidlig oppfølging og veiledning av studenter som
står i fare for å falle fra eller på andre måter angler nødvendig progresjon.er
Analyse av data samlet inn rundt enkelt studenter har etter vår vurdering et stort potensiale innenfor
høyere utdanning. Slik dataanalyse vil gi nye og forbedrede muligheter til både tilpassing av
undervisning, motvirke frafall og redusere stryk ved muligheter for tidlig oppfølging og intervensjon,
samt å bedre studenttilfredsheten med studiet. Vi antar at økt frekvens på tilbakemelding til
studenter som har lavere aktivitet enn gjennomsnittet for klassen vil generere mer aktive studenter.
Og det vil igjen gi bedre tilbakemelding til undervisningspersonell og en mulighet for tidlig tilpasning
av undervisningen.
Analyse av læringsdata vil gi lærere nye og forbedrede muligheter til å tilpasse undervisningen til den
enkelte student. I tillegg vil vi som universitet få nye muligheter til å fange opp studenter som står i
fare for å falle fra studiet samt står i fare for å stryke på eksamen.
Prosjektet er organisatorisk tilknyttet Handelshøgskolen ved UiS under ledelse av professor Jan Frick.
Metodikken i prosjektet er hentet fra Dublin City University. UIS samarbeider med DCU gjennom
nettverket European Innovative Universities, ECIU. For mer informasjon se denne lenken.
Det er en risiko at studenter kan reagere på tilbakemelding fra studiesystemet på deres egen
studieinnsats. Det er derfor viktig å ha fokus på personvern og presisere at den enkelte kun får
respons på sin innsats sammenlignet med et gjennomsnitt av klassen, og at den enkeltes data ikke
distribueres til andre studenter utover et gjennomsnittstall.
Arkitekturen i et Learning Analytics system kan vises som i figuren som henger ved nedenfor.
Kilde tabell: Thomas Laudal UiS (2016).
Kilde figur: https://www.jisc.ac.uk/reports/learning-analytics-in-higher-education
2
SKETCH OF HOW LEARNING ANALYTICS COULD BE PERFORMED BASED ON OUR EXISTING SYSTEM
Target
Main aim of response
Theme / Question
Inspire
1. Presented thesis at seminar (earning x
points)
2. Opponent at seminar (earning x points)
3. Participation in academic web-discussions
(earning x points)
4. Attracting comments from others in the
academic discussion groups (earning x
points)
5. Answered multiple choice based on earlier
exam (earning x points)
6. SCORECARD
Remind
1.
2.
3.
4.
Attention
1. No downloads of student material
2. Long time since last log-in
STUDENTS
Student preparedness
Attendance at seminars
TEACHER
Impression of student
presentations at seminars
Web-engagement
Course evaluation
Meeting basic course requirements?
Home exam reminder
Seminar reminder
Exam reminder
1. Meeting basic course requirements?
1. Did the student show up at any of the
seminars?
1. The teacher assistant’s impression of the
potential of the thesis
1. Students participating in academic
discussions
1. Which lecture engages the most?
2. How is the curriculum perceived?
3. SCORECARD of students
Indicator / Trigger (“message”)
1. Ticked off by teacher assistant
(“Presented plan for thesis. Well done!”)
2. Ticked off by teacher assistant
(“Opponent at seminar. Well done!”)
3. Written a main posting in a discussion group
(“Main posting in discussion group” Well done!”)
4. If main posting attracts three, or more, responses. (“You have started a discussion
attracting three or more participants. Congratulations!”)
5. Fulfilled multiple choice based on earlier exam
(“Fulfilled multiple choice. Well done!”)
6. A summary of the points above earning the student participant points. (Continuous)
1. Multiple choice tailored for this purpose <could demand short readings>
(“Congratulations you have completed…” / “You have still not completed the basic
requirement questions.”)
2. One week before the release of the home exam. (“Home exam will be released at
<date>.”)
3. Student are allocated in a specific seminar group. (Changes must be recorded by
student online.. (“Reminder: Your next seminar is on <date>.”)
4. One week before exam. (“Reminder: The exam is on <date>.”)
1. No part of the curriculum is downloaded half way through the course.
(“Have you forgot to download the material in this course?”)
2. More than <x> weeks since last log-in. (“Reminder: You haven’t signed into the system
since <date>.”)
Input
1.
2.
3.
4.
5.
6.
Teacher ass.
Teacher ass.
Student
Student
Student
Student
1.
2.
3.
4.
Student
Teacher
Student/teacher
Teacher
1. Student
2. Student
1. The rate of students having completed the multiple choice
1. If the student does not show up at any of the seminars.
(“Did not show up at any of the seminars.”)
1. Student
1. One or two sentences written by the teacher assistant..
1. Teacher ass.
1. The number of students involved in academic discussions
1. Student
1. The most/least downloaded lecture
2. The download rates of each of the curriculum elements
3. Overview of the participant-points of all students
1. Student
2. Student
3. Student
1. Teacher ass.
3
4