diaesitys_Kehittava_oppimisen_arviointi_Paivi Atjonen

Kehittävä oppimisen arviointi
uuden opetussuunnitelman hengessä
OPStuki 2016: Suunnittelukokous
Viikin normaalikoulussa 28.8.2015
Prof. Päivi Atjonen
Väitän tänään, että…
…kynä-paperi-kokeet, jotka keskittyvät
opittavaan kognitiiviseen sisältöön, eivät
jouda romukoppaan, mutta niitä on vara
vähentää ja lisätä vaihtoehtoisia
arviointitapoja, jotta arviointi
auttaa oppilasta kehittymään.
Perustelen väitettäni…
…kehittävän arvioinnin periaatteilla,
kansainvälisten tutkimusten
yhteenvedolla ja omalla
tutkimusaineistollani.
1
Lähtökohtana uusi
opetussuunnitelma
Mitä sanovat perusopetuksen opetussuunnitelman perusteet 2014?
• Kohdassa ”Arvioinnin tehtävät ja oppimista tukeva
arviointikulttuuri”:
Perusopetuslain mukaan oppilaan arvioinnin tehtävänä on
ohjata ja kannustaa opiskelua sekä kehittää oppilaan edellytyksiä itsearviointiin. Oppilaan oppimista, työskentelyä ja käyttäytymistä tulee arvioida monipuolisesti.
• Kohdassa ”Oppiminen arvioinnin kohteena”:
Oppimisen arviointi sisältää opinnoissa edistymisen ja osaamisen tason arviointia sekä palautteen antamista niistä. Edistymistä tarkastellaan suhteessa aiempaan osaamiseen ja asetettuihin tavoitteisiin.
2
Mitä sanovat perusopetuksen opetussuunnitelman perusteet 2014?
• Kohdassa ”Arviointi lukuvuoden aikana”:
Pääosa opintojen aikaisesta arvioinnista on luonteeltaan
formatiivista.
Oppimista edistävä palaute on luonteeltaan laadullista ja
kuvailevaa, oppimisen solmukohtia analysoivaa ja ratkovaa
vuorovaikutusta. Se ottaa huomioon oppilaiden erilaiset tavat
oppia ja työskennellä. Oppilaita ohjataan palautteen avulla
tiedostamaan edistymisensä ja jäsentämään oman oppimisensa
eri vaiheita sekä löytämään erilaisia keinoja tavoitteisiin
pääsemiseksi.
Mitä sanovat perusopetuksen opetussuunnitelman perusteet 2014?
• Kohdassa ”Opinnoissa eteneminen perusopetuksen aikana”
Opetus ja arviointikäytännöt suunnitellaan ja toteutetaan siten, että oppilaalla on riittävästi monipuolisia mahdollisuuksia
osoittaa osaamistaan...
• Useassa kohdassa neuvoja opettajalle:
Opettajat huolehtivat, että tavoitteet ja arviointiperusteet ovat
oppilaiden tiedossa.
… opettajat auttavat oppilaita ymmärtämään tavoitteet ja
etsimään niiden saavuttamiseksi parhaita toimintatapoja.
… edellyttää opettajilta oppimisprosessiin liittyvää
havainnointia ja vuorovaikutusta oppilaiden
kanssa.
3
Kootut “ops-avainsanat” arvioinnin
kehittävyyden näkökulmasta
Ohjata,
kannustaa
Edistyminen,
aiempi
osaaminen
Palaute,
tuki
Monipuolinen, erilaiset
tavat
Tavoitteet,
arviointiperusteet
Vuorovaikutus
Laadullinen,
kuvaileva
Kohti kehittävää
arviointia
4
Arvioinnin perusluonteen jäsentelyä
• Arvioinnin päätarkoitukset:
Oppimisen arviointi
(assessment of
learning)
Arviointi oppimisen
tukena (assessment
for learning)
Arviointi
oppimisena
(assessment as
learning)
• Arviointi voi olla luonteeltaan 1) vallankäyttöä tai tuen antamista, 2) luokittelevaa tai ohjaavaa, 3) feedback- tai feedforward-luonteista, 4) ongelma- tai vahvuuslähtöistä, 5) typistävää tai voimaannuttavaa, 6) yhdenmukaisuutta tai erilaisuutta edistävää, 7) kilpailu- ja tehtäväkeskeistä.
Arvioinnin perusluonteen jäsentelyä:
Poimintoja edellisen sivun alareunan vastakkainasetteluista
5
Arvioinnin vääjäämätön logiikka
• Arviointi ohjaa voimakkaasti oppimista, eli ”sitä saat, mitä tilaat”:
Jos arvioit…
seurauksena on, että…
… teknistä virheettömyyttä,
…yritetään suoriutua teknisesti
moitteettomasti.
… rajattua suoritusta,
… kokonaisuutta ei ajatella.
… kuuliaisuutta,
… oma-aloitteisuuteen ei pyritä.
… ulkoa muistamista ja
yksityiskohtia,
…kontekstiin soveltaminen
unohtuu.
• Taulukon logiikan voi kääntää positiiviseksi:
− Arvioinnilla voi edistää toivotunlaista oppimista.
− Opettajalla on paljon pedagogista power with -valtaa.
Pari sanaa kehittävästä arvioinnista
• Kehittävä arviointi…
− … ei ole uusi ja yksi temppu tai menetelmä!
− … on arvioinnin ajattelutapa, joka tähtää – tavoitteiden asette-

lussa, menetelmien valinnassa, tiedon keruussa, tulosten tulkinnassa… – siihen, että arviointi tuottaisi jotain hyötyä, että
tuloksia käytettäisiin, että saataisiin tietoa ajoissa, että ajateltaisiin painotetusti tulevaisuutta –– SIIS että kehitettäisiin, tavalla tai toisella, ja tehtäisiin se alusta saakka tarkoituksellisesti.
− … omaa yhteisiä piirteitä esim. voimaannuttavan, osallistavan
ja demokraattisen arvioinnin kanssa.
− … on teoksessa ”Kehittävä arviointi kasvatusalalla” käsitteellistetty tila-, teema- ja ohjelma-arviointien kannalta, mutta…
… em. teoksessa esitelty kehittävä arviointi vastaa hengeltään samaa
kuin ajatus arvioinnista oppimisen tukena (assessment for learning).
6
Pari sanaa kehittävästä arvioinnista
• Kehittävä arviointi on miltei synonyymi formatiiviselle arvioinnille
(myös POP-14 mainitsee sen lukuvuoden aikana tapahtuvan arvioinnin kohdalla)
•
Michael Quinn Patton* (tutkijakollegoineen) havainnollistaa summatiivisen, formatiivisen ja kehittävän arvioinnin erot kokkausesimerkillä:
Summatiivinen
arviointi
Kehittävä
arviointi
Formatiivinen
arviointi
* Patton. 2011. Developmental evaluation.
(ks. myös Dozois ym. 2010; Gamble 2008; Wilson-Grau 2012)
Arvot
Kehittävän arvioinnin kehämalli
Periaatteet
Vaikuttavuus
Arviointien
hyödyntäminen
Toimijuuden
rakentaminen
Arvioitavien
osallistaminen
Vuorovaikutteisuus
Sidosryhmien
sisällyttäminen
Aktivointi
Metodi
Luottamus
Erilai- Arvostasuus
vuus
Mukautuvuus
Päämäärä
Monimenetelmäisyys
Nykykäytännön
paljastaminen
Kriittisyyden
säilyttäminen
Tulevaisuuteen
suuntautuminen
Kontekstisensitiivisyys
Prosessin
huomioon
ottaminen
Jatkuvuuden
turvaaminen
7
Tutkimushavaintoja 1:
35 kv-tutkimuksen (2005–2014) satoa
Seuraavan tutkimuskatsauksen kaksi rajausta
Puhun erityisesti arvioinnista oppimisesta tukena, osin myös arvioinnista oppimisena.
Arviointi
oppimisen tukena
(assessment for
learning)
Oppimisen
arviointi
(assessment of
learning)
Arviointi oppimisena
(assessment as
learning)
Keskityn opetussuunnitelman perusteiden käsitteillä ilmaisten opintojen
aikaiseen arviointiin.
Päättöarviointi
Opintojen aikainen
arviointi
8
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista*?
• Erilaiset arviointitavat mahdollistavat, että
erilaiset oppilaat voivat näyttää osaamistaan –
eriarvoistavia mekanismeja voidaan torjua.
̶ erityisoppilaat
̶ yhteisön kokonaisvastuu
̶ ymmärtämisen ja ajattelun edistäminen
̶ arviointivaihtoehdot ja ”armottomuus”
* Käännös kv-julkaisujen termistä ’pupil assessment’
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Arviointiin liittyvä vuorovaikutus (esim.
arviointikeskustelu, suullinen koe, esitys)
lisää oppilaiden motivaatiota ja osallisuutta
sekä keventää valtasuhdetta.
̶ oppilaiden tietoisuus kriteereistä
̶ valtasuhde
̶ sosiaalisen kasvatuksen tavoitteet
9
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Formatiivinen (assessment for learning) arviointi auttaa tunnistamaan ja kuromaan umpeen nykyosaamisen ja tavoitetilan välistä
kuilua, kun palaute on määräaikaiskokeita tiuhempaa ja monipuolisempaa.
̶ oppimistarpeiden näkyvyys
̶ kuvaileva palaute innostajana
̶ itseluottamus, alisuoriutujat ja pojat
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Oppilas tarvitsee aina palautetta, jonka ei
tarvitse (aina) olla numeerista.
̶ sanallinen ja suullinen palaute
̶ palautteen ajoitus
̶ vahvuuksista lähtevä palaute
ja arviointi
10
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Oppilaat tunnistavat hyvin ”arviointipelin” ja
arvioinnin eri tarkoituksia.
̶ oppilaiden vs. opettajien oletukset
̶ luottamus opettajaan
̶ oppimistavoitteiden selkeys
̶ arviointi- ja oppijaura
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• On tärkeää erottaa equality- ja equityaspektit.
̶ kaikkien täsmälleen samanlainen
kohtelu samoin menettelyin =
equality
̶ arvioinnin räätälöinti oppilaan
tarpeiden mukaan = equity
11
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Opettajilla on paljon taipumusta suoritusorientaatioon eli ops:n tavoitteiden kapeaalaiseen saavuttamisen arviointiin (numeroin).
̶ testiähky ja liigataulukot
̶ ”performatiivisuus”
̶ huolenaiheet
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Suullinen arviointi ja itsearviointi edistävät
useita tärkeitä oppimiseen liittyviä ja
kasvatuksellisia tavoitteita.
̶ tekstistä tai suullisesti oppiva
̶ huolenaiheet
12
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Vertaisarviointi täydentää, runsastaa ja monipuolistaa opettajan antamaa palautetta ja
kuormittaa oppilasta psyykkisesti
vähemmän.
̶ yhteisöllisyyden edistäminen
̶ oikeus opettajankin palautteeseen
̶ huolenaiheet
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
•  Numeerisesti arvioitavilla kynä-paperi -kokeilla ei edistetä tehokasta oppimista.
̶ pinta- ja rutiinioppiminen
̶ sopeutuvat ja numeroita janoavat
̶ ”kollegalle ei jätetä”
̶ omatekoisten kokeiden laatu
̶ työn ja esittämisen määrä
̶ opettajan oman luokkahavainnoinnin arvo
13
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
•  Numeerisesti arvioitavilla kynä-paperi -kokeilla on negatiivisia vaikutuksia.
̶ neuvojen ja oppimisen aliarvostus
̶ vertailu ja kilpailuttaminen (”en osaa”)
̶ psykososiaaliset haitat
̶ ”suoritus- ja näyttökulttuuri
jyrää”
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
•  Numeerisesti arvioitavat kynä-paperi -kokeet
keskittyvät liikaa managerialistisiin tavoitteisiin.
̶ sosiaaliset ja hallinnalliset tavoitteet
̶ testisuoritusten ennakointi vs. oppimistarpeiden tunnistaminen
̶ pisteiden ja arvosanojen kokoamisrutiini
̶ ulkoinen motivaatio
14
Mitä kansainväliset tutkimusjulkaisut
sanovat oppilasarvioinnista?
• Kokonaisuutena ottaen niin sanotut vaihtoehtoiset arviointitavat ovat liian vähän käytössä
̶ Vaihtoehtoisten arviointimenetelmien torjunnan
tyypilliset syyt: koettu työläys, tottumuksen puute,
soveltumattomuus oppiaineen tarpeisiin, subjektiivisuusepäily, paineet pedagogiikan muuttamiseen
̶ Eräissä maissa toistuvat kansalliset kouluarvioinnit
(”testit”) rajoittavat opettajien arviointikokeiluja
• KOONTIMOTTO:
”Hyvän arvioinnin tekeminen ei vie sen kauemmin kuin
huonon.” (Brookhart 2004)
Tutkimushavaintoja 2:
Päivi Atjosen tutkimus
15
Tutkimustehtävät ja -aineisto
Tarkastella suomalaisten perusopetuksen opettajien…
1) … arviointimenetelmien käyttöä
2) … oppilasarviointia* helpottavia ja vaikeuttavia tekijöitä
3) … oppilastapauksia, joissa he kokevat viimeisen kolmen
vuoden aikana menetelleensä retrospektiivisesti arvioiden
eettisesti hyvin/oikein/oikeudenmukaisesti tai huonosti/
väärin/epäoikeudenmukaisesti
Aineisto kerätty syksyllä 2012 eri puolilla Suomea olleista opettajien täydennyskoulutustilaisuuksista (pääasiassa arviointia
koskevia tilaisuuksia)
Termiä ’oppilasarviointi’ käytetty aineistonkeruussa 2012
TULOKSIA 1:
Arviointimenetelmien käyttö
16
Tuloksia 1: Arviointimenetelmät
100 %
Havainnointi
89 + 11
17 %
Vertaisarviointi
5 + 12
20 %
Itsearviointi
6 + 14
14 %
Arviointikeskustelu
oppilaan kanssa 4 + 10
Useimmin (= päivittäin tai viikottain) käytetyt arviointimenetelmät
– 4 suosituinta
Tuloksia 1: Arviointimenetelmät
82 %
Kirjallinen koe
34 %
Numeerinen
arviointi
40 %
Itsearviointi
29 %
Sanallinen
arviointi
Kuukausittain käytetyt arviointimenetelmät – 4 suosituinta
17
Tuloksia 1: Arviointimenetelmät
98 %
Arviointikeskustelu
huoltajan kanssa
28 + 70
74 %
Suullinen koe
41 + 33
92 %
Portfolio
66 + 26
63 %
Kotiesseet tai -kirjoitelmat
33 + 30
Harvimmin (ei juuri lainkaan tai 1-2 krt lukuvuodessa) käytetyt arviointimenetelmät –
4 harvimmin käytettyä
TULOKSIA 2:
Oppilasarvioinnin vaikeus tai helppous
18
Tuloksia 2: Helpottavat tekijät
Hyvä oppilasaines
•
55 % sijoitti ykköseksi
Numeerinen arviointi
•
51 % sijoitti ykköseksi
Monipuoliset arviointimenetelmät
•
37 % sijoitti ykköseksi
Sanallinen arviointi
•
28 % sijoitti ykköseksi
Opetussuunnitelman
tavoitteet
•
23 % sijoitti ykköseksi
Tuloksia 2: Vaikeuttavat tekijät
Erityistä/tehostettua tukea
tarvitsevat oppilaat
•
44 % sijoitti ykköseksi
Oikeudenmukaisuuden
tavoittelu
•
40 % sijoitti ykköseksi
Oppilaiden erilaisuus
•
33 % sijoitti ykköseksi
Osaamisen todentaminen
•
30 % sijoitti ykköseksi
Persoonallisuuden
merkitys oppimiselle
•
23 % sijoitti ykköseksi
19
TULOKSIA 3:
Hyvin tai huonosti ratkaistut
oppilasarviointitapaukset
Tuloksia 3: Myönteinen kokemus
MENET
Sopivan arviointimenetelmän käyttö
Oppilaiden kanssa käyty
39
KESK
keskustelu
32
PAL
Palautteen parantunut käyttö
25
NÄYT
riittävyys
25
Arviointia varten tarv. näytön
YHT.T.
Yhteistyön toimiminen
15
AIKA
Ajankäytön variointi
9
ANSIO
Erilaisten ansioiden huomioiminen
4
MUUT
Muut kokemukset
8
0
10
20
30
40
50 %
Ilmaisujen määrä: f = 158
Opettajien kokemukset sellaisista oppilasarviointitapauksista, joissa he
katsoivat toimineensa hyvin/oikein/oikeudenmukaisesti
20
Tuloksia 3: Kielteinen kokemus
MENET
Arviointimenetelmän soveltumattomuus
25
TIUK
Tiukkuuden/Lempeyden virhearviointi
25
TOT
Arvioinnin huono toteutus
20
PERUST
Perustelujen ohkaisuus
19
EPÄOIK
Epäoikeudenmukaisuus
14
OPP.R.
Joidenkin opp.ryhmien virheell. arviointi
12
HUOLT
Konfliktit huoltajien kanssa
9
PERS
Persoonan/Temperamentin vaikutus
7
0
10
20
30
40
50 %
Ilmaisujen määrä: f = 131
Opettajien kokemukset sellaisista oppilasarviointitapauksista, joissa he
katsoivat toimineensa huonosti/väärin/epäoikeudenmukaisesti
Päätteeksi
21
Arvot
Kehittävän arvioinnin kehämalli: Sovellus
Periaatteet
Vaikuttavuus
oppilasarviointiin
”Minä
hyödyn”
”Minä
kykenen”
Itse- ja vertaisarviointi
Keskustelut
Huoltajien
mukaantulo
Aktivointi
Metodi
Luottamus
Monimenetelmäisyys
Vahvuuksien/vaikeuksien tunnistam.
Erilai- Arvostasuus
vuus
Mukautuvuus
Päämäärä
Luottamus
tulevaisuuteen
”Minä
tunnistan”
Autenttinen
arviointi
Jatkuva
havainnointi
”Minä
etenen”
Kehittävä oppimisen arviointi tarkoittaa,
että…
• … oppilas tarvitsee palautetta oppimisesta ja oppimiselleen
ominaisista vahvuuksista.
• … palaute kohdentuu etenkin tulevan oppimisen kannalta
tärkeisiin seikkoihin ja on sen suhteen oikein ajoitettua.
• … arviointitavat tai -menetelmät joustavat oppilaan valmiuksien ja opittavan asian mukaan.
• … arvioinnin vuorovaikutteisuus parantaa arvioinnin osuvuutta ja vahvistaa oppilaan toimijuuden kokemusta.
• … formatiivisen arvioinnin nimissä oppilasta ei pakoteta jatkuvaan, varsinkaan yksipuolisten näyttöjen antamiseen.
• … ymmärretään oppimisen, kasvun ja kehittymisen olevan
ensisijaisesti muuta kuin suorittamista ja sen rekisteröimistä.
22
Tutkimusten mukaan oppilaalle muodostuu
kouluaikana arviointiura. (Eccleston & Pryor 2003)
Haluatko hänen olevan kyykytetty vai kannustettu?
Joitakin lähteitä
Atjonen, P. 2007. Hyvä, paha arviointi. Helsinki: Tammi.
Atjonen, P. 2013. Perusopetuksen opettajat oppilasarvioinnin tekijöinä. Teoksessa P. Atjonen (toim.) Työ arvonsa
ansaitsee. Oulu: Oulun yliopisto, 104–117.
Atjonen, P. 2014a. School-focused evaluation in focus: Finnish teachers’ experiences of internal and external
evaluation of schools. Nordic Studies in Education 24 (4), 279–298
Atjonen, P. 2014b. Teachers’ views of their assessment practice. The Curriculum Journal 25 (2), 238–259.
Atjonen, P. 2015a. Kehittävä arviointi kasvatusalalla. Joensuu: Kirjokansi.
Atjonen, P. 2015b. ”Your career will be over” – Power and contradictions in the work of educational evaluators.
Studies in Educational Evaluation 45, 37–45.
Black, P. & Wiliam, D. 1998. Assessment and classroom learning, Assessment in Education 5 (1), 7–74.
Clark, I. 2012. Formative assessment: Assessment is for self-regulated learning. Educational Psychology Review 24
(2), 205–249.
Davies, D. & Neitzel, C. 2011. A self-regulated learning perspective on middle grades classroom assessment. The
Journal of Educational Research 104 (3), 202–215.
Donaldson, S. 2013. The future of evaluation. Charlotte: IAP – Information Age Publishing.
Ecclestone, K. & Pryor, J. 2003. ‘Learning careers’or ‘assessment careers’? The impact of assessment systems on
learning. British Educational Research Journal 29 (4), 471–488.
Frey, B. & Schmitt, V. 2007. Coming to terms with classroom assessment. Journal of Advanced Academics 18 (3), 402–
423.Green, S., Johnson, R., Kim, D. & Pope, N. 2007. Ethics in classoom assessment practices: Issues and
attitudes. Teachers and Teacher Education 23, 999–1011.
23
Joitakin lähteitä
Harlen, W. 2005. Teachers’ summative practices and assessment for learning – tensions and synergies. The
Curriculum Journal 16 (2), 207–223.
Kirton, A., Hallam, S., Peffers, J., Robertson, P. & Stobart, G. 2007. Revolution, evolution or a Trojan horse? Piloting
assessment for learning in some Scottish primary schools. British Educational Research Journal 33 (4), 605–627.
Mullola, S. 2012. Teachability and school achievement? Is student temperament associated with school grades?
University of Helsinki. Faculty of Behavioral sciences. Research Reports 341.
Patton, M. 2011. Developmental evaluation. Applying complexity concepts to enhance innovation and use. New
York: Guilford press.
Pepper, M. & Pathak, S. 2008. Classroom contribution: What do students perceive as fair assessment? Journal of
Education for Business 83 (6), 360–367.
Santiago, P. 2013. Trends in evaluation and assessment. Teoksessa OECD. Synegies for better learning. An
international perspective on evaluation and assessment, 35–56.
Restorff, D., Sharpe, M., Abery, B. Rodriguez, M & Keol Kim, J. 2012. Teacher perceptions of alternate assessments
based on alternate achievement standards: Results from a three-state survey. Research & Practice for Persons
with Severe Disabilities 37 (3), 185–198.
Rieg, S. 2007. Classroom assessment strategies: What do students at-risk and teachers perceive as effective and
useful? Journal of Instructional Psychology 34 (4), 214–225.
Stiggins, R. & Chappuis, J. 2005. Using student-involved classroom assessment to close achievement gaps. Theory
Into Practice 44 (1), 11–18.
Wiliam, D., Lee, C., Harrison, C. & Black, P. 2004. Teachers developing assessment for learning: Impact on student
achievement. Assessment in Education 11 (1), 49–65.
Lisämateriaalia
1)
2)
3)
4)
5)
6)
7)
Haastatteluvideo ”Arviointi antaa positiivista potkua oppimiselle” osoitteessa
http://www.kantti.net/artikkeli/2013/11/arviointi-antaa-positiivista-potkua-oppimiselle
 helpoiten löytää googlettamalla sanat ”positiivista potkua oppimiselle”
PowerPoint-dioihin tallennettu äänite ”Näytön paikka? Tutkimustuloksia
oppilasarvioinnista” Atjosen wiki-sivuilta
 kirjoita Googleen ”Atjonen homepages”  klikkaa hakuosumalistan linkkiä
Professor Päivi Atjonen’s Homepages – Päivi Atjonen… - UEF-Wiki  klikkaa
kotisivun vasemmasta reunasta kohta ”16 more child pages” ja sieltä em. otsikko
ja lataa ppsx-tiedosto kuunneltavaksesi
Artikkeli ”Perusopetuksen opettajat oppilasarvioinnin tekijöinä” teoksessa
 P. Atjonen (toim.) 2013. Työ arvonsa ansaitsee. Oulu: Oulun yliopisto, 104–117.
Artikkeli ”Teachers views of their assessment practises” -lehdessä (2014)
 The Curriculum Journal 25 (2), 238–259.
Kirja ”Hyvä, paha arviointi” (2007, Helsinki: Tammi)
 saa enää kirjastoista mutta on verkossa osoitteessa
https://wiki.uef.fi/pages/viewpage.action?pageId=33656978
Lyhyt juttu ”Arvioinnista ei tarvitse enää ahdistua” osoitteessa
http://www.uef.fi/ fi/filtdk/kasvatustieteellisessa-tutkimuksessa-tapahtuu
 helpoiten löytää kirjoittamalla Googleen jutun otsikon
Kirja ”Kehittävä arviointi kasvatusalalla” (2015, Joensuu: Kirjokansi)
 helpoiten löytää kirjoittamalla Googleen ”Atjonen homepages”  pääsivulla on
kirjan kuva ja linkki sisällysluetteloon (ks. http://kirjokansi.omaverkkokauppa.fi/)
24