Matemaattisten aineiden osaamisen arvioinnin haasteita ja mahdollisuuksia teknologisissa oppimisympäristöissä Timo Tossavainen, Itä-Suomen yliopisto [email protected] Tarkastelen esityksessäni sitä, millaisia haasteita ja mahdollisuuksia osaamisen arviointiin peruskoulussa ja toisella asteella liittyy matemaattisissa aineissa, kun oppilailla ja opiskelijoilla on käytettävissään kehittyneitä laskenta- ja mallinnustyökaluja sekä internet. Eräs hätkähdyttävä näkökulma arvioinnin haasteeseen nykyaikana on se, että taitava CAS-laskimen käyttäjä voi saada nykyisen muotoisessa lukion pitkän matematiikan ylioppilaskokeessa lähes korkeimman arvosanan pelkästään laskimen avulla. Myös luonnontieteellisissä aineissa opetusteknologiset sovellukset mahdollistavat hyvin monimutkaistenkin ongelmien – ainakin näennäisen – ratkaisemisen oppiaineen pintatiedon ja taitavan teknologian käytön avulla. Onko nykyajassa tarvittava ja arvioitava osaaminen siis ensisijaisesti taitavaan teknologian käyttöön liittyvää vai pitäisikö oppiaineen sisällön syvällistä hallintaa pitää edelleen ensisijaisena osaamisen mittaamisen kohteena? Esityksen toinen teema on sähköiset oppimateriaalit ja niiden tarjoamat opetuksen ja oppimisen mallit. Mihin seikkoihin oppimisen arvioinnissa pitäisi kiinnittää huomiota, jos opetuksessa käytettävät materiaalit mahdollistavat jokaiselle oppilaalle toisistaan poikkeavia yksilöllisiä oppimispolkuja? Miten oppilaiden osaamista voidaan vertailla, jos opetuksella ei ole enää selkeästi rajattua yhteistä sisältöä? Hyvä arviointi tekee itsensä tarpeettomaksi Erkki Sutinen, Turun yliopisto Digitalisaation tehtävä ei ole vain tehostaa tai automatisoida olemassa olevia rutiineja. Olennaisesti tärkeämpää on rakentaa ennakkoluulottomasti luovia ratkaisuja jotka uudistavat työn alla olevaa toimintaa ja helpottavat siinä mukana olevien ihmisten työtä. Opetuksessa, oppimisessa ja opiskelussa digitalisaation tulee tarttua avoimesti arvioinnin haasteisiin. Tarvitsemme tukun radikaaleja innovaatiota, emme arviointivälineiden curio shopia. Erityisesti englanninkielisen maailman koululaitoksissa vierailija törmää yhä uudelleen kaiken selittävään tokaisuun “We are busy marking”. Opetus tähtää ja perustuu sen ennalta määriteltyihin, tavoiteltuihin lopputuloksiin eikä näin anna tilaa luovuudelle eikä spontaanisuudelle nopeasti muuttuvassakaan maailmassa eikä toisaalta rakennu oppilaiden omien vahvuuksien varaan. Näin koululaitos jää vieraaksi sekä sen ulkopuolisille tekijöille että sen sisällä vaikuttavien ihmisten osaamiselle ja lahjakkuudelle. Arvioinnin digitalisaatio betonoi tämän prosessin: marking forever. Nohevimmat opiskelijat äänestävät tableteillaan ja siirtyvät muille kanaville, vaikka jäisivätkin vielä fyysisesti koulun sisälle. Arviointi nousee valitun johtamismallin perustalta. Vanhaan maailmaan kuuluu hierarkkinen strategia- tai tulosjohtaminen joka edellyttää jatkuvaa kilpailua ennalta määriteltyjen tavoitteiden suhteen. Verkostoituvaan maailmaan sopii paremmin avoin ja ruohonjuuritasolta nouseva luottamusjohtaminen, joka perustuu eri yhteistyökumppanien osaamisen, hyväntahtoisuuden ja eheyden (abilities, benevolence, integrity) keskinäiseen tunnustamiseen. Tulosjohtaminen ja siihen liittyvä arviointi pärjää digitaalisaation aamun tietokannoilla ja automatisoiduilla monivalintatehtävillä; luottamusyhteiskunta vaatii moderneja välineitä, jopa tunteiden tunnistamista. Keskinäinen luottamus on globaalin yhteisöllisyyden, rauhan, osallistumisen ja oivaltamisen avain. Koulun ja sen arvioinnin tulee avata tietä tulevaisuuden kansalaisyhteiskuntaan; jatkaa perintöä jonka yksi merkkipaalu on juuri 800 vuotta täyttänyt Magna Carta. Kuva intialaisen oppikoulun seinillä kiipeilevistä vanhemmista on jäänyt arviointia seuraavien verkkokalvolle. Vanhemmat pyrkivät auttamaan perillisiään pääsykokeissa vauraamman tulevaisuuden toivossa. Yli tuhannen miljoonan asukkaan maassa muodolliset testit vievät parhaat huipulta huipulle, mutta olennainen kysymys on mistä globaali yhteiskunta löytää eri tehtäviin osaavimmat ja motivoituneimmat tekijät. Kuka arvioi ja ketä? Valintakokeiden sijaan arvioinnin on suuntauduttava rekrytointiin, jossa yksilön ja yhteiskunnan, työntekijän ja työnantajan intressit kohtaavat molempien osapuolten historioiden ja kertomusten näkökulmasta. Parhaimmillaan uudet teknologiat, kuten robotiikka, big data, Internet of Things ja luonnollisen kielen teknologiat, tukevat juuri tämänsuuntaista kehitystä. Tulevaan verrattuna nykyarviointi on vain ohut kuvastin jonka tulee antaa tilaa kertomusten kohtaamiselle. Onnistuessaan ja monipuolisesti oppilaita ja opettajia osallistavana ohjelmana arvioinnin digitalisaatio tuottaa innostavan opiskelumaailman, jonka huomaamaton osa arviointi on, niin tietojen, taitojen, tunteiden, asenteiden kuin käyttäytymisen osalta. Oppilaiden ja opettajien kiinnostus kohdistuu itse opiskeltavaan ilmiöön, jonka omaksuminen luo onnellisuutta, jossa uuden ymmärtämisen tarkoituksellisuus kutoutuu uteliaisuuden tuottamaan mielihyvään. Arviointi on näkymätön osa kokonaisuutta, ja se perustuu oppimiskokemuksen dokumentointiin ja sen automaattiseen analysointiin, ei eksplisiittisiin testeihin. Sähköisen arvioinnin mahdollisuudet ja hyödyt – kokemuksia sähköisistä arvioinneista Mikko-Jussi Laakso, Turun yliopisto Kaikista tietokoneistetun oppimisen keinoista sähköinen arviointi tarjoaa kenties eniten uusia mahdollisuuksia opetuksen tehostamiseen. Sähköisesti suoritettava arviointi voidaan jakaa kahteen osa-alueeseen: opettajan sähköisessä järjestelmässä suorittama arviointi ja sähköisen järjestelmän automaattisesti tekemä vastausten arviointi. Opettajan arviointiprosessia voidaan tehostaa esimerkiksi tuomalla käyttöön fraasitus- ja merkkaustyökaluja ja mahdollistamalla arviointi verkkopohjaisesti paikasta ja ajasta riippumattomaksi. Myös arvioinnin objektiivisuutta voidaan parantaa hyödyntämällä anonymiteettiä: opettaja ei tiedä kenen vastausta hän arvioi ja osallistuja ei tiedä kuka hänet arvioi. Automaattinen sähköinen arviointi sen sijaan siirtää arvioinnin (tai osan siitä) tietokoneen tehtäväksi, jolloin opettaja voi käyttää rajalliset resurssinsa esimerkiksi avoimien tehtävien arvioimiseen. Suomessa sähköistä arviointia on hyödynnetty niin äidinkielen, matematiikan kuin kestävän kehityksen kansallisessa arvioinnissa. Automaattista arviointia on hyödynnetty muun muassa matematiikan päässälaskutehtävissä, äidinkielen erilaisissa kielioppitehtävissä ja kestävään kehitykseen liittyvissä monivalintatehtävissä. Opettajilla on ollut mahdollisuus katsoa läpi automaattisen arviointien tulokset ja korjata näitä, mikäli siihen on heidän mielestään ollut tarvetta. Tämän jälkeen sensorit voivat tarkastella opettajien arviointeja ja tehdä tarvittaessa pisteytykseen korjauksia. Myös erilaisten mielipide- ja asennekyselyjen toteuttaminen sähköisen arvioinnin lomassa on helppoa ja vaivatonta. Sähköinen arviointi auttaa myös arvioinnin logistiikkaa, sillä sähköisessä arvioinnissa vastaukset siirtyvät välittömästi arviointijärjestelmään. Tämä tietysti edellyttää, että instituutioilla on riittävä konekanta sähköisen kokeen ja arvioinnin toteuttamiseen. Oppimisanalytiikan hyödyntämisessä on suuri potentiaali Suomen koulutusjärjestelmän kehittämiseen. Sähköisen arvioinnin suorituksen aikana suorituksesta voidaan tallentaa huomattava määrä lisätietoa verrattuna perinteisiin paperikokeeseen, mukaan lukien tehtäviin käytetty kokonaisaika, useat vastaukset samaan tehtävään ja tehtävien suoritusjärjestys. Tämä mahdollistaa uusia näkökulmia arvioinnin kehittämiseen ja tutkimuksen tekemiseen. Kun vastaukset ovat sähköisessä muodossa, niihin voidaan helposti soveltaa koneoppimisen ja tiedonlouhinnan menetelmiä. Tämä mahdollistaa esimerkiksi automaattisten virhekäsityksien tunnistamisen ja vastausprosessin analysoiminen Sähköisen ja automaattisen arvioinnin avulla voidaan opetusta kehittää resurssitehokkaasti jatkuvan arvioinnin suuntaan, sillä automaattiseen arviointiin voidaan yleensä yhdistää välitön palaute. Tällöin opiskelijat voivat mielekkäästi kokeilla erilaisia ratkaisuja tehtävään useita kertoja. Mikäli tehtävän alkuarvot voidaan vielä satunnaistaa, myös uudelleenyritykset hoituvat mielekkäästi. Näin voimme luoda jatkuvaan arviointiin perustuvan sähköisen opintopolun aina taaperosta tohtoriin, ja samalla kehittää koulutusjärjestelmää tutkimuspohjaisesti yhä paremmaksi ja paremmaksi. Arvosanojen vertailukelpoisuus ylioppilastutkinnossa Jukka Marjanen, Helsingin yliopisto Toisen asteen oppilaitokset valitsevat opiskelijansa peruskoulun päättötodistuksen perusteella ja ylioppilasarvosanoilla on merkittävä rooli kolmannen asteen opiskelijavalinnoissa. Yleissivistävän koulutuksen päättöarvosanoilla on suuri vaikutus nuorten tulevaisuuteen. Siksi oppilaiden oikeusturvan kannalta on tärkeää, että arvosanat ovat vertailukelpoisia. Peruskoulun kohdalla tämä tarkoittaa esimerkiksi, että saavuttaakseen matematiikan arvosanan kahdeksan oppilaiden on osoitettava samanlaista matematiikan osaamista riippumatta siitä, mitä koulua he ovat käyneet tai kuka arvosanan on antanut. Näin ei näytä olevan, ja ongelman korjaamiseksi on ehdotettu valtakunnallisten arviointikriteerien tarkentamista. Ylioppilaskokeessa arvosanojen vertailtavuusongelma ei ole lukioiden välinen, sillä kokeet ovat kansallisia. Sen sijaan eri oppiaineista saatujen arvosanojen vertailtavuus on kyseenalainen. Silti arvosanoja kohdellaan kolmannen asteen opiskelijavalinnoissa usein yhdenvertaisina riippumatta siitä, minkä oppiaineen kokeessa ne on saavutettu. Jotta eri oppiaineista saatujen arvosanojen vertaileminen olisi mielekästä, jokaisen ylioppilaskokeen on mitattava jotakin, mikä on kaikille oppiaineille yhteistä. Kutsuttakoon tätä akateemiseksi yleisosaamiseksi joka voi koostua esimerkiksi ajattelu- ja opiskelutaidoista, motivaatiosta tai sinnikkyydestä. Akateeminen yleisosaaminen on yhteydessä opiskelijoiden ylioppilaskoemenestykseen. On olemassa todisteita siitä, että osallistujien yleisosaaminen on eritasoista eri oppiaineiden kokeissa: pitkän matematiikan, luonnontieteiden ja kieliaineiden kokeet houkuttelevat keskimääräistä osaavampia opiskelijoita, kun lyhyen matematiikan ja terveystiedon kokeisiin osallistuvien yleisosaaminen on heikompaa. Ylioppilaskokeiden arvioinnin ensimmäisessä vaiheessa sensorit ovat pisteyttäneet kokelaiden suoritukset ainejaoksessa päätettyjen arvostelukriteerien mukaisesti. Lopulliset arvosanat on määritetty suhteellisesti näiden pistemäärien perusteella. Tämä tarkoittaa, että arvosanajakauma on ollut kaikissa kokeissa sama riippumatta osallistujien yleisosaamisesta. Kaikissa oppiaineissa noin 5 % on saanut arvosanan laudatur, 15 % arvosanan eximia ja niin edelleen. Koska kokelasryhmät ovat eritasoisia, keskitason opiskelijan on vaikeampi saada laudatur pitkän matematiikan kuin terveystiedon kokeesta. Siksi sama ylioppilasarvosana voi kertoa hyvin eritasoisesta yleisosaamisesta sen mukaan, mistä oppiaineesta se on ansaittu. Ylioppilaskokeessa arvosanojen vertailtavuusongelma on syntynyt yleisosaamisen mukaan eriytyneiden koevalintojen ja normatiivisen arvostelun sivutuotteena. Ongelman korjaamiseksi ylioppilastutkintolautakunta on päättänyt ottaa käyttöön uuden SYK-arviointijärjestelmän, jossa kunkin kokeen arvosanajakauma määritellään erikseen. Perusajatuksena on, että kokeen arvosanajakauma riippuu siihen osallistuneiden menestyksestä myös muissa kokeissa, jolloin kokelaiden eriävä yleisosaaminen tulee huomioiduksi. Voidaanko arvosanojen vertailtavuusongelmalta välttyä, jos normatiivisesta arvioinnista siirrytään kokonaan kriteeripohjaiseen arviointiin? Isossa-Britanniassa GCSE-kokeet arvostellaan kriteeriperusteisesti. Silti siellä on vuosien saatossa kehitetty useita menetelmiä arvosanojen vertailtavuuden parantamiseen. Ongelmana on arviointikriteerien yhdenmukaisuus eri oppiaineissa. Näyttää siltä, että samat opiskelijat saavat matemaattis-luonnontieteellisten ja kieliaineiden kokeista heikompia arvosanoja kuin muiden oppiaineiden kokeista. Tarkoittaako tämä sitä, että arvostelukriteerit ovat toisissa oppiaineissa ankarammat kuin toisissa? Johtaako tämä siihen, että sama arvosana voi kertoa eritasoisesta yleisosaamisesta riippuen siitä, mistä oppiaineesta se on saavutettu? Vaikka taustalla olevat syyt ovat erilaisia, arvosanojen vertailtavuusongelma näyttää olevan erittäin samankaltainen kriteeripohjaisissa ja normatiivisissa arviointijärjestelmissä. Grading in upper secondary schools and the matriculation examination Sirkku Kupiainen, Helsingin yliopisto Unlike the national core curriculum (NCC) for basic education (FNBE 2004, 2014), the NCC for upper secondary education offers no guidelines for grading in student assessment (FNBE 2003). This reflects the different structure of the studies, with basic education following a fixed gradelevel-based curriculum whereas in general upper secondary studies, the content of each subject is divided into courses offered selectively within the five periods of the school year and each ending in an exam. Students build their own syllabi from among the courses on offer in each period following the guidelines for mandatory and auxiliary courses in each subject and the demands of the matriculation examination, the only high stakes exam in Finland which acts as the exit exam for upper secondary education. Accordingly, if guidelines for grading would be given, they would have to cover separately each of the more than one hundred courses of the curriculum. Due to the central role of the matriculation examination, no research has been conducted on the grades given at school despite their critical role in guiding students’ course choices and, subsequently, their exam choices in the matriculation examination, and playing a high stake role in selecting students for the universities of applied science (AMK). In this presentation, the course choices and grades of 2000 students from a representative sample of 42 upper secondary schools during the three years of upper secondary studies, as well as the later matriculation examination exam choices and grades, will be examined. The results show that at the upper secondary level, between-subject differences in students’ grades are somewhat bigger than they are are in the basic school but that the subjects with the lowest grade means being the same: the STEM-subjects and the B-level second national language. This difference can be seen to guide especially the course and exam choices of girls for whom the difference between the grades in the different subjects is bigger than for boys. Also, there seems to be a clear tendency for students’ grades to stay at the same level or even rise for students studying additional courses in the socio-humanistic subjects whereas grades in the STEM-subjects tend to get lower the further students get in their studies. This development may reflect differences between the two sets of subjects with the advancing courses rather just broadening the scope of content within the former whereas in the latter, each additional course tends to also increase the cognitive demand through added abstraction. Criteria-based evaluation in Finnish and Croatian basic education Najat Ouakrim-Soivio, Ministry of Education and Culture, Visnja Rajic, University of Zagreb Most commonly pupils’ evaluation is either criteria-based, norm-based or their hybrid. Pupils’ evaluation in Finnish educational system is an example of a hybrid: since 2004 the National Core Curricula has defined the final assessment criteria in each subject. The level of knowledge and skills supposed to be achieved in the end of basic education is defined, but the criteria are written only for one grade i.e grade 8 (level “good”). Failing to meet some criteria can be compensated for by surpassing the standard of other criteria. In the case of Croatia situation tends to be more flexible and with that more complicated. According to the Framework for National Curricula (2010) it is up to the teacher and educational institutions to decide on the criteria for assessment and evaluation. Thus, criteria for grading of students can be and sometimes is quite diverse. In this paper the two National Core Curricula, Finnish and Croatian ones are investigated at two instances: First comparing how criteria-based evaluation is defined in National Core Curricula, comparing these two normative documents. Secondly, it presents the way in which the norms are implemented in practice according to the assessment of learning outcomes in different subjects. This research leans on analyzing Finnish and Croatian Core Curricula, as well as the meta-analysis of national specific documents that regulate national assessments of learning outcomes of several subjects. The results support earlier findings that the Finnish National Core Curriculum with the criteria given in the grade eight (8) in different subjects, do not serve as an adequate tool for equal and equitable evaluation. It is easy to see – and to a degree also to understand – that teachers adjust their grades according to the general competence level of their class. In the case of Croatia, it seems that undergoing reform of education has taken into account the need to improve the insufficient criteria for quality assessment and evaluation of learning outcomes. Also, the results of this study show that to ensure consistent final assessment, the National Core Curricula should give teachers more support for evaluation. This could be done by defining grading criteria more clearly and equipping the teachers with the necessary competencies and tools for assessment and evaluation of their students. Thus, the results of this study stress the need of ensuring in pre- and in service teacher education. Adequate teacher knowledge and skills on criteria-based evaluation are crucial for valid grading of learning outcomes. Key words: assessment of learning outcomes, basic education, criteria-based evaluation, teacher training and in-service training. Arviointia oppimassa. Miten kasvaa arviointitietoiseksi ja -taitoiseksi opettajaksi? Arja Virta, Turun yliopisto, Elina Kouki, Turun yliopisto Esityksen keskeisiä kysymyksiä ovat, mitä opettajaksi opiskelevan tulisi oppia oppilasarvioinnista ja miten heidän arviointia koskevaa tietotaitoaan tulisi edistää. Arviointikysymykset ansaitsevat opettajankoulutuksessa systemaattista ja syventävää tarkastelua. Oppilasarvioinnin ammattitaitoinen ja eettinen suorittaminen on tärkeää, koska arvioinnilla on suuri vaikutus kunkin oppilaan/opiskelijan tulevaisuuden vaihtoehtoihin. Viime vuosina on korostunut pyrkimys hyödyntää arviointia oppimisen tukena eikä pelkästään arvosanojen antamismerkityksessä. Kriteerien keskeisyys perusopetuksen opetussuunnitelmassa tuo uuden haasteen niin opettajien perus- kuin täydennyskoulutukseen. Tarkastelun perustana ovat arviointitutkimukset ja -kirjallisuus sekä opettajankoulutuksen käytännöt. Yhden näkökulman tarjoaa anglosaksisessa arviointikirjallisuudessa esiintyvä käsite assessment literacy, johon sisältyy arvioinnin periaatteiden ymmärtäminen ja taitava soveltaminen. Temperamentti oppilasarvioinnin haasteena Sari Mullola, Turun yliopisto Temperamentti on ihmisen persoonallisuuden biologinen pohja. Yksilöiden väliset temperamenttierot perustuvat eroihin aivojen välittäjäaineissa ja fysiologisissa reaktioissa. Synnynnäinen temperamentti on yhteydessä siihen, miten yksilö sopeutuu muutoksiin ja suhtautuu uusiin, yllättäviin asioihin ja tilanteisiin. Siksi temperamentti vaikuttaa merkittävästi myös yksilön luontevimpaan ja tehokkaimpaan tapaan opiskella ja oppia, haluun ja tyyliin esiintyä ja olla vuorovaikutuksessa muiden kanssa, sekä kykyyn sietää stressiä. Temperamentin sanotaankin olevan ns. oppimisen yksilöllinen instrumentti. Oppilaan synnynnäinen temperamentti on yhteydessä opettajan käsitykseen oppilaan kognitiivisesta kyvykkyydestä, motivaatiosta ja kypsyydestä. Jatkuuko tämä yhteys edelleen opettajan pedagogiseen päätöksentekoon ja oppilasarvioihin sekä opettajan oppilaalle antamiin arvosanoihin? Millaisia nämä välittävät mekanismit ovat? Mitä tutkimukset sanovat opettajien ns. mallioppilasodotuksista ja millainen on ns. koulutemperamentti? Millainen rooli oppilaan sukupuolella sekä opettajan omalla temperamentilla, sukupuolella ja iällä on näissä edellä mainituissa yhteyksissä? Esityksessä käsitellään temperamentin merkitystä opettajan ja oppilaan välisessä vuorovaikutuksessa ja opetus-opiskelu-oppimis-prosessissa keskittyen erityisesti temperamentin haasteelliseen rooliin oppilasarvioinnissa. Arviointi opettajankoulutuksessa opetussuunnitelmien kertomana Päivi Atjonen Esityksessä tarkastellaan arviointitutkimusten ja -kirjallisuuden sekä opettajankoulutuksen käytäntöjen näkökulmasta, miten tulevia opettajia voidaan tai tulisi perehdyttää oppilas- ja opiskelija-arvioinnin perusteisiin. Arviointia jäsennellään 1) oppimisen arviointina, 2) opiskelun aikaisena arviointina ja 3) oppimisena. Ensimmäinen näkökulma korostaa kriteerien merkitystä, ja kahdessa muussa pohditaan kehittävän arvioinnin toteutumisedellytyksiä opettajankoulutuksen näkökulmasta. Empiirisenä aineistona esitellään Suomen opettajankoulutuslaitosten opetussuunnitelmissa olevien arviointi-opintojaksojen tavoitteita, sisältöjä, oppimateriaaleja ja laajuuksia. Yhteenvetona esitetään suosituksia, miten arviointia tulisi käsitellä luokan-, aineen- ja erityisopettajien koulutuksessa. A LONGITUDINAL ANALYSIS OF THE RELATIONSHIP BETWEEN MATHEMATICS-RELATED AFFECT AND ACHIEVEMENT IN FINLAND Markku S. Hannula*, Emmanuel Bofah*, Laura Tuohilampi* & Jari Metsämuuronen** *Helsingin yliopisto, ** Karvi Oppimistulosten ja oppimisasenteiden välillä on selkeä positiivinen korrelaatio. Tätä korrelaatiota on toisaalta selitetty sillä, että myönteiset asenteet tukevat oppimista, toisaalta sillä, että hyvä menestys luo myönteistä asennetta. Williams ja Williams (2009) tutkivat matematiikan osaamisen ja pystyvyysuskomusten välisiä yhteyksiä 33 eri maassa, joista 24 maassa havaittiin näiden tekijöiden vaikuttavan toisiinsa vastavuoroisesti. Myös Suomi oli tutkimuksessa mukana. Suomalaisaineistossa löytyi vastavuoroinen vaikutussuhde, joskin pystyvyysuskomusten vaikutus osaamiseen oli muita maita pienempi ja vastaavasti osaamisen vaikutus pystyvyysuskomuksiin yksi suurimmista. Toisaalta Hannulan, Maijalan ja Pehkosen (2004) pitkittäistutkimus viittasi siihen, että tässä vastavuoroisessa suhteessa pystyvyysuskomusten vaikutus osaamiseen olisi vahvempi, erityisesti alakoulun loppuvaiheessa. Myös muut pitkittäistutkimukset aiheesta ovat antaneet vaihtelevan suuntaisia tuloksia. Tutkimustulosten eroille on kolme mahdollista selitystä. Ensinnäkin muuttujien välinen suhde saattaa riippua kulttuuriympäristöstä. Toinen mahdollinen selitys tulosten vaihtelevuudelle on, että tulokset riippuvat siitä, mitä asennetekijöitä tutkitaan. Kolmas mahdollinen selitys on, että asenteen ja osaamisen välinen yhteys muuttuu oppilaiden iän mukana. Tässä tutkimuksessa on analysoitu matematiikan osaamisen, matematiikasta pitämisen ja matematiikan pystyvyysuskomusten välistä vaikutussuhdetta laajan pitkittäisaineiston avulla. Opetushallitus keräsi vuosina 2005-2012 pitkittäisaineiston peruskoulun oppilaiden matematiikan osaamisen ja asenteiden kehittymisestä. Aineisto kerättiin peruskoulun 3. luokan alussa, 6. luokan alussa sekä 9. luokan lopussa. Opetushallitus on julkaissut aineistoon pohjautuvan raportin (Metsämuuronen, 2013). Käyttäen Mplus -tilastoohjelmistoa analysoimme aineistosta miten oppilaan matematiikan osaaminen, matematiikasta pitämisen sekä matematiikan pystyvyysuskomus ennustavat näiden samojen tekijöiden kehittymistä seuraavaan mittaushetkeen mennessä. Tutkimustulokset osoittivat kaikkien kolmen muuttujan olevan melko vakaita tutkittuna ajanjaksona. Pystyvyysuskomuksen ja osaamisen välillä todettiin kaksisuuntainen vuorovaikutus, jossa osaamisen vaikutus oli selvästi voimakkaampi luokalta 3 luokalle 6, mutta vain vähän voimakkaampi luokalta 6 luokalle 9. Matematiikan pitämisen ja osaamisen välillä todettiin jonkin verran heikompi yksisuuntainen vaikutus osaamisesta pitämiseen. Alakoulun aikana siis matematiikan osaaminen on keskeisin osaamista ja asenteiden muutosta ennustava tekijä, mutta yläkoulun aikana pystyvyysuskomuksella alkaa myös olla merkittävä vaikutus. Lähdeluettelo Hannula, M.S., Maijala, H., & Pehkonen, E. (2004). Development of understanding and self-confidence in mathematics; grades 5-8. In M. J. Høines & A. B. Fuglestad (Eds.) Proceedings of the 28th Conference of the International Group for the Psychology of Mathematics Education. (Vol. 3, pp. 17 – 24). Bergen University College. Metsämuuronen, J. 2013 (Toim.) Perusopetuksen matematiikan pitkittäisarviointi vuosina 2005−2012. Helsinki, Opetushallitus. oppimistulosten Williams, T., & Williams, K. (2009). Self-Efficacy and Performance in Mathematics: Reciprocal Determinism in 33 Nations. Journal of Educational Psychology, 102(2), 453466 doi:10.1037/a0017271. Arvo(sana)n mekin ansaitsemme – taitotasosta riippumatta? Raili Hildén, Helsingin yliopisto, Juhani Rautopuro, Karvi Tutkimuksen tavoite on analysoida tasa-arvon ja yhdenvertaisuuden toteutumista suomalaisen perusopetuksen päättöarvosanoissa. Yhdenvertaisuus nähdään yksilötason ja tasa-arvo ryhmätason ilmiönä. Samalla tutkimus kohdentuu päättöarvosanojen validiuteen, joka on erityisen tärkeää siksi, että toisen asteen koulutukseen hakeudutaan pääasiassa arvosanojen perusteella. Päättöarvosanaan sisältyy opetussuunnitelmaperusteiden (Opetushallitus 2004) mukaan oppiaineen hallinta (osaaminen) ja työskentely. Opetussuunnitelman perusteissa kuvataan nk. hyvää osaamista edustava päättöarvosana 8. Kieliaineissa hyvä osaaminen kuvataan kriteeriperusteisesti kielitaidon eurooppalaiseen kuvausasteikkoon perustuen. Tyypillisesti pitkien oppimäärien hyvä osaaminen merkitsee tavallisimmista arkitilanteista selviytymistä. Tasokuvauksen on tarkoitus toimia arvosanan valtakunnallisena kriteerinä. Tässä tutkimuksessa tarkastellut oppiaineet ovat vieraat kielet ja toinen kotimainen kieli ruotsi. Tutkimustavoitteen saavuttamiseksi asetettiin kolme tutkimuskysymystä: 1. Mikä on päättöarvosanojen yhteys vieraiden kielten oppimistulosten arvioinnissa osoitettuihin osataitoihin (kuullun ymmärtäminen, puhuminen, luetun ymmärtäminen ja kirjoittaminen)? 2. Mikä on päättöarvosanojen yhteys oppilaan opiskelukäytänteisiin ja käsityksiin? 3. Mitä vaihtelua arvosanojen ja osaamisen, opiskelukäytänteiden ja käsitysten vastaavuudessa havaitaan sukupuolten, koulun opetuskielen ja vanhempien koulutustason mukaisten ryhmien välillä? Tutkimusaineisto on peräisin oppimistulosten arvioinnista, jonka Opetushallitus toteutti Opetus- ja kulttuuriministeriön toimeksiannosta keväällä 2013. Englannin aineisto kattaa 3476 oppilasta 109 koulusta ja ruotsin 1679 oppilasta 73 koulusta. Oppilaat suorittivat neljää osataitoa mittaavat arviointitehtävät ja vastasivat kyselylomakkeeseen, jossa kartoitettiin opiskelukäytänteitä ja käsityksiä. Alustavien tulosten perusteella arvosanan ja osaamisen välinen yhteys on kohtalainen (keskimääräinen korrelaatio 0,7 ja selitysaste 50 %). Vaativimmaksi taidoksi, joka myös vastasi arvosanaa tarkimmin, osoittautui kirjoittaminen. Ymmärtämistaidoissa ja puhumisessa opetussuunnitelmassa kuvattu tavoitetaso saavutettiin tyypillisesti alemmissa arvosanaluokissa kuin tavoitetasoista osaamista vastaava 8. Eri ryhmiltä edellytettiin joissakin osataidoissa merkitsevästi erilaista osaamista kahdeksikon saamiseksi, ja myös käsitykset arvosanan osuvuudesta vaihtelivat ryhmittäin. Enemmän osaamista edellytettiin esimerkiksi niiltä oppilailta, joiden vanhemmat olivat ylioppilaita, samoin ruotsinkielisten koulujen oppilailta verrattuna suomenkielisten koulujen oppilaisiin. Ilmiö saattaa viitata eroihin koulujen arviointikulttuureissa. Kielellisen osaamisen vaatimukset tyttöjen ja poikien välillä vaihtelivat osataidoittain siten, että tytöiltä vaadittiin parempaa kirjoitustaitoa kuin pojilta. Pojat taas kokivat tyttöjä useammin saaneensa liian alhaisen arvosanan. Opiskelukäytänteistä tehtävien säännöllinen tekeminen ja kotitehtävien suorittaminen olivat selkeimmin yhteydessä arvosanaan. Arviointiympäristö muuttuu – muuttuuko arviointi? Juhani Rautopuro, Karvi, Elina Harjunen, Karvi Esityksessämme keskitytään tarkastelemaan perusopetuksen päättövaiheessa osoitetun osaamisen ja kouluarvosanan välistä yhteyttä. Tutkimuksissa on havaittu, että Suomessa osaamisen ja kouluarvosanan välinen korrelaatio on suhteellisen korkea, mutta saman arvosanan saaneiden oppilaiden välillä on suuria eroja sekä koulujen sisällä että koulujen välillä. Perusopetuksen oppimistulosten arvioinnit on tehty perinteisesti kynä-paperitekniikalla. Sähköistä arviointia kokeiltiin ensimmäisen kerran keväällä 2014, jolloin perusopetuksen päättövaiheen arvioinnin kohteena olivat äidinkieli ja kirjallisuus (suomiäidinkielenä) sekä modersmålet (ruotsi äidinkielenä) (Kansallinen koulutuksen arviointikeskus Karvi). Osa oppilaista osallistui perinteiseen arviointiin ja osa teki tehtävät sähköisessä ympäristössä. Oppimistulosten arviointien sähköistäminen liittyy Opetus- ja kulttuuriministeriön linjauksiin koulutuksen sähköisen infrastruktuurin ja digitaalisten oppimisympäristöjen hyödyntämisestä. Äidinkielen ja kirjallisuuden oppimistulosten arviointiin 2014 osallistui koko maan kouluja edustava 5144 oppilaan joukko 149 suomenkielisestä koulusta. Noin kolmasosa kouluista ja oppilaista (1 799) oli mukana sähköisessä pilotoinnissa. Arviointi kohdentui kielentuntemuksen ja kirjoittamisen osaamiseen. Osasyy arviointikohteiden valintaan oli se, että niiden ajateltiin soveltuvan hyvin sähköisen arvioinnin kokeiluun. Kokeilu onnistui hyvin, mutta tarjosi myös pohdittavaa tehtävän laadinnasta tekstien arviointiin ja sensorointiin asti. Eurooppalainen viitekehys kielitaidon kriteeriperustaisen arvioinnin tukena Ari Huhta, Jyväskylän yliopisto Kielikoulutus on viimeisten 15 vuoden aikana muuttunut merkittävästi sekä Euroopassa että laajemminkin Eurooppalaisen kielten viitekehyksen (EVK) ansiosta. Euroopan neuvoston vuonna 2001 julkaisemassa viitekehyksessä määritellään laajasti niitä taitoja ja tietoja, joita tarvitaan erityisesti toisen ja vieraan kielen käytössä ja -oppimisessa. Viitekehystä ja varsinkin sen 6-portaista kuvausta kielitaidon taitotasoista on monissa maissa, mm. Suomessa, alettu käyttää kielenoppimisen ja -opetuksen tavoitteiden määrittelyyn ja kielitaidon arvioinnin perustana. EVK onkin merkittävästi lisännyt kielikoulutuksen ja sen tulosten läpinäkyvyyttä, koska sen avulla on mahdollista kuvata sekä oppimisen tavoitteita että osaamisen laatua kaikille ymmärrettävällä tavalla: kuvaavathan EVK:n tasot, mitä kielenkäyttäjä / -oppija osaa kielen avulla tehdä eri taitotasoilla riippumatta siitä, mistä kielestä on kyse ja miten kielitaito on hankittu. EVK tukee siis osaamisen kriteeriperustaista määrittelyä ja arviointia. Esitys käsittelee Eurooppalaisen viitekehyksen vaikutuksia kielitaidon arviointiin sekä Suomessa että kansainvälisesti. EVK:n vaikutus kielikoulutukseen näkyykin selkeimmin juuri arvioinnin alueella; käytännössä kaikki kansainväliset kielitutkinnot ovat linkittäneet arvosana-asteikkonsa EVK:een. Sama koskee myös joitakin kansallisia kielitutkintoja. EVK:n vaikutus näkyy myös joidenkin maiden opetussuunnitelmien sisällöissä, esimerkiksi Suomessa. Viitekehystä on hyödynnetty lisäksi uusimmissa kansallisissa ja kansainvälisissä kielten oppisaavutustutkimuksissa. Esityksessä näitä trendejä havainnollistetaan esimerkeillä kansainvälisistä kielitesteistä sekä äskettäin valmistuneista Euroopan komission ja Suomen opetushallituksen tekemistä vieraiden kielten oppisaavutuksia koskevista tutkimuksista. Lopuksi analysoidaan EVK:n käytön etuja ja siihen liittyviä haasteita ja ongelmia. Lukutaitotutkimukset arviointiprosessina Sari Sulkunen, Jyväskylän yliopisto Kansainväliset lukutaidon arviointitutkimukset ovat ohjelmaluonteisia ja toistuvat siis säännöllisesti. Niiden tuloksia uutisoidaan näyttävästi, ja tuloksiin viitataan taajaan koulutusta koskevassa keskustelussa. Tässä esitelmässä kuvataan tällaisten tutkimusten laatimis- ja toteuttamisprosessia ja samalla havainnollistetaan kriteeriperustaisen arvioinnin periaatteita ja käytänteitä. Esimerkkinä käytetään PISA-tutkimusta (OECD:n Programme for International Student Assessment), jossa arvioidaan kolmen vuoden välein 15-vuotiaiden nuorten lukutaitoa sekä matematiikan ja luonnontieteiden osaamista. Erityisesti lukutaito on tärkeä perustaito niin arjessa, opiskelussa kuin työelämässäkin. Se on yhteydessä nuorten taloudelliseen, kulttuuriseen ja sosiaaliseen hyvinvointiin ja yhteiskunnan kilpailukykyyn. PISA-tutkimuksen tarkoitus on tuottaa tietoa suomalaisnuorten osaamisesta kansainvälisessä vertailukontekstissa. Tietoa hyödynnetään koulutusjärjestelmän vahvuuksien ja heikkouksien selvittämiseksi sekä sen kehittämiseksi. PISAn kaltaisissa arviointitutkimuksissa on tulosten pätevyyden ja luotettavuuden varmistaminen keskeisessä asemassa koko tutkimusprosessin ajan. Tutkimusten suunnittelu alkaakin useita vuosia ennen varsinaista aineistonkeruuta, ja niihin sisältyy aina esikoe, jonka aikana testataan koemateriaaleja ja käytänteitä. Lisäksi kansainvälisissä hankkeissa pyritään laaduntarkkailulla varmistamaan yhdenmukainen toteutus eri maissa, jotta tulokset olisivat vertailukelpoisia. Esitelmässä keskitytään niihin arviointiprosessin vaiheisiin, jotka ovat kriteeriperustaisuuden kannalta keskeisiä. Näihin sisältyy muun muassa asiantuntijatyö, jolla suunnitteluprosessi alkaa ja jonka tarkoituksena on määritellä arviointikehys: Lukutaitotutkimuksissa lähtökohtana on asiantuntijaryhmän näkemys siitä, millaista lukutaitoa nuoret nykymaailmassa ja tulevaisuudessa tarvitsevat. Lisäksi ryhmä määrittelee, millaisella kokeella tällaista taitoa arvioidaan ja millaiset kriteerit ovat arvioinnin perustana. Nuorten koevastausten pisteytys perustuu arviointikehykseen ja selkeisiin tehtäväkohtaisiin kriteereihin. Tuloksia raportoitaessa näitä kriteerejä hyödynnetään kuvattaessa nuorten lukutaidon jakautumista eri suoritustasoille. Lopuksi esitelmässä pohditaan, mitä yhtymäkohtia kansainvälisten tutkimusten arviointiprosessilla ja koulussa tapahtuvalla oppilasarvioinnilla on. Aikuisten osaamisen arviointi Antero Malin, Jyväskylän yliopisto Esitys käsittelee aikuisten osaamisen arviointia käyttäen esimerkkinä Kansainvälistä aikuistutkimusta (PIAAC Survey of Adult Skills). Tutkimuksessa arvioitiin, kuinka hyvin aikuiset hallitsevat kolmea tiedon käsittelyn ja hallinnan avaintaitoa: lukutaitoa, numerotaitoa ja tietotekniikkaa soveltavaa ongelmanratkaisutaitoa. Osaamista arvioitiin tekemällä tehtäviä, jotka muistuttivat erilaisia työ- ja arkielämän todellisia tilanteita, joissa vastaajan pitää käyttää arvioinnin kohteena olevia taitoja. Tehtävät tehtiin pääsääntöisesti tietokoneella. Osaamisen perusteella osallistujat sijoittuivat eri taitotasoille, joita lukutaidossa ja numerotaidossa oli viisi ja ongelmanratkaisutaidossa kolme. Esityksessä kuvataan, millaisia kriteereitä arvioinnin perustana käytettiin ja miten hyvin eri taitotasoilla olevat henkilöt hallitsevat arvioituja avaintaitoja. Lisäksi kerrotaan, millaisia vaatimuksia tehtävien oli täytettävä, jotta niitä voitiin luotettavasti käyttää aikuisten osaamisen arvioinnin välineinä. Lopuksi kuvataan lyhyesti tutkimuksessa käytettyä adaptiivista testausta. Kansainvälinen aikuistutkimus on aikuisväestön työ- ja arkielämän perustaitojen osaamista ja käyttöä arvioiva tutkimus. Tutkimukseen osallistui 24 maata. Se on osa OECD:n (Organisation for Economic Co-operation and Development) aloitteesta käynnistettyä tutkimusohjelmaa. Tutkimusta johti ja koordinoi yhdysvaltalainen Educational Testing Service (ETS), joka on yksi maailman johtavista koulutuksen ja kasvatuksen arviointitutkimuksen laitoksista. Osaamisen luotettavaan arviointiin ja taitotasojen määrittelyyn tarvittiin suuri joukko tehtäviä, joiden oli vaihdeltava vaikeustasoiltaan ja sisällöiltään. Kaikki arvioinnissa käytetyt tehtävät testattiin laajassa esikokeessa, ja psykometrisilta ominaisuuksiltaan parhaat valittiin päätutkimukseen. Päätutkimuksessa lukutaitotehtäviä oli yhteensä 58, numerotaidon arviointitehtäviä 56 ja ongelmanratkaisutaidon tehtäviä 14. Kukin tutkimukseen osallistunut teki vain osan tehtävistä ennalta määrätyn tutkimusasetelman mukaisesti. Tutkimuksen tiedonkeruu alkoi elokuun lopussa 2011 ja päättyi maaliskuun lopussa 2012. Kriteeriperusteinen opiskelijan arviointi ja oppimistulosten arviointi ja näiden kehitys ammatillisessa koulutuksessa Anu Räisänen, Kansallinen koulutuksen arviointikeskus Ammatillisen koulutuksen opiskelijan arvioinnin kriteeriperustaisuuden juuret ovat 1980 -luvulla, jolloin huolellisen valmistelun ja laajan kokeilun kautta päätettiin luopua aiemmin vallalla olleesta oppilaita toisiinsa vertailevasta suhteellisesta arvioinnista (Arviointikokeilussa noudatettavat kokeilu- ja arviointiohjeet; Oppilasarvioinnin ohjeet ammatillisia oppilaitoksia varten). Siirtymä tarkoitti myös oppilastermin korvaamista opiskelijatermillä, eri koulutusalojen arviointien yhtenäistämistä ja siten useilla aloilla myös asteikon 4−10 korvaamista tyydyttävä (1-2), hyvä (3-4), kiitettävä (5) -asteikolla. Jopa lainsäädännössä korostettiin, että arviointiasteikko on sanallinen, jota vain täydennetään symbolisiksi tarkoitetuilla numeroilla. Opiskelija-arvioinnissa korostettiin jo tuolloin oppimisen laadullisia piirteitä. Lähtökohtana oli, että laadun kriteerit johdetaan opetussuunnitelman tavoitteista eikä opiskelijoita verrata toisiinsa. Siirtymää laadulliseen kriteeriperusteiseen arviointiin tuettiin laatimalla vaatimustasokuvauksia (tyydyttävä, hyvä, kiitettävä) (esimerkiksi Oppilasarvioinnin ohjeet 1987). Opiskelija-arvioinnista siirryttiin opiskelijan arviointiin 2000 -luvun alussa. Perusteluna termin muutokselle oli siirtymä opettajan suorittamasta arvioinnista laajempaan arviointikäsitykseen (Kinnunen & Halmevuo (toim.) 2003). Näin ollen siirryttiin osallistavaan ja siten vuorovaikutteiseen ja kannustavaan opiskelijan arviointiin (opettajat, työnantajien edustajat, opiskelija itse ja muut opiskelijat). 2010 -luvun kehitystä kuvaa osaamisen ja oppimisen arvioinnin toisistaan erottaminen ja edelleen vuodesta 2014 lähtien korostettiin ”learning outcomes”- ajattelua (tutkintojen perusteissa osaamisperustaisuus). Näin olleen myös vahvistui yhteinen eurooppalainen arviointiorientaatio (esimerkiksi Curriculum reform in Europe 2012, Arvioinnin opas 2015). Ammattiosaamisen näyttöjen käyttöönoton jälkeen (2006) on Suomessa tapahtunut siirtymä todellisissa työympäristöissä ja -tehtävissä tehtävään osaamisen arviointiin. Kansallisten oppimistulosten arvioinnin kehitys on seurannut opiskelijan arvioinnin kehitystä aina 1990 -luvulta lähtien (Kansallinen oppimistulosten arviointijärjestelmä 1998). Oppimistuloksia arvioitiin vuosina 1998−2004 ammatillisen osaamisen (kansalliset päättökokeet), kaikille yhteisten opintojen (kielet, matematiikka ja luonnontieteet) sekä yleiskvalifikaatioiden (oppimaan oppiminen) alueilla. Päättökokeet (kesto yksi viikko) järjestettiin tutkinnoittain kansallisen arviointiohjelman mukaan (esim. Räisänen (toim.) muiden arviointien ollessa kansallisia otantaperusteisia kokeita. Ammatillisiin päättökokeisiin osallistuivat kaikki ko. tutkintoon valmistuvat opiskelijat. Vuodesta 2006 lähtien ammatillisen osaamisen arviointi on integroitu ammattiosaamisen näyttöihin. Kansallisista kokeista luovuttiin ja tieto arvioinnin perustaksi kootaan tutkinnoittain järjestetyistä ammattiosaamisen näytöistä koko koulutuksen ajalta (esim. Räkköläinen & Ecclestone 2005, Räisänen & Räkköläinen 2013, Räisänen & Räkköläinen 2014, Frisk & Räisänen 2014). Ammattiosaamisen näyttöihin perustuvan ammatillisen osaamisen arvioinnin lisäksi arvioidaan myös elinikäisen oppimisen avaintaitoja ja ammattitaitoa täydentäviä tutkinnon osia (vrt. yhteiset opinnot). Lähteet: Arvioinnin opas. Ammatillinen peruskoulutus. Näyttötutkinnot. Oppaat ja käsikirjat 9:2012. Opetushallitus. Arvioinnin opas. Ammatillinen peruskoulutus. Näyttötutkinnot. Oppaat ja käsikirjat 2:2015. Opetushallitus. Curriculum reform in Europe. The impact of learning outcomes. Research paper 29:2012. Cedefop. Publications Office of the European Union. Frisk T. & Räisänen, A. 2014. Ammatillinen osaaminen liiketalouden perustutkinnossa. Kansallisen koulutuksen arviointikeskuksen julkaisuja 9:2014. Helsinki: Kansallinen koulutuksen arviointikeskus. Kansallinen oppimistulosten arviointijärjestelmä 1998. Arviointi 4/1998. Helsinki: Opetushallitus. Kinnunen, E. & Halmevuo, T.(toim.). Opiskelijan arvioinnin opas ammatilliseen koulutukseen. Helsinki: Opetushallitus. Räisänen, A. & Räkköläinen, M 2013. Assessment in Learning outcomes in Finish vocational education and training. In: Assessment in Education: Principles, Policy & Practice. In: Assessment in Education 2013. (http://dx.doi.org/10.1080/0969594X.2013.838938) Räisänen, A. & Räkköläinen, M 2014. Developmental assessment of learning outcomes. In: Kalliola, S. Evaluation as a Tool for Research, Learning and Making Thinks Better. Newcastle: Cambridge Scholars Publishing, 241-267). Räisänen, A. (toim.) 1999. KOMEETTA – kone- ja metallialan sekä sähköalan koulutuksen kokonaisarviointi. Arviointi 4/1999. Helsinki: Opetushallitus. Räkköläinen, M. & Ecclestone, K. 2005. The implications of using skills test as basis for national evaluation system in Finland. Evaluation 1/2005. Helsinki: Finnish National Board of Education. Competence-based curricula in universities of applied sciences Seija Mahlamäki-Kultanen, HAMK University of Applied Sciences Higher education institutions in Finland including universities of applied sciences have full autonomy over their curricula. However, a considerable amount of common curriculum development networks and project-based development work is typical for the universities of applied sciences in Finland. It is then understandable that the pedagogical strategies of Finnish Universities of Applied Sciences were following several common principles (Nurmi & Mahlamäki-Kultanen 2015a). At least on written level the latest pedagogical strategies were praising the concept of competence and students´ learning processes. The use of the concept of competence was almost abundant and the expressions of any contents or skills were almost missing unlike they were in the studies dealing with UAS nurse and engineering teachers´ pedagogical concepts during previous decades (Nurmi & Mahlamäki-Kultanen 2015 b; Mällinen 2007) The oral presentation deals with both conceptual level as practice of competence-based curriculum work in the universities of applied sciences. The development and results of criteria for the competence-based curriculum in higher education in universities of applied sciences are analyzed and presented based on a development project managed and documented by Kullaslahti and YliKauppila (2014). The project reams developed the criteria in six UAS and in five science universities. The project took place in Finland during years 2012-2014 and European Social Fund funded it (Kullaslahti & Yli-Kauppila 2014). The primary aim of the Competence-based Curricula Development in Higher Education project was to improve the competence-based approach taken to the development and planning of curricula in universities and universities of applied sciences. Owing to the autonomous way in which HE institutes develop curricula, the project focused on the management and support of the development processes in six universities of applied sciences and in five universities. The project organized various discussion forums, workshops, and seminars to support the collaborative efforts of the HE institutes and stakeholders from the world of work and provided consultation to persons responsible for curriculum development. (Kullaslahti & Yli-Kauppila 2014.) The criteria or dimensions for the competence-based curriculum development and pedagogical management are mission, relevance for the world of work, alignment, pedagogical methods, student guidance and assessment (Kullaslahti & Yli-Kauppila 2014). The dimensions can be used as a frame of reference and quality tool to guarantee the realization of the written curriculum in universities of applied sciences. They can make the ideal thoughts about competences to happen. They bear relevance to curriculum development in other educational institutions as well. Keywords: competence-based curricula, criteria for curriculum development Luottamus ja luotettavuus ammattiosaamisen näyttöihin perustuvassa oppimistulosten arvioinnissa Mari Räkköläinen, Kansallinen koulutuksen arviointikeskus Ammatillisissa perustutkinnoissa ammatillista osaamista arvioidaan ammattiosaamisen näytöillä. Näytöissä opiskelija osoittaa osaamisensa työpaikoilla tai muutoin mahdollisimman aidoissa työelämän toimintakokonaisuuksissa koko koulutuksen ajan. Näyttöjen tavoitteena on varmistaa ammatillisen koulutuksen laatua ja työelämävastaavuutta vahvistamalla oppimistulosten arvioinnin kriteeriperusteisuutta, yhdenmukaistamalla opiskelijan arviointia sekä tuomalla työelämän edustajat mukaan arvioimaan ammatillisen osaamisen tasoa. Arviointi kohdistuu tutkinnon perusteissa määritettyihin opintojen tavoitteisiin ja työelämän edellyttämään ammattitaitoon. Opiskelijan osaamista arvioivat ja näyttöjen arvioinnista päättävät opettaja ja työelämän edustaja joko yhdessä tai erikseen. (L 601/2005, 25 §; A 603/2005. ) Myös ammatillisen koulutuksen kansallinen oppimistulosten arviointi uudistettiin siten, että arviointitieto kansallista arviointia varten tuotetaan suoraan paikallisesti toteutetuista näytöistä eikä erillisiä kansallisia kokeita tai testejä oppimistulosten arviointia varten enää järjestetä. Koulutuksen järjestäjien on pitänyt ottaa näytöt käyttöön vuonna 2006 ja vuodesta 2007 ovat näytöt olleet myös kansallisen oppimistulosten arvioinnin perusta (Opetusministeriön päätös (3/502/2007). Tarkastelen esityksessäni, miten uudessa arviointiajärjestelmässä varmistetaan luotettavuus ja edistetään luottamusta sovitettaessa yhteen opiskelijan osaamisen arviointi ja kansallinen arviointi sekä niiden erilaiset tavoitteet ja luotettavuusvaatimukset. Tarkastelu perustuu näyttöperusteisen arvioinnin kehittämiseen kohdistuneeseen tutkimukseen (Räkköläinen 2011) sekä toteutettuihin oppimistulosten arviointeihin (esim. Räisänen & Räkköläinen 2013; 2014). Näyttöperusteinen osaamisen arviointi muuttaa aiempaa opiskelijan arviointia kontekstiperusteiseksi ja toiminnalliseksi. Kontekstuaalisuus merkitsee huomion kiinnittämistä toimintaprosessiin, toimijoihin ja prosessin omistajiin sekä tietojen ja taitojen soveltamiseen. Arviointi perustuu vuorovaikutukseen ja arvioinnin kohde on osallisena arvioinnissa. Kriteeriperusteisuus ja arvioinnin autenttisuus näytöissä on kehittänyt arvioinnin osuvuutta, validiteettia. Autenttista arviointia pidetään erityisen hyödyllisenä oppimisen ja opettamisen kannalta. Opettajan ja työpaikkaohjaajan yhteisarviointi ja arvioinnin kriteeriperusteisuus sekä näyttöjen suunnittelu ja toteuttaminen oppilaitosten ja työpaikkojen yhteistyönä lisäävät näyttöjen autenttisuutta ja siten validiteettia. Kriteeriperusteisuus on myös vertailtavuuden ehto, mutta kriteeriperusteinen arviointi koetaan pääosin vaikeaksi. Luotettavuutta voidaan lisätä kouluttamalla arvioijat arviointitehtävään entistä paremmin, selkiyttämällä arviointikriteereitä ja vahvistamalla arvioijien yhteistä käsitystä kriteereistä. Osana opiskelijan arviointia näytöt ovat ohjaavaa ja oppimista edistävää formatiivista arviointia. Kansallisen oppimistulosten arvioinnin osana näytöt ovat summatiivista, kokoavaa arviointia, jota tehdään myös tilivelvollisuustarkoituksessa. Arvioinnin erilaisten tarkoitusten ja arviointitiedon laadulle ja luotettavuudelle asetettavien kriteerien välillä on jännite. Näyttöjen arvioinnin luotettavuusongelmat liittyvät nimenomaan arvioinnin reliabiliteettiin. Vertailtavuusongelmasta huolimatta näyttöihin arviointimenetelmänä luotetaan, koska näytöillä on paljon myönteisiä seuraamuksia opiskelijan oppimiseen ja koulutuksen kehittämiseen. Samat asiat, jotka varmistavat näyttöperusteisen arvioinnin laatua ja siten oppimistulosten luotettavuutta, lisäävät myös luottamusta näyttöperusteiseen arviointiin. Yhteisarviointi herättää voimakkaimmin luottamusta, samoin opettajien ja työelämän edustajien yhteistyö näyttöjen suunnittelussa, näyttöjen toteuttaminen työpaikoilla ja kriteeriperusteinen arviointi. Arviointiin voidaan luottaa ristiriidasta huolimatta, mikäli löydetään kontekstiin sopiva tasapaino validiteetti- ja reliabiliteettivaatimusten välille. Ratkaisuna on ollut reliabiliteettiriskien ottaminen ja validiteetin painottaminen luotettavuutta koskevissa linjauksissa. Luottamusta edistää vertaisarviointi näyttötoiminnan laadunvarmennuksen menetelmänä.
© Copyright 2024