Mitä hyötyä arvioinneista?

1
Sirpa Moitus • Hannele Seppälä
Mitä hyötyä arvioinneista?
Selvitys Korkeakoulujen arviointineuvoston
1997–2003 toteuttamien
koulutusala-arviointien käytöstä
KORKEAKOULUJEN
ARVIOINTINEUVOSTO
2
ISBN 952-206-000-3
ISSN 1457-3121
Kustantaja: Korkeakoulujen arviointineuvosto
Kansi: Juha Ilonen
Taitto: Pikseri Julkaisupalvelut
Tammer-Paino Oy
Tampere 2004
3
Esipuhe
Korkeakoulujen arviointineuvosto aloitti tänä vuonna kolmannen kautensa, joten tehdyistä arvioinneista ja niiden vaikutuksista voidaan saada jo tietoa. Arviointineuvostossa omaksutun käytännön mukaan olemme keskittyneet ensi sijassa kehittävään arviointiin; ammattikorkeakoulujen toimilupa-arvioinnit edustivat eräänlaista ’akkreditaatiota’, mutta niiden aika on jo ohi.
Useat tahot ja erityisesti korkeakoulut itse ovat toivoneet tutkimusta siitä,
mitä hyötyä arvioinneista on ja miten niitä käytetään. Arviointineuvosto päättikin tehdä tällaisen selvityksen toisen kautensa lopussa, ja kohteeksi otettiin erityisesti koulutusalakohtaiset arvioinnit.
Neuvoston ensimmäisellä toimikaudella pääkohteina olivat koulutusala- ja
ohjelma-arvioinnit, mutta niiden lisäksi tehtiin useita korkeakoulujen kokonaisarviointeja. Toisen kauden painopisteenä olivat erilaiset teema-arvioinnit, joiden taustalla oli monenlaisia ajankohtaisia koulutuspoliittisia kysymyksiä, kuten esim. opintojen ohjaus, opiskelijavalinnat, avoin yliopisto, jne.
Neuvoston kolmannella toimikaudella sen tärkeimmäksi tehtäväksi muodostuu korkeakoulujen laadunvarmistusjärjestelmien auditointi, joka liittyy läheisesti Bologna-prosessiin. Sen sisältöä tarkennettiin vuoden 2003 Berliinin
ministerikokouksessa, ja sen päämääränä on Eurooppalaisen korkeakoulutusalueen (European Higher Education Area) muodostaminen vuoteen 2010 mennessä. Tutkintojen eurooppalainen vastaavuus, opintojen hyväksilukeminen ja
liikkuvuuden edistäminen ovat kaikki läheisessä suhteessa korkeakoulujen laatutyöhön ja itse asiassa seuraavat siitä. Jo oman kilpailukykymme ja laadun
uskottavuuden vuoksi Suomen on oltava vahvasti tässä työssä mukana ja mieluummin vielä sen eturivissä.
Nyt julkaistu selvitys antaa monipuolisen kuvan siitä, miten korkeakoulut
näkevät arviointityön ja sen mahdolliset puutteet ja siitä saadut hyödyt. Omalta
osaltaan tämä selvitys myös pyrkii vastaamaan siihen, että mitä kaikkea kehittävä arviointi sisällöltään on tai voisi olla. Selvitys antaa toivottavasti korkeakouluille myös aineksia rakentaa omaa sisäistä laadun arviointiaan ja varmistusta ja sekä niihin liittyvää asiantuntemusta.
Korkeakoulujen arviointineuvosto on hyvin kiitollinen tähän mennessä saamistaan korkeakoulujen reaktioista ja kommenteista, jotka ovat jatkossakin tervetulleita. Niiden perusteella neuvosto voi edelleen parantaa ja kehittää omaa
toimintaansa sekä siten varmistaa Suomen korkeakoululaitoksen kansainvälistä
kilpailukykyä, laatua ja uskottavuutta.
Ossi V. Lindqvist, professori
Korkeakoulujen arviointineuvoston puheenjohtaja
4
Sisällys
1
Johdanto __________________________________________________ 5
2
2.1
2.2
2.3
2.4
2.5
Koulutusala-arvioinneissa käytetty arviointimalli _____________ 6
Suunnitteluvaihe _____________________________________________ 7
Itsearviointi _________________________________________________ 8
Ulkoinen arviointi ____________________________________________ 9
Arviointiraportti ____________________________________________ 11
Seuranta-arviointi ___________________________________________ 11
3
3.1
3.2
3.3
3.4
Selvityksen toteutus ______________________________________
Selvityksen tavoitteet ________________________________________
Aineiston keruu ____________________________________________
Selvitykseen osallistuneet koulutusohjelmat ja oppiaineet ____________
Vastausten käsittely __________________________________________
13
13
13
14
16
4 Oppiaineille ja koulutusohjelmille tehdyn kyselyn tulokset ____
4.1 Vastauksen laadintaprosessi korkeakouluissa ______________________
4.2 Arviointikokemus ja perehdytys ________________________________
4.2.1 Aiempi arviointikokemus __________________________________
4.2.2 Perehdytyksen riittävyys ja sen kehittäminen ___________________
4.3 Arvioinnin tulosten hyödyntäminen _____________________________
4.3.1 Arvioinnin tulosten käsittely _______________________________
4.3.2 Arviointeja seuranneet konkreettiset kehittämistoimenpiteet _______
4.3.3 Syitä suositusten toteutumatta jäämiseen _____________________
4.4 Arvioinnin merkitys ja vaikuttavuus _____________________________
4.4.1 Arvioinnin merkitys koulutuksen kehittämiselle _________________
4.4.2 Muut koulutuksen kehittämiseen vaikuttaneet tekijät ____________
4.5 Arviointimenetelmän arviointi _________________________________
4.5.1 Arviointimenetelmän yleiset vahvuudet ja heikkoudet ____________
4.5.2 Itsearvioinnin vahvuudet ja heikkoudet _______________________
4.5.3 Arviointivierailun tai korvaavan menetelmän vahvuudet ja
heikkoudet ___________________________________________
4.5.4 Arviointiraportin vahvuudet ja heikkoudet _____________________
4.5.6 Seuranta-arvioinnin vahvuudet ja heikkoudet __________________
4.5.7 Kansainvälisen arvioinnin merkitys __________________________
4.5.8 Arviointimenetelmän kehittämisehdotuksia ____________________
18
18
18
18
20
24
24
25
27
28
28
30
31
32
34
5
5.1
5.2
5.3
Rehtorikyselyn tulokset ___________________________________
Rehtorikyselyn toteutus ______________________________________
Koulutusala-arviointien hyödyllisyys korkeakouluille ________________
Korkeakoulujen arviointineuvoston rooli tulevaisuudessa ____________
47
47
47
48
6
Yhteenveto ja pohdintaa __________________________________ 51
36
38
40
41
42
LIITE: Kyselylomake _____________________________________________ 56
5
1
Johdanto
Korkeakoulujen arviointineuvosto on toteuttanut vuosina 1997–2003 yhteensä 11 koulutusala-arviointia1. Toisen nelivuotisen toimikauden päättyessä Korkeakoulujen arviointineuvosto päätti selvittää korkeakoulujen kokemuksia ja
mielipiteitä koulutusala-arviointien vaikuttavuudesta. Sen sijaan opetusministeriön ja sidosryhmien näkemyksiä ei selvityksessä kartoitettu. Selvityksen taustalla olivat kysymykset siitä, 1) tuottavatko koulutusala-arvioinnit sellaista tietoa, josta on hyötyä oppiaineiden ja koulutusohjelmien koulutuksen laadun kehittämiselle, 2) onko tätä arviointitoimintaa tarpeen jatkaa ja 3) jos vastaus edelliseen kysymykseen on myönteinen, miten menetelmää tulisi kehittää. Selvitys
palvelee myös uutta, vuonna 2004 toimintansa aloittanutta Korkeakoulujen
arviointineuvostoa, kun se suunnittelee tulevaa arviointiohjelmaa ja valitsee
arviointimenetelmiä.
Selvitys tehtiin laadullisena kyselynä, joka lähetettiin keväällä 2003 korkeakoulujen vastattavaksi. Selvityksen kohteeksi valittiin mahdollisimman edustava otos kaikista Korkeakoulujen arviointineuvoston koulutusalakohtaisiin arviointeihin osallistuneista koulutusohjelmista ja oppiaineista. Kyselyn vastausprosentti oli 80 %. Myös korkeakoulujen rehtoreille tehtiin lyhyt kysely koulutusala-arviointien vaikuttavuudesta korkeakoulujen johdon näkökulmasta. Rehtorikyselyn vastausprosentti oli 46 %.
Kyselyssä selvitettiin, millaista kokemusta oppiaineilla ja koulutusohjelmilla
oli arviointitoiminnasta ennen Korkeakoulujen arviointineuvoston toteuttamaa
arviointia, pitivätkö yksiköt arviointineuvostolta saamaansa perehdytystä riittävänä, miten yksiköt ovat hyödyntäneet arviointien tuloksia, millaista merkitystä
arvioinnilla on ollut koulutuksen kehittämiselle ja miten yksiköt kehittäisivät
arviointimenetelmää.
Tämän raportin luvussa 2 kuvataan ensin taustaksi koulutusala-arvioinneissa käytetty arviointimenetelmä pääpiirteissään. Selvityksen toteutus esitellään
luvussa 3 ja tulokset luvuissa 4–5. Luvussa 6 tehdään yhteenveto ja johtopäätöksiä selvityksen tuloksista. Raportissa on haluttu antaa tilaa koulutusohjelmien ja oppiaineiden äänelle. Tästä syystä raportissa on runsaasti suoria lainauksia vastauksista.
1
Tässä raportissa käytetään käsitettä koulutusala-arviointi koulutusohjelma-arvioinnin sijasta,
koska arviointeihin ovat useimmiten osallistuneet sekä yliopistojen oppiaineet ja ammattikorkeakoulujen koulutusohjelmat tai muut alan koulutusta antavat yksiköt.
6
2
Koulutusala-arvioinneissa
käytetty arviointimalli
Vuosina 1997–2003 toteutetuissa koulutusala-arvioinneissa arvioinnin perusmalli on koostunut neljästä vaiheesta:
•
•
•
•
arvioinnin suunnittelu
korkeakoulun tekemä itsearviointi
ulkopuolinen asiantuntija-arviointi, johon liittyy arviointivierailu
julkinen arviointiraportti.
Koulutusala-arvioinnit ovat kestäneet 1–1,5 vuotta. Arviointiprosessin eri vaiheista ovat vastanneet seuraavat tahot:
Taulukko 1. Korkeakoulujen arviointineuvoston arviointiprosessin vaiheet
Arviointiprosessin vaihe
Vastuutaho
Tehtävä
1. Suunnitteluvaihe
Eri tahot
KKA
(tavoitteet, näkökulma)
KKA
Suunnitteluryhmä*
Johtoryhmä
KKA
Aloitteita arviointikohteiksi
Arviointikohteen valinta ja rajaus
2. Itsearviointivaihe
Korkeakoulut
3. Ulkoinen arviointi
4. Arviointiraportti
Arviointiryhmä
Arviointiryhmä
Johtoryhmän nimeäminen
Arvioitavan aiheen kartoitus
Projektisuunnitelman laatiminen
Projektisuunnitelman
hyväksyminen ja ulkoisen
arviointiryhmän nimeäminen
Itsearviointiprosessi ja
itsearviointiraporttien laadinta
Arviointivierailut korkeakouluihin
Arviointiraportin laadinta ja
julkistus
Arviointiprosessin viidentenä vaiheena on ollut seuranta-arviointi eli follow-up,
jonka Korkeakoulujen arviointineuvosto on toteuttanut yleensä noin kolmen
vuoden kuluttua alkuperäisestä arvioinnista.
Jokaiseen arvioinnin vaiheeseen on liittynyt eri ryhmien perehdyttämistä
tehtäväänsä.
Seuraavassa luonnehditaan tarkemmin arviointiprosessin eri vaiheita.
* Suunnitteluryhmä on nimetty, mikäli arvioinnin kohde on ollut erityisen laaja ja vaatinut
esim. normaalia laajempaa taustakartoitusta.
7
2.1 Suunnitteluvaihe
Korkeakoulujen arviointineuvosto on päättänyt itsenäisesti arvioinnin kohteista
ja menetelmistä. Arviointialoitteita ovat Korkeakoulujen arviointineuvoston lisäksi tehneet korkeakoulut, opetusministeriö, jokin muu ministeriö, työelämän
edustajat, opiskelijajärjestöt ja muut organisaatiot.
Korkeakoulujen arviointineuvosto (KKA) ei ole itse arvioinut, vaan se on
päättänyt arviointien käynnistämisestä ja kutsunut asiantuntijoita suunnittelemaan ja toteuttamaan arvioinnit. Projektisuunnitelman on laatinut johtoryhmä,
joka on täsmentänyt arvioinnin tavoitteet, sisällöt ja menetelmät. KKA on käsitellyt ja vahvistanut projektisuunnitelman. Tiedonkulku KKA:n ja johtoryhmän
välillä on järjestetty siten, että johtoryhmän puheenjohtajana on toiminut yleensä KKA:n jäsen. KKA on nimittänyt johtoryhmän esityksestä ulkoisen arviointiryhmän sekä järjestänyt projektin päätösseminaarin. KKA:n pääsihteeri ja sektorien vastuusuunnittelijat ovat osallistuneet useissa hankkeissa johtoryhmätyöskentelyyn.
Arvioinnin suunnittelussa on käytetty arvioinnin laajuudesta riippuen yksitai kaksiportaista mallia. Mikäli arvioitava kohde on ollut laaja ja hahmottumaton, suunnitteluprosessi on järjestetty kaksiportaisena, jolloin arviointia on suunniteltu sekä suunnittelu- että johtoryhmässä. Mikäli kyse on ollut selkeärajaisesta arviointitehtävästä, tällöin suunnittelusta on vastannut johtoryhmä.
Mikäli suunnitteluvaihe on järjestetty kaksiportaisena, suunnitteluryhmän
tehtävänä on ollut kartoittaa arvioitava alue ja tehdä ehdotus arvioinnin rajaukseksi. Tällöin kartoitustehtävä on ollut usein laaja, ja siihen on voinut liittyä
esimerkiksi kyselyjä korkeakouluille ja niiden tulosten kokoamista erilliseksi
taustaraportiksi. Useissa tapauksissa suunnitteluryhmä on aloittanut myös projektisuunnitelman laadinnan.
Pääsääntöisesti kaikissa arviointiprojekteissa on toiminut johtoryhmä, jonka tehtävänä on ollut mm.
•
•
•
•
•
määritellä arviointiprojektin tavoitteet, sisällöt ja menetelmä eli laatia projektisuunnitelma
tehdä ehdotus Korkeakoulujen arviointineuvostolle arviointiryhmän kokoonpanosta
järjestää arviointiryhmälle keskustelu- ja perehdytystilaisuus, jossa käydään
läpi mm. projektisuunnitelmaan sisältyviä asioita
seurata arvioinnin etenemistä
osallistua arviointiraportin julkistustilaisuuteen.
Suunnitteluryhmä ja johtoryhmä ovat koostuneet yleensä 5-7 jäsenestä. Johtoryhmän puheenjohtaja on ollut yleensä KKA:n jäsen ja ryhmän jäsenet korkeakoulujen, työelämän ja opiskelijajärjestöjen edustajia, jotka ovat edustaneet arvioitavan alan substanssi- ja/tai pedagogista asiantuntemusta.
Kun arviointiprojekti on päätetty käynnistää, johtoryhmä on järjestänyt arvioinnin aloitusseminaarin, johon on kutsuttu edustajat kaikista arviointiin osal-
8
listuvista korkeakouluista tai mikäli arvioinnin kohteena on ollut yksi korkeakoulu, edustajat sen eri yksiköistä. Aloitusseminaarin tarkoituksena on ollut
käydä keskustelua projektin tavoitteista ja toteutuksesta ja tarjota korkeakouluille tilaisuus kommentoida projektisuunnitelmaa. Seminaarin jälkeen projektisuunnitelmaa on täsmennetty.
KKA:n rekrytoima projektisuunnittelija on toiminut johtoryhmän sihteerinä ja vastannut johtoryhmän päätösten toimeenpanosta.
2.2 Itsearviointi
Itsearviointi on ollut keino kerätä tietoa arviointikohteesta ja työkalu korkeakouluille oman toimintansa kehittämiseen. Itsearviointien tarkoituksena on ollut pyytää korkeakouluja kokoamaan tietoja arvioitavasta asiasta, kannustaa
niitä arvioimaan oman toimintansa vahvoja ja heikkoja puolia sekä rohkaista
niitä tekemään kehittämissuunnitelmia. Usein itsearviointi on avannut korkeakouluille uusia näkökulmia arvioitavaan asiaan.
Korkeakoulut ovat voineet itse päättää, miten ne organisoivat itsearvioinnin, mutta KKA on suositellut, että arviointiin osallistuisi mahdollisimman laajasti arvioitavan yksikön henkilökuntaa ja opiskelijoita. Korkeakoulut ovat soveltaneet itsearvioinnin organisoinnissa erilaisia menettelyitä. Usein korkeakoulut ovat nimenneet ohjausryhmän, joka on kerännyt kyselyin, haastatteluin, seminaarein tai muilla tavoin henkilökunnan ja opiskelijoiden näkemyksiä arvioitavasta asiasta, analysoinut koottua aineistoa ja laatinut tältä pohjalta yhteisen
itsearviointiraportin.
Itsearviointiprosessin konkreettisena tavoitteena on ollut laatia itsearviointiraportti arviointiryhmän käyttöön. Itsearviointiraportin muoto ja enimmäislaajuus on ennalta määritelty itsearviointiohjeissa ja -kysymyksissä. KKA on
pitänyt tärkeänä, että itsearviointiraportti sisältää sekä toiminnan kuvausta että
sen analyyttistä arviointia. Tämän vuoksi tätä seikkaa on usein korostettu itsearviointiohjeissa. Määrällisiä tietoja on kysytty korkeakouluilta yleensä vain
taustoittamaan arviointia.
Joissakin arvioinneissa opiskelijoita on pyydetty laatimaan oma erillinen
itsearviointiraportti. Tällöin paikallisilla opiskelija- ja ainejärjestöillä on ollut
keskeinen rooli opiskelijoiden itsearviointiprosessin koordinoinnissa. Korkeakoulujen arviointineuvosto on tehnyt tiivistä yhteistyötä opiskelijoiden kattojärjestöjen Suomen ylioppilaskuntien liitto SYL ry:n ja Suomen Ammattikorkeakouluopiskelijayhdistysten Liitto – SAMOK ry:n kanssa opiskelijoiden perehdyttämiseksi itsearviointiin.
9
2.3 Ulkoinen arviointi
Arviointiryhmää koottaessa KKA:n tavoitteena on ollut saada kokoon mahdollisimman monipuolinen ja laaja-alainen asiantuntemus suhteessa arvioitavaan
alaan, teemaan tai korkeakouluun. Yleensä ryhmissä ovat olleet edustettuna
korkeakoulut, työelämä ja opiskelijat. Arvioitsijoiden yleisinä valintakriteereinä
ovat olleet arvioitavan alan tai teeman sekä suomalaisen koulutus- ja arviointijärjestelmän tuntemus. Osallistuminen arviointikoulutukseen tai korkeakoulujen sisäisissä tai ulkoisissa arviointiprojekteissa hankittu käytännön arviointikokemus on ollut eduksi.
Arviointiryhmän tehtävänä on ollut mm.
•
•
•
•
•
•
•
•
•
perehtyä saamaansa toimeksiantoon, täsmentää arviointitehtävää ja määritellä mahdolliset arviointikriteerit
tutustua korkeakoulujen tuottamiin itsearviointiraportteihin
määritellä mahdolliset lisätiedontarpeet, kuten tilastolliset taustatiedot
organisoida arviointivierailu ja mahdolliset muut arviointiprosessin vaiheet,
kuten teemakeskustelut
tehdä arviointivierailut korkeakouluihin
muodostaa itsearviointiraporttien ja arviointivierailujen pohjalta näkemys
arvioitavan ilmiön laadusta sekä valtakunnallisesti että arviointiin osallistuvissa korkeakouluissa
tehdä suosituksia arvioinnin kohteena olevan toiminnan laadun parantamiseksi. Suositukset voivat olla valtakunnallisia, korkeakoulu-, laitos- ja koulutusohjelma-/oppiainekohtaisia.
laatia arvioinnin loppuraportti
osallistua arvioinnin päätösseminaariin.
Arviointiryhmä on ollut ad hoc -periaatteella toimiva asiantuntijaryhmä, joka
on ollut johtopäätöksissään itsenäinen. Näin ollen arviointiryhmä on muodostanut oman näkemyksensä koulutuksen laadusta ja kirjannut sen arviointiraporttiin, jonka sisältöön KKA ei ole puuttunut.
Kukin arviointiryhmän jäsen on osallistunut aktiivisesti ja tasavertaisena
jäsenenä ryhmän työskentelyyn. Ryhmän on edellytetty olevan objektiivinen ja
tasapuolinen kaikkia arviointiin osallistuvia korkeakouluja kohtaan. Arviointi
on perustunut korkeakoulujen arviointiprosessissa tuottamaan aineistoon, arviointivierailun aikana tehtyihin haastatteluihin sekä mahdollisesti muihin koulutusalaa koskeviin selvityksiin.
Arviointiryhmä on vastannut korkeakouluihin tehtävistä arviointivierailuista. Arviointivierailu on ollut luonteeltaan vuorovaikutteinen ja arvioitavan
koulutuksen kehittämistä tukeva. Vierailun aikana arviointiryhmän tehtävänä
on ollut täydentää itsearviointiraportin perusteella saatua kuvaa arviointikohteesta. Arviointiryhmälle on ollut mahdollista saada lisäperusteluja itsearviointiraportissa esitetyille asioille, tarkistaa epäselviksi tai puutteellisiksi jääneitä
kohtia ja saada lisätietoa ongelmallisista tai kehittämistä vaativista osa-alueista.
Vierailun aikana arviointiryhmän tehtävänä on ollut myös esittää palautetta ja
kehittämisideoita arviointiin osallistuvalle yksikölle.
10
Arviointivierailu yhteen korkeakouluun on kestänyt koulutusala-arvioinneissa yhden työpäivän ja kokonaisarvioinneissa 2–3 työpäivää. Korkeakoulut
ovat saaneet arviointiryhmältä etukäteen rungon vierailupäivän kuluksi, jonka
pohjalta ne ovat laatineet yksityiskohtaisen vierailuohjelman. Arviointivierailu
on sisältänyt yleensä seuraavia elementtejä:
•
•
•
•
•
•
korkeakoulun tai koulutusohjelman johdon haastattelu
opetushenkilökunnan ja muun henkilökunnan haastattelu
opiskelijoiden haastattelu
työelämän / sidosryhmien edustajien haastattelu
tutustuminen koulutusyksikön opetus- ja oppimisympäristöön ja opinnäytetöihin
suullinen arviointipalaute arviointiryhmältä koulutusyksikölle.
Mikäli arviointiin on osallistunut useita korkeakouluja, ideaalimalli olisi se, että
arviointiryhmä vierailee kaikissa arviointiin osallistuvissa korkeakouluissa tai
koulutusohjelmissa. Toisinaan arviointiin osallistuvia yksiköitä on kuitenkin ollut niin paljon, että vierailu on voitu tehdä vain osaan korkeakouluista. Näissä
tapauksissa arviointiryhmä on päättänyt vierailukohteiden valintakriteereistä ja
informoinut niistä korkeakouluja. Valintakriteereinä on usein käytetty mm. koulutusalakohtaista, alueellista ja kielellistä edustavuutta.
Perinteisen haastattelumenettelyn sijasta arviointivierailu on voitu toteuttaa myös perusmallia varioiden. Joissakin arviointiprojekteissa arviointivierailujen toteutuksessa on käytetty benchmarking-menetelmää, jolloin arviointiin
osallistuneet yksiköt ovat vierailleet toistensa yksiköissä. Joissakin arvioinneissa
arviointivierailut on korvattu kokonaan jollakin muulla menetelmällä, kuten
teemakeskusteluilla. Tällöin tavoitteena on usein ollut luoda valtakunnallinen
keskustelufoorumi, jossa arvioitavan ilmiön laadusta on voitu keskustella samanaikaisesti kaikkien koulutuksen järjestäjien ja merkittävimpien toimijaryhmien kanssa. Räätälöityjä malleja on esitelty yksityiskohtaisemmin KKA:n arviointimenetelmiä kuvaavassa raportissa, joka ilmestyy vuonna 2004.
Projektisuunnittelija on vastannut arviointivierailujen järjestämisestä yhdessä arviointiin osallistuvien korkeakoulujen nimeämien arviointiyhteyshenkilöiden kanssa. Korkeakoulut ovat saaneet etukäteen rungon vierailupäivän kuluksi ja ohjeet henkilöistä, joita arviointiryhmä haluaa haastatella (esim. korkeakoulun johto, henkilökunnan edustajat ja työnantajien edustajat). Opiskelijajärjestöjä on yleensä pyydetty valitsemaan haastateltavat 5–10 opiskelijaa. Tältä
pohjalta korkeakoulut ovat valmistelleet tarkennetun vierailuohjelman, josta
ovat käyneet ilmi haastateltavien nimet, mahdollinen tutustumiskierros opetusja oppimisympäristöön ja opinnäytetöihin sekä muut vierailuun liittyvät käytännön seikat.
Arvioinnin päättyessä korkeakoulut ovat saaneet kutsun arvioinnin päätösseminaariin, jossa on keskusteltu projektin tuloksista ja johtopäätöksistä sekä
sen esiinnostamista kehittämistarpeista eri tahojen näkökulmasta.
11
2.4 Arviointiraportti
Arviointiryhmän yksi tärkeä tehtävä on ollut antaa arviointiin osallistuvalle yksikölle palautetta koulutuksen tai arvioitavan ilmiön laadusta. Palaute on perustunut arviointiryhmän yhteiseen näkemykseen.
Arviointipalautetta on annettu kahdella tavalla:
1. Arviointiryhmä on antanut arviointiin osallistuvalle yksikölle suullisen palautteen arviointivierailupäivän päätteeksi.
2. Arviointiryhmä on antanut arviointiin osallistuvalle yksikölle kirjallisen palautteen.
Mikäli arviointiryhmän vierailuohjelmaan on sisältynyt suullinen palaute, arviointiryhmällä on ollut oma kokous ennen palautteen antamista. Tällöin ryhmä
on sopinut keskenään palautteessa esiinotettavista asioista. Yleensä palautteen
on esittänyt arviointiryhmän puheenjohtaja, joka on korostanut, että kyseessä
ovat arviointiryhmän ensimmäiset huomiot, joita arviointiryhmä voi vielä tarkistaa arviointiraporttia laatiessaan. Koulutuksen järjestäjälle on yleensä varattu mahdollisuus käyttää vastauspuheenvuoro.
Suullinen palaute on yleensä koettu hyvin tärkeäksi, koska se antaa korkeakoulun henkilökunnalle ja opiskelijoille tuoreeltaan käsityksen arviointiryhmän näkemyksistä.
Arviointipalautteet on kirjattu projektin loppuraporttiin. Arviointiin osallistuneille on laadittu yleensä kirjallinen yksikkökohtainen palaute. Palautteen laajuus on riippunut arviointityypistä. Koulutusala-arvioinneissa ja teema-arvioinneissa palautteet ovat olleet yleensä 3–5 sivua/arvioitu yksikkö. Joissakin arvioinneissa arviointiryhmä on antanut kirjallista palautetta myös niille korkeakouluille, jotka ovat laatineet itsearviointiraportin, mutta joissa arviointiryhmällä ei ole ollut mahdollisuutta vierailla. Toisaalta joissakin arvioinneissa ei-vieraillut kohteet eivät ole saaneet omaa palautetta, vaan niitä koskevat arvioinnit
on sisällytetty arviointiryhmän laatimiin valtakunnallisiin johtopäätöksiin ja suosituksiin.
2.5 Seuranta-arviointi
Korkeakoulujen arviointineuvosto on toteuttanut seuranta- eli follow up-arviointeja noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Seuranta-arvioinnin tavoitteena on ollut
•
•
tukea arviointiin osallistuvaa yksikköä koulutuksen laadun kehittämisessä
selvittää arvioinnin käyttöä ja vaikuttavuutta arvioitujen yksiköiden kannalta.
Seuranta-arvioinnin suunnittelu on toteutettu samalla tavalla kuin varsinaisessa
arvioinnissa; ts. KKA on kutsunut johtoryhmän valmistelemaan seuranta-arvioinnin projektisuunnitelman, joka sisältää tavoitteet, sisällöt ja menetelmät. Johtoryhmä on valmistellut myös itsearviointikysymykset.
12
Seuranta-arvioinneissa itsearviointi on toteutettu yleensä selvästi suppeampana kuin varsinaisessa arvioinnissa. Itsearviointikysymykset ovat liittyneet mm.
seuraaviin aihealueisiin:
•
•
•
arvioinnin tulosten vastaanotto ja käsittely
arvioinnin merkitys ja vaikuttavuus
arvioinnin käyttö.
Tätä selvitystä tehtäessä vuoden 2003–2004 vaihteessa KKA on toteuttanut
neljä koulutusala-arviointien seuranta-arviointia. Menetelmä ei ole vielä vakiintunut, vaan seuranta-arvioinneissa on kokeiltu erilaisia malleja. Joissakin seuranta-arvioinneissa arviointiraportin on koonnut itsearviointiraporttien pohjalta
KKA:n ulkopuolinen sihteeri. Tällöin kyse on ollut lähinnä kuvailevasta yhteenvedosta. Joissakin tapauksissa seuranta-arviointeihin on pyritty saamaan mukaan arvioiva elementti pyytämällä alkuperäisiä arvioitsijoita laatimaan raportti
korkeakoulujen itsearviointiraporttien pohjalta.
13
3
Selvityksen toteutus
3.1 Selvityksen tavoitteet
Korkeakoulujen arviointineuvosto päätti keväällä 2003 toteuttaa koulutusalaarviointien vaikuttavuutta koskevan selvityksen.
Selvityksen tavoitteena oli
•
•
•
kerätä Korkeakoulujen arviointineuvoston arviointeihin osallistuneilta koulutusohjelmilta ja oppiaineilta palautetta koulutusala-arvioinneissa käytetyn arviointimenetelmän vahvuuksista, kriittisistä kohdista ja hyödyllisyydestä koulutuksen kehittämisessä
tuottaa kuvailevaa aineistoa Korkeakoulujen arviointineuvoston omien toimintatapojen dokumentoimiseksi ja kehittämiseksi
tuottaa tietoa tulevalle Korkeakoulujen arviointineuvostolle arviointimenetelmän käyttökelpoisuudesta ja kehittämissuunnista.
Selvityksestä rajattiin pois yksittäisten arviointiprojektien alakohtaisten suositusten toteutumisen arviointi, koska tätä tehtävää varten toteutetaan erillisiä
seuranta-arviointeja eli ns. follow-up-arviointeja. Sen sijaan tarkoitus oli selvittää arviointimenetelmän toimivuutta yleisemmällä tasolla.
3.2 Aineiston keruu
Päätös aineiston keruusta tehtiin Korkeakoulujen arviointineuvoston työvaliokunnassa, joka käsitteli selvityksen tavoitteita ja menetelmää kahdessa kokouksessa keväällä 2003. Kyselylomakkeen laadinnasta ja kyselyn käytännön toteutuksesta vastasivat projektisuunnittelijat Sirpa Moitus ja Hannele Seppälä.
Selvityksen aineisto kerättiin kahdella kyselyllä, jotka osoitettiin koulutusala-arviointien yhteyshenkilöille ja korkeakoulujen rehtoreille. Koulutusala-arviointien yhteyshenkilöiden kyselylomakkeessa kysymykset koskivat koulutusohjelman tai oppiaineen aikaisempaa arviointikokemusta, perehdytystä KKA:n
järjestämään koulutusala-arviointiin, arvioinnin tulosten hyödyntämistä sekä
arvioinnin merkitystä ja vaikuttavuutta. Lisäksi vastaajia pyydettiin arvioimaan
koulutusala-arvioinneissa käytettyä menetelmää. Kysymykset olivat avoimia.
Kyselylomake on tämän raportin liitteenä.
Yhteyshenkilöitä pyydettiin kokoamaan vastaukset omassa yksikössään valitsemallaan tavalla. Kysely lähettiin yhteyshenkilölle sähköpostitse
26.5.2003, ja vastaukset pyydettiin palauttamaan 29.8.2003 mennessä. Yksiköille, joista ei saatu vastausta määräaikaan mennessä, lähetettiin muistutus sähköpostitse jatkaen vastausaikaa 19.9.2003 asti.
Rehtorikyselyn toteutus kuvataan luvussa 5.1.
14
3.3 Selvitykseen osallistuneet
koulutusohjelmat ja oppiaineet
Korkeakoulujen arviointineuvosto on toimintansa aikana toteuttanut 11 koulutusala-arviointia, joissa on käytetty seuraavia menetelmiä:
Taulukko 2. Korkeakoulujen arviointineuvoston toteuttamat koulutusala-arvioinnit 1997–2003
Arviointiprojektin nimi Tot.
(kv.=kansainvälinen
vuosi
arviointi)
Arvioinnin
suunnittelu
Itsearviointi*
Arviointivierailu
Arviointiraportin
laadinta
Tuotantotalouden
korkea-koulutuksen
arviointi (kv.)
Terveysalan korkeakoulutuksen arviointi
Yliopistoissa annettavan
opettajankoulutuksen
arviointi
1998
perusmalli
perusmalli
perusmalli
perusmalli
1999
perusmalli
perusmalli
perusmalli
perusmalli
2000
perusmalli
perusmalli
meta-analyysi
2000
dokumenttianalyysi ja
delfoimenetelmä
perusmalli
perusmalli
perusmalli
2000
perusmalli
portfoliomenetelmä
perusmalli
perusmalli
perusmalli
2000
perusmalli
tutkimusaineistot,
arviointivierailut
perusmalli
2001
perusmalli
perusmalli:
sisältönä
koulutuksen ja
tutkimuksen
yhtäaikainen
arviointi
perusmalli
perusmalli
perusmalli
2002
perusmalli
perusmalli
perusmalli
2003
perusmalli
perusmalli
fokusryhmäkeskustelut ja
arviointivierailut
perusmalli
2003
perusmalli
perusmalli
perusmalli
perusmalli
2004
perusmalli
perusmalli
yhteistyöseminaarit
perusmalli
Ammatillisen opettajankoulutuksen arviointi
Tietoteollisuuden
korkeakoulutuksen
arviointi (kv.)
Slavistiikan ja
baltologian koulutuksen
ja tutkimuksen
arviointi (kv.)
Konetekniikan
korkea-koulutuksen
arviointi (kv.)
Media- ja viestintäalan
korkeakoulutuksen
arviointi
Rakennustekniikan
korkeakoulutuksen
arviointi (kv.)
Kauppatieteiden ja
liiketalouden korkeakoulutuksen arviointi (kv.)
Sosiaalialan korkeakoulutuksen arviointi
*Itsearviointikysymykset kuitenkin räätälöidyt jokaisessa arviointiprojektissa
perusmalli
15
Tämän selvityksen piiriin valittiin kahdeksan arviointiprojektia: neljä tekniikan
alan arviointia, terveysalan, slavistiikan ja baltologian, media- ja viestintäalan
sekä kaupan ja liiketalouden arviointi. Selvityksen ulkopuolelle rajattiin molemmat opettajankoulutuksen arvioinnit ja sosiaalialan arviointi. Opettajankoulutuksen arvioinneista oli ennen tätä selvitystä toteutettu seuranta-arvioinnit, mutta yksiköiltä oli kysytty eri kysymyksiä kuin tässä selvityksessä, joten
aineistoa ei voitu hyödyntää tässä yhteydessä. Sosiaalialan arviointi taas oli selvitystä toteutettaessa vielä kesken.
Selvitykseen valittuihin kahdeksaan arviointiin on osallistunut yhteensä 166
koulutusohjelmaa ja oppiainetta. Koska arviointeihin osallistuneiden yhteismäärä on varsin suuri, kysely päätettiin kohdentaa rajatulle otokselle siten, että
osallistuvat koulutusohjelmat ja oppiaineet edustaisivat mahdollisimman monipuolisesti erilaisia yksiköitä.
Selvitykseen osallistujien valintakriteereinä olivat
•
•
•
korkeakoulutyyppi siten, että edustetuksi tulevat yliopistot ja ammattikorkeakoulut
koulutusala siten, että edustetuksi tulevat kaikki KKA:n arviointeihin osallistuneet alat
arvioinnin toteutus siten, että edustetuksi tulevat
• ns. perinteisiin ja menetelmällisesti poikkeaviin projekteihin osallistuneet yksiköt
• eri kielillä toteutettuihin projekteihin osallistuneet yksiköt
• yksiköt, joihin tehtiin arviointivierailu ja yksiköt, joissa ei vierailtu
• yksiköt, jotka saivat arviointipalautteen ja yksiköt, jotka eivät saaneet
palautetta.
Selvitykseen valittiin yhteensä 87 koulutusohjelmaa ja oppiainetta ammattikorkeakouluista ja yliopistoista. Kyselyn kanssa samanaikaisesti oli käynnissä slavistiikan ja baltologian arvioinnin seuranta, jossa käytettiin pitkälti yhdenmukaista kyselyrunkoa tämän selvityksen kanssa. Näin ollen tämän alan oppiaineille ei tehty enää uutta kyselyä, vaan seuranta-arvioinnissa kertynyttä aineistoa käytettiin hyväksi tässä selvityksessä. Slavistiikan ja baltologian arvioinnin
seurannassa ei kuitenkaan kysytty kysymyksiä 2, 9 ja 10.
Kyselyyn valituista 87 koulutusohjelmasta ja oppiaineesta 70 vastasi kyselyyn. Näin ollen kyselyn vastausprosentti on 80 %.
16
Taulukko 3. Arviointeihin osallistuneet, selvitykseen valitut ja selvitykseen
vastanneet koulutusohjelmat ja oppiaineet arviointiprojekteittain
Arvioinnin kohteena
ollut koulutus
Arviointiin osallistuneet
koulutusohjelmat ja
oppiaineet
Selvitykseen valitut
koulutusohjelmat
ja oppiaineet
Yo
Amk
Yht.
Yo
Amk
5
10
15
6
Terveydenhuoltoala
11
19
30
Slavistiikka ja
baltologia
11
-
Tietoteollisuus
7
Opettajankoulutus
Selvitykseen
vastanneet
koulutusohjelmat
ja oppiaineet
Yht.
Yo
Amk
Yht.
6
12
5
4
9
5
7
12
3
7
10
11
5
-
5
5
-
5
8
15
4
6
10
4
3
7
11
-
11
-
-
-
-
-
-
Ammatillinen
opettajankoulutus
-
5
5
-
-
-
-
-
-
Konetekniikka
4
17
21
4
9
13
2
6
8
15
15
30
6
7
13
5
7
12
Rakennusala
2
17
19
2
7
9
2
4
6
Kauppatiede ja
liiketalous
7
18
25
6
7
13
6
7
13
73
109
182
38
49
87
32
38
70
Tuotantotalous
Media- ja viestintäala
YHTEENSÄ
3.4 Vastausten käsittely
Koulutusohjelmien ja oppiaineiden lähettämät vastaukset luokiteltiin aluksi arviointiprojekteittain ja teemoittain. Kuhunkin kysymykseen saadut vastaukset
analysoitiin sisällönanalyysilla luokitellen maininnat eri näkökulmien mukaan
ja laskien, montako kertaa kukin maininta esiintyi vastauksissa. Tarkoituksena
oli selvittää, vaikuttivatko projektissa käytetyt arviointimenetelmät (esimerkiksi
arviointivierailujen järjestäminen) ja kirjallisten arviointipalautteiden antaminen
sekä arvioinnin kotimaisuus tai kansainvälisyys koulutusohjelmien tai oppiaineiden näkemyksiin. Mikäli projektien kesken oli merkittäviä näkemyseroja esimerkiksi menetelmän toimivuuden suhteen, erot tuodaan esille tekstissä.
Käsittelyn aikana tarkasteltiin myös sitä, oliko näkemyksissä eroja yliopistojen oppiaineiden ja ammattikorkeakoulujen koulutusohjelmien kesken.
17
Lopuksi projektikohtaiset maininnat laskettiin yhteen frekvensseiksi (f) ja
yhdistettiin taulukoiksi, joista eivät enää erotu yksittäisten alojen näkemykset,
vaan joista ilmenee vastausten kokonaisuus. Taulukkoja tarkasteltaessa on hyvä
huomata, että sama vastaaja saattoi esittää useita näkökulmia asiaan. Toisaalta
kaikki vastaajat eivät vastanneet jokaiseen kysymykseen. Tämän vuoksi taulukkojen yhteenlasketut frekvenssit vaihtelevat, eikä niitä ole tarkoituksenmukaista laskea yhteen. Koska kyse oli laadullisesta kyselystä, taulukkojen frekvenssejä voidaan tulkita vain siten, montako kertaa kukin näkökulma mainittiin koulutusohjelmien ja oppiaineiden vastauksissa.
18
4
Oppiaineille ja koulutusohjelmille
tehdyn kyselyn tulokset
Tässä luvussa käsitellään koulutusohjelmille ja oppiaineille osoitetun kyselyn
tuloksia kysymyksittäin. Kyselylomake on liitteenä.
4.1 Vastauksen laadintaprosessi korkeakouluissa
Kyselylomakkeen aluksi koulutusohjelmilta ja oppiaineilta kysyttiin, miten ne
olivat laatineet vastauksen tähän kyselyyn.
Suurin osa koulutusohjelmista tai oppiaineista mainitsi, että arvioinnin yhteyshenkilö oli ensin laatinut vastaukset, jonka jälkeen niitä oli käsitelty yhdessä muun henkilöstön kanssa kokouksissa tai sähköpostitse. Joissakin yksiköissä
oli perustettu työryhmä vastauksen laatimista varten. Noin viidesosan mukaan
oli laatinut yksi henkilö, joka oli tavallisesti arvioinnin yhteyshenkilö.
Opiskelijoiden osallistuminen vastausten laadintaan oli hyvin vähäistä. Opiskelijat olivat olleet mukana kahdessa media- ja viestintäalan arviointia koskevan vastauksen laadinnassa sekä yhden liiketalouden alan ja yhden rakennustekniikan alan vastauksen laadinnassa.
4.2 Arviointikokemus ja perehdytys
4.2.1 Aiempi arviointikokemus
Selvityksen kysymys:
•
Millaista arviointikokemusta yksiköllänne oli ennen Korkeakoulujen arviointineuvoston toteuttamaa koulutusala-arviointia?
Tällä kysymyksellä haluttiin selvittää, oliko arviointitoiminta koulutusohjelmille
ja oppiaineille entuudestaan tuttua vai oliko Korkeakoulujen arviointineuvoston toteuttama arviointi ensimmäinen kerta, jolloin yksiköt tutustuivat arviointiin. Arviointikokemuksellahan on osaltaan vaikutusta siihen, millaista perehdytystä yksiköt KKA:lta tarvitsevat.
19
Taulukko 4. Koulutusohjelmien/oppiaineiden aiempi arviointikokemus. Kysymykseen vastasi 65 koulutusohjelmaa/oppiainetta
Vastaajien aiempi arviointikokemus
Korkeakoulujen sisäiset arviointi- ja kehittämishankkeet
Muiden tahojen suorittamat arvioinnit (esim. EQUIS, OECD, ammattiliittojen selvitykset)
Osallistuminen KKA:n järjestämiin kokonaisarviointeihin tai auditointeihin
Osallistuminen KKA:n järjestämiin teema-arviointeihin, aluekehitysvaik., tai muihin kuin
tässä käsiteltyihin koulutusala-arviointeihin
Toimilupa-arvioinnit
Suomen Akatemian tutkimuksen arvioinnit
Osallistuminen KKA:n järjestämiin laatuyksikkövalintoihin
Yksikön henkilökunta toiminut itse arvioitsijana KKA:n arviointihankkeissa
Muuta (esim. KKA:n järjestämä arviointikoulutus, Laatukeskuksen EFQM-koulutus)
Ei aikaisempaa kokemusta
f
26
14
10
9
7
5
4
3
3
11
Suurimmalla osalla koulutusohjelmista ja oppiaineista oli Korkeakoulujen arviointineuvoston koulutusala-arviointia edeltävää arviointikokemusta. Eniten kokemusta oli hankittu korkeakoulujen sisäisistä arviointi- ja kehittämishankkeista. Tällaisia hankkeita oli ollut erityisesti terveysalalla sekä media- ja viestintäalalla.
Lähes kaikilla aloilla oli karttunut aiempaa arviointikokemusta kansainvälisistä arvioinneista (esim. ammattikorkeakouluja koskeva OECD:n toteuttama
arviointi), koulutusalakohtaisten laadunarviointiorganisaatioiden toteuttamista
arvioinneista (esim. kaupan alalla EQUIS-arviointi), ammattiliittojen toteuttamista selvityksistä (esim. Suomen Ekonomiliiton selvitykset) tai muista vastaavista ulkopuolisten toteuttamista arvioinneista.
Osa koulutusohjelmista ja oppiaineista oli osallistunut aikaisemmin johonkin Korkeakoulujen arviointineuvoston järjestämään teema-arviointiin, tai korkeakoulussa oli toteutettu kokonaisarviointi, jossa yksikkö oli ollut mukana.
Myös laatuyksikkövalintaan osallistuminen oli kartuttanut joidenkin yliopistojen ainelaitosten arviointikokemusta. Yliopistojen laitokset toivat esille myös
osallistumisen Suomen Akatemian toteuttamiin tutkimuksen arviointeihin.
Ammattikorkeakoulujen koulutusohjelmat puolestaan mainitsivat toimilupa-arviointien tuoman kokemuksen.
Muutamia kyselyyn vastanneiden koulutusohjelmien/oppiaineiden edustajia on toiminut KKA:n arvioinneissa myös arviointiryhmän jäseninä, jota pidettiin tärkeänä arviointikokemusta yksikköön välittävänä tekijänä. Yhden korkeakoulun vastauksessa tuotiin esille arviointikoulutuksen kautta saatu osaaminen
ja kokemus (mm. osallistuminen Korkeakoulujen arviointineuvoston vuonna
2001 järjestämään 10 opintoviikon koulutukseen ”Arviointi ja laatu korkeakouluissa” sekä osallistuminen Suomen yliopistojen rehtorien neuvoston Laatukeskukselta tilaamaan EFQM-koulutukseen).
20
Yksitoista koulutusohjelmaa ja oppiainetta kertoi, että niillä ei ollut lainkaan arviointikokemusta ennen KKA:n järjestämää koulutusala-arviointia. Suurin osa näistä yksiköistä kuului niihin, joissa arviointi oli toteutettu jo vuosina
1997–1998. Tämän jälkeen arviointitoiminta ja -kokemus ovat lisääntyneet
huomattavasti kaikilla aloilla.
4.2.2 Perehdytyksen riittävyys ja sen kehittäminen
Selvityksen kysymys:
•
Oliko KKA:n antama perehdytys ennen arviointia (esim. itsearviointiohjeet
ja käynnistysseminaari) riittävää, ja miten sitä tulisi kehittää?
Taulukko 5. Perehdytyksen riittävyys. Kysymykseen vastasi 65 koulutusohjelmaa
ja oppiainetta
Perehdytyksen riittävyys
Perehdytystilaisuus oli hyvä ja riittävä
Itsearviointiohjeet ja muut kirjalliset ohjeet olivat riittävät
Itsearviointi- ja muut ohjeet eivät olleet riittävät tai riittävän selkeät
Lisätietoja pyydettiin KKA:n projektisuunnittelijalta
Perehdytystilaisuus ei ollut riittävä eikä saavuttanut tavoitettaan
f
37
21
10
8
2
Koulutusala-arviointeihin osallistuneet koulutusohjelmat ja oppiaineet olivat
enimmäkseen tyytyväisiä KKA:n antamaan perehdytykseen ja ohjeiden riittävyyteen. Noin puolet tähän kysymykseen vastanneista toi esille, että arvioinnin
käynnistysseminaari antoi hyvän ja riittävän pohjan arviointiin. Vain kaksi vastaajaa mainitsi, ettei perehdytystilaisuudessa saatu tieto ollut riittävää.
”Korkeakoulujen arviointineuvoston antama perehdytys oli kokonaisuutena riittävää. Käynnistysseminaari antoi hyvän perustan arvioinnille. Arviointilomake herätti keskustelua alkuvaiheessa. Siitä pyydettiin kuitenkin palautetta ja ehdotukset
otettiin pitkälti huomioon. Itsearviointiohjeet olivat suurelta osin selkeät ja riittävät,
ja tarvittaessa oli mahdollisuus pyytää selvennyksiä.”
”Arviointityön käynnistämisseminaarin anti jäi melko vaatimattomaksi. Katsomme,
että pääsääntöisesti pärjäsimme annettujen kirjallisten ohjeiden perusteella arviointityötä tehtäessä. Joitakin ristiriitaisuuksia ohjeisiin sisältyi ja joiltakin osin niiden toteuttaminen oli ongelmallista ja mahdotontakin. Suurin ongelma oli kuitenkin prosessin aikana vastaus- ja käsittelyaikojen riittävyys, kun yhteistyötahoja oli
useita.”
Kolmasosa vastanneista kertoi olleensa tyytyväisiä itsearviointiohjeisiin ja muihin kirjallisiin ohjeisiin, jotka koskivat arvioinnin toteuttamista. Kuudesosa vastanneista oli mainitsi, että itsearviointiohjeet eivät olleet riittävän selkeät, eivätkä antaneet riittävää tukea itsearvioinnin suorittamiseen korkeakouluissa.
Vastaajien kesken oli eroja siinä, kuinka tarkkaa itsearviointirunkoa ja ohjeistusta toivottiin. Toiset olisivat toivoneet hyvin tarkkaa ohjeistusta, kun taas
21
joissakin yksiköissä itsearviointiohjeiden väljyys oli koettu positiivisena asiana.
Tällöin positiivisena pidettiin erityisesti sitä, että väljyys mahdollisti yksikön
omat painotukset ja valinnat itsearviointiprosessissa.
Kaikkien arviointiprojektien yhteydessä oli mainintoja siitä, että perehdytyksen ja lisätietojen saaminen KKA:n projektisuunnittelijalta oli toimivaa.
”Kirjallisia ohjeita oli paikoin hankala tulkita osin väljästi ilmaistun ja paikoin ristiriitaisenkin tekstin vuoksi. Lisäksi osa asioista tuntui olevan päällekkäisiä. Käytetyt
käsitteet tulisi ehdottomasti määritellä selkeästi ja yksiselitteisesti.”
”Itsearviointiohjeet koettiin prosessia helpottaviksi, mutta osittain puutteellisiksi ja
tulkinnanvaraisiksi. Ohjeita voisi selventää ja yksinkertaistaa. Kysymyksenasettelujen tulisi ehkä paremmin noudattaa korkeakoulun käytössä olevaa nimikkeistöä,
organisaatiota, hallintomallia jne. ”
Taulukko 6. Perehdytyksen kehittäminen. Kysymykseen vastasi 28 koulutusohjelmaa/oppiainetta
Perehdytyksen kehittäminen
Aikataulun pitäisi olla väljempi, arvioinnin ajoitus oli huono
Itsearvioinnissa ja koko arviointiprosessissa käytetyt käsitteet tulisi määritellä selkeästi
(myös ruotsin ja englanninkieliset käänökset tarkemmiksi)
Käynnistysseminaarissa pitäisi olla enemmän aikaa keskusteluun ja kysymyksille mm.
arvioinnin tavoitteista
Arvioinnin kohde ja rajaukset tulisi olla selkeämmät ja perustellut
Enemmän perehdytystä ja ohjeita (KKA:n malli poikkeaa mm. EFQM:stä ja muista
korkeakoulujen käyttämistä laatujärjestelmistä)
Tulisi varata henkilöstöresursseja arviointiprosessin toteuttamiseen
Muut (Arvioinnissa tulisi käyttää suomen kieltä englannin sijaan, Itsearviointikysymysten
laadinnassa tulisi huomioida myös opiskelijat, Arvioinnin yhteyshenkilöille enemmän tukea
ja ohjausta)
f
11
9
3
3
2
2
3
Koulutusohjelmien ja oppiaineiden vastauksissa nousi esiin paljon arvokkaita
ehdotuksia arviointiprojektien perehdytyksen kehittämiseksi.
Eniten kiinnitettiin huomiota arviointiprojektien aikatauluihin, jotka ovat
vastanneiden mukaan liian tiukkoja ja vaikeuttivat paikoin perusteellisen itsearviointiprosessin läpiviemistä. Korkeakoulut toivoivat myös oman toimintansa
kannalta sopivampaa ajoitusta. Useissa arviointiprojekteissa itsearviointivaihe
on toteutettu aikavälillä touko–syyskuu, jolloin on ajateltu kesäajan tarjoavan
väljyyttä itsearvioinnin toteuttamiseen. Arviointiprojektin aikataulutukseen vaikuttaa osittain myös KKA:n oman työn organisointi, koska kesäaikaa pitäisi
kuitenkin pystyä hyödyntämään. Erityisesti kauppatieteiden ja liiketalouden
alan arviointiin sekä tietoteollisuuden alan arviointiin osallistuneista moni oli
sitä mieltä, että kesäaika katkaisi itsearviointivaiheen ja hankaloitti korkeakoulun toimijoiden yhteistyötä ja yhteisen itsearviointiprosessin toteuttamista.
Aikaresurssien lisäksi muutamassa vastauksessa tuotiin esille arviointihankkeen
henkilöresurssoinnin lisätarve.
22
”Itsearvioinnin ja arviointivierailujen ajankohdan suunnittelussa on hyvä ottaa huomioon ammattikorkeakoulujen ja eri koulutusohjelmien työskentelyaikataulut
(esim. tekniikassa kiireisin aika on huhtikuu lukuvuoden päättyessä huhti–toukokuun vaihteessa).”
”Seuraavan arvioinnin aikataulutuksen ja oppilaitosten työskentelyn parempaan
koordinointiin tulisi kiinnittää huomiota. Arviointiprosessin käynnistäminen juuri
ennen kesää opetustyön loputtua ja opettajien lähtiessä lomille aiheutti lähes kolmen kuukauden seisahduksen. Toisaalta koulutyön käynnistyttyä syyskuussa oli
nopeasti järjestettävä itsearviointitilaisuudet, kirjoitettava raportti ja kierrätettävä
se lausunnoilla. Väljemmällä aikataululla olisi kenties meidän tapauksessamme jäänyt enemmän aikaa pohdintoihin, olihan meillä alkanut juuri kahden itsenäisen
osaston toimintojen ja toimintakulttuurin yhteensovittaminen.”
”Järjestettiin tilaisuus, missä arviointiprosessia käytiin läpi, ohjeistus oli sinänsä riittävää. Vaikeaa: aikataulu saneltiin ylhäältä, joten se kuormitti töiden ohella. Arvioinnin deadline, joka oli syksyn alussa, oli aikataulullisesti tiukka, koska hallintoa
ei yleensä hoideta kesällä. Tilastointi oli vaikeaa, sillä eri korkeakouluissa on erilaiset systeemit (=millaisia tilastoja kerätään).”
Useat koulutusohjelmat ja oppiaineet pitivät arvioitavien kohteiden ja käsitteiden selkeämpää määrittelyä tärkeänä kehittämiskohteena. Myös arvioinnin rajausten selkeyteen tulisi kiinnittää enemmän huomiota. Palautteen mukaa käsitteiden epätarkkuus on vaikuttanut jossakin määrin myös suomen-, ruotsin- ja
englanninkielisten käännösten eroavaisuuksiin. Ehdotuksia käsitteiden, arvioinnin rajausten ja kohteiden selkeyttämiseksi tuli erityisesti kauppatieteiden ja
liiketalouden arviointiin sekä media- ja viestintäalan arviointiin osallistuneilta.
Kauppatieteiden ja liiketalouden arviointiprojektissa korkeakoulut saivat itse
tehdä arviointikohteiden rajaukset. Joissakin korkeakouluissa olisi kuitenkin toivottu, että arvioinnin suunnittelijat olisivat määritelleet arviointikohteet yhtenäisellä tavalla. Media- ja viestintäalalla johtoryhmän tekemää arviointikohteiden valintaa ja rajausten tekemistä vaikeutti vuosikymmenen vaihteessa tapahtunut alan koulutustarjonnan nopea kasvu.
”Arviointiohjeistus oli riittävää ja käynnistysseminaari kattoi arviointiin liittyviä asioita hyvin. Eniten pohdittavaa liittyi arvioinnin kohteen tarkempaan määrittelemiseen ja rajaamiseen, joka ohjeistuksessa jätettiin ammattikorkeakoulun valittavaksi.
Harkittavaa saattaisi olla, olisiko arvioinnin kohteen määrittelyn tullut olla yhtenäisempi.”
”Perehdytys oli riittävä. Arvioitavien käsitteiden määrittely mahdollisimman yksiselitteisellä tavalla helpottaisi itsearvioinnin tekemistä.”
”Perehdytyksessä ei käynyt riittävän selväksi se, että kyse oli opetuksen, ei tutkimuksen arvioinnista. Laitoksella heräsi myös jo prosessin alussa kysymys siitä, miten yliopistollisten yksiköiden arviointi ylipäätään on mahdollista erottamalla opetus ja tutkimus toisistaan (koska niiden yhteys on koko yliopisto-opetuksen erityisluonteen perusta). Ohjeita ei muutenkaan pidetty selkeinä.”
23
Joidenkin arvioinnissa käytettävien käsitteiden epätarkkuuden ja yhteisten määritelmien puuttumisen koettiin vaikeuttavan itsearvioinnin tekemistä, korkeakoulujen välistä vertailtavuutta sekä opiskelijoiden osallistumista itsearvioinnin
tekemiseen. Itsearviointikysymysten selkeyttämistarvetta korostivat erityisesti
rakennustekniikan, konetekniikan ja tietoteollisuuden alan arviointeihin osallistuneet. Vastauksissa kiinnitettiin huomiota itsearvioinnin selkeyteen myös opiskelijoiden kannalta. Itsearviointikysymysten tulisi vastaajien mukaan olla sisällöltään sellaisia, että opiskelijoilla olisi edellytykset vastata niihin.
”Itsearviointikysymyksiä tulisi kehittää. Ainakin rakennustekniikan koulutusohjelmien itsearviointikysymykset olivat vaikeaselkoisia ja vastaajille erittäin paljon selvitystyötä vaativia. Lisäksi melko suuri osa kysymyksistä ei kohdistunut itse toimintaan.”
”Instruktionerna var överlag ok men de svenska instruktionerna kunde gärna ha
kommit samtidigt som de finska instruktionerna. De båda språkversionerna borde
även ha förmedlar samma budskap; utvärderingsarbetet försvårades i viss mån
p.g.a. att vissa frågor inte var klart formulerade på svenska. Det var också lite
oklart vad rådet inbegrep i begreppet affärskompetens.”
Muutamissa kauppatieteiden ja liiketalouden alan sekä media- ja viestintäalan
arviointeihin osallistuneiden vastauksissa toivottiin, että käynnistysseminaarissa varattaisiin enemmän mahdollisuuksia keskusteluun ja erilaisten epäselvien
asioiden käsittelyyn. Yksiköt toivoivat tiiviimpää osallistumista, keskustelua ja
vaikutusmahdollisuuksia arvioinnin suunnitteluvaiheessa.
”Käynnistysseminaarissa olisi voitu esittää itsearvioinnin kysymykset ja aiheet edes
pääpiirtettäin, jolloin osallistujilla olisi ollut mahdollisuus kommentoida niitä ja
myös keskustella itsearvioitavien seikkojen painotuksista ja relevanttiudesta.”
Arviointiprojektiin osallistuminen vaatii korkeakouluilta paljon työtä ja sitoutumista sekä perehtymistä KKA:n käyttämiin arviointimenetelmiin, jotka poikkeavat esimerkiksi monissa kaupallisissa laadunvarmistusjärjestelemissä käytetyistä menettelytavoista. Arviointiprojektin alkuvaiheessa jokainen arviointiin osallistuva korkeakoulu nimeää yhteyshenkilön, joka toimii tiedonvälittäjänä KKA:n
ja korkeakoulun välillä ja jonka toivotaan hoitavan korkeakoulussa arvioinnin
organisoimiseen liittyviä asioita. Muutamien palautteiden mukaan yhdyshenkilöiden tulisikin saada enemmän ohjausta, tukea ja tietoa tehtävänsä hoitamiseksi.
”Käynnistysseminaarissa kävi selväksi, mihin arvioinnilla pyritään ja ketkä prosessissa toimivat eri rooleissa. Sen sijaan koulutusohjelman vetäjän tulisi saada enemmän tukea, taitoja ja harjaannusta arviointiprosessin ohjaamisessa omassa yksikössään. Kaikkien saaminen mukaan prosessiin on vaativa johtamistehtävä, eritoten
pienessä koulutusohjelmassa, jossa johtamis- ja suunnitteluresurssi on pieni ja henkilöstö toimii monessa koulutusohjelmassa.”
24
4.3 Arvioinnin tulosten hyödyntäminen
4.3.1 Arvioinnin tulosten käsittely
Selvityksen kysymys:
•
Miten yksikössänne käsiteltiin koulutusohjelma- /oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia?
Taulukko 7. Arvioinnin tulosten käsittely. Kysymykseen vastasi yhteensä 69
koulutusohjelmaa ja oppiainetta
Arvioinnin tulosten käsittely
Palautetta käsitelty henkilöstön kanssa (henkilöstökokoukset, osastokokoukset,
kehittämispäivät)
Korkeakoulun johto käsitellyt palautetta (hallitus, johtoryhmä, rehtori, opetus- ja
tutkimusneuvosto tai vastaava)
Käytetty tukena yksikön kehittämisessä (esim.strategisessa työssä, toimintasuunnitelmien
laadinnassa)
Palautetta käsitelty opiskelijoiden kanssa (info- ja keskustelutilaisuudet)
Koulutuksen sisältöjä ja tavoitteita kehitetty (ops-uudistus, tutkinnonuudistus)
Palautetta käsitelty työelämän edustajien kanssa neuvottelukunnissa, tiedotettu/esitelty
työelämälle (alan järjestöille)
Ei erillisiä tilaisuuksia, arviointiraporttia jaettu arviointiprosessiin osallistuneille
Muut: Tiedotettu tiedotusvälineille, käytetty perusteena talous- ja tulosneuvotteluissa,
tuloksista laadittu oma yhteenveto asian käsittelyä varten, oman yksikön tunnuslukuja
vertailtu raportissa kuvattuun valtakunnalliseen tasoon, arvioinnissa tuotettua materiaaleja
ja julkaisuja on käytetty oppimateriaalina
f
54
22
16
13
12
11
4
7
Yleisin tapa käsitellä koulutusohjelma- tai oppiainekohtaista ja valtakunnallista
arviointipalautetta ja suosituksia oli ottaa ne esiin henkilöstökokouksissa sekä
erilaisilla henkilöstön kehittämispäivillä. Erityisesti ammattikorkeakouluissa tällainen käytänne oli hyvin yleinen. Useissa koulutusohjelmissa ja oppiaineissa
oli menetelty niin, että arviointipalautetta oli käsitelty sekä korkeakoulun johdon kokouksissa että henkilöstölle ja opiskelijoille järjestetyissä keskustelutilaisuuksissa. Joissakin ammattikorkeakouluissa keskustelutilaisuuksiin oli osallistunut myös työelämän edustajia. Vastauksissa tuli esille, että tilaisuuksilla oli
ollut suuri merkitys kehittämissuunnitelmien ja -toimenpiteiden jatkotyöstämisen kannalta.
25
Noin viideosassa tähän kysymykseen vastanneista ammattikorkeakoulujen
koulutusohjelmissa arviointipalautetta oli käsitelty neuvottelukunnissa. Ammattikorkeakoulut olivat kutsuneet myös opiskelijoita käsittelemään arviointipalautteita. Useissa koulutusohjelmissa opiskelijat olivat olleet mukana info- ja keskustelutilaisuuksissa. Muutama koulutusohjelma oli järjestänyt myös erillisen
opiskelijoille suunnatun tilaisuuden. Yliopistoissa opiskelijoiden mukaan kutsuminen oli harvinaisempaa – vain kaksi yliopistoyksikköä mainitsi opiskelijoiden
osallistuneen arviointipalautteen käsittelyyn.
Noin neljäsosa vastaajista mainitsi, että arviointipalautetta oli hyödynnetty
yksikön kehittämisessä, strategisessa työssä tai toimintasuunnitelmien laadinnassa. Muutamissa koulutusohjelmissa ja oppiaineissa arviointipalautetta oli
hyödynnetty myös perusteina talous- ja tulosneuvotteluissa. Arviointipalautteesta oli ollut hyötyä myös koulutuksen sisältöjen ja tavoitteiden kehittämisessä.
Mainintoja arviointipalautteen hyödyntämisestä suoraan opetuksen kehittämisessä oli muun muassa liiketalouden ja kauppatieteiden, media- ja viestintäalan
sekä slavistiikan ja baltologian arviointiin osallistuneissa yksiköissä.
Kaikissa koulutusohjelmissa ja oppiaineissa ei ollut järjestetty erillisiä tilaisuuksia arviointipalautteen käsittelemiseksi. Näissä yksiköissä tiedottaminen oli
usein hoidettu siten, että arviointiraportteja oli jaettu arviointiprosessiin osallistuneille tutustuttavaksi. Muutamissa vastauksissa tuli esille arviointipalautteen
käsittelyn ja hyödyntämisen vaikeus, joka johtui siitä, että yksikkö ei ollut saanut omaa kehittämispalautetta, vaan palaute oli ollut valtakunnallista. Yhden
vastauksen mukaan raportin suuri sivumäärä ja englanninkielisyys vaikeutti
palautteen käsittelyä.
Yhtenä hyvänä tiedottamisen käytänteenä tuli esille se, että koulutusohjelma oli laatinut oman koulutusohjelmakohtaisen yhteenvedon arvioinnin tuloksista valtakunnallisen arviointiraportin pohjalta. Tällainen menettely saattaa
helpottaa paitsi arvioinnin tuloksista tiedottamista, myös nopeuttaa jatkotoimenpiteiden suunnittelua.
4.3.2 Arviointeja seuranneet konkreettiset
kehittämistoimenpiteet
Selvityksen kysymys:
•
Mainitkaa esimerkkejä siitä, mitä konkreettisia toimenpiteitä arvioinnista
seurasi yksikkönne koulutuksen kehittämisessä?
26
Taulukko 8. Arvioinnista seuranneet konkreettiset toimenpiteet
Arvioinnista seuranneet konkreettiset toimenpiteet
Opetussuunnitelmatyö, opetussisältöjen kehittäminen, tutkintorakenteen uudistaminen
Opintojen ohjauksen kehittäminen ja HOPS:in käyttöönotto
Kansainvälisyyden lisääminen (vieraskielinen opetustarjonta, kv. vaihto)
Opetusmenetelmien ja suoritustapojen kehittäminen
Arviointi- ja palautejärjestelmien kehittäminen
Laatutyö, strategiatyö (pedagoginen ja kv. strategia), johtamisen kehittäminen
Tiedottamisen ja henkilöstön ja opiskelijoiden keskustelukulttuurin kehittäminen
Työelämäyhteyksien kehittäminen
Opettajien täydennyskoulutus (pedagoginen, työelämäyhteydet)
Harjoittelun kehittäminen
Opetusvälineiden ja -tilojen kehittäminen
Verkostoituminen (korkeakoulujen sisällä, välillä ja työelämän kanssa)
Opiskelijavalintojen kehittäminen, aloituspaikkojen lisääminen/vähentäminen
Koulutuksen tavoitteiden kehittäminen
Muut (mm. opiskelijoiden osallistuminen koulutuksen suunnitteluun)
f
37
26
17
15
15
12
10
10
9
9
6
6
4
3
16
Useimmat koulutusohjelmat ja oppiaineet toivat esiin useita arvioinneista seuranneita konkreettisia toimenpiteitä. Vastausten perusteella arviointien tuloksia
on käytetty eniten opetussuunnitelmatyöhön ja opetussisältöjen kehittämiseen.
Melko moni yliopistosektorin oppiaine toi esiin myös tutkintorakenteen uudistuksen, jossa arvioinnin suosituksia on voitu hyödyntää. Tässä työssä yhden
vastaajan mukaan opetuksen päällekkäisyyksiä on pyritty vähentämään ja opintojaksojen integrointia on pyritty parantamaan. Muutamat koulutusohjelmat
ovat vahvistaneet profiloitumistaan lisäämällä tai kehittämällä opetustarjontaansa vahvuusalueillaan.
Toiseksi eniten arviointien tuloksia on käytetty opintojen ohjauksen kehittämiseen. Osa oppiaineista on kehittänyt koko opintojen ohjausjärjestelmää, osa
taas on keskittynyt opettaja- ja opiskelijatuutoroinnin tai opinnäytetyön ohjauksen kehittämiseen. Osa vastanneista on tehostanut opintojen etenemisen seurantaa. Melko moni oppiaine on alkanut edellyttää opiskelijoilta henkilökohtaisten opintosuunnitelmien (HOPS) laatimista, johon oppiaine tarjoaa ohjausta
ja tukea.
Arvioinnin seurauksena myös kansainvälistymiseen on kiinnitetty entistä
enemmän huomiota. Tämä on toteutettu useassa koulutusohjelmassa ja oppiaineessa järjestämällä vieraskielistä (tavallisesti englanninkielistä) koulutusta joko
yksittäisinä kursseina tai kokonaisina opintokokonaisuuksina. Samoin kansainvälisen vaihdon tehostamiseen, koulutuksesta tiedottamiseen ja kansainvälistymisen strategioihin on kiinnitetty huomiota.
Opetusmenetelmiä on kehitetty ja monipuolistettu. Osa oppiaineista on integroinut opiskelijoita tutkimustyöhön entistä aiemmassa opintojen vaiheessa.
Useat oppiaineet ovat lisänneet opiskelijoiden mahdollisuuksia suorittaa opin-
27
tojaksoja vaihtoehtoisella tavalla. Muutama oppiaine on kehittänyt erityisesti
verkko-opetusta.
Arviointi- ja palautejärjestelmiä on kehitetty arvioinnin jälkeen monella eri
tavalla. Suuri osa koulutusohjelmista on kehittänyt erityisesti opintojaksojen
arviointia ja systematisoinut opiskelijapalautteen keruuta. Myös opiskelijoiden
ja opettajien itsearviointia on tehostettu. Muutama koulutusohjelma tai oppiaine on ryhtynyt keräämään palautetta työelämän edustajilta tai koulutuksesta
valmistuneilta.
Osa oppiaineista ja koulutusohjelmista on laatinut arvioinnin seurauksena
pedagogisen strategian tai kansainvälisen toiminnan strategian.
Osa koulutusohjelmista on panostanut opetushenkilökunnan pedagogiseen
ja muuhun täydennyskoulutukseen. Ammattikorkeakoulut toivat esiin yhtenä
täydennyskoulutuksen muotona esiin opettajien työelämäjaksot. Samoin henkilökunnan keskinäiseen työnjakoon on kiinnitetty aiempaa enemmän huomiota.
Erityisesti terveysalalla harjoittelua on kehitetty yhdessä työelämän edustajien kanssa. Moni alan koulutusohjelma on arvioinnin jälkeen laatinut harjoittelukäsikirjat, joissa mm. eri harjoittelupaikkojen ohjauskäytänteitä on pyritty
yhdenmukaistamaan.
Lisäksi koulutusohjelmat ja oppiaineet toivat esiin lukuisia muita konkreettisia kehittämistoimenpiteitä, joita ovat mm. opiskelijoiden osallistuminen
koulutuksen suunnitteluun, opettajien työelämäkonsultoinnit jne.
4.3.3 Syitä suositusten toteutumatta jäämiseen
Selvityksen kysymys:
•
Mikäli joitakin suosituksia tai kehittämisehdotuksia ei ole toteutettu, mistä
syystä?
Taulukko 9. Syitä suositusten toteutumatta jäämiseen
Syitä suositusten toteuttamatta jäämiseen
Resurssipula
Suositukset eivät olleet relevantteja tai selviä
Kaikki suositukset on toteutettu tai ovat työn alla
Aikaavievä prosessi; työ vielä kesken
Organisaatio on muuttunut arvioinnin jälkeen
Suositukset koskevat koko alaa ja yhteistyö on vähäistä
Arvioinnin seurantajärjestelmä tai vastuuhenkilöt puuttuvat
Yksikön oma kehittämistoiminta käynnissä jo ennen arviointia
Muut
f
13
7
6
6
4
3
2
2
8
Osa koulutusohjelmista ja oppiaineista oli jättänyt tähän kysymykseen vastaamatta. Vastanneista suurin osa piti keskeisimpänä syynä taloudellisten resurssien vähäisyyttä syynä siihen, että suositukset olivat jääneet toteutumatta.
28
”Resurssien vähäisyyden vuoksi suuri osa henkilöstön työpanoksesta menee varsinaiseen opetustyöhön. Kehittämiseen varatut resurssit ovat rajalliset, ja siksi toimenpiteet ovat joissakin asioissa vasta alussa.”
Toinen syy suositusten toteutumatta jäämiseen oli se, että suositukset eivät olleet koulutusohjelman tai oppiaineen mielestä relevantteja tai riittävän konkreettisia.
”Osa suosituksista oli sellaisia, että niiden toteuttaminen ei ole laitosten omassa
päätösvallassa tai sellaisia, että niitä pidettiin vähemmän tarkoituksenmukaisina.
Yhdessä oppiaineessa katsottiin, että arviointi jätti täysin huomiotta oppiaineen
omaan valintaan pohjaavan strategian; silloin myöskään suosituksia ei pidetty mielekkäinä.”
Kuusi koulutusohjelmaa tai oppiainetta ilmoitti vastauksenaan, että kaikki suositukset on toteutettu tai niiden toteuttaminen on käynnissä. Yhtä moni ilmoitti,
että keskeinen syy suositusten toteutumatta jäämiseen oli ajallisten resurssien
vähäisyys. Muita syitä suositusten toteutumatta jäämiseen oli mm. se, että suositukset koskivat koko alaa ja olisivat edellyttäneet parempaa alan sisäistä yhteistyötä; yksiköltä puuttuivat vastuuhenkilöt, jotka olisivat huolehtineet suositusten toimeenpanosta tai arvioinnin ei katsottu tuoneen merkittävää uutta tietoa yksikön kehittämiseen, joka oli käynnistynyt jo ennen arviointia.
4.4 Arvioinnin merkitys ja vaikuttavuus
4.4.1 Arvioinnin merkitys koulutuksen kehittämiselle
Selvityksen kysymys:
•
Millainen merkitys koulutusala-arvioinneilla on ollut koulutuksen kehittämiselle?
Taulukko 10. Arvioinnin merkitys koulutuksen kehittämiselle. Kysymykseen
vastasi yhteensä 69 koulutusohjelmaa/oppiainetta
Arvioinnin merkitys
Arviointi antoi uusia ideoita opetuksen kehittämiseen
Arviointi vahvisti olemassaolevia käsityksiä ja tuki opetuksen kehittämistä, mutta ei
tuonut uutta tietoa
Arvioinnin avulla sai kuvan alan koulutuksen nykytilasta ja valtakunnallista vertailutietoa
Arviointi tuotti omaa koulutusohjelmaa koskevaa palautetta ulkopuolisesta näkökulmasta
Arviointi vaikutti koulutusohjelman strategiatyöhön
Itsearvioinnilla suuri merkitys (koulutusohjelman oma prosessi)
Arviointi on lisännyt työelämäyhteistyö/yhteistyötä alueen yritysten kanssa.
Antoi myönteisen vaikutuksen koulutusohjelman ilmapiiriin, toi
kehittämissuuntautuneisuutta
Arvioinnilla vähäinen merkitys tai ei ollenkaan merkitystä kehittämiselle
Muuta: arviointi tukenut laatukäsikirjan työstämistä, henkilökunta ja opiskelijat saaneet
kokemusta arviointiin osallistumisesta, arviointipalautetta hyödynnetty erilaisissa
anomuksissa ja lisäresurssien hankinnassa, vaikuttanut opettajien ja johdon kehittämiseen)
f
26
16
9
9
8
6
4
3
5
9
29
Selvityksen mukaan koulutusala-arvioinnit olivat vaikuttaneet eniten opetuksen kehittämiseen. Tässä yliopistojen ja ammattikorkeakoulujen yksiköt olivat
hyvin yksimielisiä. Noin kolmasosa vastanneista kertoi, että arviointi oli tuottanut uusia näkökulmia opetuksen kehittämistyöhön. Viideosa tähän kysymykseen vastanneista oli sitä mieltä, että arviointi tuki opetuksen kehittämistä vahvistaen ja tehden näkyväksi olemassa olevia käsityksiä, mutta ei kuitenkaan
tuonut varsinaisesti uutta tietoa kehittämiseen.
”Arviointi antoi konkreettista palautetta tehdyistä ratkaisuista ja pohtimisen arvoisia kehittämisideoita, joita käsitellään laitoksen johtoryhmän työskentelyssä sekä
sen pohjalta tapahtuvassa ‘jalkauttamisprosessissa’.”
”Liiketalouden koulutuksen arviointi vahvisti niitä näkemyksiä, joita yksikölle oli
syntynyt koulutusohjelman kehittämistarpeista. Toisaalta näin saatiin myös tukea
käsityksillemme onnistuneista ratkaisuista. Mitään varsinaisia yllätyksiä koulutusala-arviointi ei yksikölle tuottanut.”
Osa vastanneista koki, että koulutusala-arvioinneissa on tuotettu hyödyllistä
omaa alaa koskevaa valtakunnallista vertailutietoa, jota korkeakoulut ovat voineet käyttää koulutuksen kehittämisessä. Arviointiryhmän palautetta arvostettiin erityisesti niissä koulutusohjelmissa ja oppiaineissa, jotka olivat saaneet suoraan omaa toimintaa koskevaa palautetta.
”Koulutusala-arviointi on antanut arvokasta lisätietoa oman alamme koulutuksen
nykytilasta, kehittämistarpeista ja esimerkiksi eri yksiköissä käytössä olevista ns.
parhaista käytännöistä.”
Koulutusala-arvioinnit olivat vaikuttaneet koulutuksen kehittämiseen myös strategiatyön kehittämisen kautta. Vastanneiden mukaan arviointi on vaikuttanut
strategioiden kehittämis- ja uudistamisprosesseihin, antanut palautetta valituista strategioista sekä tuonut uusia näkökulmia. Arviointi oli vaikuttanut strategiatyöhön erityisesti ammattikorkeakoulusektorilla.
”Arviointiprosessi on arvokas lähde yliopiston strategiatyöskentelyssä. Lisäksi itse
arviointiprosessi on merkityksellinen monitahoisen organisaation toiminnalle ja johtamiselle. Arviointiprosessi antaa analyyttisyyttä suhteessa omaan toimintaan, mutta myös muihin samantyyppisiin koulutusyksiköihin.”
Itsearviointi oli koettu monessa koulutusohjelmassa ja oppiaineessa merkittäväksi ja koulutuksen kehittämiseen vaikuttavaksi prosessiksi. Joissakin vastauksissa tuotiin esiin, että itsearviointi oli koko arvioinnin merkittävin vaihe. Myös
useat sellaiset koulutusohjelmat, jotka olivat saaneet omaa yksikköä koskevaa
palautetta, pitivät itsearviointia merkittävimpänä arvioinnin vaiheena. Itsearviointi oli vastanneiden mukaan tuottanut muun muassa kriittistä pohdintaa laitoksen toiminnasta ja tavoitteista sekä systematisoinut oman toiminnan arviointia ja arviointitiedon hyödyntämistä koulutuksen kehittämisessä. Itsearviointi
oli useassa koulutusohjelmassa ja oppiaineessa toiminut myös hyvänä keskustelun herättäjänä.
”Valmistautuminen arviointiin aiheutti tietojen päivityksen ja kirjoitettun muotoon
saamisen myös sellaisista asioista, joita pidettiin itsestään selvinä ja yleisenä tietona.”
30
Arvioinnin mainittiin myös tukeneen ja lisänneen yhteistyötä alueen yritysten
kanssa. Muutamat ammattikorkeakoulujen edustajat toivat esiin, että työelämän edustajien osallistuminen arviointiprosessiin oli vahvistanut keskinäistä
kanssakäymistä ja tiedon kulkua puolin ja toisin. Työelämäyhteistyö oli kohentunut myös saadun arviointipalautteen myötä.
Muutamien koulutusohjelmien ja oppiaineiden vastauksissa tuotiin esiin,
että arvioinnilla oli ollut myönteinen vaikutus yksikön ilmapiiriin ja se oli lisännyt yleistä kehittämisorientaatiota.
”Koulutuksen laatuun sisältyvät asiat tulee mietityksi laajemmalla porukalla syvällisemmin. Organisaatio on oppinut jotain toiminnan laadun suhteen. Myönteinen
vaikutus ilmapiiriin.”
Viisi koulutusohjelmaa ja oppiainetta oli sitä mieltä, että arvioinnilla oli ollut
vain vähäinen tai olematon merkitys koulutuksen kehittämiselle. Tyytymättömistä neljä oppiainetta edusti yliopistoja.
”Olemme kokeneet, että kerätty tieto ei ollut kaikelta osin relevanttia toiminnan
arvioimisen kannalta. Arviointi oli aikaa vievää ja työlästä saatuun hyötyyn nähden.”
4.4.2 Muut koulutuksen kehittämiseen vaikuttaneet tekijät
Selvityksen kysymys:
•
Mitkä muut tekijät ovat vaikuttaneet koulutuksen kehittämiseen?
Taulukko 11. Muut koulutuksen kehittämiseen vaikuttaneet tekijät
Muut koulutuksen kehittämiseen vaikuttaneet tekijät
Työelämän tarpeet ja muutokset
Vuorovaikutus kansainvälisten ja kotimaisten toimijoiden kanssa
Muutokset koulutuksen aloituspaikoissa ja opiskelijamäärissä
Opiskelijoilta kerätty palaute
Kaksiportainen tutkintojärjestelmä
Korkeakoulun oma strategia ja strategiatyö
Korkeakoulupoliittiset linjaukset
Yhteiskunnan yleinen kehitys
Myönteinen organisaatiokulttuuri, vuorovaikutus opettajien ja opiskelijoiden kesken
Uusien virkojen saaminen ja henkilöstön oma motivaatio kehittämiseen
Lisäresurssien saaminen (esim. laatuyksiköksi valinta)
Alan uusin tutkimustieto ja alan yleinen kehitys
Muut (kilpailu, tarve profiloitua, oma tai muun tahon kuin KKA:n ulkoinen arviointi)
f
19
12
9
7
6
6
5
5
4
4
4
2
2
Kyselyyn osallistuneet koulutusohjelmat ja oppiaineet toivat esiin lukuisia muita tekijöitä, jotka olivat arvioinnin ohella vaikuttaneet koulutuksen kehittämiseen. Eniten koulutuksen kehittämiseen olivat vaikuttaneet muutokset työelämässä ja työelämän tarpeet.
31
Myös vuorovaikutus kansainvälisten kollegayksiköiden ja korkeakoulujen
kanssa oli antanut ideoita ja lisäpontta koulutuksen kehittämiseen. Kotimaisesta yhteistyöstä tuotiin esiin yhteistyö muiden korkeakoulujen ja työelämän
kanssa.
Muutokset opiskelijoiden sisäänotossa olivat yksi koulutuksen kehittämiseen vaikuttaneista tekijöistä. Osa vastanneista oli joutunut vähentämään aloituspaikkoja, ja osa taas oli lisännyt niitä.
Opiskelijoilta kerätty kurssipalaute oli monissa tapauksissa antanut aiheen
koulutuksen kehittämiseen. Samoin kaksiportainen tutkintojärjestelmä, korkeakoulun oma strategiatyö ja korkeakoulupoliittiset linjaukset olivat vaikuttaneet
koulutuksen kehittämiseen. Tällaisena tekijänä ammattikorkeakoulut toivat esiin
uuden ammattikorkeakoululain ja oman ammattikorkeakoulun toiminnan vakiinnuttamisen.
Muita koulutuksen kehittämiseen vaikuttaneita tekijöitä olivat uusien virkojen ja lisäresurssien saaminen yksikköön, alan uusimman tutkimustiedon hyödyntäminen sekä sisäisen tai ulkoisen arvioinnin tuottama tiedon hyödyntäminen.
Muutamat yksiköt mainitsivat, että oli vaikea erottaa, mikä kehittämistoimenpide oli seurannut suoraan arvioinnista ja miten muut tekijät olivat vaikuttaneet kehittämiseen. Lisäksi mitä enemmän aikaa on arvioinnista, sitä vaikeammaksi käy erottaa arvioinnin vaikuttavuutta, koska arvioinnin rinnalla monien
muiden kehitysimpulssien määrä lisääntyy vuosien kuluessa.
”Arviointitulokset ovat olleet koulutuksen kehittämisessä keskeisiä, mutta kehitystoimet perustuvat useisiin tekijöihin. Arvioinnin lisäksi ovat vaikuttaneet esim. työelämän osaamistarpeet, teknologian kansainvälinen ja kansallinen kehitys, koko
yliopiston kehittämispäätökset ja aluepolitiikka (yliopiston alueellinen vaikuttavuus).
Koulutuksen kehittyminen edellyttää myös onnistunutta opetushenkilöstön eli uusien kehittäjien rekrytointia. Ei ole luotettavasti arvioitavissa, millainen vaikutus
koulutusala-arvioinnilla on ollut suhteessa muihin tekijöihin.”
4.5 Arviointimenetelmän arviointi
Yksi selvityksen keskeisistä tavoitteista oli saada palautetta Korkeakoulujen arviointineuvoston käyttämästä arviointimenetelmästä. Menetelmää on kuvattu
edellä luvussa 3. Saatu palaute on jaettu arviointiprosessin kronologisen etenemisen mukaisiin osiin. Ensin käsitellään arviointimenetelmän yleisiä vahvuuksia ja heikkouksia, sitten itsearviointia, arviointivierailua ja arviointiraporttia
sekä seuranta-arviointia. Lisäksi tässä luvussa käsitellään kansainvälisen arvioinnin merkitystä. Lopuksi analysoidaan vastaajien ehdotuksia arviointimenetelmän kehittämiseksi.
32
4.5.1 Arviointimenetelmän yleiset vahvuudet ja heikkoudet
Selvityksen kysymys:
•
Mitkä ovat mielestänne koulutusala-arviointimenetelmän (itsearviointi, arviointivierailut, julkinen arviointiraportti, seuranta-arviointi) vahvuudet ja
heikkoudet?
Taulukko 12. Koulutusala-arviointimenetelmän yleiset vahvuudet
Koulutusala-arviointimenetelmän yleiset vahvuudet
f
Ulkopuolisen arvioinnin antama impulssi kehittämiselle
Koko henkilökunnan osallistuminen arviointiprosessiin
Ulkopuolisten arvioitsijoiden asiantuntemus ja objektiivisuus
Tilannekuva alan valtakunnallisesta tilanteesta
Arvioinnin ja sen teemojen kattavuus
Monipuoliset arviointimenetelmät
Hyvä tekninen toteutus; ohjeet ja organisointi
Muut
5
4
3
3
2
2
2
5
Tähän kysymykseen saatiin hyvin monipuolisesti erilaisia näkökulmia. Keskeisenä koulutusala-arviointimenetelmän vahvuutena koulutusohjelmat ja oppiaineet pitivät sitä, että ulkopuolisen tahon organisoima valtakunnallinen arviointi
oli antanut erityisen sysäyksen koulutuksen kehittämiselle, joka ehkä ilman arviointia olisi jäänyt tekemättä.
”Tällaisessa hankkeessa tulee tehdyksi työ, joka muutoin, ainakin ko. laajuudessa
saattaisi jäädä tekemättä. Laaja arviointi antaa mahdollisuuden vertailla erilaisia
toteutuksia ja auttaa asemoimaan omaa toimintaa oppilaitosten joukossa. Asiantuntijoiden antama rakentava palaute on aina hyödyksi. Myönteisintä ehkä oli kiitos, jonka saimme tekemästämme työstä – se auttaa ponnistelemaan edelleen.”
Tärkeänä vahvuutena pidettiin myös sitä, arviointiprosessiin oli osallistunut yksikön koko henkilökunta. Muutamat vastaajat toivat esiin vahvuuksina ulkopuolisten arvioitsijoiden asiantuntemuksen ja objektiivisuuden.
Muutama konetekniikan arviointiin osallistunut yksikkö piti tärkeänä sitä,
että arvioinnin avulla oli saatu kuva alan valtakunnallisesta tilanteesta ja vertailukelpoista tietoa eri yksiköiden toiminnasta. Muutama slavistiikan ja baltologian koulutuksen ja tutkimuksen arviointiin osallistunut oppiaine taas piti vahvuutena arvioinnin hyvää teknistä toteutusta selkeine ohjeineen.
Muita yksittäisiä menetelmän vahvuuksia olivat oppiaineiden ja koulutusohjelmien mukaan tilaisuus saada arviointipalautetta; opiskelijoiden ja työelämän edustajien osallistuminen arviointiin; se, että yksiköitä ei asetettu arvioinnissa paremmuusjärjestykseen ja kokonaisvaltaisen arviointikulttuurin juurruttaminen korkeakouluihin. Slavistiikan ja baltologian arvioinnin osalta tuotiin
esiin vahvuutena myös koulutuksen ja tutkimuksen yhtäaikainen arviointi.
33
Taulukko 13. Koulutusala-arviointimenetelmän yleiset heikkoudet
Koulutusala-arviointimenetelmän yleiset heikkoudet
f
Arvioinnin suuritöisyys korkeakoulun kannalta
Arviointikriteerien puuttuminen tai epäselvyys; arviointitulosten luotettavuus
Arviointi ei huomioi erilaisten yksiköiden erityispiirteitä
Riskinä puutteet arviointiryhmän asiantuntemuksessa
Arviointiprosessissa yleinen ajan niukkuus
Henkilöstön sitoutumattomuus arviointiin ja kehittämiseen
Yliopistojen ja ammattikorkeakoulujen yhteismitattomuus
Muut
9
6
4
3
3
2
2
6
Yleisimpänä arviointimenetelmän heikkoutena pidettiin arvioinnin korkeakouluille aiheuttamaa suurta työmäärää. Korkeakoulut eivät ole yleensä varanneet
erillistä henkilö- tai aikaresurssia arviointeihin, vaan arvioinnit toteutetaan normaalin opetus- ja tutkimustyön rinnalla.
Muutamat oppiaineet ja koulutusohjelmat toivat esiin puutteena sen, että
arvioinnille ei ollut ennalta määritelty selkeitä kriteerejä tai mittareita. Jotkut
vastaajat asettivat kyseenalaiseksi arviointitulosten luotettavuuden, jos se perustuu suurelta osin henkilöstön ja opiskelijoiden haastatteluissa esiintuomiin
mielipiteisiin.
”Eräs heikkous on mittarin yleisluontoisuus. Kysymyksissä on aina tulkinnan mahdollisuuksia, eivätkä ne välttämättä palvele yksittäistä koulutusohjelmaa. Määrällisten mittareiden lisäksi tarvitaan myös laadullista toimintaa kuvaavia menetelmiä.”
Yhtenä määrämuotoisesti toteutettavan arvioinnin heikkoutena pidettiin sitä,
että se ei ota riittävän hyvin huomioon erilaisten yksiköiden erityispiirteitä. Pienet koulutusohjelmat ja oppiaineet katsoivat, että niiden erityispiirteet ja
-ongelmat olivat jääneet liian vähälle huomiolle. Yksi suuri oppiaine taas katsoi,
että sitä oli arvioitu ylimalkaisemmin ja yleisemmällä tasolla kuin pieniä oppiaineita.
Muutama tuotantotalouden arviointiin osallistunut yksikkö katsoi, että yliopistojen ja ammattikorkeakoulujen arviointi samassa projektissa on hankalaa
niiden yhteismitattomuuden takia.
”Ammattikorkeakoulujen ja yliopistojen koulutuksen kehittäminen yhdessä ja samalla mittarilla ei toimi kaikin osin. Yliopiston vahvuus, tutkimus, johon opetuskin
perustuu, jää tällaisessa yhteismittarissa pois. Yliopistossa tutkijat opettavat ja opettajat tutkivat ja molemmat osallistuvat yksikön opetuksen kehittämiseen. Tämä vaikuttaa osaltaan kehittämistyöhön.”
Muina arviointimenetelmän heikkouksina tuotiin esiin arvioinnin historiattomuus, jolla viitattiin siihen, että arviointi on vain yhden ajankohdan poikkileikkaus. Joidenkin vastaajien mukaan itsearvioinnin ja arviointivierailujen sisältöjä
tulisi kehittää siten, etteivät ne olisi päällekkäisiä ja samoja teemoja toistavia.
Arviointiryhmän keskinäinen koordinaatio oli paikoin koettu puutteelliseksi,
kun kukin arvioitsija oli keskittynyt vain omaan asiantuntemusalueeseensa. Yksi
34
vastaaja piti heikkoutena sitä, että arviointi ei ollut tuottanut mitään uutta tietoa
koulutuksen laadusta. Korkeakoulun sisäisiin toimintatapoihin liittyvänä ongelmana pidettiin sitä, että arvioinnin tuloksista käyty keskustelu oli ollut vähäistä.
Muutamat vastaajat viittasivat arviointiväsymykseen, joka on vaarana silloin kun
sama yksikkö joutuu jatkuvasti osallistumaan erilaisiin ja eri tahojen toteuttamiin arviointeihin.
”Arviointien järjestäminen tulisi ajoittaa niin, ettei niitä tule päällekkäin eikä liian
lähellä peräkkäin, muuten uhkaa ’arviointiväsymys’ eivätkä kaikki potentiaaliset
yksiköt halua osallistua niihin.”
4.5.2 Itsearvioinnin vahvuudet ja heikkoudet
Taulukko 14. Itsearviointimenetelmän vahvuudet
Itsearviointimenetelmän vahvuudet
Tilaisuus oman toiminnan reflektointiin
Varmistaa henkilöstön sitoutumisen ja tulosten vaikuttavuuden
Paljastaa epäkohdat; auttaa suuntautumaan tulevaisuuteen
Muut
f
15
6
2
4
Keskeisimpänä itsearvioinnin vahvuutena koulutusohjelmat ja oppiaineet pitivät sen tarjoamaa mahdollisuutta oman toiminnan kriittiseen tarkasteluun. Moni
vastaaja piti itsearviointia kehittävänä prosessina, joka selkeyttää toiminnan
painopisteitä ja auttaa hahmottamaan vahvuudet ja heikkoudet kokonaisuutena. Itsearvioinnissa yksikkö tulee käsitelleeksi asioita, jotka eivät ehkä muuten
tulisi esille.
”Itsearviointi nähdään hyödyllisenä tapana kehittää omaa toimintaa ja tulevaisuuden linjauksia. Arviointi on onnistunut nimenomaan, jos tulokset osataan soveltaa
yksikön strategioiden laatimiessa ja niiden käyttöönotossa, eikä lähdetä asettamaan
yksittäisten arviointitulosten perusteella arvoituja kohteita julkisuudessa arvojärjestykseen.”
”Itsearvioinnin vahvuutena oli perusteellisuus ja kattavuus, pedagogisen ja sisällöllisen keskustelun aktivoiminen koulutusohjelmassa ja keskustelun levittäminen alalle työnantajien ja alalla toimivien keskuuteen.”
”Itsearviointi oli kehittävä prosessi. Kun tehtäväksianto tuli riittävän arvovaltaiselta
taholta, saimme valtuudet sitouttaa henkilökunta ja opiskelijat antamaan palautetta. Vastustus on usein suurempi, jos ammattikorkeakoulu itse käynnistää vastaavan
toimenpiteen.”
Muutamat yksiköt pitivät itsearviointia tapana lisätä henkilöstön sitoutumista
koulutuksen laadun kehittämiseen ja siten varmistaa arvioinnin tulosten vaikuttavuutta. Itsearvioinnin katsottiin myös tuovan esiin epäkohdat ja auttavan suuntautumista tulevaisuuteen.
35
Yhden vastaajan mukaan itsearviointiraportti kokoaa yhteen koulutusohjelman tavoitteet, toimintatavat ja tulokset. Muutama koulutusohjelma totesi,
että itsearviointiraporttia voidaan käyttää muuhunkin tarkoitukseen kuin arviointiin.
Itsearvioinnilla voi olla myös välillisiä vaikutuksia. Yksi vastaaja toi esiin,
että itsearviointiprosessi oli parantanut laitoksen eri yksiköiden yhteishenkeä.
Taulukko 15. Itsearviointimenetelmän heikkoudet
Itsearviointimenetelmän heikkoudet
f
Asioiden kaunistelu ja subjektiivisuus
Työläs prosessi
Henkilöstön osallistuminen ei ole riittävän laajaa
Muut
7
4
2
5
Itsearvioinnin yleisimpänä heikkoutena pidettiin sitä, että itsearvioinnissa voidaan harjoittaa valikoivaa arviointia ja asioiden kaunistelua.
”Asioiden kaunistelu ja liian läheltä katsominen voivat vaikuttaa lopputulokseen.
Olennaista on se, miksi arviointiin lähdetään mukaan: haetaanko siitä tietoa oman
toiminnan kehittämiseen vai osallistutaanko ’ kauneuskilpailuun’ ”.
Muutamat koulutusohjelmat ja oppiaineet mainitsivat myös itsearvioinnin työläyden yhdeksi heikkoudeksi. Pari oppiainetta piti erityisesti tilastotietojen keruuta työläänä osana itsearvioinnissa.
Kolmas esiintuotu näkökulma liittyi henkilöstön osallistumiseen itsearviointiprosessiin. Näyttää siltä, että joissakin koulutusohjelmissa ja oppiaineissa itsearviointiin on osallistunut vain osa henkilöstöstä. Muutaman vastaajan mielestä
kireä aikataulu oli estänyt laajan yksikön sisäisen keskustelun ja raportin tuottamisen kollektiivisesti.
”Itsearvioinnin toteuttaminen oli äärimmäisen työläs ja stressaava, oppimisintensiteetti oli korkea.”
Muita vastaajien mainitsemia itsearvioinnin heikkouksia olivat arviointikokemuksen vähäisyys, oman tekemisen yliarviointi ja se, että jotkut henkilöt kokevat arvioinnin kohdistuvan henkilöönsä. Yhdessä tapauksessa kaksi yksikköä
oli laatinut yhteisen itsearviointiraportin, jonka ei katsottu kuvaavan riittävästi
kumpaakaan yksikköä.
36
4.5.3 Arviointivierailun tai korvaavan menetelmän
vahvuudet ja heikkoudet
Taulukko 16. Arviointivierailun vahvuudet
Arviointivierailun vahvuudet
Kiinnostava ja haastava keskustelu asiantuntijoiden kanssa
Eri ryhmien haastattelut tuovat arviointivierailuun monipuolisuutta
Vierailun ilmapiiri myönteinen: kriittinen mutta kannustava
Mahdollisuus saada välitöntä palautetta
Täydentää itsearviointiraporttien antamaa kuvaa
Lisää arvioinnin luotettavuutta
f
11
4
3
3
2
1
Tärkein arviointivierailun vahvuus on vastaajien mukaan se, että vierailun aikana koulutusohjelmilla ja oppiaineilla on mahdollisuus käydä kiinnostavaa keskustelua oman alan ja pedagogisten asiantuntijoiden kanssa. Arviointivierailuilla käydyt haastattelut ja arviointiryhmän tekemät arviointikysymykset koettiin
suurelta osin myönteisellä tavalla haastaviksi ja olennaisia näkökohtia esiinnostaviksi. Muutama vastaaja piti tärkeänä sitä, että arviointivierailun yhteydessä
koulutusohjelmilla ja oppiaineilla on mahdollisuus saada välitöntä palautetta,
jota arviointiryhmä yleensä antaa vierailupäivän päätteeksi suullisena palautteena. Myös arviointivierailujen hyvä ilmapiiri koettiin vahvuudeksi, johon arviointiryhmien kannattaa jatkossakin kiinnittää huomiota. Yksi vastaaja mainitsi
arviointivierailun funktiona myös arvioinnin luotettavuuden lisäämisen.
”Kansainvälinen arviointiryhmä oli paneutunut asiaan ja tunsi asian erittäin hyvin,
eri näkökulmista (pedagoginen, sisällöllinen, toiminnallinen); vierailun ilmapiiri oli
kriittinen ja vaativa mutta samalla rohkaiseva; haastattelut ja kysymykset olivat
haastavia ja tartuttiin selkeästi olennaisiin asioihin; tilaisuus tarjosi mahdollisuuden
todella oppia. Se oli mieleenjäävä sekä opiskelijoille että henkilöstölle.”
Taulukko 17. Arviointivierailun heikkoudet
Arviointivierailun heikkoudet
Vierailun kesto liian lyhyt
Ei oltu vierailun kohteena, joten ei voida arvioida
Haastattelut alttiita satunnaisuuksille
Muut (epäselvät haastattelukysymykset; vaikea saada työelämän edustajia haastatteluihin;
vain osa henkilöstöstä mukana haastatteluissa; arviointiryhmän kokoonpanon
vaihtelu vierailusta toiseen; arvioitsijoiden valmistautuminen puutteellista; vierailua
edeltävän täydentävän arviointimenetelmän tarkoitus epäselvä)
f
11
6
4
7
37
Suurimpana arviointivierailun heikkoutena vastaajat pitivät arviointivierailun
lyhyttä kestoa. Kun Korkeakoulujen arviointineuvoston arvioinneissa vierailu
kestää yleensä yhden työpäivän, moni vastaaja katsoi, että tämä ei riitä syvälliseen koulutusohjelman ja oppiaineen toimintaan ja sen reunaehtoihin tutustumiseen ja ymmärtämiseen, vaan tähän tarvittaisiin kohteesta riippuen 2–3
päivää.
”Arviointivierailu koettiin aikataulultaan liian tiiviiksi, eikä vuorovaikutuksellisesti
ollut mahdollisuutta laajempaan ja syvällisempään reflektointiin.”
Korkeakoulujen arviointineuvoston toteuttamista kymmenestä koulutusala-arvioinnista puolet on ollut sellaisia, joissa ei ole voitu koulutusohjelmien ja oppiaineiden suuren määrän ja arviointiprojektin rajallisen budjetin vuoksi vierailla
kaikissa yksiköissä, vaan arviointiryhmän on täytynyt määritellä kriteerit, joiden perusteella vierailukohteet on valittu. Melko moni vastaaja osoitti tyytymättömyyttä siihen, ettei kaikissa yksiköissä vierailla. Arviointipalautteen annossakin on ollut arviointikohtaisia eroja. Joissakin projekteissa ei-vieraillut kohteet ovat saaneet arviointiryhmältä suppean palautteen, kun taas joissakin arvioinneissa kohteet, joissa ei vierailtu, eivät ole saaneet mitään palautetta. Luonnollisesti viime mainitussa tapauksessa tyytymättömyys on suurinta.
”Arviointiryhmä vieraili vain noin puolessa arvioinnin kohteina olleista oppilaitoksista. Ne oppilaitokset, joissa ei vierailtu, eivät saaneet minkäänlaista palautetta.”
Muutama vastaaja toi esiin, että arviointivierailuilla toteutetut eri ryhmien haastattelut ovat alttiita satunnaisuuksille. Yhden haastateltavan näkökulma voi saada liian suuren painoarvon koko yksikön arvioinnissa erityisesti silloin, jos hän
suhtautuu voimakkaan myönteisesti tai kriittisesti yksikön toimintaan.
”Arviointivierailun haastattelut monipuolistavat kuvaa oppiaineesta. Yksittäisten
henkilöiden vaikutus voi nousta kuitenkin hyvin suureksi.”
Joissakin Korkeakoulujen arviointineuvoston arvioinneissa arviointivierailun rinnalla tai sitä korvaavana elementtinä on käytetty innovatiivisia arviointimenetelmiä silloin, kun niiden on katsottu tuottavan lisäarvoa arviointiteemalle tai
koulutusohjelmien yhteistyön käynnistämiselle. Näin meneteltiin media- ja viestintäalan korkeakoulutuksen arvioinnissa, jossa järjestettiin ns. fokusryhmäkeskustelut ennen arviointivierailuja. Muutaman vastaajan mukaan tämän arvioinnin osion toteutusta olisi pitänyt kehittää pitemmälle. Toisaalta yhden vastaajan
mukaan fokusryhmäkeskustelut toimivat tehokkaana foorumina ajatusten vaihdolle.
38
4.5.4 Arviointiraportin vahvuudet ja heikkoudet
Taulukko 18. Arviointiraportin vahvuudet
Arviointiraportin vahvuudet
Antaa kokonaiskuvan alasta
Asiantunteva, hyvin laadittu
Tuo esiin hyviä käytänteitä (best practices)
Hyödynnettävissä eri yhteyksissä, mm. koulutuksen markkinointi ja kv. yhteydet
Selkeä yksikkökohtainen palaute ja kehittämissuositukset
Raportin julkisuus lisää arvioinnin objektiivisuutta
Tehostaa toiminnan jatkuvaa kehittämistä
Mahdollisuus tarkistaa yksikkökohtainen palaute ennen julkaisemista
f
10
6
6
3
3
3
3
1
Vastaajien mukaan arviointiraportin selvin vahvuus oli se, että se antaa kokonaiskuvan arvioitavasta koulutusalasta. Moni koulutusohjelma ja oppiaine mainitsi, että raportti antaa myös hyödyllistä tietoa vastaavista muista yksiköistä ja
auttaa yksikköä asemoimaan oman toimintansa valtakunnallisesti. Melko moni
vastaaja totesi, että arviointiraportti oli asiantuntevasti ja hyvin laadittu. Kolmas
näkökulma, joka selvästi erottui arviointiraportin vahvuutena, oli hyvien käytänteiden kirjaaminen arviointiraporttiin.
”Julkinen arviointiraportti antaa mahdollisuuden peilata omaa toimintaansa muiden vastaavien yksikköjen toimintaan ja yrittää löytää oman yliopiston toimintaan
sopivia best practice -ratkaisuja. Jos arvioitavat yksiköt ovat mahdollisimman homogeenisia, niin arvioinnista saatava hyöty on selvästi suurin.”
Muita arviointiraportin vahvuuksia olivat vastaajien mukaan mahdollisuus käyttää arviointiraporttia myöhemmin eri yhteyksissä, kuten tiedotettaessa koulutuksesta kotimaassa ja kansainvälisesti. Osa vastaajista piti arvokkaana mahdollisuutta saada selkeä yksikkökohtainen palaute ja suosituksia oman toiminnan
kehittämiseksi. Muutama vastaaja toi esiin myös sen, että arviointiraportin julkisuus antaa mahdollisuuden arvioida arvioinnin objektiivisuutta. Muutama vastaaja katsoi arviointiraportin palvelevan erityisesti toiminnan jatkuvaa kehittämistä. Lisäksi yksi vastaaja piti vahvuutena sitä, että koulutusohjelmille ja oppiaineille oli tarjottu arviointiprosessissa mahdollisuus tarkistaa omaa yksikköä
koskeva teksti ennen sen julkaisemista arviointiraportissa.
39
Taulukko 19. Arviointiraportin heikkoudet
Arviointiraportin heikkoudet
f
Yksittäisten henkilöiden mielipiteet vaikuttavat liikaa
Kritiikin esittäminen ongelmallista; voi heikentää yksikön julkisuuskuvaa
Eri yksiköiden välinen vertailu ongelmallista
Puutteet itsearvioinnissa johtivat virhetulkintoihin arviointiraportissa
Raportin laajuuden vuoksi sen jatkokäyttö työlästä
Muut (olisi kaivattu kriittisempää otetta; ei palautetta niille, joissa ei vierailtu;
raportin jatkokäyttö korkeakoulun johdossa)
4
4
3
3
2
3
Yhtenä arviointiraportin heikkoutena pidettiin sitä, että yksittäisten henkilöiden
mielipiteet voivat saada liian suuren painoarvon arviointitekstissä. Sama ongelma mainittiin edellä myös arviointivierailun yhtenä heikkoutena. Nämä yksittäiset vahvat mielipiteet ovat vastaajien mukaan tavallisesti arvioitavan koulutusohjelman ja oppiaineen edustajien mielipiteitä, mutta joskus myös yksittäisten arvioitsijoiden vahvoja mielipiteitä.
Muutamat vastaajat problematisoivat kritiikin esittämistä arviointiraportissa. Muutaman vastaajan mukaan kritiikin esittäminen voi heikentää yksikön
julkisuuskuvaa, ja julkisesti esiintuodun kriittisen arvioinnin korjaaminen voi
edellyttää vuosien työtä, jopa vielä sen jälkeen kun puute on jo koulutuksessa
korjattu. Toisaalta yksi vastaaja olisi toivonut arviointiryhmältä selvästi kriittisempää otetta. Arviointiryhmät ovatkin melkoisten haasteiden edessä, kun ne
arviointiraporttia laatiessaan tasapainoilevat näiden kahden vaatimuksen välillä.
”Missä määrin julkistettava kritiikki korjaa asioita? Siitä voi olla myös enemmän
haittaa kuin hyötyä.”
”Se, että arvioinnit ovat julkisia asiakirjoja, on itsessään hyvä periaate. On kuitenkin mahdollista, että julkisuuden vuoksi kaikkein kiperin laitoskohtainen kritiikki
hukkuu liian ympäripyöreisiin ja yleisiin lausuntoihin. Laitos ehdottaa, että kukin
arvioitava yksikkö saisi omaan käyttöönsä myös sellaisen version, jossa yksittäisten
arvioitsijoiden keskimääräistä ankarammatkin arviot olisivat esillä.”
Muutama vastaaja mainitsi, että eri yksiköiden välinen vertailu arviointiraportin perusteella ei ole aivan ongelmatonta. Samoin joidenkin vastaajien mukaan
yksikkökohtaisissa palautteissa esiinnostetut asiat olivat eri yksikköjen kohdalla
laajuudeltaan ja luonteeltaan erilaisia. Tämäkin on arviointiryhmälle kohdistuva haaste, koska arviointipalautteissa pyritään yhteisten näkökohtien rinnalla
ottamaan huomioon kunkin yksikön erityispiirteet ja erityiset kehittämiskohteet.
40
”Julkinen arviointiraportti oli erityisesti sen yleiseltä osalta hyvä: arviointiryhmän
suositukset antavat pohdittavaa oman yksikön toimintaa kehitettäessä. Korkeakoulukohtaiset selvitykset tuntuvat jossain määrin epätasaisilta: eri yksiköistä esille otetut asiat eivät aina ole yhteismitallisia ja siksi korkeakoulujen keskinäinen vertailu
on vaikeaa. Tällainen arviointi muodostuu aina poikkileikkaukseksi sen hetken tilanteesta, eikä välttämättä anna aivan selkeää kuvaa yksikön pidemmän aikavälin
kehityssuunnista.”
Muutama vastaaja piti arviointiraportin heikkoutena siinä esiintyviä virhetulkintoja. Nämä vastaajat myönsivät, että tämä johtui todennäköisesti itsearviointiraportissa olleista puutteellisista tiedoista. Pari vastaajaa taas piti arviointiraporttia liian laajana, mikä heikentää sen jatkokäyttöä. Yksi koulutusohjelma oli
epätietoinen siitä, oliko korkeakoulun rehtori saanut käyttöönsä arviointiraportin ja ryhtynyt toimiin raportin hyödyntämiseksi. Yksi oppiaine taas toi esiin
sen, että ”arviointi, arvottaminen ja arvottavan tekstin tuottaminen on vakavaa
toimintaa, joka voi kertoa enemmän arvottavasta subjektista ja hänen tavastaan
tulkita maailmaa kuin arvioinnin objektista”.
4.5.6 Seuranta-arvioinnin vahvuudet ja heikkoudet
Korkeakoulujen arviointineuvoston kymmenestä koulutusala-arvioinnista neljässä on tehty seuranta-arviointi. Kuten edellä luvussa 2.5 todettiin, seurantaarviointi tehdään noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Seuranta-arvioinnin menetelmää on pyritty kehittämään hankkeesta toiseen.
Muutamilta seuranta-arviointeihin osallistuneilta saatiin yksittäisiä näkökohtia, jotka voidaan kiteyttää seuraavasti.
Seuranta-arvioinnin vahvuutena pidettiin sitä, että se selkiyttää arvioinnin
tulokset ja varmistaa niiden toteutumista sekä pakottaa yksiköt oman toimintansa uudelleen arviointiin.
”Plussaa: koulutusohjelmat pakotetaan arviointiin vaikkeivat tahtoisikaan – ehkä
hyvä juttu, koska ongelmat tulevat siinä identifioitua.”
Seuranta-arvioinnin heikkoutena taas pidettiin sitä, että se suuntaa huomion
menneeseen. Yhden tekniikan alan koulutusohjelman mukaan kolme vuotta
on liian pitkä jakso seurannan toteuttamiseen, koska arviointi on tässä ajassa
ehtinyt jo unohtua. Humanistista koulutusalaa edustavan slavistiikan ja baltologian alan oppiaineen mukaan taas kolme vuotta on liian lyhyt ajanjakso, viisi
vuotta olisi ollut vastaajan mukaan parempi aikaväli tulosten seurantaan.
Yksi tuotantotalouden seuranta-arviointiin osallistunut piti itsearviointiaikataulua liian kireänä. Yksi vastaaja taas kiinnitti huomiota siihen, että seuranta-arvioinnissa on hankala arvioida varsinaisen arvioinnin vaikuttavuutta, koska moni muukin tekijä vaikuttaa koulutuksen kehittämiseen arvioinnin ohella.
”Seuranta-arvioinnin aikataulu oli järkyttävän tiukka ja sen tavoitteena ollut sisäinen reflektointi jäi hyvin pinnalliseksi juuri ajanpuutteen takia. Mikäli halutaan,
että seuranta-arvioinnista on kehittämisvälineenä koulutusohjelmille laajempaa
hyötyä, tulee aikataulu suunnitella myöskin sellaiseksi, että joustonvaraa löytyy
arvioinnin syvällisempään suorittamiseen osastoilla. Käytännössä tämä tarkoittaa
41
arvioinnista ennakkotiedottamista hyvissä ajoin jo kun sitä suunnitellaan sekä sitten itse arviointiin varattua aikaa noin 4–6 kuukautta. Muussa tapauksessa palaute
jää pinnalliseksi ja tulee toteutettua pitkäli virkatyönä eikä koulutusohjelmakohtaisena laajempana itsereflektointina, joka pitkällä tähtäimellä voisi tuoda erinomaisen lisän koulutusohjelman kehittämistoimintaan.”
4.5.7 Kansainvälisen arvioinnin merkitys
Selvityksen kysymys:
•
Mikäli koulutusala-arviointi toteutettiin kansainvälisenä arviointina, arvioikaa kansainvälisen näkökulman merkitystä koulutuksen kehittämiseen.
Selvitykseen osallistuneista kymmenestä arviointiprojektista kuusi on toteutettu kansainvälisenä arviointina: kaikki neljä tekniikan alan arviointia, media- ja
viestintäalan arviointi sekä slavistiikan ja baltologian koulutuksen ja tutkimuksen arviointia. Näissä projekteissa arvioinnin kielenä on ollut englanti lukuunottamatta slavistiikan ja baltologian arviointia, jossa operoitiin kahdella ja myös
arviointiraportti julkaistiin kahdella kielellä: venäjäksi ja englanniksi.
Taulukko 20. Kansainvälisen arvioinnin vahvuudet
Kansainvälisen arvioinnin vahvuudet
f
Tuo koulutuksen kehittämiseen vaihtoehtoisia näkökulmia
Alan imagon kannalta tärkeä
Lisää arvioinnin uskottavuutta ja merkitystä
Lisää arvioinnin käytettävyyttä mm. koulutuksesta tiedotettaessa
Pakottaa tuottamaan materiaalit englanninkielisinä
9
6
3
1
1
Vastaajien mukaan kansainvälisen arvioinnin merkitys on erityisesti siinä, että
se tuottaa koulutuksen kehittämiseen uusia näkökulmia. Kyseiset näkökulmat
liittyivät mm. koulutuksen sisältöön, opetusmenetelmiin ja tutkimukseen.
Melko moni mainitsi myös, että kansainvälinen arviointi on alan kehittämisen kannalta tärkeä. Korkeakoulujen toiminnan tulee olla kansainvälisesti vertailukelpoisella tasolla, ja tämän todentamiseen tarvitaan kansainvälisiä asiantuntijoita.
”Kansainvälisen näkökulman merkitys keskeinen ja ensiarvoisen tärkeä jo senkin
vuoksi, että koulutamme insinöörejä eräälle keskeiselle vientiteollisuutta harjoittavalle toimialalle.”
Kansainvälisen näkökulman katsottiin myös parantavan arvioinnin uskottavuutta ja lisäävän arvioinnin käytettävyyttä esimerkiksi tiedotettaessa koulutuksesta
potentiaalisille vaihto-opiskelijoille.
Yksi vastaaja mainitsi, että kansainvälisen arvioinnin ansiosta materiaalit
tulivat käännetyiksi englannin kielelle.
”Arvioinnin yhteydessä syntyi koulutusohjelmaa koskeva englanninkielinen materiaali, mm. opetussuunnitelmat ja opintojaksokuvaukset.”
42
Taulukko 21. Kansainvälisen arvioinnin heikkoudet
Kansainvälisen arvioinnin heikkoudet
f
Kansainvälisillä arvioitsijoilla suomalaisten olojen tuntemus pinnallista
Kansainvälisellä arvioinnilla ei merkitystä, koska ongelmat kansallisia
Englannin kieli hankaloitti arvioinnin toteutusta ja raportin käyttöä
6
5
3
Kansainvälisen arvioinnin heikkoutena pidettiin yleisesti sitä, että kansainväliset arvioitsijat eivät tunne suomalaista kontekstia.
”Arvioitsijoilla ei ole aina riittäviä taustatietoja siitä ympäristöstä (tiedekunta, yliopisto, Suomen koulutusjärjestelmä, suomalainen yhteiskunta), jossa arvioitava yksikkö toimii. Tästä johtuen suuri osa arviointiin varatusta ajasta kuluu näiden taustatietojen selittämiseen.”
Muutama kone- ja rakennustekniikan arviointeihin osallistunut yksikkö totesi
myös, että kansainvälinen arviointi sinänsä ei tuonut lisäarvoa, koska ongelmat
ovat kansallisia. Tosin yhden vastaajan mukaan kansainvälisestä arvioinnista ei
ole haittaakaan. Samoilla aloilla katsottiin, että arviointiprosessin toteuttaminen
englannin kielellä teki arvioinnista työlään. Samoin englanninkielisen raportin
katsottiin heikentävän sen jatkokäyttöä.
4.5.8 Arviointimenetelmän kehittämisehdotuksia
Selvityksen kysymys:
•
Tarvitaanko koulutusala-arviointeja tulevaisuudessa ja jos tarvitaan, miten
menetelmää tulisi kehittää ottamaan huomioon koulutuksen tulevaisuuden
haasteet?
Taulukko 22. Koulutusala-arviointien tarve jatkossa
Tarvitaanko koulutusala-arviointia jatkossa?
N
Kyllä
Ei
Ei osaa sanoa / ei kantaa
YHTEENSÄ
53
3
6
62
%
85
5
10
100
%
%
%
%
Kysymyksen ensimmäiseen osaan saatiin 62 koulutusohjelman ja oppiaineen
vastaukset. Vastaajista 85 % oli sitä mieltä, että koulutusala-arviointia tarvitaan
jatkossakin, 5 % katsoi ettei koulutusala-arviointeja tarvita, ja 10 % ei osannut
sanoa tai ei selkeästi ilmaissut kantaansa. Yliopistojen ja ammattikorkeakoulujen näkemyksissä ei ollut eroja.
Ne, jotka olivat sitä mieltä, että koulutusala-arviointeja tarvitaan jatkossakin, käyttivät tähän kahta perustetta. Koulutusala-arviointeja tarvitaan siksi, että
voimistuva kansainvälistyminen, joka on alkanut koskea jokaista koulutusohjelmaa ja oppiainetta, lisää kilpailua ja opiskelijoiden liikkuvuutta ja luo tarpeen
43
osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla. Toinen vastaajien käyttämä peruste koulutusala-arviointien jatkamiseen on se, että arvioinnit
tukevat toiminnan analyysia ja kehittämistä.
”Koulutusala-arvioinnit ovat tarpeellisia valtakunnallisen tason tiedostamiseksi.
Kansainvälinen arviointitaso on seuraava kehitysaskel erityisesti viestinnän osalta,
joka on luonteeltaan ja toimintaympäristöltään globaalia. Suomen ei ole tyytyminen kansalliseen takamaapolitiikkaan, vaan etsittävä uusia innovaatioita kansainvälisille markkinoille. Tämän ehtona on volyymiltään kattava ja laaja alan koulutuspohja. Se on luonnonvara, jota ei ole syytä päästää käsistä, vaikka kilpailu on
kova. Olkoon se jatkuva haaste.”
Ne taas, joiden mukaan koulutusala-arviointia ei tarvita jatkossa, käyttivät yleensä yhtä perustelua. Arvioinnin katsotaan kuuluvan korkeakoulun normaaliin
toimintaan. Nämä vastaajat olivat siis sitä mieltä, että jos sisäinen arviointi on
kunnossa, ulkoista ei tarvita.
”Arvioinnista tulisi luoda rutiini, joka toteutuisi itsearviointina osana korkeakoulujen laatujärjestelmää. Järjestelmän objektiivisuuteen tulisi panostaa erityisesti. Jos
arviointi toteutuu jonkin vierailevan ryhmän kautta, lyhyt vierailu ei varmastikaan
anna arkipäivän käytännöstä luotettavaa kuvaa. Järjestelmä on massiivinen, kallis
ja vähemmän objektiivinen. Tulisi luoda mittari, jonka avulla arvioinnin voisi toteuttaa melko mekaanisesti jokaisessa korkeakoulussa osana laatu- ja kehittämistyötä.”
Yksi vastaaja korosti lisäksi sitä, että laadullisen arvioinnin sijaan tarvitaan jatkossa määrällistä arviointia.
”Mielestämme tämän tyyppistä arviointia ei lähivuosina tarvita. Arviointien pitäisi
perustua faktoihin, kuten esimerkiksi valmistuneiden määrät sisäänottoihin verrattuna, opintojen kestoajat, sijoittuminen työelämään, työelämästä saatu palaute, urakehitys. Yliopistoja arvioitaessa tutkimus ja siihen liittyvät jatko-opinnot olisi otettava keskeisinä tekijöinä huomioon.”
”Koulutusala-arvioinnit ovat tarpeellisia: ne vahvistavat korkeakouluyksiköiden
kehittämistä tuomalla esiin ulkopuolisia ja puolueettomia näkemyksiä yksikön sen
hetkisestä tilasta ja kehitettävistä seikoista.”
Kysymykseen siitä, miten menetelmää tulisi kehittää ottamaan huomioon
koulutuksen tulevaisuuden haasteet, saatiin runsaasti rakentavia ehdotuksia.
44
Taulukko 23. Koulutusala-arviointimenetelmän kehittämistarpeet
Miten koulutusala-arviointimenetelmää tulisi kehittää?
Arviointimenetelmää kevennettävä ja arviointikohteita rajattava
Lisättävä arviointien jatkuvuutta toteuttamalla arviointeja määrävälein
Arviointivierailuun lisää aikaa ja vierailut kaikkiin yksiköihin
Vertailuarviointi eli benchmarking-menetelmä käyttöön
Arvioinnin suunnitteluun mukaan muitakin tahoja KKA:n lisäksi
Yksikköjä palkittava laadukkaasta itsearvioinnista ja suositusten noudattamisesta
Arvioitsijoiden koulutusta tehostettava
Arvioinnissa selkiytettävä ammattikorkeakoulujen ja yliopistojen suhde
Arvioinnit tulee toteuttaa kansainvälisinä
f
14
11
4
3
2
2
2
2
2
Suuri osa arviointimenetelmän kehittämisehdotuksista kohdistui menetelmän
keventämiseen. Arviointimenetelmä, jossa kohteena kaikki koulutukseen kuuluva (tavoitteet, sisällöt, menetelmät ja arviointi), koettiin sisällöltään liian laajaksi. Samoin alakohtaisissa arvioinneissa samaan arviointiin on sisällytetty laaja kokonaisuus, joka koostuu monesta alasta. Esimerkiksi media- ja viestintäalan arviointi kattoi muun muassa journalistiikan, audiovisuaalisen viestinnän
sekä organisaatio- ja yhteisöviestinnän alat. Slavistiikan ja baltologian arviointiin sisältyi venäjän kielen ja kirjallisuuden, venäjän kääntämisen ja tulkkauksen, slaavilaisten kielten ja kirjallisuuksien sekä balttilaisten kielten ja kirjallisuuksien oppiaineet.
Vaihtoehdoksi ehdotettiin arvioinnin keskittymistä johonkin koulutuksen
yksittäiseen osa-alueeseen ja kapeammin rajattuun alaan, jotta arvioinnista saatava hyöty olisi mahdollisimman suuri. Tällainen yksittäinen koulutuksen osaalue voisi yhden vastaajan mukaan olla koulutuksen sisällöt suhteessa työelämän tarpeisiin. Yksi vastaaja taas toivoi koulutuksen sisältöjen ja menetelmien
arviointia selkeämmin suhteessa koulutuksen tavoitteisiin. Yksi vastaaja toi esiin
vaihtoehtona koulutusala-arvioinneille teema-arvioinnit, joissa arvioinnin kohteena olisikin jokin läpäisyteema. Tämäntyyppiset arvioinnit ovat kuuluneetkin
Korkeakoulujen arviointineuvoston arviointivalikoimaan.
”Toivoisin, että arviointi olisi jatkuvaa. Suuri käytännön apu voisi olla, jos arviointeja toteutettaisiin keveämmin ja tarkasteltaisiin muutamaa aihealuetta kerrallaan.
Nyt tehty arviointi oli laaja ja käsitteli kaikkea mahdollista oppilaitoksessa. Toimenpiteet saattavat unohtua käytännön pyörityksen alle. Jos keskityttäisiin jonain vuonna vain vaikka opetuksen laatuun, voitaisiin saada nopeampia ja konkreettisempia
toimenpiteitä aikaan.”
”Arvioinneissa voisi olla tietyn koulutusalan tulevaisuuden ja menestyksen kannalta tärkeitä painopistealueita erikoisesti painotettuna. Jossain määrin arviointien tuloksena saatavat kotimaisten ja myös kansainvälisten oppilaitosten keskinäisten etujen/paremmuuksien sekä painotusten vertailut suhteutettuna meidän resursseihimme ja tasoomme voisivat auttaa suunnittelussa ja voimavarojen kohdentamisessa.
Arviointineuvoston mielipide ja painotukset voisivat olla tukemassa koulutusohjelman anomuksia ja hankkeita omiin päätöksentekijöihin päin.”
45
Yksi media- ja viestintäalan arviointiin osallistunut teki konkreettisen ehdotuksen siitä, miten arvioitavaa alaa kannattaisi jatkossa rajata.
”Arviointeja tulisi myös kehittää siten että, ne keskittyisivät kapeammalle alalle,
esimerkiksi elokuva- ja televisiokoulut omana ryhmänä.”
Moni vastaaja esitti arviointimenetelmän kehittämistä myös siten, että niiden
jatkuvuutta parannettaisiin. Koulutusohjelmien ja oppiaineiden mukaan arviointeja ei tule tehdä liian usein, mutta toisaalta niitä on tarpeen tehdä säännöllisesti. Osa vastanneista piti sopivana syklinä viittä vuotta, toiset vastaajat taas
katsoivat, että arviointeja tulisi tehdä kymmenen vuoden välein. Muutama vastaaja korosti myös, että jatkuvuuden avulla voitaisiin turvata arviointiosaamista
siten, että jokaisessa arvioinnissa ei tarvitse opetella asioita alusta, vaan yksikössä olevaa arviointiosaamista voitaisiin käyttää hyväksi tulevissa arvioinneissa.
Muutama vastaaja toivoi arviointivierailujen kehittämistä siten, että niiden
kestoa pidennettäisiin nykyisestä yhdestä päivästä 2–3 päivään. Yksi vastaaja
toivoi jopa viikon mittaista vierailua yhteen koulutusohjelmaan, jolloin arvioitsijoilla olisi aikaa seurata opetusta ja saada syvällisempi käsitys yksikön toiminnasta.
Muutama vastaaja ehdotti, että Korkeakoulujen arviointineuvosto käyttäisi
koulutusala-arvioinneissa enemmän benchmarking-menetelmää eli vertailuarviointia, jossa arviointiin osallistuvat yksiköt vertailevat toimintaansa jonkin toisen, toiminnassaan pitkälle päässeen organisaation kanssa. Benchmarkingia
voitaisiin vastaajien mukaan tehdä kotimaisena tai kansainvälisenä arviointina.
Kaksi tekniikan alan koulutusohjelma toivoi benchmarkingiin liitettäväksi mittareita, joilla omaa toimintaa voitaisiin suhteuttaa muihin vastaaviin yksiköihin.
Muutamat koulutusohjelmat ja oppiaineet ehdottivat, että Korkeakoulujen
arviointineuvosto voisi arviointeja suunnitellessaan tehdä enemmän yhteistyötä myös muiden tahojen kanssa. Yksi vastaaja teki konkreettisen ehdotuksen
näistä tahoista.
”Tulevaisuuden haasteiden huomioon ottamisessa voisi olla antoisaa, jos arviointeihin ja niiden suunnittelemiseen kytkettäisiin myös muita instansseja, jotka toiminnassaan nimenomaan pyrkivät ennakointiin ja em haasteiden selvittämiseen
(esim. EVA, Etla, Sitra, Tekes, TT, Tulevaisuuden tutkimuslaitos, Koulutuksen tutkimuslaitos, Työelämän tutkimuslaitos, Koulutussosiologian tutkimuslaitos).”
Kaksi vastaajaa totesi, että koulutusohjelmien ja oppiaineiden motivaatiota osallistua arviointeihin parantaisi se, jos niitä palkittaisiin jollain tavalla laadukkaasti tehdystä itsearvioinnista ja arviointiryhmän suositusten noudattamisesta.
Kaksi vastaajaa ehdotti, että Korkeakoulujen arviointineuvosto kehittäisi
ulkopuolisten arvioitsijoiden koulutusta. Toinen näistä ehdotti, että KKA tekisi
arvioitsijoiden kouluttamisessa yhteistyötä kansainvälisten kollegaorganisaatioiden kanssa. Arvioitsijoiden koulutuksen kehittäminen on tärkeä ehdotus, johon KKA on jo kiinnittänyt ja tulee jatkossakin kiinnittämään erityistä huomiota. Vuoden 2003 aikana on laadittu materiaaleja, jotka tukevat arvioitsijoiden
työtä.
46
Kaksi vastaajaa kiinnitti huomiota siihen, että KKA:n arvioinneissa arvioidaan samanaikaisesti yliopistoja ja ammattikorkeakouluja. Toinen vastaajista
toivoi, että ”arvioinneissa tehtäisiin selkeä ero yliopistojen ja ammattikorkeakoulujen välillä”. Toinen vastaaja taas totesi, että molemmat sektorit kattava
arviointi hyödyttää molempia.
Kaksi terveysalan koulutusohjelmaa ehdotti, että koulutusala-arvioinnit tehtäisiin jatkossa kansainvälisinä arviointeina. Tämä ehdotus nousee selvästi alan
omasta tarpeesta. Muutama tekniikan alan yksikkö taas esitti toiveen työelämän tarpeiden selvittämisestä arviointien yhteydessä. Näistä yksi koulutusohjelma toivoi, että arviointeihin liitettäisiin työelämälle osoitettu asiakastarvetutkimus valmistuvalta opiskelijalta tarvittavista ominaisuuksista. Toinen taas esitti, että vastaava tieto hankittaisiin kutsumalla arviointiryhmän jäseneksi teollisuusliiton koulutustarveasiantuntija.
Yksi vastaaja ehdotti lisäksi, että Korkeakoulujen arviointineuvosto ottaisi
vahvemman rooli arvioinnin suositusten toteuttamisessa erityisesti silloin, kun
ne vaativat vaikuttamista kansalliseen koulutuspolitiikkaan.
”Kun puutteita havaitaan, arviointineuvoston tulisi toimia ponnekkaammin parannusten saamiseksi erityisesti silloin, kun kehittämiseen vaikuttavat yksikön ulkopuoliset tekijät esim. valtakunnallinen koulutuspolitiikka. Suosituksia voisi antaa
myös yksikön sisäisen toiminnan edellytysten parantamiseksi.”
47
5
Rehtorikyselyn tulokset
5.1 Rehtorikyselyn toteutus
Koulutusohjelmille ja oppiaineille tehdyn kyselyn yhteydessä myös yliopistojen
ja ammattikorkeakoulujen rehtoreille lähetettiin kaksi kysymystä koulutusalaarviointien hyödyllisyydestä ja Korkeakoulujen arviointineuvoston tulevasta
roolista koulutuksen kehittämisessä.
Rehtoreille osoitetut kysymykset olivat seuraavat:
1. Millaista hyötyä näette koulutusala-arvioinneista olleen koulutuksen kehittämiselle?
2. Miten mielestänne Korkeakoulujen arviointineuvoston tulisi tulevaisuudessa tukea korkeakouluja koulutuksen kehittämisessä?
Yliopistojen 20 rehtorista vastaukset saatiin kahdeksalta rehtorilta ja vararehtorilta. Ammattikorkeakoulujen 30 rehtorista puolet eli 15 vastasi kyselyyn. Näin
ollen rehtorikyselyn yhteenlaskettu vastausprosentti oli 46 %.
5.2 Koulutusala-arviointien
hyödyllisyys korkeakouluille
Taulukko 24. Koulutusala-arviointien hyödyllisyys korkeakouluille
Millaista hyötyä koulutusala-arvioinneista on
ollut korkeakouluille?
Tukenut oman toiminnan arviointia ja tehnyt näkyväksi kehittämistarpeet
Arvioinnista on seurannut konkreettisia kehittämistoimia
Auttanut alan kansallisen tilan ja ongelmien tunnistamista ja
ratkaisumallien etsimistä
Arvioinnin avulla saatu ulkopuolinen näkökulma koulutuksen laatuun
Arvioinnin tuloksia on hyödynnetty korkeakoulun keskushallinnossa
YO:t
AMK:t
Yht.
4
4
4
8
8
5
12
12
9
1
3
4
5
3
Rehtorien mukaan koulutusala-arviointien yksi keskeinen merkitys on ollut se,
että ne ovat tukeneet ja aktivoineet koulutusohjelmien ja oppiaineiden itsearviointia ja tehneet näkyväksi sen kehittämistarpeita. Yksi rehtori korosti erityisesti arviointien prosessiluonnetta, jonka vaiheet itsearviointi–arviointivierailu–
raportti–seuranta tukevat kukin omalla tavallaan korkeakoulun toiminnan pitkäjänteistä kehittämistä. Yksi rehtori listasi koulutusala-arviointien hyödyt seuraavalla tavalla:
48
”Hyödyt koulutuksen kehittämiselle:
• asioiden tuominen keskusteluun koulutusohjelmassa/toimialalla
• ongelmien tiedostaminen ja näkyväksi tekeminen
• erilaisten kehittämisvaihtoehtojen esittäminen
• yhteisen ajattelun kehittyminen koulutusalalla
• kehittämisen ilmapiirin muodostuminen.”
Yhtä moni rehtori toi esiin, että arvioinneista on seurannut konkreettisia kehittämistoimia. Muutaman rehtorin mukaan arviointi antoi sellaisia virikkeitä kehittämiseen, jotka eivät olisi toteutuneet ilman arviointia. Useat rehtorit mainitsivat, että arvioinnin seurauksena mm. koulutusohjelmarakennetta kehitettiin,
koulutukselle luotiin laatujärjestelmä, koulutusta fokusoitiin ja profiloitiin, koulutukselle laadittiin strategia, opintojen ohjausta ja opiskelijavalintoja kehitettiin.
Koulutusala-arvioinnit ovat myös tuottaneet tietoa alan kansallisen tilasta,
auttaneet tunnistamaan alalle tyypillisiä ongelmia ja etsimään niihin yhteisiä
ratkaisumalleja. Muutama rehtori piti arvokkaana sitä, että arviointitieto on
koottu yksiin kansiin, mikä helpottaa monin tavoin arviointitiedon jatkokäyttöä.
Yksi rehtori totesi, että Korkeakoulujen arviointineuvoston arviointiraportit tukevat korkeakoulujen toiminnan kehittämistä, ei vain kyseisellä alalla vaan yleisemminkin.
Viisi rehtoria, joista neljä oli ammattikorkeakouluista, katsoi koulutusalaarviointien olevan hyödyllisiä erityisesti siksi, että niissä koulutuksen laatua tarkastelee korkeakoulujen ulkopuolinen ja niistä riippumaton taho.
Kolme yliopistorehtoria mainitsi, että koulutusala-arviointien tuloksia oli
käytetty hyväksi keskushallinnossa mm. tuloksellisuuden arvioinnissa ja yliopiston strategian kehittämisessä.
5.3 Korkeakoulujen arviointineuvoston
rooli tulevaisuudessa
Rehtorien vastaukset koskien Korkeakoulujen arviointineuvostolta toivottua
tukea voidaan jakaa kolmeen luokkaan. Näistä ensimmäinen koskee toiveita
arviointikohteista, toinen ehdotuksia arviointien menetelmistä ja kolmas ajatuksia KKA:n toimintatapojen konkreettisesta kehittämisestä.
Taulukko 25. Rehtorien ehdotukset KKA:n tulevista arviointikohteista
Rehtorien ehdotukset KKA:n tulevista arviointikohteista
Korkeakoulujen laadunvarmistuksen kehittäminen ja arviointi
Valtakunnalliset koulutusalakohtaiset arvioinnit
Teema-arvioinnit
Korkeakoulujen kokonaisarvioinnit
YO:t
AMK:t
Yht.
4
3
2
4
4
4
4
8
7
6
4
49
Kahdeksan rehtoria totesi, että jatkossa Korkeakoulujen arviointineuvoston
tulisi keskittyä toiminnassaan erityisesti korkeakoulujen tukemiseen ja arviointiin niiden laatutyön ja laadunvarmistuksen kehittämisessä. Seitsemän rehtoria
piti tärkeänä, että valtakunnallisia koulutusalakohtaisia arviointeja jatketaan.
Kuusi rehtoria mainitsi teema-arvioinnit tärkeinä tulevaisuuden arviointikohteina. Arviointiteemoiksi esitettiin mm. opinnäytetöiden arviointia ja sen
kehittämistä, opiskelijapalveluita sekä ammattikorkeakoulujen tutkimus- ja kehittämistoimintaa. Myös korkeakoulujen alueellisen roolin arviointia pidettiin
edelleen tärkeänä. Samoin ammattikorkeakouluille toivottiin tukea ammattikorkeakoulupedagogiikan luomisessa ja opetussuunnitelmien laatimisessa. Yliopistoille taas toivottiin pikaisesti kansainvälistä ja kotimaista vertailutietoa tutkintorakenteen kehittämisestä.
Neljä ammattikorkeakoulujen rehtoria totesi, että KKA:n tulisi arvioida korkeakouluja kokonaisuutena. Yliopistosektorillahan kaikki yliopistot on jo arvioitu, joten on luonnollista, että tätä toivetta ei tullut yliopistojen rehtoreilta. Ammattikorkeakoulusektorilla on toteutettu vasta seitsemän kokonaisarviointia,
mutta toisaalta tehty 16 ammattikorkeakoulujen laatutyön auditointia. Kaikissa
ammattikorkeakouluissa toteutettiin toimilupa-arvioinnit ammattikorkeakoulujen vakinaistamisvaiheessa.
Melko moni rehtori esitti myös näkemyksiä siitä, miten arvioinnit tulisi jatkossa toteuttaa.
Taulukko 26. Rehtorien ehdotukset arviointimenetelmistä
Rehtorien ehdotukset arviointimenetelmistä
Nykyinen kehittävän arvioinnin lähestymistapa on hyvä
Arvioinnit tulisi tehdä vertailuarviointeina eli
benchmarking-menetelmällä
Arvioinnit tulisi tehdä kansainvälisinä
Muut (opetuksen ja tutkimuksen arviointi yhdessä; yliopistojen ja
ammattikorkeakoulujen arviointi erillään; II asteen ja amk-koulutuksen
arviointi yhdessä)
YO:t
AMK:t
Yht.
1
4
5
1
6
5
1
1
3
2
3
Kuusi rehtoria piti hyvänä sitä kehittävän arvioinnin lähestymistapaa, jonka
Korkeakoulujen arviointineuvosto on omaksunut kahdella ensimmäisellä toimikaudellaan. Kehittävällä arvioinnilla tarkoitetaan käyttäjälähtöistä prosessia,
jossa arvioinnin menetelmä räätälöidään arvioinnin tavoitteiden, arvioitavan
teeman ja osallistujien tarpeiden mukaan.
Toisenlaista lähestymistapaa edustaa se viiden rehtorin ehdotus, jonka mukaan Korkeakoulujen arviointineuvoston tulisi jatkossa panostaa voimakkaammin vertailu- eli benchmarking-arviointeihin. Useat tätä näkökulmaa kannattavista rehtoreista toivat esiin sen, että benchmarkingin tulisi keskittyä erityisesti
kustannusten ja tuloksellisuuden arviointiin, johon KKA:n toivotaan kehittävän
selkeitä mittareita.
50
Kolmas näkökulma arviointien toteutukseen oli se kahden rehtorin esittämä toive, jonka mukaan arvioinnit tulisi aina tehdä kansainvälisinä tai niihin
tulisi ainakin sisältyä kansainvälinen näkökulma.
Neljäs näkökulma liittyy arviointien kattavuuteen. Yksi rehtori piti tärkeänä, että opetusta ja tutkimusta arvioidaan yhtä aikaa. Yksi rehtori oli sitä mieltä,
että yliopistojen ja ammattikorkeakoulujen arviointi samassa projektissa on ongelmallista. Yksi rehtori esitti, että joissain tapauksissa voisi olla tarpeen arvioida yhdessä toisen asteen koulutusta ja ammattikorkeakoulutusta.
Taulukko 27. Rehtorien toiveet KKA:n tulevista painopisteistä
Rehtorien toiveita KKA:n tulevista painopisteistä
Arviointikoulutuksen jatkaminen
Seuranta-arviointien tehostaminen ja arviointien vaikuttavuuden
parantaminen
Hyvien käytänteiden levittäminen
KKA:n kansallisen arviointipolitiikan ja arviointien aikataulun
linjaaminen
KKA:n kansainvälisen roolin linjaaminen
KKA:n maksupalvelutoiminnan laajentaminen
YO:t
AMK:t
YHT.
3
3
5
6
5
3
2
3
3
2
1
2
1
1
Kuusi rehtoria mainitsi, että Korkeakoulujen arviointineuvoston järjestämä arviointikoulutus korkeakoulujen henkilöstölle on ollut arvokasta, ja sitä toivottiin jatkettavan. Yksi vastaaja kiinnitti huomiota myös arvioitsijoiden koulutuksen tehostamiseen. Yksi rehtori mainitsi, että tässä yhteydessä KKA voisi
kehittää arviointiosaamista luomalla teoreettista pohjaa ja kehittämällä työkaluja itse- ja vertaisarviointien toteuttamiseen.
Viisi rehtori teki ehdotuksen seuranta-arviointien tehostamisesta ja arviointien vaikuttavuuden parantamisesta. Rehtorien mukaan tätä voitaisiin tehdä
mm. tehostamalla arviointia koskevaa tiedottamista sekä kansallisesti että korkeakoulutasolla, vastuuttamalla koulutusohjelmat laatimaan kehittämissuunnitelmat ja tiivistämällä arviointien tuloksia artikkeleiksi. Yhden rehtorin mukaan
arviointien vaikuttavuutta voidaan ylipäänsä parantaa sillä, että kytketään toimijat varhaisessa vaiheessa mukaan arvioinnin suunnitteluun. Yksi rehtori taas
toivoi arviointikriteerien julkistamista ennen arviointia.
Kolmen ammattikorkeakoulun rehtorit toivoivat sitä, että KKA kiinnittäisi
entistä enemmän huomiota hyvien käytänteiden levittämiseen.
Muutama rehtori piti tärkeänä, että uusi Korkeakoulujen arviointineuvosto
linjaa tulevien vuosien kansallisen arviointipolitiikan. Muutama rehtori esitti
myös toiveen siitä, että toimintasuunnitelmasta kävisi ilmi, mitkä alat ovat milloinkin arvioinnin kohteena, jotta arviointiin ehdittäisiin varautua hyvissä ajoin.
Yksi rehtori esitti, että arviointien toteutukseen korkeakouluissa tarvitaan ulkopuolista rahoitusta. KKA:lta toivottiin myös selkeää kannanottoa siitä, mikä Suomen korkeakouluille sopiva arviointitoiminnan profiili luotaessa Eurooppalaista korkeakoulutusaluetta (EHEA).
Yksi rehtori esitti, että KKA alkaisi maksupalvelutoimintana arvioida ja konsultoida ammattikorkeakoulujen koulutusohjelmien kehittämistä.
51
6
Yhteenveto ja pohdintaa
Yhtenä tämän selvityksen tarkoituksena oli selvittää, tarvitaanko Korkeakoulujen arviointineuvoston toteuttamia koulutusala-arviointeja jatkossa. Kaikkiaan
85 % kyselyyn vastanneista yliopistojen ja ammattikorkeakoulujen koulutusohjelmista ja oppiaineista oli sitä mieltä, että koulutusala-arviointia tarvitaan
jatkossakin. Korkeakoulujen mukaan tähän on kaksi perustetta. Ensinnäkin arviointien avulla voidaan osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla. Toiseksi arviointien katsotaan tarjoavan merkittävää tukea
koulutuksen kehittämiselle. Ne 5 % vastaajista, jotka eivät pitäneet koulutusalaarviointien jatkamista tarpeellisena, perustelivat tätä sillä, että arviointi kuuluu
osaksi korkeakoulujen normaalia tehtävää ja on siten niiden sisäinen asia. Loput 10 % eivät ottaneet kantaa puolesta tai vastaan.
Toinen selvityksen tavoite liittyi siihen, mitä ehdotuksia korkeakouluilla on
arviointimenetelmän kehittämiseksi. Arviointimenetelmällä tarkoitetaan Korkeakoulujen arviointineuvoston käyttämää nelivaiheista mallia 1. arvioinnin
suunnittelu ja perehdytys, 2. itsearviointi, 3. arviointivierailu ja 4. arviointiraportti. Seuraavassa tehdään yhteenveto selvityksen tuloksista arviointiprosessin
kronologisia vaiheita mukaillen ja peilaten tuloksia arviointineuvoston tulevaan
toimintaan.
Koulutusala-arviointeihin osallistuneet olivat enimmäkseen tyytyväisiä Korkeakoulujen arviointineuvoston antamaan ennakkoperehdytykseen ja kirjallisiin ohjeisiin. Suurella osalla vastaajista oli jo koulutusala-arviointeihin osallistuessaan aiempaa kokemusta arvioinneista, jota ne voivat hyödyntää arviointineuvostonkin arvioinneissa. Eniten parannettavaa olisi itsearviointiohjeiden ja
muiden kirjallisten ohjeiden selkiyttämisessä ja käsitteiden määrittelyssä.
Arviointineuvosto on jo toiminut näiden ehdotusten suuntaisesti. Kansallista
laadunvarmistusta pohdittaessa on luotu käsitteet2, joita voidaan käyttää soveltaen hyväksi eri arviointiprojekteissa. Samoin arviointiprosessien eri toimijoiden roolit on nyt kirjattu aiempaa selkeämmin.3 Tämä ei luonnollisesti poista
tarvetta määritellä erikseen kussakin projektissa käytettävät alakohtaiset käsitteet. Lisäksi Korkeakoulujen arviointineuvoston tulisi luonnollisesti olla itse johdonmukainen käsitteiden käytössä ja testata käsitteitä eri foorumeilla yhteistyössä korkeakoulujen kanssa, jotta niistä voidaan löytää yhteinen ymmärrys.
2
Laadunvarmistustyöryhmän muistio. Opetusministeriön työryhmämuistioita ja selvityksiä
2004:6. Helsinki.
3
Moitus, S. & Mustonen, K. Ohjeita arvioitsijalle. Korkeakoulujen arviointineuvoston arviointiryhmien tukimateriaali. Korkeakoulujen arviointineuvoston verkkojulkaisuja 3:2003.
www.kka.fi/julkaisut_etusivu.lasso
52
Itsearviointi on ollut yksi keskeisimpiä kehittävän arvioinnin vaiheita. Itsearvioinnin vahvuutena onkin korkeakoulujen mukaan se, että itsearviointi tarjoaa tilaisuuden oman toiminnan kriittiseen tarkasteluun strukturoidussa kehyksessä. Itsearvioinnin heikkoutena vastaajat pitivät korkeakoulujen itsearviointiraporteissa esiintyvää valikoivaa arviointia ja asioiden kaunistelua. Keskeinen kysymys jatkossa on, miten Korkeakoulujen arviointineuvosto voi omalla
toiminnallaan tukea avointa ja rakentavan kriittistä itsearviointia, joka aidosti
tukee kehittämistyötä. Näyttää siltä, että mitä enemmän arviointiin liittyy ulkoisia kannusteita, kuten laatuyksikkövalintojen rahanjako tai ammattikorkeakoulujen toimilupa-arvioinnit, sitä enemmän itsearviointi alkaa muistuttaa hakemusta, jonka painopiste on omien vahvuuksien esittelyssä. Tästä näkökulmasta Korkeakoulujen arviointineuvostolle onkin varsin haasteellista kehittää
sellainen metodi korkeakoulujen laadunvarmistusjärjestelmien auditoinnille,
jossa laatua kehittävä ja varmistava funktio ovat tasapainossa.
Arviointivierailun tärkein vahvuus oli korkeakoulujen mukaan mahdollisuus kiinnostavaan keskusteluun oman alan ja pedagogisten asiantuntijoiden
kanssa. Yksipäiväisten arviointivierailujen sen sijaan katsottiin olevan liian lyhyitä antamaan kokonaiskuvaa yksikön toiminnasta. Tämä on Korkeakoulujen
arviointineuvoston näkökulmasta ensisijaisesti resurssikysymys, jota ei voida
ratkaista arviointivierailua pidentämällä. Monissa arvioinneissa arviointivierailujen kokonaiskesto on jo tällä hetkellä 10–15 päivää, mikä merkitsee melkoista työpanosta yhdeltä arvioitsijalta. Sen sijaan arviointivierailun rakennetta on
mahdollista varioida entistä enemmän. Yksi ratkaisu on se, että arviointiryhmä
jakaantuu vierailupäivän aikana pienempiin ryhmiin, jolloin on mahdollista
haastatella syvällisemmin yhä useampaa korkeakoulujen henkilökunnan ja opiskelijoiden edustajaa.
Toinen arviointivierailuun liittyvä heikkous on korkeakoulujen mukaan se,
että kaikki arviointiin osallistuneet ja itsearviointiraportin laatineet eivät ole
kaikissa arvioinneissa saaneet omaa yksikkökohtaista arviointipalautetta. Tämä
liittyy edellä mainittuun ongelmaan, että arviointiryhmä ei ole resurssisyistä
voinut vierailla kaikissa yksiköissä. Muutamassa arvioinnissa on kokeiltu sitä,
että arviointiryhmä on antanut palautteen kirjallisen aineiston pohjalta niillekin
yksiköille, joissa ei vierailtu. Tästä on kahdenlaisia kokemuksia. Osa korkeakouluista on todennut, että palaute ilman vierailua ei tuota paljon uusia näkökulmia kehittämisen pohjaksi, kun taas yhdessä arvioinnissa tällainen palaute
koettiin hyvin hyödylliseksi. Joka tapauksessa Korkeakoulujen arviointineuvoston tulisi jatkossa suunnitella arvioinnit niin, että kaikilla arviointiin osallistuvilla korkeakouluilla olisi tasavertainen mahdollisuus saada arviointipalautetta.
Arviointiraportin selvin vahvuus oli korkeakoulujen mukaan se, että se antaa kokonaiskuvan arvioitavasta koulutusalasta. Heikkoutena pidettiin yksittäisten henkilöiden mielipiteiden liiallista korostumista. Muutamat korkeakoulut
pitivät arviointiraportteja myös turhan laajoina, mikä on vaikeuttanut raporttien hyödyntämistä. Tähän asti Korkeakoulujen arviointineuvosto on antanut
arviointiryhmille melko vapaat kädet raportin laadintaan, mikä on näkynyt raporttien suurena kirjona ja volyymien eroina. Jatkossa toistuvissa arvioinneissa,
53
kuten korkeakoulujen laadunvarmistusjärjestelmien auditoinnissa, on tarvetta
siirtyä aiempaa määrämuotoisempaan raportointiin.
Korkeakoulujen arviointineuvoston periaatteisiin on kuulunut, että se toteuttaa seuranta-arviointeja noin kolmen vuoden kuluttua varsinaisesta arvioinnista. Korkeakoulujen koulutusohjelmien ja oppiaineiden mukaan seurantaarvioinnin vahvuutena oli se, että se varmistaa arvioinnin tulosten toteutumista
ja pakottaa yksiköt oman toimintansa uudelleen arviointiin. Tässä korkeakoulut ovat hyvin samoilla linjoilla kun arviointineuvostokin, jonka arviointivalikoimassa seurannat on nähty yhtenä keinona edistää arviointien vaikuttavuutta.
Jatkossa eri arviointien seurantoja on edessä kymmenkunta vuodessa, joten
metodin virtaviivaistamiseen on todellinen tarve. Koulutusohjelmille ja oppiaineille tehdyn kyselyn rinnalla myös korkeakoulujen rehtoreilta kysyttiin näkemyksiä koulutusala-arviointimenetelmän kehittämisestä. Korkeakoulujen rehtorit toivat erityisesti esiin tarpeen tehostaa seuranta-arviointeja ja arviointien
vaikuttavuuden muuta seurantaa.
Nelivaiheisen arviointimenetelmän yleinen vahvuus oli korkeakoulujen
mukaan se, että ulkopuolisen tahon tekemä valtakunnallinen arviointi oli antanut merkittävän sysäyksen koulutuksen kehittämiselle. Arviointimenetelmän
heikkoutena oli vastaajien mukaan arvioinnin suuritöisyys korkeakoulun kannalta.
Arvioinnin tulosten käsittelyssä ja hyödyntämisessä korkeakouluilla on ollut käytössä paljon erilaisia menettelytapoja. Yleisin tapa käsitellä arviointipalautetta oli sen käsittely henkilöstökokousten sekä suunnittelu- ja kehittä-
mispäivien yhteydessä. Useissa koulutusohjelmissa ja oppiaineissa oli järjestetty henkilöstölle ja opiskelijoille arvioinnin tulosten käsittelyä varten tiedotus- ja keskustelutilaisuuksia. Koska arviointipalautteen käsittely korkeakouluissa on yksi keskeisimmistä tekijöistä, joilla voidaan vaikuttaa arviointien vaikuttavuuteen, Korkeakoulujen arviointineuvosto voisi kiinnittää tämän ohjeistukseen jatkossa enemmän huomiota.
Tärkeä kysymys on luonnollisesti se, mitä hyötyä koulutusala-arvioinneista on ollut korkeakouluille. Selvitys osoitti, että arvioinneista on seurannut runsaasti konkreettisia kehittämistoimenpiteitä. Eniten arvioinnit ovat
vaikuttaneet opetussuunnitelmatyön ja opetussisältöjen uudistamiseen sekä
opintojen ohjauksen kehittämiseen. Arvioinnin seurauksena myös kansainvälistymiseen on kiinnitetty entistä enemmän huomiota. Koulutusala-arvioinnit ovat myös palvelleet yksiköiden strategiatyötä sekä arviointi- ja palautejärjestelmien kehittämistä. Kaikkia arviointiryhmien antamia kehittämisehdotuksia ei kuitenkaan ole koulutusohjelmissa toteutettu. Pääsyynä
tähän on ollut taloudellisten tai ajallisten resurssien puute.
Mielenkiintoista oli, että kun sama kysymys arviointien käytöstä kysyttiin korkeakoulujen rehtoreilta, he näkivät arvioinneilla olleen myös strategisia vaikutuksia. Rehtorien mukaan koulutusala-arvioinnit olivat tukeneet
korkeakoulujen oman toiminnan arviointia, johtaneet konkreettisiin kehit-
54
tämistoimiin ja luoneet kokonaiskuvan arvioitujen alojen kansallisesta tilasta. Arviointien tuloksia oli myös hyödynnetty korkeakoulujen keskushallinnossa, mikä seikka ei käynyt ilmi koulutusohjelmien ja oppiaineiden vastauksista.
Korkeakoulut arvostivat yksikkökohtaisen palautteen lisäksi myös arvioinneista saatua omaa alaa koskevaa valtakunnallista vertailutietoa. Korkeakoulujen arviointineuvoston pohdittavaksi jää, miten koulutusala-arvioinnit parhaiten palvelisivat kumpaakin näkökulmaa – sekä yksikkökohtaista että valtakunnallista kehittämistä.
Kansainvälisessä vertailussa Korkeakoulujen arviointineuvoston arvioinneista harvinaisen suuri osa on kansainvälisiä arviointeja. Tähänkin selvitykseen osallistuneista kymmenestä koulutusala-arvioinnista kuusi on toteutettu kansainvälisinä arviointeina. Tärkein kansainvälisen arvioinnin lisäarvo oli vastaajien mukaan se, että se tuottaa vaihtoehtoisia näkökulmia
koulutuksen kehittämiseen. Kansainvälisen arviointiryhmän käyttämisen
heikkoutena pidettiin sitä, että kansainväliset arvioitsijat tuntevat pinnallisesti suomalaisia korkeakouluja ja niiden toimintaympäristöä. Yksi ratkaisu
tähän on se, että kansainvälisissä arviointiryhmissä on aina mukana suomalaisjäsen, joka tuntee suomalaisen kontekstin. Myös arvioitsijoille hiljattain
laadittu manuaali auttaa perehtymään arviointitehtävään. Muussa arvioitsijoiden perehdyttämisessä Korkeakoulujen arviointineuvostolla on epäilemättä edelleen parannettavaa. Myös arvioitsijoiden rekrytointia tulisi systematisoida, etenkin kun korkeakoulujen laadunvarmistusjärjestelmien auditoinnissa tarvitaan lähivuosina hyvin paljon kokeneita kansainvälisiä ja kotimaisia arvioitsijoita. Tässä yhteydessä arviointineuvosto on jo tehnyt tasokorotuksen arvioitsijoiden palkkioihin, mutta tämä saattaa joidenkin arvioitsijoiden kohdalla olla kynnyskysymys, jossa arviointineuvosto ei pysty
kilpailemaan liike-elämän konsulttipalkkioiden kanssa.
Korkeakoulut tekivät runsaasti ehdotuksia arviointimenetelmän kehittämiseksi. Suuri osa näistä kohdistui arviointimenetelmän keventämiseen siten, että
arviointi rajattaisiin kapeammin johonkin tiettyyn alaan ja koulutuksen osa-alueeseen. Koulutusala-arviointeihin toivottiin myös lisää jatkuvuutta ja säännöllisyyttä siten, että sama ala olisi viiden–kuuden vuoden välein arvioinnin kohteena.
Arviointimenetelmän kehittämisenkin osalta rehtorien näkökulma poikkesi
jonkin verran koulutusohjelmien ja oppiaineiden näkemyksestä. Moni rehtori
piti selvityksen mukaan arviointineuvoston nykyistä kehittävän arvioinnin lähestymistapaa hyvänä, mutta osa rehtoreista toivoi arviointineuvostolta entistä
selkeämpiä kriteereitä ja mittareita korkeakoulujen toiminnan tuloksellisuuden
keskinäiseen vertailuun eli benchmarkingiin. Korkeakoulujen arviointineuvoston toimintamuodoista arviointikoulutus oli rehtorien mielestä erittäin tärkeä.
Tässä selvityksessä korkeakouluilta kysyttiin näkemystä ainoastaan koulutusala-arviointien jatkamisesta. Sen sijaan ei selvitetty, mitä mieltä korkeakou-
55
lut olisivat teema-arviointien jatkamisesta. Tähän kysymykseen saatiin kuitenkin näkemyksiä yliopistojen ja ammattikorkeakoulujen rehtoreilta. Kun rehtoreilta kysyttiin ehdotuksia Korkeakoulujen arviointineuvoston tulevista arviointikohteista, moni rehtori toivoi arviointineuvostolta tukea erityisesti korkeakoulujen laadunvarmistuksen kehittämiseen ja arviointiin. Myös teema-arvioinneille ja ammattikorkeakoulujen kokonaisarvioinneille toivottiin jatkoa.
Yhteenvetona selvityksen tuloksista voidaan todeta, että koulutusala-arvioinnit ovat saavuttaneet hyvin niille asetetut tavoitteet ja että koulutusala-arvioinneilla on paikkansa suomalaisessa korkeakoulutuksen arviointijärjestelmässä. Korkeakouluilta saatua monipuolista palautetta on jo käsitelty Korkeakoulujen arviointineuvoston ja sihteeristön kokouksissa ja se tulee olemaan arviointineuvoston ahkerassa käytössä jatkossakin Korkeakoulujen arviointineuvoston
rakentaessa omaa laadunvarmistusjärjestelmäänsä. Tähän liittyy myös se, että
arvioitsijoilta ryhdytään keräämään systemaattisesti palautetta menetelmästä.
56
LIITE:
Kyselylomake
Korkeakoulujen arviointineuvoston koulutusalaarviointien vaikuttavuutta koskeva selvitys
VASTAUSOHJEET
Selvitys koskee niitä Korkeakoulujen arviointineuvoston vuosina 1996–2003 toteuttamia koulutusala-arviointeja, joihin koulutusohjelma, oppiaine tai vastaava yksikkö (jäljempänä: yksikkö) on osallistunut.
Yksikkö voi itse päättää vastauksen laadinnasta. Arviointiprojektin yhteyshenkilö voi laatia vastauksen yksilönä tai hän voi kerätä näkemyksiä koulutusala-arvioinnin vaikuttavuudesta henkilökunnalta ja opiskelijoilta. Vastauksen laadintaprosessi pyydetään kuvaamaan vastaajan taustatiedoissa. Vastauksen enimmäispituus
on 5 sivua.
Yksikköä pyydetään palauttamaan vastaus perjantaihin 29.8.2003 mennessä
sähköpostitse Korkeakoulujen arviointineuvostoon osoitteella hannele.seppala
@minedu.fi.
VASTAAJAN TAUSTATIEDOT
Korkeakoulun nimi
Arviointiin osallistuneen yksikön (koulutusohjelman, oppiaineen tai vastaavan) nimi
Vastauksen laadintaprosessi (mikäli vastauksen laadintaan osallistui useita henkilöitä, heidän lukumääränsä, asemansa yliopistossa ja vastausten keruumenetelmä)
Korkeakoulujen arviointineuvoston koulutusala-arviointi, johon yksikkö on osallistunut
Yhteyshenkilö yhteystietoineen
ARVIOINTIKOKEMUS JA PEREHDYTYS
1. Millaista arviointikokemusta yksiköllänne oli ennen Korkeakoulujen arviointineuvoston toteuttamaa koulutusala-arviointia?
2. Oliko KKA:n antama perehdytys ennen arviointia (esim. itsearviointiohjeet ja
käynnistysseminaari) riittävää ja miten sitä tulisi kehittää?
ARVIOINNIN TULOSTEN HYÖDYNTÄMINEN
3. Miten yksikössänne käsiteltiin koulutusohjelma-/oppiainekohtaista ja valtakunnallista arviointipalautetta ja suosituksia?
4. Mainitkaa esimerkkejä siitä, mitä konkreettisia toimenpiteitä arvioinnista seurasi yksikkönne koulutuksen kehittämisessä?
5. Mikäli joitakin suosituksia tai kehittämisehdotuksia ei ole toteutettu, mistä
syystä?
57
ARVIOINNIN MERKITYS JA VAIKUTTAVUUS
6. Millainen merkitys koulutusala-arvioinnilla on ollut koulutuksen kehittämiselle?
7. Mitkä muut tekijät ovat vaikuttaneet koulutuksen kehittämiseen?
ARVIOINTIMENETELMÄN ARVIOINTI
8. Mitkä ovat mielestänne koulutusala-arviointimenetelmän (itsearviointi, arviointivierailut, julkinen arviointiraportti, seuranta-arviointi) vahvuudet ja heikkoudet?
9. Mikäli koulutusala-arviointi toteutettiin kansainvälisenä arviointina, arvioikaa
kansainvälisen näkökulman merkitystä koulutuksen kehittämiseen.
10. Tarvitaanko koulutusala-arviointeja tulevaisuudessa ja jos tarvitaan, miten menetelmää tulisi kehittää ottamaan huomioon koulutuksen tulevaisuuden haasteet?
11. Muita kommentteja.
58
TIIVISTELMÄ
Julkaisija
Korkeakoulujen arviointineuvosto
Julkaisun nimi
Mitä hyötyä arvioinneista? Selvitys Korkeakoulujen arviointineuvoston 1997–2003
toteuttamien koulutusala-arviointien käytöstä
Tekijät
Moitus, Sirpa & Seppälä, Hannele
Tiivistelmä
Korkeakoulujen arviointineuvoston toisen nelivuotisen toimikauden päättyessä tehdyn selvityksen
tarkoituksena oli kerätä korkeakoulujen kokemuksia ja mielipiteitä koulutusala-arviointien vaikuttavuudesta. Korkeakoulujen arviointineuvosto on vuosina 1997–2003 toteuttanut 11 koulutusala-arviointia. Selvityksen tavoitteena oli
• kerätä Korkeakoulujen arviointineuvoston arviointeihin osallistuneilta koulutusohjelmilta ja
oppiaineilta palautetta koulutusala-arvioinneissa käytetyn arviointimenetelmän vahvuuksista,
kriittisistä kohdista ja hyödyllisyydestä koulutuksen kehittämisessä
• tuottaa kuvailevaa aineistoa Korkeakoulujen arviointineuvoston omien toimintatapojen
dokumentoimiseksi ja kehittämiseksi
• tuottaa tietoa Korkeakoulujen arviointineuvostolle arviointimenetelmän käyttökelpoisuudesta
ja kehittämissuunnista.
Selvitys rajattiin koskemaan kahdeksaa arviointiprojektia: neljää tekniikan alan arviointia, terveysalan, slavistiikan ja baltologian, media- ja viestintäalan sekä kauppatieteiden ja liiketalouden
korkeakoulutuksen arviointia, joihin on osallistunut yhteensä 166 koulutusohjelmaa ja oppiainetta.
Selvitys toteutettiin sähköpostitse lähetettynä kyselynä, jossa oli 11 avointa kysymystä arvioinnin
perehdytyksestä, arvioinnin tulosten hyödyntämisestä, arvioinnin merkityksestä ja arviointimenetelmän toimivuudesta. Kyselyyn valittiin 87 koulutusohjelmaa ja oppiainetta siten, että ne
edustivat eri koulutusaloja ja käytetyiltä arviointimenetelmiltään erilaisia arviointeja. Kyselyn vastausprosentti oli 80 %. Myös kaikille korkeakoulujen rehtoreille tehtiin lyhyt kysely koulutusalaarviointien vaikuttavuudesta korkeakoulujen johdon näkökulmasta. Rehtorikyselyn vastausprosentti oli 46 %.
Selvityksen mukaan Korkeakoulujen arviointineuvoston toteuttamista koulutusala-arvioinneista
on ollut hyötyä koulutuksen kehittämisessä. Kaikkiaan 85 % kyselyyn vastanneista koulutusohjelmista ja oppiaineista oli sitä mieltä, että koulutusala-arviointia tarvitaan jatkossakin. Tärkeimmät kaksi perustetta tälle olivat tarve osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla ja arviointien tarjoama tuki koulutuksen kehittämiselle. Voimistuva kansainvälistyminen lisää kilpailua ja opiskelijoiden liikkuvuutta ja luo tarpeen osoittaa koulutuksen laatu kansainvälisillä koulutusmarkkinoilla. Ne vastaajat, jotka eivät pitäneet koulutusala-arviointia tarpeellisena jatkossa, perustelivat tätä sillä, että arviointi kuuluu osaksi korkeakoulujen normaalia tehtävää
ja on siten niiden sisäinen asia. Yliopistojen ja ammattikorkeakoulujen näkemykset koulutusalaarviointien tarpeellisuudesta olivat yhdenmukaiset.
Selvityksen avulla saatiin myös paljon ehdotuksia koulutusala-arvioinneissa käytetyn arviointimenetelmän kehittämiseksi. Korkeakouluilta saadun palautteen mukaan arviointiprojektien
käynnistysvaiheen perehdytystä tulee kehittää, ohjeita tulee selkiyttää sekä käsitteet tulee määritellä tarkemmin. Itsearviointiraporttien avoimuutta ja itsekriittistä luonnetta tulee perehdytyksen
yhteydessä korostaa. Arviointiraporttien osalta tulee kiinnittää entistä enemmän huomiota raportin rakenteeseen ja suositusten selkeyteen. Koulutusohjelma- ja oppiainekohtaiset palautteet tulisi
voida antaa kaikille arviointiin osallistuneille yksiköille. Lisäksi tulee harkita arviointien
keventämistä siten, että arviointi rajattaisiin kapeammin johonkin tiettyyn alaan tai koulutuksen
osa-alueeseen.
Avainsanat
Koulutus, arviointi, yliopistot, ammattikorkeakoulut
KORKEAKOULUJEN ARVIOINTINEUVOSTON JULKAISUJA
PL 1425, 00101 HELSINKI
Puh. 09-1607 6913 Fax 09-1607 6911 • www.kka.fi
1:2000 Lehtinen, E., Kess, P., Ståhle, P. & Urponen, K.: Tampereen yliopiston opetuksen arviointi. Helsinki: Edita.
2:2000 Cohen, B., Jung, K. & Valjakka,T.: From Academy of Fine Arts to University. Same name, wider ambitions.
Helsinki: Edita.
3:2000 Goddard, J., Moses, I., Teichler, U.,Virtanen, I. & West, P.: External Engagement and Institutional
Adjustment: An Evaluation of the University of Turku. Helsinki: Edita.
4:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work. Swedish
Polytechnic, Finland. Helsinki: Edita.
5:2000 Harlio, R., Harvey, L., Mansikkamäki. J., Miikkulainen, L. & Pehu-Voima, S.: Audit of Quality Work.
Central Ostrobothnia Polytechnic. Helsinki: Edita.
6:2000 Moitus, S. (toim.): Yliopistokoulutuksen laatuyksiköt 2001–2003. Helsinki: Edita.
7:2000 Liuhanen, A.-M. (toim.): Neljä aikuiskoulutuksen laatuyliopistoa 2001–2003. Helsinki: Edita.
8:2000 Hara,V. , Hyvönen, R. , Myers, D. & Kangasniemi, J. (Eds.): Evaluation of Education for the Information
Industry. Helsinki: Edita.
9:2000 Jussila, J. & Saari, S. (Eds.): Teacher Education as a Future-moulding Factor. International Evaluation of
Teacher Education in Finnish Universities. Helsinki: FINHEEC.
10:2000 Lämsä, A. & Saari, S. (toim.): Portfoliosta koulutuksen kehittämiseen. Ammatillisen opettajankoulutuksen
arviointi. Helsinki: Edita.
11:2000 Korkeakoulujen arviointineuvoston toimintasuunnitelma 2000–2003. Helsinki: Edita.
12:2000 Finnish Higher Education Evaluation Council Action Plan for 2000–2003. Helsinki: Edita.
13:2000 Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 2000. Helsinki: Edita.
14:2000 Gordon, C., Knodt, G., Lundin, R., Oger, O. & Shenton, G.: Hanken in European Comparison. EQUIS
Evaluation Report. Helsinki: Edita.
15:2000 Almefelt, P., Kekäle, T., Malm, K., Miikkulainen, L. & Kangasniemi, J.: Audit of Quality Work. Satakunta
Polytechnic. Helsinki: Edita.
16:2000 Kells, H.R., Lindqvist, O.V. & Premfors, R.: Follow-up Evaluation of the University of Vaasa. Challenges of
a small regional university. Helsinki: Edita.
17:2000 Mansikkamäki, J., Kekäle, T., Miikkulainen, L. , Stone, J., Tolppi,V.-M. & Kangasniemi, J.: Audit of Quality
Work.Tampere Polytechnic. Helsinki: Edita.
18:2000 Baran, H., Gladrow, W. , Klaudy, K. , Locher, J. P. , Toivakka, P. & Moitus, S.: Evaluation of Education and
Research in Slavonic and Baltic Studies. Helsinki: Edita.
19:2000 Harlio, R. , Kekäle, T. , Miikkulainen, L. & Kangasniemi, J.: Laatutyön auditointi. Kymenlaakson ammattikorkeakoulu. Helsinki: Edita.
20:2000 Mansikkamäki, J., Kekäle, T., Kähkönen, J., Miikkulainen, L., Mäki, M. & Kangasniemi, J.: Laatutyön
auditointi. Pohjois-Savon ammattikorkeakoulu. Helsinki: Edita.
21:2000 Almefelt, P., Kantola, J., Kekäle, T., Papp, I., Manninen, J. & Karppanen, T.: Audit of Quality Work. South
Carelia Polytechnic. Helsinki: Edita.
1:2001 Valtonen, H.: Oppimisen arviointi Sibelius-Akatemiassa. Helsinki: Edita.
2:2001 Laine, 1., Kilpinen, A., Lajunen, L., Pennanen, J., Stenius, M., Uronen, P. & Kekäle, T.: Maanpuolustuskorkeakoulun arviointi. Helsinki: Edita.
3:2001 Vähäpassi, A. (toim.): Erikoistumisopintojen akkreditointi. Helsinki: Edita.
4:2001 Baran, H., Gladrow,W. , Klaudy, K. , Locher, J. P. ,Toivakka, P. & Moitus, S.: |kspertiza obrazowaniq i
nau^no-issledowatelxskoj raboty w oblasti slawistiki i baltistiki (Ekspertiza obrazovanija i
nauc̀´no-issledovatelskoj raboty v oblasti slavistiki i baltistiki). Helsinki: Edita.
5:2001 Kinnunen, J.: Korkeakoulujen alueellisen vaikuttavuuden arviointi. Kriteerejä vuorovaikutteisuuden
arvottamiselle. Helsinki: Edita.
6:2001 Löfström, E.: Benchmarking korkeakoulujen kieltenopetuksen kehittämisessä. Helsinki: Edita.
7:2001 Kaartinen-Koutaniemi, M.: Korkeakouluopiskelijoiden harjoittelun kehittäminen. Helsingin yliopiston,
Diakonia-ammattikorkeakoulun ja Lahden ammattikorkeakoulun benchmarking-projekti. Helsinki: Edita.
8:2001 Huttula,T. (toim.): Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 2001. Helsinki: Edita.
9:2001 Welander, C. (red.): Den synliga yrkeshögskolan. Ålands yrkeshögskola. Helsingfors: Edita.
10:2001 Valtonen, H.: Learning Assessment at the Sibelius Academy. Helsinki: Edita.
11:2001 Ponkala, O. (toim.): Terveysalan korkeakoulutuksen arvioinnin seuranta. Helsinki: Edita.
12:2001 Miettinen, A. & Pajarre, E.: Tuotantotalouden koulutuksen arvioinnin seuranta. Helsinki: Edita.
13:2001 Moitus, S., Huttu, K., Isohanni, I., Lerkkanen, J., Mielityinen, I., Talvi, U., Uusi-Rauva, E. & Vuorinen, R.:
Opintojen ohjauksen arviointi korkeakouluissa. Helsinki: Edita.
14:2001 Fonselius, J., Hakala, M.K. & Holm, K. : Evaluation of Mechanical Engineering Education at Universities
and Polytechnics. Helsinki: Edita.
15:2001 Kekäle, T. (ed.): A Human Vision with Higher Education Perspective.Institutional Evaluation of the
Humanistic Polytechnic. Helsinki: Edita.
1:2002 Kantola, I. (toim.): Ammattikorkeakoulun jatkotutkinnon kokeilulupahakemusten arviointi. Helsinki: Edita.
2:2002 Kallio, E.:Yksilöllisiä heijastuksia. Toimiiko yliopisto-opetuksen paikallinen itsearviointi? Helsinki: Edita.
3:2002 Raivola, R., Himberg, T., Lappalainen, A., Mustonen, K. & Varmola, T.: Monta tietä maisteriksi.Yliopistojen maisteriohjelmien arviointi. Helsinki: Edita.
4:2002 Nurmela-Antikainen, M., Ropo, E., Sava, I. & Skinnari, S.: Kokonaisvaltainen opettajuus. Steinerpedagogisen opettajankoulutuksen arviointi. Helsinki: Edita.
5:2002 Toikka, M. & Hakkarainen, S.: Opintojen ohjauksen benchmarking tekniikan alan koulutusohjelmissa.
Kymenlaakson, Mikkelin ja Pohjois-Savon ammattikorkeakoulut. Helsinki: Edita.
59
60 6:2002
7:2002
8:2002
9:2002
10:2002
11:2002
12:2002
13:2002
14:2002
15:2002
16:2002
17:2002
18:2002
1:2003
2:2003
3:2003
4:2003
5:2003
6:2003
7:2003
8:2003
9:2003
10:2003
11:2003
12:2003
13:2003
14:2003
15:2003
16:2003
17:2003
1:2004
2:2004
3:2004
4:2004
5:2004
6:2004
7:2004
8:2004
Kess, P., Hulkko, K., Jussila, M., Kallio, U., Larsen, S. , Pohjolainen,T. & Seppälä, K.: Suomen avoin yliopisto.
Avoimen yliopisto-opetuksen arviointiraportti. Helsinki: Edita.
Rantanen, T., Ellä, H., Engblom, L.-Å., Heinonen, J., Laaksovirta, T., Pohjanpalo, L., Rajamäki, T. &
Woodman, J.: Evaluation of Media and Communication Studies in Higher Education in Finland. Helsinki:
Edita.
Katajamäki, H., Artima, E., Hannelin, M., Kinnunen, J., Lyytinen, H. K., Oikari, A. & Tenhunen, M.-L.:
Mahdollinen korkeakouluyhteisö. Lahden korkeakouluyksiköiden alueellisen vaikuttavuuden arviointi.
Helsinki: Edita.
Kekäle,T. & Scheele, J.P: With care. Institutional Evaluation of the Diaconia Polytechnic. Helsinki: Edita.
Härkönen, A., Juntunen, K. & Pyykkönen, E.-L. : Kajaanin ammattikorkeakoulun yrityspalveluiden
benchmarking. Helsinki: Edita.
Katajamäki, H. (toim.): Ammattikorkeakoulut alueidensa kehittäjinä.Näkökulmia ammattikorkeakoulujen
aluekehitystehtävän toteutukseen. Helsinki: Edita.
Huttula, T. (toim.): Ammattikorkeakoulujen koulutuksen laatuyksiköt 2002–2003. Helsinki: Edita.
Hämäläinen, K. & Kaartinen-Koutaniemi, M. (toim.): Benchmarking korkeakoulujen kehittämisvälineenä.
Helsinki: Edita.
Ylipulli-Kairala, K. & Lohiniva,V. (eds.): Development of Supervised Practice in Nurse Education. Oulu and
Rovaniemi Polytechnics. Helsinki: Edita.
Löfström, E., Kantelinen, R., Johnson, E., Huhta, M., Luoma, M., Nikko, T., Korhonen, A., Penttilä, J.,
Jakobsson, M. & Miikkulainen, L.: Ammattikorkeakoulun kieltenopetus tienhaarassa. Kieltenopetuksen
arviointi Helsingin ja Keski-Pohjanmaan ammattikorkeakouluissa. Helsinki: Edita.
Davies, L., Hietala, H., Kolehmainen, S., Parjanen, M. & Welander, C.: Audit of Quality Work.Vaasa
Polytechnic. Helsinki: Edita.
Sajavaara, K., Hakkarainen, K. , Henttonen, A., Niinistö, K., Pakkanen, T. , Piilonen, A.-R. & Moitus, S.:
Yliopistojen opiskelijavalintojen arviointi. Helsinki: Edita.
Tuomi, O. & Pakkanen, P.: Towards Excellence in Teaching. Evaluation of the Quality of Education and the
Degree Programmes in the University of Helsinki. Helsinki: Edita.
Sarja, A., Atkin, B. & Holm, K.: Evaluation of Civil Engineering Education at Universities
and Polytechnics. Helsinki: Edita.
Ursin, J. (toim.): Viisi aikuiskoulutuksen laatuyliopistoa 2004–2006. Helsinki: Edita.
Hietala, H., Hintsanen,V., Kekäle, T., Lehto, E., Manninen, H. & Meklin, P.: Arktiset haasteet ja mahdollisuudet. Rovaniemen ammattikorkeakoulun kokonaisarviointi. Helsinki: Edita.
Varis, T. & Saari, S. (Eds.): Knowledge Society in Progress – Evaluation of the Finnish Electronic Library –
FinELib. Helsinki: Edita.
Parpala, A. & Seppälä, H. (toim.): Yliopistokoulutuksen laatuyksiköt 2004–2006. Helsinki: Edita.
Kettunen, P., Carlsson, C., Hukka, M., Hyppänen, T., Lyytinen, K., Mehtälä, M., Rissanen, R., Suviranta, L.
& Mustonen, K.: Suomalaista kilpailukykyä liiketoimintaosaamisella. Kauppatieteiden ja liiketalouden
korkeakoulutuksen arviointi. Helsinki: Edita.
Kauppi, A. & Huttula, T. (toim.): Laatua ammattikorkeakouluihin. Helsinki: Edita.
Parjanen, M. : Amerikkalaisen opiskelija-arvioinnin soveltaminen suomalaiseen yliopistoon. Helsinki: Edita.
Sarala, U. & Seppälä, H.: (toim.): Hämeen ammattikorkeakoulun kokonaisarviointi. Helsinki: Edita.
Kelly‚ J., Bazsa, G. & Kladis, D.: Follow-up review of the Helsinki University of Technology. Helsinki: Edita.
Goddard, J., Asheim, B., Cronberg, T. & Virtanen, I.: Learning Regional Engagement. A Re-evaluation of the
Third Role of Eastern Finland universities.
Impiö, 1., Laiho, U.-M., Mäki, M., Salminen, H., Ruoho, K.,Toikka, M. & Vartiainen, P.: Ammattikorkeakoulut
aluekehittäjinä. Ammattikorkeakoulujen aluekehitysvaikutuksen huippuyksiköt 2003–2004. Helsinki: Edita.
Cavallé, C., de Leersnyder, J.-M., Verhaegen, P. & Nataf, J.-G. : Follow-up review of the Helsinki School of
Economics. An EQUIS re-accreditation. Helsinki: Edita.
Kantola, I. (toim.): Harjoittelun ja työelämäprojektien benchmarking. Helsinki: Edita.
Ala-Vähälä, T.: Hollannin peili. Ammattikorkeakoulujen master-tutkinnot ja laadunvarmistus. Helsinki: Edita.
Goddard, J., Teichler, U.,Virtanen, I., West, P. & Puukka, J.: Progressing external engagement. A re-evaluation
of the third role of the University of Turku. Helsinki: Edita.
Baran, H., Toivakka, P. & Järvinen, J.: Slavistiikan ja baltologian koulutuksen ja tutkimuksen arvioinnin
seuranta. Helsinki: Edita.
Kekäle, T., Heikkilä, J., Jaatinen, P., Myllys, H., Piilonen, A.-R., Savola, J., Tynjälä, P. & Holm, K.: Ammattikorkeakoulujen jatkotutkintokokeilu. Käynnistysvaiheen arviointi. Tampere: Tammer-Paino Oy.
Ekholm, L., Stenius, M., Huldin, H., Julkunen, I., Parkkonen, J., Löfström, E., Metsä, K.: NOVA ARCADA –
Sammanhållning, decentralisering, gränsöverskridande. Helhetsutvärdering av Arcada – Nylands svenska
yrkeshögskola 2003. Tammerfors:Tammer-Paino Oy.
Hautala, J.: Tietoteollisuusalan koulutuksen arvioinnin seuranta.Tampere: Tammer-Paino Oy.
Rauhala, P., Karjalainen, A., Lämsä, A.-M., Valkonen, A., Vänskä, A. & Seppälä, H.: Strategiasta
koulutuksen laatuun.Turun ammattikorkeakoulun kokonaisarviointi. Tampere: Tammer-Paino Oy.
Murto, L., Rautniemi, L., Fredriksson, K., Ikonen, S., Mäntysaari, M., Niemi, L., Paldanius, K., Parkkinen,
T., Tulva, T. , Ylönen, F. & Saari, S.: Eettisyyttä, elastisuutta ja elämää. Yliopistojen sosiaalityön ja ammattikorkeakoulujen sosiaalialan arviointi yhteistyössä työelämän kanssa. Tampere: Tammer-Paino Oy.
Ståhle, P., Hämäläinen, K., Laiho, K., Lietoila, A., Roiha, J., Weijo, U. & Seppälä, H.:Tehokas järjestelmä –
elävä dialogi. Helian laatutyön auditointi. Tampere: Tammer-Paino Oy.
Korkeakoulujen arviointineuvoston toimintakertomus 2000–2003. Tampere: Tammer-Paino Oy.
Luopajärvi, T., Hauta-aho, H., Karttunen, P., Markkula, M., Mutka, U. & Seppälä, H.: Perämerenkaaren
ammattikorkeakoulu? Kemi-Tornion ammattikorkeakoulun kokonaisarviointi. Tampere: Tammer-Paino Oy.