ZEF Arviointikone®. Käyttöohje.

ZEF Arviointikone®. Käyttöohje.
ZEF Arviointikone®. Käyttöohje.
SISÄLLYS
SISÄLLYS...............................................................................................................................2
1. JOHDANTO .......................................................................................................................4
2. MITEN OPIT KÄYTTÄMÄÄN ZEF EDITORIA ........................................................................5
3. ALOITUS ...........................................................................................................................7
4. KYSYMYKSET ..................................................................................................................10
4.1. Kysymysryhmien luominen .....................................................................................10
4.2. Kysymysten luominen .............................................................................................10
4.2.1 Jana....................................................................................................................12
4.2.2. Nelikenttä .........................................................................................................13
4.2.3. Vapaapalaute....................................................................................................14
4.2.4. Vaihtoehtokysymys ..........................................................................................14
4.2.5. Monivalintakysymys .........................................................................................15
4.2.6. Numerokysymys ...............................................................................................16
4.2.7. Yhteystiedot .....................................................................................................16
4.3. Kysymysryhmien ehdollistaminen ...........................................................................17
4.4. Arvioinnin kääntäminen muille kielille .......................................................................18
4.5. Kysymysten tallentaminen Word- ja Xml-tiedostoksi ..............................................19
4.6. Esikatselu ................................................................................................................19
5. ULKOASU........................................................................................................................20
6. ARVIOIJAT ......................................................................................................................22
6.1. Arvioija- ja raporttiryhmät .....................................................................................22
6.2. Sähköpostilliset arvioijat.........................................................................................22
6.3. Sähköpostittomat arvioijat .....................................................................................24
6.4. Arvioijalistan tuominen...........................................................................................24
6.5. CSV-tiedoston luominen Excel-ohjelmalla................................................................26
6.6. Vastausten tuominen ..............................................................................................27
6.7. Raporttiryhmät .......................................................................................................27
7. KUTSUT ..........................................................................................................................29
8. SEURANTA......................................................................................................................32
9. RAPORTOINTI .................................................................................................................33
9.1. Raportin luominen...................................................................................................33
2
ZEF Arviointikone®. Käyttöohje.
9.2. Raportin tulkitseminen............................................................................................38
9.3. Raporttien vertailu..................................................................................................40
10. LOMAKKEEN LUONTI MUULLA TAVOIN ........................................................................44
11. HYVÄN ARVIOINTILOMAKKEEN OMINAISUUKSIA ..........................................................46
12. Esimerkkiprojekti.........................................................................................................47
Projektina asiakastyytyväisyyskysely ..............................................................................47
Vaihe 1: Aloitus ..............................................................................................................48
Vaihe 2: Kysymykset ......................................................................................................49
Vaihe 3: Ulkoasu.............................................................................................................52
Vaihe 4: Arvioijat ...........................................................................................................52
Vaihe 5: Kutsuviestit.......................................................................................................53
Vaihe 6: Seuranta...........................................................................................................54
Raportti ..........................................................................................................................55
Arviointi on valmis .........................................................................................................55
13. SANASTO .....................................................................................................................56
3
ZEF Arviointikone®. Käyttöohje.
1. JOHDANTO
ZEF Arviointikone® kerää todistetusti korkeimmilla vastausprosenteilla tiedon ja
mielipiteet halutuilta ryhmiltä tai henkilöiltä. Se analysoi, jäsentää ja muokkaa tiedon
helposti ymmärrettävään visuaaliseen muotoon ja tarjoilee ne sinulle kauniina ja
hyödyllisinä raportteina. Sinun tehtäväksesi jää tutkitusti parhaiden tulosten
hyödyntäminen käytännön toimenpiteinä. Esimerkkejä toteutetuista sovelluksista ovat
asiakastyytyväisyysmittaukset,
työhyvinvointikartoitukset,
strategiaprosessit
sekä
innovaatio-, riski-, hanke- ja laatuarvioinnit.
Kuva 1. Näin arviointikone toimii
ZEF Arviointikone® koostuu kolmesta osasta: Editorista, jolla lomake muodostetaan ja
arviointiprosessi hallitaan, Player, joka on arvioijan käyttämä sovellus sekä Report, joka
analysoi tulokset reaaliaikaisesti ja tulostaa raportit mm. MS Office –muodoissa. ZEF
Arviointikone® on käyttötarpeeseen mukautuva tehokas työkalu, jolla vaativakin selvitys
hoituu muutamassa päivässä. Kysymykset valitaan valmiista sisällöistä tai laaditaan itse.
Vastaajat kutsutaan joko sähköpostitse tai kutsukortilla tai julkaistaan linkki arviointiin
halutuilla nettisivuilla. Arviointikone® kerää palautteen ja analysoi tulokset. Käyttö ei
edellytä asennuksia koneellesi.
ZEF muodostuu sanoista Z-scored Electronic Feedback. Z-scoring on menetelmä, joka
poistaa tuloksista asennevääristymät ja tekee tuloksista tarkemmin tulkittavia. Voit
tutustua menetelmään tarkemmin raportit-sivulla ladattavana olevasta esitteestä.
Hoidat ZEF Arviointikoneella helposti kaikki arviointitarpeesi sähköisesti. Toivotamme
iloisia hetkiä ja menestyksellisiä tuloksia käytön parissa.
4
ZEF Arviointikone®. Käyttöohje.
2. MITEN OPIT KÄYTTÄMÄÄN ZEF EDITORIA
Käyttö aloitetaan kirjautumalla Editoriin. Sisäänkirjautumisosoitteen, käyttäjätunnuksen ja
salasanan olet saanut sopimuksen tai koulutuksen yhteydessä.
Kuva 2. Sisäänkirjautuminen ZEF-Editoriin.
Käyttöliittymän peruslogiikkaan voit tutustua seuraavalla sivulla. On tärkeää, että
harjoittelet ZEF Editorissa liikkumista heti aluksi. Seuraavissa luvuissa käymme
työvaiheittain
läpi
arviointilomakkeen
luomisen.
Suosittelemme,
että
etenet
ensimmäisellä kerralla projektissasi työvaihe kerrallaan seuraten ohjeita. Luvussa 12
käydään läpi esimerkkiprojekti.
Apua saat tämän käyttöohjeen lisäksi ZEF Editorista. Siellä jokaiseen toimintoon on
sisällytetty ohje, jonka saat auki osoittamalla kysymysmerkki-painiketta. Jos et löydä apua
ongelmaasi tästä dokumentista etkä Editorista, ota yhteyttä osoitteeseen [email protected]
Kuvan 3. aloitusikkuna on lähtöpisteesi arviointilomakkeen luontiin. Aluksi sinun on
tärkeää oppia, miten liikut, luot ja muokkaat Editorissa. Kokeile ja etsi, mitä
ominaisuuksia voit itse hyödyntää! Kuvan mukaiseen tilanteeseen pääset, kun luot
ensimmäisen lomakkeen. Tämän opit seuraavassa luvussa.
5
ZEF Arviointikone®. Käyttöohje.
Kuva 3. Miten ZEF Editor toimii
Arviointilomakkeen luontiprosessi sisältää seitsemän vaihetta:
1. Aloitus-sivulla hallinnoit ja luot lomakkeita ja määrität perustietoja kuten
lomakkeen otsikon, kielet ja tiedonkeruun tilan
2. Kysymykset-sivulla luot ja muokkaat kysymysryhmiä ja kysymyksiä sekä määrität
vastausalueet
3. Ulkoasu-sivulla säädät vastausnäkymän ulkoasua ja toiminnallisuutta
4. Arvioijat-sivulla hallinnoit ja luot arvioijaryhmiä sekä arvioijia
5. Kutsuviestit-sivulla luot sähköpostiviestit kohderyhmillesi
6. Seurantasivulla lähetät kutsuviestit ja muistutukset kohderyhmillesi sekä seuraat
vastausprosentteja ja –määriä
7. Raportit-sivulla tarkastelet ja tulostat raportteja
Seuraavaksi käymme jokaisen vaiheen läpi omassa luvussaan.
6
ZEF Arviointikone®. Käyttöohje.
3. ALOITUS
Aloitus-sivulla hallinnoidaan ja luodaan lomakkeita. Lomakkeet järjestetään kansioihin
esimerkiksi aihepiirin mukaan. Kansiot ja lomakkeet näkyvät Aloitus-sivulla vasemmalla
puolella listana.
Uuden kansion luot klikkaamalla Uusi kansio –kohtaa vasemmalta. Nimeä kansio ja
tallenna se. Voit tarvittaessa muuttaa kansion nimeä klikkaamalla sen aktiiviseksi. Kaikki
luodut kansiot näkyvät listana kuvan 4. mukaisesti. Kansion nimeä klikkaamalla tulee
näkyviin sen sisältämät lomakkeet.
Voit poistaa kansioita ja lomakkeita valitsemalla nimen oikealla puolella olevasta
valintaruudusta poistettavat kansiot/lomakkeet ja klikkaamalla sen jälkeen Poista valitut
–nappia. Lomakkeet siirtyvät poistettaessa roskakoriin, joka sijaitsee kansioiden
alapuolella. Roskakorista lomakkeet voi hävittää valitsemalla poistettavat lomakkeet ja
klikkaamalla Poista valitut -nappia. Lomakkeen voi palauttaa roskakorista valitsemalla
haluttu lomake sekä valitsemalla uusi kohdekansio kansioasetuksista oikealla ja
painamalla sen jälkeen Tallenna. Samalla tavalla voit myös siirtää lomakkeita kansioista
toiseen.
Kuva 4. ZEF-arviointilomakkeen luominen.
Uusi lomake -kohdasta pääset luomaan uuden arviointilomakkeen (Kuva 4.). Voit luoda
lomakkeen neljän eri perusvaihtoehdon pohjalta. Aluksi käsitellään vaihtoehtoa Aloita
tyhjältä pöydältä. Muihin vaihtoehtoihin palataan myöhemmin.
Arviointilomakkeen luominen aloitetaan täyttämällä perustiedot (kuva 5.). Ensin
arvioinnille annetaan kuvaava otsikko, joka näkyy vastaajille lomakkeessa. Otsikolle voi
7
ZEF Arviointikone®. Käyttöohje.
antaa tarkemman kuvauksen, jos haluaa esimerkiksi selventää arvioinnin tarkoitusta.
Valitse käytettävät kielet ja oletuskieli. Kysymykset luodaan aina oletuskielellä ja ne
voidaan lopuksi kääntää toiselle kielelle. Tästä lisää kohdassa 4.6.
Kuva 5. Lomakkeen perustietojen määrittäminen.
Tiedonkeruu päällä -kohdasta määrität arvioinnin tilan. Tiedonkeruun täytyy olla päällä
silloin, kun arviointi avataan ja/tai lähetetään arvioijille. Tiedon keruun ollessa suljettuna
kukaan ei pääse vastaamaan kysymyksiin. Tilan voi vaihtaa jälkikäteen.
Salli vastausten muuttaminen jälkikäteen -kohdasta valitaan, voiko vastaaja palata
muokkaamaan vastauksiaan myöhemmin, vaikka on jo vastannut kaikkiin kysymyksiin.
8
ZEF Arviointikone®. Käyttöohje.
Kävijäseurannat-kohdasta voit lisätä haluamasi seurantapalvelun tunnukset kenttiin,
jolloin saat vastaamisesta monipuolisia tilastotietoja (kuva 6.). Palveluista näet mm.
kartasta mistä päin maailmaa vastaajat ovat vastanneet tai kuinka kauan vastaaminen on
kestänyt.
Kuva 6. Kävijäseurannat.
Lomakkeelle valitaan vielä kansio, johon se tallennetaan. Jos sopivaa kansiota ei löydy,
voidaan lomaketta varten luoda tässä kohdassa uusi kansio kirjoittamalla uuden kansion
nimi sille varattuun kenttään.
Lopuksi lomake tallennetaan, jolloin se ilmestyy listaan vasemmalle ja valittavaksi ylös.
Lomake saa tallennuksen yhteydessä myös ID-numeron tunnistusta varten.
Kun lomake on luotu voidaan siirtyä seuraavaan kohtaan eli kysymysten luomiseen.
9
ZEF Arviointikone®. Käyttöohje.
4. KYSYMYKSET
Kysymykset-sivulla
määritellään
kysymysryhmät,
kysymykset
ja
vastausalueet.
Kysymysten huolellinen suunnittelu ja ryhmittely on arvioinnin onnistumisen kannalta
tärkeää.
4.1. Kysymysryhmien luominen
Klikkaa Uusi kysymysryhmä –kuvaketta (kuva 7.). Oikealle puolelle avautuu tila, jossa
kysymysryhmälle annetaan nimi ja halutessa tarkentava kuvaus. Kysymysryhmän nimeksi
voit laittaa esimerkiksi arvioitavan kokonaisuuden. Paina lopuksi tallenna. Voit poistaa
ryhmän valintaruudusta ja klikkaamalla Poista valitut. Ryhmien järjestystä voit muuttaa
siirtämällä niitä ylös/alas -napeista ryhmän nimen vieressä. Kysymysryhmien määrää ei
ole rajoitettu.
Kuva 7. Kysymysryhmien luominen.
4.2. Kysymysten luominen
Klikkaa kysymysryhmän alapuolella olevaa Uusi kysymys –kuvaketta (kuva 8.). Kirjoita
kysymys sille varattuun nimi-kenttään, anna halutessa tarkentava kuvaus ja valitse
kysymystyyppi. Käytettävissä olevat kysymystyypit ovat: jana-, nelikenttä-, vapaapalaute-,
vaihtoehto-, monivalinta-, numero- ja yhteystietokysymys.
Kysymysryhmässä voi olla erityyppisiä kysymyksiä sekaisin.
10
ZEF Arviointikone®. Käyttöohje.
Kuva 8. Kysymyksen nimeäminen.
Kun kysymys on tallennettu, se on näkyvissä kysymysryhmän alapuolella. Listasta näkyy
minkä tyyppinen kysymys on ja sitä klikkaamalla pääsee muokkaamaan kysymystä.
Kysymyksiä voidaan siirtää ja kopioida muihin ryhmiin tai poistaa kokonaan ja
kysymysjärjestystä voidaan muuttaa.
Alla on selitykset symbolien merkityksistä kysymystyypeistä.
Jana: Kysymyksessä vastaus klikataan janalle. Vastausalueeksi määritellään
janan otsikko ja päätepisteet (2 kpl). Voit lisätä janalle halutessasi asteikon.
Vastausalue on janakysymyksissä kysymysryhmän sisällä kaikilla sama!
ja
Hymiötä
voit
käyttää
vastaamisen
havainnollistamiseen,
kommenttiruutua vastauksen tarkentamiseen.
Nelikenttä: Kysymyksessä vastaus klikataan nelikenttään. Vastausalueeksi
määritellään akselien otsikot (2 kpl) ja päätepisteet (4 kpl). Voit lisätä
akseleille halutessasi asteikon. Vastausalue on nelikenttäkysymyksissä
kysymysryhmän sisällä kaikilla sama! Hymiötä voit käyttää vastaamisen
havainnollistamiseen, ja kommenttiruutua vastauksen tarkentamiseen.
Vapaapalaute: Kysymyksessä vastaus kirjoitetaan vastausalueella olevaan
tekstitilaan. Tekstitilan voit rajata yhdelle riville (tekstirivi) tai antaa
käyttöön koko vastausalue (tekstialue).
Vaihtoehto: Vaihtoehtokysymyksessä vastaaja valitsee vaihtoehdoista
sopivimman. Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja
itse määrittää vaihtoehdon.
11
ZEF Arviointikone®. Käyttöohje.
Monivalinta: Monivalinnassa vastaaja valitsee vaihtoehdoista sopivimmat.
Vaihtoehdon perään voi lisätä tekstikentän, jolloin vastaaja itse määrittää
vaihtoehdon.
Numero: Kysymyksessä vastaus kirjoitetaan vastausalueella
tekstitilaan. Numerokysymykseen voi vastata vain numerolla.
Yhteystiedot:
Kysymyksessä
vastaus
kirjoitetaan
tekstiruutuihin. Tekstiruutuja voi kysymyksessä olla useita.
olevaan
nimettyihin
Seuraavaksi voit siirtyä määrittelemään kysymysten vastausalueet.
4.2.1 Jana
Janan vastausalueeksi määritellään otsikko ja päätepisteet (2 kpl). Voit lisätä janalle
halutessasi myös numeraalisen asteikon. Asteikossa minimiarvo lisätään vasemman
selitteen perässä olevaan pienempään kenttään ja maksimiarvo oikealla olevan selitteen
perässä olevaan kenttään. Askel (eli kuinka usein numeroita näytetään) määritellään
otsikon perässä olevaan kenttään. Selitteet tulee valita huolellisesti, jotta ne mittaisivat
halutun asian ulottuvuuksia parhaalla mahdollisella tavalla. Selite on ryhmäkohtainen, eli
samassa ryhmässä oleville janakysymyksille tulee samat selitteet. (kuvat 9. ja 10.)
Kuva 9. Editor näkymä.
Kuva 10. Player näkymä.
Näytä hymiö -kohdasta voit valita hymiön kuvaamaan siirtymistä asteikolla.
Kommenttiruutu -kohdasta voit lisätä janakysymyksiin kommentointimahdollisuuden,
jolloin arvioija kommentoi vastauksiaan kysymyskohtaisesti.
12
ZEF Arviointikone®. Käyttöohje.
4.2.2. Nelikenttä
Nelikentän vastausalueeksi määritellään otsikot (2kpl) ja päätepisteet (4 kpl). Voit lisätä
nelikenttään halutessasi myös numeraalisen asteikon. Asteikossa minimiarvo lisätään
vasemman/alemman selitteen perässä olevaan pienempään kenttään ja maksimiarvo
oikealla/ylempänä olevan selitteen perässä olevaan kenttään. Askel (eli kuinka usein
numeroita näytetään) määritellään otsikoiden perässä oleviin kenttiin. Nelikentässä
voidaan antaa myös tarkentavat selitteet taulun kulma-alueille. Samassa ryhmässä oleville
nelikenttäkysymyksien vastausalueisiin tulee samat selitteet. Selitteet tulee valita
huolellisesti, jotta ne mittaisivat halutun asian ulottuvuuksia parhaalla mahdollisella
tavalla. (kuva 13. ja 14.).
Kuva 13. Editor näkymä.
Kuva 14. Player näkymä.
Tyypillinen
valinta
x/y-koordinaatistolle
nykytilannetta
arvioitaessa
on
suoriutuminen/tärkeys-dimensiopari, jolloin tärkeysarvo määritetään kasvamaan taulussa
13
ZEF Arviointikone®. Käyttöohje.
ylöspäin ja suoriutumisarvot oikealle. Oikeaan yläkulmaan seuloutuvat tällöin tärkeät
hyvin toimivat asiat, vasempaan yläkulmaan taas ne asiat, jotka ovat tärkeitä, mutta
vaativat kehittämistoimenpiteitä.
Kommenttiruutu-napista voit lisätä nelikenttäkysymyksiin kommentointimahdollisuuden,
jolloin arvioija kommentoi vastauksiaan kysymyskohtaisesti. Näytä hymiö -kohdasta voit
valita hymiön kuvaamaan siirtymistä asteikolla.
4.2.3. Vapaapalaute
Vapaapalautekysymyksille voidaan määrittää vastausalueen koko. Tekstiriviin arvioija voi
kirjoittaa yhden rivin tekstiä. Tekstialueeseen puolestaan mahtuu useamman rivin vastaus
(kuvat 15. ja 16.).
Kuva 15. Editor näkymä.
Kuva 16. Player näkymä.
4.2.4. Vaihtoehtokysymys
Vaihtoehtokysymyksessä vastaaja valitsee vaihtoehdoista sopivimman. Kysymykselle
määritellään haluttu määrä vastausvaihtoehtoja käyttäen Uusi vaihtoehto –painiketta.
Kenttiin kirjoitetaan vaihtoehtojen nimet ja lopuksi tallennetaan. Vaihtoehtojen
esityssuunnan voi myös valita vaihtoehtomäärittelyn yläpuolelta. Voit järjestellä
vastausvaihtoehtoja tallentamisen jälkeen. Vaihtoehdon perään voi lisätä tekstikentän,
jolloin vastaaja itse määrittää vaihtoehdon. Tekstikentän voit lisätä kentän oikealla
puolella olevasta valintaruudusta. Vaihtoehdot voit myös kopioida aiemmin määritetystä
kysymyksestä. Tällöin valitaan alasvetovalikosta kysymys, josta kopioidaan ja klikataan
Kopioi-nappia. Vaihtoehdon voit poistaa punaisesta rastista. (Kuvat 17. ja 18..)
14
ZEF Arviointikone®. Käyttöohje.
Kuva 17. Editor näkymä.
Kuva 18. Player näkymä.
4.2.5. Monivalintakysymys
Monivalintakysymyksen
vaihtoehdot
määritetään
vaihtoehtokysymyksessä. (Kuvat 19. ja 20.)
Kuva 19. Editor näkymä.
samalla
tavalla
Kuva 20. Player näkymä.
15
kuin
ZEF Arviointikone®. Käyttöohje.
4.2.6. Numerokysymys
Numerokysymykseen käyttäjä vastaa lukuarvolla, eikä sitä määritetä erikseen. (Kuvat 21.
ja 22.)
Kuva 21. Editor näkymä.
Kuva 22. Player näkymä.
4.2.7. Yhteystiedot
Yhteystiedot-kysymyksellä voit kysyä vastaajan yhteystietoja nimetyissä tekstikentissä.
Kenttiä lisätään Uusi kenttä -painikkeesta ja poistetaan punaisesta rastista. Kenttiä voi
järjestellä tallennuksen jälkeen. (Kuvat 23. ja 24.)
Kuva 23. Editor näkymä.
Kuva 24. Player näkymä.
16
ZEF Arviointikone®. Käyttöohje.
4.3. Kysymysryhmien ehdollistaminen
Kysymysryhmien ehdollistamisella voit rajata halutun kysymysryhmän arvioitavaksi vain
tietylle joukolle (Kuva 25.). Klikkaamalla kerran kysymysryhmää, avautuu sivun oikealle
puolelle kysymysryhmän ehdot. Näitä ehtoja on kaikki arviointilomakkeen monivalinta- ja
vaihtoehtokysymykset. Listasta valitaan ehdot, joiden täytyttyä kysymysryhmä näytetään
vastaajalle. Käytettävien ehtojen tulee sijaita aiemmissa kysymysryhmissä.
Kuvassa 25. on esimerkki ehdollistamisesta. Taustatiedoissa kysytään ensin sukupuoli ja
ikä. Seuraava kysymysryhmä on palvelut nuorille. Klikkaamalla ryhmää oikealle tulee
ehdot, joista valitaan alle 19-vuotiaat ja 20–24-vuotiaat. Näin Palvelut nuorille kysymysryhmä avautuu arvioitavaksi vain sellaisille henkilöille, jotka valitsivat
taustatiedoissa iäkseen <19 tai 20-24 vuotta. Kysymysten välillä ehdot toimivat ”japeriaatteella”. Eli jos ehdoissa asetetaan sukupuoleksi mies ja iäksi <19 ja 20-24-vuotta
niin tällöin kysymys näytetään <19 tai 20-24-vuotiaille miehille.
Kuva 25. Kysymysryhmien ehdollistaminen.
17
ZEF Arviointikone®. Käyttöohje.
4.4. Arvioinnin kääntäminen muille kielille
Käännä teksti -nappia painamalla pääset tekemään tekstikäännökset muille kielille.
Käännä teksti -nappi näkyy Editorin alareunassa kun olet Aloitus-sivulla valinnut
useamman kuin yhden kielen. (Kuva 26.)
Kuva 26. Käännä tekstit –nappi.
Nappia painettuasi eteesi avautuu ikkuna, jossa vasemmalla puolella ovat lomakkeen
alkuperäiset tekstit ja oikealla puolella tyhjät tilat, joihin voit kirjoittaa käännökset (kuva
27.). Muistaa tallentaa muutoksia tehdessäsi.
Kuva 27. Arvioinnin kääntäminen muille kielille.
18
ZEF Arviointikone®. Käyttöohje.
4.5. Kysymysten tallentaminen Word- ja Xml-tiedostoksi
Kysymykset voidaan tallentaa Word- tai Xml-tiedostoksi kysymyslistan alla olevista
napeista Tallenna Word-tiedostona ja Tallenna Xml-tiedostona. (Kuva 28.) Word-tiedostoa
voit hyödyntää vastausten keräämiseen paperilla ja XML-tiedostoa lomakkeen kysymysten
siirtämiseen toiselle käyttäjälle.
Kuva 28. Kysymyksien tallentaminen.
4.6. Esikatselu
Esikatseluun voit siirtyä milloin tahansa katsomaan miltä arviointilomakkeesi tällä
hetkellä näyttää. Paina sivun alareunassa olevaa Esikatselu-nappia (Kuva 29.). Näet
tekemäsi arviointilomakkeen juuri sellaisena, kuin se arvioijille tulee näkymään. Voit
samalla testata arviointiin vastaamista.
Kuva 29. Esikatselu
19
ZEF Arviointikone®. Käyttöohje.
5. ULKOASU
Ulkoasu-sivulla voit suunnitella ZEF® Playerisi ulkonäköä ja toiminallisuutta. Luo uusi
ulkoasu klikkaamalla Uusi ulkoasu tai käytä oletusulkoasua. Oikealle avautuu tila, jossa
voit nimetä ja säätää ulkoasua tarpeisiisi sopivaksi. (Kuva 30).
Kuva 30. Uuden ulkoasun suunnittelutila.
20
ZEF Arviointikone®. Käyttöohje.
Esikatselu tarjoaa Playerin ulkoasusta suppean luonnoksen. Siitä voit esikatsella
kysymyslistan asemointia ja logon sijaintia. Lopullista ulkoasua voit tarkastella
osoittamalla järjestelmäpalkin Esikatselu-painiketta.
Värimaailma-kohdasta voit valita playerissasi käytettävän värimaailman. Kysy
räätälöintimahdollisuuksista ZEF asiantuntijaltasi. Voit halutessasi lisätä tiedostosta
Logon näkymään playerin vasemmassa ylänurkassa tai käyttää tunnuksesi oletuslogoa.
Kysymyslista-kohdassa voit päättää, haluatko näyttää kysymyslistaa vasemmalla vai
alhaalla. Voit halutessasi myös laittaa kysymyslistan piiloon.
Näytä ohjeruutu –kohdasta voit halutessasi piilottaa Playerin yläpuolella näkyvän
ohjeruudun. Näytä jatkuva kysymysten numerointi -kohdan ollessa päällä,
kysymysryhmästä siirtyessä toiseen numerointi pysyy jatkuvana. Voit halutessasi
räätälöidä vastaajille näytettävän Kiitosviestin sisältöä. Kirjoita näkyvään kenttään
haluamasi kiitosteksti. Kiitosteksti näkyy vastaajille heti, kun he ovat klikanneet Valmisnappia.
Tallenna ulkoasu ja esikatsele sitä klikkaamalla Esikatselu-nappia. Voit halutessasi palata
muokkaamaan ulkoasua missä vaiheessa tahansa. Tallennetut ulkoasut ovat
tunnuskohtaisia ja samaa ulkoasua voidaan hyödyntää myös eri lomakkeissa.
Kuva 31. Oletusulkoasu
21
ZEF Arviointikone®. Käyttöohje.
6. ARVIOIJAT
Arvioijat-sivulla hallitaan erilaisia tapoja, joilla vastaukset kerätään arvioijilta. Arvioija on
mahdollista
tavoittaa
sähköpostikutsulla,
tulostettavalla
kutsukortilla
tai
arvioijaryhmäkohtaisen linkin avulla. Sähköpostilla kutsuttavat arvioijat voi luoda
järjestelmään joko yksitellen tai tuoda Excel-taulukkomuodossa CSV-tiedostona. Arvioijat
voi tuoda järjestelmään myös vastauksineen, kun halutaan siirtää ZEF Editoriin jo
olemassa oleva selvitys tai muu numeromuodossa oleva data. Sähköpostittomille
arvioijille voidaan luoda kutsukortit tai käyttää yleistä julkista linkkiä riippuen siitä
halutaanko rajata osallistuvien arvioijien määrää. Jokainen arvioija kuuluu ainakin yhteen
arvioijaryhmään.
6.1. Arvioija- ja raporttiryhmät
Uusi arvioijaryhmä -kohtaa klikkaamalla luot uuden arvioijaryhmän (Kuva 32.). Tämän
jälkeen oikealle avautuu tila, jossa voit nimetä ja tallentaa ryhmän. Arviointiryhmiä voivat
olla esimerkiksi yrityksen eri osastot (talous, hallinnointi, myynti jne.). Ryhmät
mahdollistavat tulosten vertailun eri osallistujien välillä. Jokaisen arvioijan täytyy kuulua
vähintään yhteen arvioijaryhmään, joten ryhmiä on luotava ainakin yksi. Lista luoduista
arvioijaryhmistä tulee näkyviin vasemmalle.
Kuva 32. Arvioijaryhmien luominen.
6.2. Sähköpostilliset arvioijat
Lisää arvioija klikkaamalla Uusi arvioija -nappia (kuva 33.) Kutsuttavilla arvioijilla täytyy
olla voimassaoleva sähköpostiosoite, johon kutsu lähetetään. Arvioijalle valitaan myös
22
ZEF Arviointikone®. Käyttöohje.
kieli ja arvioijaryhmä(t). Mahdolliset kielet on valittu Aloitus-sivulla. Kaikki luodut arvioijat
näkyvät listassa sivun vasemmassa laidassa arvioijaryhmän ollessa auki.
Kuva 33. Arvioijan lisääminen.
Arvioijakuvakkeissa olevat värit vaihtuvat arvioijan statuksen mukaan (kuva 34.).
Punainen kuvake tarkoittaa sitä, että arvioijaa ei ole vielä kutsuttu arviointiin. Sininen
kuvake kuvaa arvioijaa, joka on saanut kutsun, mutta ei vielä ole aloittanut vastaamista.
Vihreä arvioija taas on vastannut kysymyksiin ja päättänyt arvioinnin.
Kuva 34. Arvioijien statukset.
23
ZEF Arviointikone®. Käyttöohje.
6.3. Sähköpostittomat arvioijat
Sähköpostittomia arvioijia varten voidaan luoda kutsukortteja tai pyytää heitä vastaamaan
kysymyksiin julkisen linkin avulla. Sähköpostittomia arvioijia kutsutaan anonyymeiksi
arvioijiksi, sillä heistä ei jää järjestelmään tarkempia käyttäjätietoja. Voit ryhmitellä
anonyymejä arvioijia tarkemmin raporttiryhmillä.
Tulostettavat kutsukortit luodaan arvioijaryhmäkohtaisesti klikkaamalla arvioijaryhmä
aktiiviseksi, valitsemalla oikealla näkyvästä valikosta luotavien kutsukorttien määrä ja
klikkaamalla Luo kutsukortit –nappia (kuva 35.). Kutsukortteja pääsee tarkastelemaan ja
tulostamaan klikkaamalla vasemmalla näkyvästä arvioijalistasta Lataa kutsukortit -linkkiä.
Arvioijaryhmäkohtainen julkinen linkki näkyy ryhmää klikkaamalla oikealla puolella
ryhmän nimen alapuolella. Voit julkaista linkin halutussa paikassa. Jokaisesta linkkiä
klikanneesta luodaan anonyymi arvioija kyseiseen ryhmään.
Kuva 35. Nimettöminä kutsuttavat arvioijat.
6.4. Arvioijalistan tuominen
Arvioijat voidaan myös tuoda taulukkona CSV-muodossa klikkaamalla Tuo Excelistä (kuva
36.). Tällöin oikealle avautuu tila, jossa voit ladata CSV-muotoisena tiedostona
esimerkkipohjan arvioijien tuomiseen tai pohjan vastausten tuomiseen. Arvioijalistaa
tuotaessa tarkistetaan arvioijien sähköpostiosoite. Vain oikeassa muodossa olevat
osoitteet lisätään arvioijiksi. Samasta näkymästä tuodaan myös valmiit listat
järjestelmään.
24
ZEF Arviointikone®. Käyttöohje.
CSV-muotoisessa arvioijalistassa määritetään arvioijan nimen ja sähköpostiosoitteen
lisäksi myös arvioijaryhmät sekä oletuskieli arvioijalle. Myös arvioijakohtaiset tekstit
voidaan määrittää arvioijalistassa. CSV-muotoisen rekisterin voi tehdä helposti Exceltaulukosta.
Kuva 36. Arvioijalistan tuominen
Arvioijalistan tuominen:
1
Lataa Editorista Arvioijat-välilehdeltä CSV-esimerkkipohja.
2
Täytä taulukkolaskentaohjelmalla arvioijien tiedot.
3
Tuo valmis CSV-tiedosto Editoriin. Valitse tuonnin asetukset ja osoita Tuo arvioijat
-painiketta.
4
Seuraavaksi saat eteesi esikatselusivun, jossa voit tarkastella kymmentä
ensimmäistä tuotavaa arvioijaa varmistaaksesi, että CSV-tiedosto on täytetty
oikein. Osoita vielä Tuo arvioijat -painiketta tuodaksesi arvioijalistan.
25
ZEF Arviointikone®. Käyttöohje.
6.5. CSV-tiedoston luominen Excel-ohjelmalla
CSV-tiedostossa on seuraavat kentät: Name, E-mail Address, EvalGroup (arvioijaryhmä)
sekä Lang (kieli). (Arvioijakohtaiset tekstit lisätään tarvittaessa kentillä MiscText1,
MiscText2, MiscText3, MiscText4 ja MiscText5.)
Ensimmäinen rivi määrittää sarakkeet ja niiden sisällön, näiden alle voidaan sitten täyttää
arvioijien tietoja (kuva 37.).
Kuva 37. Näkymä Excelissä.
CSV-tiedoston tallentaminen tapahtuu seuraavasti: Valitse Tiedosto-valikosta Tallenna
nimellä… kohta. Tallenna tiedosto CSV (luetteloerotin) (*.csv) muodossa (kuva 38.).
Kuva 38. Tiedoston tallentaminen.
26
ZEF Arviointikone®. Käyttöohje.
Kun olet painanut Tallenna–nappia, tulee varmistuspyyntö tallennusmuodosta (kuva 39.).
Kuva 39. Varmistuksen hyväksyminen.
Klikkaa Kyllä-nappia, jolloin tiedosto tallentuu. Ilmoitus tulee siksi, että CSV-muotoiseen
tiedostoon ei voi tallentaa solun muotoilua ja Excel-ohjelma kysyy, haluatko varmasti
tallentaa tiedoston tässä muodossa. Tiedosto on valmis tuotavaksi järjestelmään luvun
6.4. mukaisesti.
Seuraavassa esimerkki CSV-tiedoston rakenteesta tekstimuodossa:
Name;E-mail Address;EvalGroup;Lang
John Doe;[email protected];Customer;en
Bill Smith;[email protected];Customer;en
Luetteloerotin on edellisessä esimerkissä ;. Se voi olla myös , tai TAB (tabulaattorin
lyönti). Tällöin tuontivaiheessa täytyy valita luetteloerottimen tyyppi.
6.6. Vastausten tuominen
Klikkaa Lataa CSV-pohja vastausten tuomiseen -linkkiä Arvioijat-sivulta. Saat koneellesi
taulukkomuotoisena arviointilomakkeen. Lisää vastaukset arvioijatietoineen riveittäin.
Tallenna tiedosto CSV-muodossa ja tuo se järjestelmään Tuo arvioijat –kohdasta.
Jana- ja nelikenttäkysymyksissä vastaukset tuodaan asteikolla 0-260. Esimerkiksi
asteikolla
1-5
olevat
vastaukset
täytyy
siis
muuntaa
tälle
asteikolle.
Vaihtoehtokysymyksissä vastaukset tuodaan numeroilla vaihtoehtojen järjestyksen
perusteella. Esimerkiksi, vaihtoehtojen ollessa mies ja nainen siten, että mies-vaihtoehto
on ylempänä, on vastausten tuonnissa mies numero 1 ja nainen numero 2.
Monivalintakysymyksissä vastaukset tuodaan kirjaamalla valittujen vaihtoehtojen kohdalle
numero 1. Vapaapalautteet ja kommentit lisätään omiin kohtiinsa.
6.7. Raporttiryhmät
Raportointia varten voidaan arvioijien antaa myös itse määrittää ryhmä, johon kokee
kuuluvansa, sisällyttämällä lomakkeeseen monivalinta- tai vaihtoehtokysymyksiä, joiden
vaihtoehdoiksi ryhmät laitetaan.
Uusi raporttiryhmä -kohdasta luodaan vaihtoehdoista ryhmiä raportointia varten (Kuva
40.). Nimeä ryhmä ja valitse vaihtoehdot, joiden perusteella ryhmä muodostetaan.
27
ZEF Arviointikone®. Käyttöohje.
Arvioijien vastatessa kysymyksiin, vastaukset vaihtoehtoihin päivittyvät automaattisesti jo
luotuihin raporttiryhmiin. Raporttiryhmät voidaan luoda missä vaiheessa arviointia
tahansa - myös jälkikäteen.
Kuva 40. Raporttiryhmien luominen.
28
ZEF Arviointikone®. Käyttöohje.
7. KUTSUT
Kutsuviestit –kohdassa määritetään viestipohjat, joilla arvioijat kutsutaan vastaamaan.
Kutsuviestit luodaan jokaiseen lomakkeeseen erikseen. Kutsuviestien luominen aloitetaan
klikkaamalla Uusi viesti –kuvaketta. Kutsu luodaan ikkunan oikealle avautuvassa tilassa
(kuva 41.).
Kuva 41. Kutsuviestin mallipohja.
Viestin pohjana on malliviesti, jota voi käyttää sellaisenaan tai muokata sen
halutunlaiseksi. Kutsuviesteissä tavallisen tekstin joukkoon upotetuilla muuttujilla (kuva
42.) voidaan määrittää tekstiin kohdat, joihin tulevia tietoja arvioija tarvitsee päästäkseen
vastaamaan arviointiin.
29
ZEF Arviointikone®. Käyttöohje.
Viestin sisältö -kohdan kysymysmerkkiä klikkaamalla saadaan esiin lista muuttujista.
Muuttujista ainakin #WWW_CLIENT tulee olla jokaisessa kutsuviestissä. Tämä muuttuja
sisältää suoran www-osoitteen arviointiin. Kutsut muilla kielillä avautuvat samaan
näkymään oletuskielisen kutsun kanssa. Muistathan tallentaa viestisi aina, kun teet siihen
muutoksia.
Kuva 42. Kutsussa käytettävät muuttujat.
30
ZEF Arviointikone®. Käyttöohje.
Kaikki tallennetut kutsuviestit näkyvät ylhäällä listana (kuva 43.). Pääset esikatselemaan
kutsua silmä-kuvakkeesta.
Kuva 43. Tallennetut kutsuviestit.
Kuvassa 44. on esimerkki kutsuviestistä. Muuttujat ovat merkitty punaisella esikatselu
näkymään.
Kuva 44. Kutsusähköpostin esimerkkimalli.
31
ZEF Arviointikone®. Käyttöohje.
8. SEURANTA
Seuranta-sivulla lähetetään kutsut ja seurataan arvioijien vastaamistilanteen edistymistä
(kuva 45.). Näet vastaamistilanteen aluksi ryhmittäin ja ryhmää klikkaamalla myös
arvioijittain.
Kuva 45. Vastaamisen seuranta.
Tiedonkeruun tulee olla päällä, voidaksesi lähettää kutsuviestejä. Arvioinnin tilaa pääsee
muuttamaan Aloitus-kohdasta.
Lähettääksesi kutsun valitaan ensiksi alasvetovalikosta lähetettävä kutsuviesti. Tämän
jälkeen määritetään kenelle kutsu lähetetään ja lopuksi klikataan Lähetä-nappia. Kutsu
kaikki -valinta lähettää kaikille arvioijille kutsusähköpostin. Kutsu valitut -kohdasta
lähetetään kutsuviesti halutuille arvioijaryhmille tai arvioijille. Kutsu uudet -valinta
lähettää kutsun niille, joille sitä ei vielä ole lähetetty.
Muistuta ei aloittaneita -kohdasta lähetetään valittu kutsuviesti kaikille niille arvioijille,
jotka eivät ole vielä aloittaneet vastaamista. Muistuta ei lopettaneita -kohdasta voit
muistuttaa valittuja arvioijia tai ryhmiä, jotka eivät vielä ole vastanneet kaikkiin
kysymyksiin. Voi myös halutessasi muistuttaa vastaajia vastattujen kysymysten määrän
perusteella Vastanneet enintään __ kysymykseen –valinnasta.
Anonyymien arvioijien tietoja ei näy listassa. Vain vastausprosentista näkee, ovatko he
vastanneet vai eivät. Arvioijakuvakkeissa olevat värit vaihtuvat arvioijan statuksen
mukaan. Punainen kuvake tarkoittaa sitä, että arvioijaa ei ole vielä kutsuttu. Sininen
kuvake kuvaa arvioijaa, joka on saanut kutsun, muttei vielä ole aloittanut vastaamista.
Vihreä arvioija on vastannut kysymyksiin.
32
ZEF Arviointikone®. Käyttöohje.
9. RAPORTOINTI
Raportit-sivulla tarkastelet ja tulostat raportteja reaaliaikaisesti. Raportit-sivulla on linkit
raporttien luontiin ja vertailuun (kuva 46.). Raporttien luonnissa luot normaalisti raportit
arvioinneistasi. Raporttien vertailu on puolestaan oiva työkalu erilaisten vertailujen
tekemiseen erivärisin palloin.
Tässä luvussa käymme ensin läpi raportin luomisen, sen jälkeen opimme jotain raportin
tulkinnasta ja lopuksi käsittelemme raporttien vertailua.
Kuva 46. Raportit-sivu.
9.1. Raportin luominen
Luo raportti -kohtaa klikkaamalla raportti avautuu eteesi uuteen ikkunaan (Kuva 47.).
Raportissa ylhäällä sinisellä pohjalla sijaitsevat asetukset ja alhaalla itse raportti. Raportin
järjestelmätoiminnot näkyvät koko ajan ylhäällä. Asetuksista valitaan halutut toiminnot
päälle ja klikataan yläreunassa näkyvää päivitä raportti –nappia, jolloin raportti päivittyy
alas näkyviin. Jatkossa asetuksia voi muuttaa ja muutokset päivitetään voimaan samalla
tavalla päivitä raportti -napista. Raportin voi myös tallentaa halutussa muodossa.
33
ZEF Arviointikone®. Käyttöohje.
Kuva 47. Miten raportti toimii
34
ZEF Arviointikone®. Käyttöohje.
Kuva 48. Tarkasteltava raportti.
Ylimpänä asetuksissa valitaan halutaanko raportti tulostaa absoluuttisilla ja/tai
suhteellisilla arvoilla (kuva 48.). Oletuksena on valittuna absoluuttiset arvot.
Absoluuttisessa raportissa vastausten keskiarvot tulostuvat täsmällisten vastauspisteiden
mukaan. Suhteellinen raportti laskee tulokset käyttäen z-scoring menetelmää, jolloin
keskiarvot asettuvat keskelle tauluja ja pisteet hajoavat tasaisesti tauluihin. Näin
tuloksesta saadaan poistetuksi ns. asennevääristymät. Lisätietoa suhteellisesta raportista
löydät Raportit-sivulta ladattavasta ZEF-menetelmän esitteestä. Molemmat raporttimuodot
valitsemalla saadaan näkyviin absoluuttiset ja suhteelliset taulut allekkain.
Kuva 49. Arvioijaryhmät.
Arvioijaryhmät-kohdassa valitaan ne arvioijaryhmät, jotka halutaan raporttiin mukaan
(kuva 49.). Kaikki arviointilomakkeeseen kuuluvat arvioijaryhmät voidaan tulostaa samaan
raporttiin tai jokaisesta voidaan tehdä oma raporttinsa.
Kuva 50. Arvioijaryhmäkohtaiset raportit
Kun haluat vertailla eri arvioijaryhmien vastauksia, aktivoi kohta Tulosta
arvioijaryhmäkohtaiset raportit (Kuva 50.). Kohta on oletuksena aktiivinen. Tällöin saat
näkyviin eri arvioijaryhmien taulut allekkain. Pääset tarkastelemaan ryhmäkohtaisia
vastauksia klikkaamalla kysymysryhmän alapuolella olevaa Näytä ryhmäkohtaiset taulut –
linkkiä.
Kuva 51. Tekstit.
Tekstit -kohdasta valitaan raportissa näytettävät tekstimuotoiset tulokset (kuva 51.).
35
ZEF Arviointikone®. Käyttöohje.
Jos olet luonut vapaatekstikysymyksiä, voit tulostaa ne raportin loppuun valitsemalla
kohdan Vapaapalautteet.
Kysymysten kommentit -kohdasta voit sisällyttää raporttiin monivalinta- ja
vaihtoehtokysymyksessä olleiden tekstikommentti-vaihtoehtojen tekstit. Samasta
kohdasta tulostuvat myös nelikenttä- ja janakysymysten kommentoinnit. Kommentit
tulevat näkyviin raportin loppuun kysymyksittäin ryhmiteltynä.
Yhteystiedot –kohdasta voit saat kysytyt yhteystiedot raportin loppuun näkyville.
Tulosta kommentit kysymysryhmien perään -toiminnolla saat kommentit näkyville
kysymysryhmien yhteyteen. Tällöin pääset tarkastelemaan kommentteja klikkaamalla
Näytä kommentit –linkkiä.
Kuva 52. Tilastot
Tilastot –kohdasta valitaan raportissa näytettävät tilastoihin ja numeroihin perustuvat
ominaisuudet (Kuva 52.).
N –kohdasta saat näkyville jokaisen kysymyksen kohdalle vastausten lukumäärän.
EOS –kohdasta saat puolestaan näkyville En osaa sanoa –vastausten lukumäärät.
Keskiarvopisteet -kohdasta raporttiin voidaan sisällyttää vastauksien keskiarvopisteet.
Skaala keskiarvopisteille valitaan seuraavassa Tilastoinnissa käytetyt arvot -kohdassa.
Keskiarvopisteet tulostuvat vain jana- ja nelikenttäkysymysten osalta.
Pistepilviraportit –kohdasta voit tulostaa jana- ja
kysymyskohtaisesti kaikki vastaukset pisteinä tauluun.
nelikenttäkysymysten
osalta
2x2 vastausjakauma –kohdasta voit tulostaa jana- ja nelikenttäkysymysten osalta
kysymyskohtaisesti vastausjakaumat prosenttilukuina nelikentässä neljänneksiin ja
janoissa puolikkaisiin.
Tulosta numerokysymysten vastaukset näyttää kaikki numerokysymyksen vastaukset
allekkain.
Kokonaiskeskiarvopisteet
–kohdasta
saat
kokonaiskeskiarvopisteet
kysymysryhmittäin
ja
nelikenttäkysymysten osalta.
36
raportin
loppuun
koko
arvioinnista
näkyville
janaja
ZEF Arviointikone®. Käyttöohje.
Kuva 53. Tilastoinnissa käytetyt arvot.
Tilastoinnissa käytetyt arvot on mahdollista määrittää halutulle välille (kuva 53.). Määritys
koskee jana- ja nelikenttäkysymyksiä. Oletuksena on väli 0 - 100. Esimerkiksi
kouluarvosanoissa minimi on 4 ja maksimi 10. Näitä lukuja käytetään raportin
keskiarvopisteitä tulostettaessa, nelikenttä- ja janakysymysten suodattamisessa sekä
taulukkomuotoisissa raporteissa.
Kuva 54. Suodattimet.
Suodattimet-kohta mahdollistaa vastausten suodattamisen vastauspäivämäärän mukaan,
monivalinta- ja vaihtoehtokysymyksillä tai jana- ja nelikenttäkysymyksillä (kuva 54.). Kun
haluat suodattaa vastauksia vastauspäivämäärän mukaan, valitset päivämäärät
ajanjaksolta, jolta haluat vastaukset raporttiin.
Valitsemalla Näytä suodattimet, kysymysten perään aukeaa suodatusvalikko. Monivalintaja vaihtoehtokysymysten vaihtoehdot tulevat näkyviin. Valitse vaihtoehdot, joiden
perusteella raportti tulostetaan. Jana- ja nelikenttäkysymyksillä aukeaa valikko, josta voit
määrittää miltä väliltä vastaukset näytetään.
Kuva 55. Tallenna raportti MS Office-yhteensopivassa muodossa.
Raportin voi tallentaa RTF-, CVS- ja XLS- muodossa. RTF-muotoinen dokumentti avautuu
tekstinkäsittelyohjelmilla (mm. MS Word). Arvioinnin kaikki tekstipalautteet on
mahdollista tulostaa myös erikseen RTF-muodossa. Tällöin pelkästään kaikki
tekstipalautteet avautuvat yhdessä Word-muodossa olevassa dokumentissa. Raportin voi
tulostaa myös CSV-muodossa, joka mahdollistaa vastausten siirtämisen tilastonkäsittelyja taulukkolaskentaohjelmiin (mm. MS Excel ja SPSS).
Kuva 56. Tallenna raporttinäkymä jaettavaksi muille.
37
ZEF Arviointikone®. Käyttöohje.
Voit tallentaa raporttinäkymän html-sivuksi tarkastellaksesi sitä myöhemmin ja jakaaksesi
sen muille tarkasteltavaksi. Raporttinäkymä tallentuu sellaisenaan ja linkki sinne löytyy
tallennuksen jälkeen listasta. Raporttinäkymä tallennetaan erilleen raportointityökalusta
ja sitä pääsee tarkastelemaan myös ilman käyttäjätunnuksia.
9.2. Raportin tulkitseminen
Raportti on arviointilomaketta vastaava taulu, jossa on yhteenveto vastauksista. Numerot
vastaavat kysymysnumeroa ja numeron ympärillä oleva ellipsi kuvaa vastaushajontaa.
Seuraavassa on esimerkki raportissa näkyvistä nelikenttäkysymyksen tauluista (kuva 57.).
Raportissa tulokset näkyvät kysymysryhmittäin. Vasemmalle tulevat kysymykset ja
oikealle raporttitaulut. Kysymysten edessä on valintalaatikko, josta voit valita näytetäänkö
kysymystä raporttitaulussa. Voit myös halutessasi korostaa kysymyksiä valitsemalla
aktiiviseksi kysymyksen perässä olevan Korosta -valintalaatikon. Tällöin kyseinen
vastauspiste tulostuu tauluun punaisena.
HUOM! Muistathan klikata Päivitä raportti –nappia aina tehdessäsi muutoksia raportin
asetuksiin, jotta muutokset astuvat voimaan.
Kuva 57. Raportin taulu.
Esimerkin taulussa on akseleina käytetty Toteutuminen/Merkitys-dimensioparia, joka
toimii hyvin silloin, kun arvioidaan nykytilannetta (kuva 58.). Taulun kysymysryhmässä on
tässä tapauksessa ollut kahdeksan kysymystä. Kysymysten vastaukset näkyvät taulussa
palloina, joiden ympärillä on hajontaellipsi.
38
ZEF Arviointikone®. Käyttöohje.
Kuva 58. Nelikenttäkysymyksien raporttitaulu suhteellisilla arvoilla.
Pieni ellipsi vastauspallon ympärillä kertoo vastausten samankaltaisuudesta, suuri ellipsi
suuresta hajonnasta. Myös ellipsin muoto tulee huomioida: hajontaa voi olla toiseen
suuntaan enemmän kuin toiseen. Esimerkiksi kysymyksessä (nro 2) ”Työyksikön
johtamistapa” ovat vastaajat olleet merkityksestä jokseenkin samaa mieltä, mutta
toteutumisessa mielipiteet eriävät.
Taulusta näkee yleensä ensi silmäyksellä, mikä on asioiden tila. Kunnossa olevat asiat
ovat yleensä sijoittuneet oikeaan yläneljännekseen. Vasempaan yläneljännekseen
sijoittuneet ovat kehityskohteita: asiat on koettu tärkeiksi, mutta suoriutumisessa on
korjattavaa.
Oikeaan alakulmaan tulevat asiat, joissa suoriudutaan hyvin, mutta joiden ei katsota
olevan tärkeitä. Näiden kohdalla voidaankin pohtia, ovatko kohteet aliarvostettuja vai
satsataanko niihin liikaa. Vasempaan alakulmaan sijoittuvat asiat vaativat harkintaa siitä,
ovatko ne ylipäätään tarpeellisia kokonaisuudelle.
On kuitenkin muistettava, että jokainen määrittää haluamansa akselit tauluihin ja niiden
tulkinta voi poiketa esimerkistä. Raportin tulkintaan täytyy panostaa ja käyttää aikaa,
jotta arvioinnista saataisiin täysi hyöty irti. Pelkkä raportin tekeminen ei ratkaise
ongelmakohtia.
39
ZEF Arviointikone®. Käyttöohje.
9.3. Raporttien vertailu
Raporttien vertailussa vertaillaan nimensä mukaisesti raportteja. Vertailu on mahdollista
tehdä jana- ja nelikenttäkysymysten osalta. Raporttien vertailutoiminnossa on jätetty
käyttäjälle mahdollisuus itse muodostaa haluamansalaisia raporttitauluja. Esimerkkinä
erilaisista vertailuista mainittakoon taulut, joissa käsitellään vain yhtä kysymystä eri
arvioijaryhmien näkökulmista. Toinen esimerkki on eri vuosina tehtyjen arviointien
tulosten vertaileminen.
Kuva 59. Raporttien vertailun asetukset.
Raporttien vertailu aloitetaan valitsemalla raportin muoto ja vertailukohteiden määrä
(kuva 59.). Tämän jälkeen klikataan Tee uusi –nappia, jolloin alas aukeaa asetuslaatikot
vertailun luomista varten. Raportin muoto voi olla joko nelikenttä tai jana.
Vertailukohteita on mahdollista valita maksimissaan 16 kappaletta. Jokainen
vertailukohde esiintyy erivärisenä pallona taulussa.
Kuva 60. Lomakkeen ja raportin muodon valinta.
Kun raportin muoto ja vertailukohteiden määrä on valittu, valitaan jokaisen
vertailukohteen osalta lomake ja raportin muoto (kuva 60.). Tässä kohden on myös
mahdollista valita aikaväli, jolta vastaukset poimitaan vertailtavaksi. Kun vertailua
tehdään arvioijaryhmittäin, valitaan jokaiseen kohtaan sama lomake. Vertailtaessa eri
arviointeja, valitaan kuhunkin kohtaan haluttu lomake.
40
ZEF Arviointikone®. Käyttöohje.
Kuva 61. Arvioijaryhmät.
Seuraava vaihe on arvioijaryhmien ja kysymysten valinta (kuva 61. ja kuva 62.). Valitse
kaikki -ruutu helpottaa valitsemista, kun valinnan halutaan koskettavan kaikkia kohtia.
Samasta ruudusta voi myös poistaa kaikki valinnat.
Kuva 62. Arvioijaryhmien ja kysymysten valinta.
41
ZEF Arviointikone®. Käyttöohje.
Kuva 63. Tulostustapa.
Raporttien vertailun viimeisessä kohdassa valitaan tulostustapa ja mahdollisten
keskiarvopisteiden tulostus (kuva 63.). Tulostustapoja on kaksi: Kaikki pallot yhdessä
taulussa ja Kysymyksittäin eri tauluissa. Kaikki pallot yhdessä taulussa tarkoittaa sitä,
että kaikki valitut kysymykset eri vertailukohteista tulostuvat samaan tauluun. Jos
vertailtavia kohteita on paljon, pallot on järkevää tulostaa kysymyksittäin eri tauluissa.
Kuva 64. Arvioijaryhmäkohtainen vertailu.
Yllä on esimerkki arvioijaryhmäkohtaisesta vertailusta (kuva 64.). Tässä esimerkissä
vertailu tapahtuu siis osastojen työntekijöiden antamien palautteiden osalta. Esimerkissä
on vertailukohteiden määrän vähäisyyden vuoksi tulostettu kaikki pallot samaan tauluun.
42
ZEF Arviointikone®. Käyttöohje.
Kuva 65. Tulosten vertaaminen vuositasolla.
Tuloksia voidaan verrata myös esimerkiksi vuositasolla, jos edellisvuonna on teetetty
samanlainen arviointi. Seuraavassa esimerkissä henkilöstölle on teetetty työilmapiirin
arviointi vuosina 2008 ja 2007, joiden tuloksia on verrattu toisiinsa (kuva 65.). Tämä
mahdollistaa kehityssuuntien tarkastelun.
43
ZEF Arviointikone®. Käyttöohje.
10. LOMAKKEEN LUONTI MUULLA TAVOIN
Kuva 66. Lomakkeen kopioiminen valmiista pohjasta.
Lomakkeen luomista ei tarvitse aina aloittaa alusta. Voit
olemassa olevan lomakkeen pohjalta, omasta mallista
lomakepohjatietokannasta. Valmiista lomakkeista luotaessa
kohdan alasvetovalikosta Kopioi aiemmin luotu pohjaksi (kuva
Kuva 67. Lomakkeen luonti omasta mallista.
44
luoda sen myös valmiin,
tai ZEF Solutions Oy:n
valitaan Valitse toiminto –
66.).
ZEF Arviointikone®. Käyttöohje.
Voit myös luoda lomakkeen lataamalla sen tiedostosta. Tällöin tuot lomakkeen omalta
tietokoneeltasi selaimen kautta ZEF-järjestelmään (kuva 67.). Lomake täytyy olla
tallennettu XML-tiedostona. Tallentaminen tapahtui perustietolomakkeessa olevasta
linkistä Tallenna arviointimalli XML-tiedostona. Tästä kerrottiin tarkemmin luvussa 4.
Kuva 68. Lomakkeen luonti omasta mallista.
Käytä valmiita lomakepohjia -kohdasta valitset pohjaksi valmiin lomakkeen ZEF Solutions
Oy:n tietokannasta (kuva 68.). Lomakepohjia voit tiedustella myyjältäsi.
45
ZEF Arviointikone®. Käyttöohje.
11. HYVÄN ARVIOINTILOMAKKEEN OMINAISUUKSIA
Hyvän arviointilomakkeen peruslähtökohtana on yksityiskohtainen suunnittelu.
Kysymysryhmien ja kysymyksien tarkka asettelu on kaiken avain, ja arvioitava kohde on
jaettava tarvittaessa useammaksi arviointikohteeksi. Kysymysten sijoittelu ryhmiin on
suunniteltava niin, että arviointikohteen taulun/taulujen dimensiot ovat osuvia.
Vastaustaulujen akselit nimetään aina siten, että ne kuvaavat kohteen ulottuvuuksia
halutulla tavalla, esimerkiksi houkuttelevuus/uskottavuus.
Arvioijien valinta on myös tärkeää. ZEFillä arviointiprosessi on demokraattinen, koska
kaikki pääsevät antamaan oman mielipiteensä tasapuolisesti. Vastaajat voidaan ryhmittää
esimerkiksi asemansa mukaan ja näin alempien työntekijöiden ja johtoportaan vastauksia
voidaan käsitellä erillisinä. Jos esimiesten mielestä jokin asia on hoidettu hyvin ja alaisten
mielestä huonosti, jossain kohden on informaatiokatkos.
Ennen arvioinnin käynnistämistä kannattaa tehdä testiajo. Se tapahtuu luomalla
testiryhmä, jolle lähetetään arviointikutsut. Vastaamisen jälkeen korjataan mahdolliset
epätarkkuudet testiryhmän palautteen mukaan ja poistetaan testiryhmä, jotta datan
kerääminen alkaisi nollilta.
46
ZEF Arviointikone®. Käyttöohje.
12. Esimerkkiprojekti.
Tässä luvussa käydään vaihe vaiheelta läpi asiakastyytyväisyysarviointi. Voit käyttää
esimerkkiä tukenasi ja poimia siitä ideoita omaan työhösi.
Projektina asiakastyytyväisyyskysely
Oletetaan, että erään yrityksen palvelua on vastikään uudistettu. Luodaan
arviointilomake, joka kohdistetaan yrityksen nykyisille ja entisille asiakkaille. Kuinka
yritys on onnistunut uudistuksissa? Onko kehityssuunta oikea? Mihin seuraavassa
kehitysprojektissa tulisi panostaa?
47
ZEF Arviointikone®. Käyttöohje.
Vaihe 1: Aloitus
Ensimmäiseksi luodaan lomake.
1
Luodaan kansio.
2
Luodaan kansioon uusi lomake tyhjältä pöydältä.
3
Nimetään lomake: Asiakastyytyväisyys. Tarkennetaan kuvauksella arvioinnin
perusteita.
4
Valitaan tyypiksi Arviointi.
5
Valitaan kieleksi suomi.
6
Ei suljeta tiedonkeruuta (=käyttäjä pääsee vastaamaan), sillä vastauslinkkiä ei ole
tarkoitus julkistaa ennen koneen valmistumista.
7
Tallennetaan lomake.
48
ZEF Arviointikone®. Käyttöohje.
Vaihe 2: Kysymykset
1
Luodaan kysymysryhmät. Jaetaan asiakastyytyväisyyskysymykset kahteen osaalueeseen: Asiakkaiden suhtautuminen tuotteen laatuun sekä asiakaspalveluun ja
tuotetukeen. Esimerkissä halutaan huomioida asiakastyytyväisyyden vaihtelut iän
ja paikkakunnan mukaan, joten luodaan raportointia varten kysymysryhmä
taustatiedoille. Järjestetään lisäksi arvonta palkinnoksi vastaamisesta, joten
pyydetään sitä varten vastaajilta yhteystiedot omassa kysymysryhmässään.
2
Luodaan kysymykset kysymysryhmiin. Taustatiedot selvitetään vaihtoehtokysymyksillä jakamalla
vastaajat
eri
ikä- ja alueryhmiin.
Varsinaiset
asiakastyytyväisyyskysymysryhmät muodostetaan jana- ja nelikenttäkysymyksin.
Sanalliset palautteet kerätään vapaapalautekysymyksellä. Yhteystiedot kerätään
yhteystietokysymyksellä.
49
ZEF Arviointikone®. Käyttöohje.
Yksittäisten kysymysten luonti:
Taustatiedot: Ikäsi
Vastaajat halutaan lajitella myöhemmin
ikäryhmiin,
jolloin
ikä
kysytään
vaihtoehtokysymyksellä.
Tuote
sopii
kaikille työikäisille, joten kiinnostava
ikähaarukka on lähtökohtaisesti suuri.
Luodaan ikäryhmät n. 10 vuoden välein.
Arviointi: Tuotteen laatu
Tuotteen laadun arviointi ei ole aina
yksiselitteistä.
Vaikka
tietyssä
yksityiskohdassa
olisi
onnistuttu
erinomaisesti, on oleellista tietää myös
mikä on asian merkitys asiakkaalle.
Luodaan tästä syystä tuotteen laadun eri
osa-alueille nelikenttäkysymykset, jossa
toisella akselilla on suoriutuminen ja
toisella
merkitys.
Kun
pyydetään
mielipidettä
kokonaisuudesta,
jolloin
merkitys on joka tapauksessa suuri, on
syytä käyttää janakysymystä.
Näytetään vastaajille hymiö auttamaan
vastauksen hahmottamista.
50
ZEF Arviointikone®. Käyttöohje.
Arviointi: Risut ja ruusut
Vapaapalaute on hyödyllinen kysymys
asiakastyytyväisyyttä selvitettäessä. Siinä
asiakas
voi
kertoa
sanallisesti
mielipiteensä myös sellaisista asioista,
joita ei välttämättä huomata edes kysyä.
Lisätään
vapaapalautekysymys
isolla
tekstialueella
arviointikysymysryhmiin
(tuote ja asiakaspalvelu).
Yhteystiedot: Jätä yhteystietosi
Yhteystiedoille
on
oma
kysymystyyppinsä. Siinä kysytään tarvittavat
yhteystiedot omissa kentissään.
51
ZEF Arviointikone®. Käyttöohje.
Vaihe 3: Ulkoasu
Luodaan asiakastyytyväisyyskysely oletusulkoasulla.
näkyvät vasemmalla ja vastausalue oikealla.
Oletusulkoasussa
kysymykset
Vaihe 4: Arvioijat
Esimerkin yritys on arkistoinut asiakkaidensa yhteystietoja ja tällöin helpointa on tuoda
taulukkomuodossa kaikkien asiakkaiden tiedot kerralla Editoriin. Arvioijan luomiseen
tarvitaan nimi, sähköpostiosoite, kieli ja ryhmä.
Ladataan ZEF Editorista pelkkä esimerkkipohja (nyt ei tuoda vastauksia). Jaetaan arvioijat
kahteen ryhmään: asiakkaisiin ja ex-asiakkaisiin. Huomioidaan ex-asiakkaisiin vain ne,
jotka ovat olleet sopimuksen alaisia myös palvelun uudistumisen jälkeen.
1
Asiakkaiden tietojen syöttäminen CSV-tiedostoon:
2
Tuodaan kohteet.
52
ZEF Arviointikone®. Käyttöohje.
Vaihe 5: Kutsuviestit
Arvioijat kutsutaan sähköpostitse antamaan palautetta, joten luodaan kutsuviesti tätä
varten. Oletettavasti osa asiakkaista ei ehdi heti vastaamaan kysymyksiin saatuaan
ensimmäisen kutsun. Luodaan myös muistutusviesti, jonka voi myöhemmin lähettää
vastaamatta jättäneille asiakkaille.
53
ZEF Arviointikone®. Käyttöohje.
Vaihe 6: Seuranta
Asiakastyytyväisyyskysely on nyt valmis suoritettavaksi.
korkeaan vastausprosenttiin kutsu- ja muistutusviesteillä.
Pyritään
mahdollisimman
1
Lähetetään ensimmäinen kutsuviesti arvioijille valitsemalla valikosta oikea
kutsuviesti, valitse Kutsu kaikki ja klikkaa Lähetä-nappia. Viesti lähetetään kaikille
25 arvioijalle.
2
Esimerkissä ensimmäisen kierros tuotti kohtuullisen vastausprosentin (48 %).
Lähetetään muistutus vastaamatta jättäneille arvioijille valitsemalla valikosta
viestiksi ”Muistutus” ja valitsemalla Muistuta ei lopettaneita ja klikkaamalla Lähetänappia. Viesti lähetetään kaikkiaan 13 arvioijalle.
3
Muistutuskierros tuotti 6 uutta vastaajaa. Vastausprosentti (72 %) tyydyttää.
54
ZEF Arviointikone®. Käyttöohje.
Raportti
Yritys muodostaa asiakastyytyväisyydestä raportin. Raportti luodaan koko arvioijajoukon
vastauksista sekä erikseen nykyisten ja entisten asiakkaiden vastauksista.
1. Avataan Raportit-välilehti, ja osoitetaan Luo raportti -painiketta.
2. Valitaan sekä absoluuttinen että suhteellinen raportti.
3. Valitaan arvioijaryhmät (Asiakas, Ex-asiakas tai molemmat).
4. Tulostetaan vapaapalautteet näkyviin
5. Päivitetään raportti näkyville ja tallennetaan se tarvittaessa sopivassa muodossa.
6. Tulosten tarkastelu. Tarkastellaan tuloksia absoluuttisena ja suhteellisena.
Absoluuttinen raportti kertoo asioiden nykytilan eli asiakkaiden absoluuttisen
tyytyväisyyden. Suhteellinen raportti kertoo kysyttyjen asioiden suhteet toisiinsa,
eli mitkä kysytyistä asioista ovat tärkeimpiä ja miten niiden suoriutumiset
poikkeavat toisistaan. Suhteellisesta raportista katsotaan siis mihin asioihin
panostamalla saadaan absoluuttista asiakastyytyväisyyttä vielä korkeammalle.
Tuotteen laatu -kysymysryhmän suhteelliset nelikenttätaulut:
(1 = Tuotteen ulkoasun virheettömyys, 2 = Tuotteen toiminnallisuuden
virheettömyys ja 3 = Virhetilanteisiin reagoiminen)
Asiakas
Ex-asiakas
Kaikki
Esimerkin tilanteessa tauluista voidaan lukea, että tuotteen toiminnallisuudessa on
ollut virheitä ja ex-asiakkaat ovat ex-asiakkaita sen vuoksi, että virhetilanteisiin ei
ole reagoitu riittävällä tasolla. Nykyiset asiakkaat eivät pidä virhetilanteisiin
reagoimista niin tärkeänä kuin ex-asiakkaat.
7. Luodaan uusi kehitysprojekti raportin pohjalta. Mitä kehitettävää, mihin
panostetaan liikaa?
Arviointi on valmis
Yritys voi aloittaa uuden kehitysprojektin, jossa kuuluu nyt asiakkaiden ääni.
55
ZEF Arviointikone®. Käyttöohje.
13. SANASTO
Anonyymi arvioija on arvioija, joka kuuluu johonkin arvioijaryhmään, mutta jonka
henkilötietoja (nimi, sähköpostiosoite) ei ole tallennettu rekisteriin.
Arvioijaryhmä koostuu arvioijista. Yhdessä arvioinnissa voi olla useita arvioijaryhmiä,
joihin arvioijat liitetään. Esim. opettajat, opiskelijat.
Arvioijatunnus on tunnus, jolla arvioija pääsee vastaamaan kysymyksiin. Se on aina
henkilökohtainen ja kerrotaan kutsusähköpostissa.
CSV-arvioijalista voidaan tehdä vaikka Excel-taulukosta. Siinä määritellään arvioijan nimi
ja sähköpostiosoite ja vähintään yksi arvioijaryhmä per arvioija sekä oletuskieli.
Jana on kysymystyyppi, johon vastataan sijoittamalla vastauspallo janalle ääripäiden
väliin (esim. eri mieltä – samaa mieltä).
Julkinen linkki mahdollistaa vastausten keräämisen arvioijaryhmäkohtaisen julkisen
linkin avulla.
Kysymysryhmä sisältää joukon kysymyksiä. Kysymysryhmillä kysymykset voidaan
lajitella aihealueittain.
Kysymystyyppejä on seitsemän: jana, nelikenttä, monivalinta, vaihtoehtokysymys,
vapaapalaute, numerokysymys ja yhteystietokysymys.
Monivalinta on kysymystyyppi, jossa annetuista vaihtoehdoista voi valita useamman kuin
yhden.
Nelikenttä on kysymystyyppi, jonka vastaustauluun määritetään kaksi eri akselia, joiden
ilmaisemia arvoja arvioidaan samanaikaisesti (esim. suoriutuminen/tärkeys).
QM-raportti on laatujärjestelmän auditointiin tarkoitettu QM-moduulin raportti.
Raporttiryhmä koostuu arvioijista, jotka ovat valittu ryhmään heidän vastausten
perusteella. Ks. myös arvioijaryhmä.
RTF-dokumentti on raportin tulostusmuoto, jota on helppo jatkokäsitellä Wordilla.
Suodatus tarkoittaa arvioijien poistamista raportista eri ehdoilla. Ehtoja voi olla esim.
vaihtoehtokysymysten vastaukset.
Tallennettu raportti on linkki, jossa raportti näkyy halutuilla asetuksilla käyttäjälle ilman
sisäänkirjautumista järjestelmään.
Tiedonkeruu päällä/suljettu kertoo arvioinnin tilan. Kun tiedonkeruu on päällä,
arviointilomake on avoinna vastaajille. Tiedonkeruun ollessa suljettu arvioijat eivät pääse
antamaan vastauksiaan lomakkeen kysymyksiin.
56
ZEF Arviointikone®. Käyttöohje.
Vaihtoehtokysymys on kysymys, josta voi valita annetuista vaihtoehdoista vain yhden.
Vapaapalaute on kysymystyyppi, johon vastataan kirjoittamalla tekstiä avautuvaan
vastauskenttään.
Yhteystietokysymys on kysymystyyppi, johon vastataan kirjoittamalla tekstiä nimettyihin
vastauskenttiin.
ZEF-raportti on arvioinnin lopputulos, josta voidaan tehdä tarvittavat päätelmät ja
analyysit.
ZEF-vastausalueet on janan tai nelikentän vastauspohja, johon määritellään mitattavat
arvot (esim. eri mieltä – samaa mieltä, suoriutuminen/tärkeys).
57