Pelikokemusten
ja pelattavuuden
tutkimuksen
menetelmiä
Janne Paavilainen
Game Research Lab
Tampereen yliopisto
20.8.2015
Janne Paavilainen (KTM)
▷ Pelitutkija
○
○
Agora Game Lab, JYU
2004-2006
Game Research Lab, UTA 2006-
▷ “Game-Human Interaction”, GHI
▷ Laadulliset tutkimusmenetelmät
▷ Pääasiassa soveltavaa tutkimusta Tekes-hankkeissa,
yhteistyötä suomalaisten peliyritysten kanssa
▷ Pelien käytettävyys, pelattavuus, pelikokemus
▷ Suunnittelu- ja arviointimenetelmät, heuristiikat
▷ Väitöskirjatutkimus tarkastelee pelien ansaintamallin ja
some-integraation vaikutusta pelisuunnitteluun ja
pelikokemukseen
HCI ja pelit
Alexander “Sandy” Douglas (1921-2010)
Pelikokemusten
tutkimusmenetelmiä
▷ Kyselyinstrumentteja
○
○
○
▷
▷
▷
▷
▷
Game Experience Questionnaire (IJsselsteijn et al., 2008)
Presence-Involvement-Flow-Framework² (Takatalo et al., 2010)
Sensory-Challenge-Imagination (Ermi & Mäyrä, 2005)
Haastattelut
Itseraportointi, pelipäiväkirjat
(N)etnografia
Keskustelu/tekstianalyysit
Heuristiikat/analyysimallit
○
○
GameFlow (Sweetser & Wyeth, 2005/2012)
Playful Experiences (PLEX) -malli (Korhonen et al., 2009)
▷ Psykofysiologiset menetelmät
○
EKG, EMG, EEG, EDM...
jne...
Pelattavuuden
tutkimusmenetelmät?
Pelattavuus
Toiminnallisuus
Käytettävyys
Pelillisyys
Ansaintamalli
Pelitutkimus
▷ Pelitutkimus keskittyy usein tutkimaan jotakin muuta kuin
pelejä itsessään
○
○
○
○
Pelaajia
Pelaamista
Pelikulttuuria
Pelisuunnittelua
jne.
▷ Pelattavuuden tutkimus pureutuu pelien ominaisuuksiin
○
○
○
○
○
Minkälaisia laadullisia vaatimuksia on hyvälle pelille?
Miten nämä laadulliset vaatimukset voidaan valjastaa suunnittelun ja
arvioinnin käyttöön?
Mitä nämä vaatimukset kertovat peleistä itsestään?
Millä tavoin pelattavuutta voisi tutkia?
“Pelattavuus” käsitteenä ymmärretään monin tavoin - vakiintunutta
määritelmää ei ole toistaiseksi olemassa
Miksi pelattavuuden
ymmärtäminen on tärkeää?
▷ Pelikokemus on ns. toisen asteen suunnitteluongelma
○
○
○
Pelikokemusta ei voi suunnitella
Peli voidaan suunnitella niin, että se pyrkii tuottamaan tietynlaisia
pelikokemuksia
Pelattavuuden elementtejä voidaan suunnitella - hyvä pelattavuus
johtanee todennäköisemmin myös hyvään pelikokemukseen
▷ Suurin osa markkinoilla olevista peleistä ovat kaupallisesti
epäonnistuneita ja kilpailu on erittäin kovaa
▷ Free-to-play -ilmaisjakelumallin myötä pelejä jaetaan
ilmaiseksi, jolloin pelaaja voi huonon pelikokemuksen myötä
vaihtaa toiseen peliin ilman rahallista menetystä
▷ Ensikokemuksen merkitys kasvanut huomattavasti
Heuristiikat
ja heuristinen arviointi
Heuristiikat
▷ Heuristiikat ovat nyrkkisääntöjä - ajattelun oikopolkuja
▷ Heuristiikkoja käytetään arjessa ja monilla tieteenaloilla
ongelmien ratkaisuun
▷ Ihmisen ja tietokoneen vuorovaikutuksen tutkimuksessa
käytetään heuristiikkoja mm. käyttöliittymien arviointiin
▷ Esimerkkinä Nielsenin
10 heuristiikkaa
käyttöliittymien
arviointiin
(Nielsen, 1994)
Heuristinen arviointi
▷ Heuristinen arviointi on asiantuntijamenetelmä, jossa
asiantuntijat arvioivat kohdejärjestelmän käyttäen apunaan
heuristiikkoja - ja omaa kokemustaan
○
○
○
○
Ketterä ja halpa menetelmä
Kustannustehokas verrattuna käyttäjätestaukseen
Soveltuu hyvin jo varhaisten prototyyppien arviointiin
Löydetään “helppoja” ongelmia nopeasti, jolloin esim.
käyttäjätestauksessa löydetään uusia ongelmia
▷ Heuristinen arviointi on yksi yleisimmistä käytettävyyden
arviointimenetelmistä
▷ Heuristinen arviointi on täydentävä menetelmä - sen ei tule
korvata käyttäjätestausta
○
Heuristisen arvioinnin on todettu olevan tehokas tapa ongelmien
löytämiseen, mutta tyypillisesti käyttäjätestauksessa löydetään
ongelmia joita heuristinen arviointi ei löydä - ja päinvastoin
Heuristisen arvioinnin
toteuttaminen
1. Valitaan sopivat asiantuntijat ja käytettävät heuristiikat
○
Peliarvioinneissa perehtyneisyys on tärkeää, asiantuntijan tulisi hallita
arviointimenetelmä ja ymmärtää arvioitavan pelin luonne
2. Asiantuntijat arvioivat järjestelmän itsenäisesti perustuen
kokemukseensa ja heuristiikkoihin
1.
2.
3.
4.
Löydetyt ongelmat kirjataan
Rikottu heuristiikka kirjataan
Ongelmat luokitellaan vakavuusasteen mukaisesti
(Ehdotetaan mahdollisia korjaustoimenpiteitä)
3. Asiantuntijat kokoontuvat, keskustelevat havainnoista ja
kokoavat listan uniikeista ongelmista
4. Raportointi eteenpäin, palautekeskustelu
Peliheuristiikat
▷ Pelit tarvitsevat omanlaiset heuristiikkansa
▷ Erilaisia peliheuristiikkoja on luotu jo 80-luvulta lähtien,
todennäköisesti jo aiemminkin
▷ Peliheuristiikat jaetaan usein erilaisiin kategorioihin
○
○
○
○
○
Käyttöliittymä
Pelimekaniikka
Tarina
Moninpeli
Alusta tai genre-kohtaiset (mobiili, lautapeli, strategiapelit…)
▷ Peliheuristiikkoja on luotu monilla tavoin
○
○
○
○
○
Peliprototyyppien luominen ja vertailu (Malone, 1980)
Pelikehittäjien seuranta ja haastattelut (Federoff, 2002)
Käyttökontekstiin perehtyminen ja iteratiivinen pelitestaus
(Korhonen & Koivisto 2006/2007)
Peliarvosteluiden analysointi (Pinelle et al., 2008/2009)
Synteesi (Koeffel et al. 2010)
Esimerkkejä
peliheuristiikoista
▷ Eri malleissa peliheuristiikkoja on yleensä 20-40 erilaista
▷ Peliheuristiikkojen “laatu” vaihtelee
▷ Hyviä esimerkkejä:
GU9:
The game gives feedback on the player’s actions
GP1:
The game provides clear goals or supports player created goals
MO1:
The game and play sessions can be started quickly
▷ Huonoja esimerkkejä:
A. A good game should be easy to learn and hard to master
B. Create a great storyline
C. The game is fun for the Player first, the designer second and the computer
third. That is, if the non-expert player’s experience isn’t put first, excellent game
mechanics and graphics programming triumphs are meaningless
Korhonen & Koivisto (2006/2007)
Gameplay
Game Usability
GU1
GU2
GU3
GU4
GU5
GU6
GU7
GU8
GU9
GU10
GU11
GU12
Audio-visual representation supports the game
Screen layout is efficient and visually pleasing
Device UI and game UI are distinguishable
Indicators are visible
The player understands the terminology
Navigation is consistent, logical and minimalist
Control keys are consistent and follow standard conventions
Game controls are convenient and flexible
The game gives feedback on the player’s actions
The player cannot make irreversible errors
The player does not have to memorize things unnecessarily
The game contains help
GP1
GP2
GP3
GP4
GP5
GP6
GP7
GP8
GP9
GP10
GP11
GP12
GP13
GP14
The game provides clear goals or supports player created goals
The player sees the progress in the game and compare the results
The players are rewarded and rewards are meaningful
The player is in control
Challenge, strategy, and pace are in balance
The first time experience is encouraging
The game-story supports the gameplay and is meaningful
There are no repetitive or boring tasks
The players can express themselves
The game supports different playing styles
The game does not stagnate
The game is consistent
The game uses orthogonal unit differentiation
The player does not lose any hard won possessions
Multiplayer
MP1
MP2
MP3
MP4
MP5
MP6
MP7
MP8
The game supports communication
The are reasons to communicate
The game supports groups and communities
The game helps the player to find other players and game instances
The game provides information about other players
The design overcomes lack of players and enables soloing
The design minimizes deviant behaviour
The design hides the effects of the network
Mobility
MO1
MO2
MO3
The game and play sessions can be started quickly
The game accommodates with the surrounding
Interruptions are handled reasonably
Menetelmän käyttö
tutkimusprojekteissa
▷ Tutkimuspeliprototyyppien heuristinen arviointi
○
○
○
Tutkimuspartneri tuotti kokeellisen mobiilipelin
Pelitutkijat ja käytettävyysasiantuntijat suorittivat heuristisen
arvioinnin pelattavuusongelmien löytämiseksi
Tulosten pohjalta pelattavuutta hiottiin käyttäjätestejä varten
▷ Some-pelien pelattavuusongelmien tutkiminen
○
○
○
58 noviisiarvioitsijaa arvioi 12 some-peliä heuristisen arvioinnin avulla
Kolme tutkijaa tekivät meta-arvion raportoiduille ongelmakuvauksille
Tavoitteena selvittää some-peleille tyypillisiä pelattavuusongelmia
▷ Heuristiikkojen vertailututkimuksia
○
○
○
Verrattiin kahta heuristiikkamallia mobiilipelin arvioinnissa
Vertailtiin heuristiikkoja keskenään mm. yhteneväisyyden,
abstraktiotason, selkeyden suhteen
Selvitettiin hyvien heuristiikkojen ominaisuuksia
Tutkimusesimerkki #1
Some-pelien erityisongelmia
12
Facebook-peliä
58
Arvioitsijaa
Interrupting pop-ups
614
Pelattavuusongelmaa
Click fatigue
3
Meta-arvioitsijaa
Paavilainen et al. (in press)
Repetitive gameplay
Aggressive monetization
Friend requirements
Spammy messages
Tutkimusesimerkki #2
Some-pelien yleisimmät
pelattavuusongelmat
#
Type
Category
Games
Mentions
1
Game usability
UI Layout
12
57
“Too many icons and buttons on screen”
2
Game usability
Navigation
12
54
“Complex navigation paths in UI”
3
Game usability
Help
11
68
“Features are not explained”
4
Game usability
Visual clarity
11
28
“Icons are not intuitive to understand”
5
Game usability
Feedback
11
28
“Some actions have no feedback”
6
Game usability
Camera view
11
24
“View does not move with the cursor”
7
Gameplay
Challenge
10
24
“No challenge at all - the player can’t fail”
8
Platform
Browser/Flash
9
21
“Full screen disables chat option”
9
Gameplay
Goals
8
21
“Too many tasks simultaneously”
10
Gameplay
Rewards
8
19
“Collecting rewards is tedious”
Paavilainen et al. (2014)
Evaluator Comments
Pelattavuuden arvioinnin haasteita
▷ Pelit ovat usein hyvin laajoja kokonaisuuksia, koko pelin
läpikäynti todennäköisesti mahdotonta
▷ Peliheuristiikkojen määrä on suuri, tyypillisesti heuristiikkoja
on käytössä samaan aikaan kymmeniä
▷ Asiantuntijoita on usein vaikea rekrytoida - joudutaan
käyttämään ja perehdyttämään noviiseja ajatuksella “määrä
korvaa laadun”
▷ Ongelmakuvauksien haasteita
○
○
○
Pelin luonteen tai kontekstin ymmärtämättömyys
Raportoidaan useita ongelmia yhtenä ongelmana
Ongelmien syy-seuraus suhteen hämärtyminen
Pelattavuusongelman
syy ja seuraus
EnerCities-pelissä
pelielementit saattavat
kätkeytyä toistensa taakse.
Isompi rakennelma peittää
takana olevan pienemmän pelaajan on hankala nähdä ja
manipuloida takana olevaa
elementtiä.
Ongelman syy on huono
graafinen suunnittelu ja
kamerakulma, jonka
seurauksena navigointi on
hankalaa.
GU1 Audio-visual representation supports the game
GU6 Navigation is consistent, logical and minimalist
Heuristiikkojen haasteita
▷ Heuristiikat perustuvat olemassa olevaan tietoon, täysin
uudenlaisten konseptien arviointi voi olla vaikeaa
▷ Subjektiivinen menetelmä - esimerkiksi Microsoft Game
Research ei tiettävästi käytä heuristista arviointia tämän
vuoksi
▷ “Evaluator effect”, arvioitsijat ovat eri mieltä ongelmien
laadusta ja luonteesta
▷ Yleisheuristiikat saattavat olla usein riittämättömiä,
tarvitaan esimerkiksi genrekohtaisia heuristiikkoja
Lopuksi
▷ Heuristinen arviointi on tehokas tapa pelattavuusongelmien
löytämiseksi
▷ Heuristiikat eivät ole kuitenkaan kiveen hakattuja, vaan
tarvittaessa niitä voidaan (ja pitää) rikkoa pelisuunnittelussa
▷ Heuristiikat kertovat paljon pelien (oletetuista)
suunnitteluarvoista
▷ Heuristiikat toimivat myös viestinnän välineenä
suunnittelijoiden ja arvioitsijoiden välillä
▷ Heuristista arviointia voidaan käyttää hyödyksi myös
monissa muissa suunnitteluprosesseissa laadun kehittämisen
menetelmänä
Kiitos!
Kysymyksiä tai
kommentteja?
[email protected]