1. No category

Havaitseminen, kognitio ja
ergonomia
Jukka Häkkinen
Käyttäytymistieteiden laitos, Helsingin yliopiston
9.9.2015
Institute of Behavioural Sciences / Jukka Häkkinen
www.helsinki.fi/yliopisto
9.9.2015
1
Luennon sisältö
1. Keskeisiä asioita havaintokognition tutkimuksessa
• Sisäinen malli eli representaatio
• Kuinka näkö poimii tietoa ympäristöstä
• Havaintokognitiivisten ilmiöiden ymmärtämisen tasot
2. Kuinka visuaalisen kognition ja teknologian tutkimuksen voi yhdistää?
www.helsinki.fi/yliopisto
2
Sisäinen malli eli representaatio
•
Havaitsemisen edellytyksenä on sisäinen malli todellisuudesta
•
Kenneth Craik (1943):
”If the organism carries a ’small-scale model” of external reality and of its
own possible actions within its head, it is able to try out various alternatives,
conclude which is the best of them, react to future situations before they
arise, utilize the knowledge of past events in dealing with the present and
future, and in every way to react in a much fuller, safer, and more competent
manner to the the emergencies which face it.”
www.helsinki.fi/yliopisto
3
Australialainen jalokuoriainen
Muistiinpanoja esityksistä
www.helsinki.fi/yliopisto
4
Sisäinen malli ja todellisuuden
hyödyntäminen
• Jalokuoriaisella on sisäinen malli olennaisesta informaatiosta, kuten kumppanin
löytämisestä
• Sisäisen mallin avulla aistimme ovat käyttöliittymä todellisuuteen. Käyttöliittymän
tarkoituksena on edistää selviytymistä. Tehtäviä:
•
•
•
•
Etsi ruokaa
Etsi suojaa
Vältä saalistajat
Löydä parittelukumppani ja jatkaa sukua
• Aistimme muodostama käyttöliittymä hyödyntää sisäisen mallin sisältämää tietoa
• Aistimme muodostama käyttöliittymä täydentää sisäistä mallia
www.helsinki.fi/yliopisto
5
Muistiinpanoja esityksistä
Leopardisammakko
www.helsinki.fi/yliopisto
Lettvin (1959) “What the Frog’s Eye Tells the Frog’s Brain” Proc. Inst. Radio Engr. 1959, vol. 47, 1940-1951
Sisäisen malli auttaa selviämään
tietotulvasta
• Ulkomaailmasta tuleva informaation määrä on suuri
• Mahdollisten näkymien ja tilanteiden määrä on suuri
• Kuinka selvitä tästä ja säilyttää kyky toimia?
• Maailma ei ole satunnainen, joten voidaan hyödyntää tietoa sen rakenteesta
• Tietyt asiat esiintyvät aina yhdessä
• Tietyt asiat esiintyvät harvoin yhdessä
• Tietyt asiat ovat yleensä jossakin tilassa ja harvoin jossain toisessa tilassa
• Tietoa hyödynnetään tekemällä olettamuksia ja käyttämällä yksinkertaistavia
peukalosääntöjä
• Sisäinen malli ei ole maailman kopio vaan sinne tallentuu vain olennainen tieto
www.helsinki.fi/yliopisto
7
Shape from shading eli
varjomuoto
Ramachandran (1985); van Fieandt (1935)
www.helsinki.fi/yliopisto
8
Shape from shading eli
varjomuoto
Ramachandran (1985); van Fieandt (1935)
www.helsinki.fi/yliopisto
9
Sisäinen malli: kaksi olettamusta
1. Valo tulee ylhäältä
2. Valolähteitä on yksi
www.helsinki.fi/yliopisto
10
Hai joka yrittää näyttää kuopalta
www.helsinki.fi/yliopisto
11
Müller-Lyer-illuusio
www.helsinki.fi/yliopisto
12
Müller-Lyer-illuusio
www.helsinki.fi/yliopisto
13
Müller-Lyer-illuusio
Yksinkertainen viivakuva tulkitaan oletusten pohjalta perspektiivikuvaksi
www.helsinki.fi/yliopisto
14
Magneettinen liike
Best Illusion of the year contest 2010, First prize: Koukichi Sugihara (Meiji
Institute for Advanced Study of Mathematical Sciences, Japan)
“Impossible motion: magnet-like slopes”
www.helsinki.fi/yliopisto
15
Sisäiset mallit: Yhteenveto
• Havaitseminen on käyttöliittymä maailmaan, tarkoituksena selviytyminen, ei
suurimman mahdollisen havaintotarkkuuden saavuttaminen
• Havaitseminen on aktiivinen prosessi, poimimme olennaista tietoa.
Olennaisuus määrittyy tehtävästä muodostamamme käsityksen perusteella.
• Poimintaa ohjaavat sisäiset mallit, jotka nopeuttavat havaitsemista, mutta
voivat aiheuttaa illuusioita ja virheitä
www.helsinki.fi/yliopisto
16
Kuinka informaatiota poimitaan?
www.helsinki.fi/yliopisto
17
Visuaalinen tarkkaavaisuus on
tiedon valikointia
•
•
Näköjärjestelmän tehtävänä on poimia henkilön kannalta olennaista
tietoa näkymästä
Tietoa tulee kuitenkin valtavasti, joten täytyy tulvasta täytyy poimia
olennaiset asiat
•
Olennaista voi olla:
• Aina olennaiset asiat: jokin ilmestyy, jokin liikahtaa
• Tehtävän informaatiotarpeiden kannalta olennaiset asiat
•
Tiedon poimintaa suorittavat visuaalisen tarkkaavaisuuden mekanismit
www.helsinki.fi/yliopisto
Visuaalisen tarkkaavaisuuden lajit
1. Näkyvä tarkkaavaisuuden siirtäminen (overt attention)
2. Näkymätön tarkkaavaisuuden siirto (covert attention)
3. Sisäisesti ohjautunut tarkkaavaisuus (endogenous attention)
4. Ulkoisesti ohjautunut tarkkaavaisuus (exogenous attention)
www.helsinki.fi/yliopisto
Näkyvä tarkkaavaisuuden siirtäminen
www.helsinki.fi/yliopisto
Näkyvä tarkkaavaisuuden
ohjautuminen silmänliikkeiden
avulla
• Katseen kulkua visualisoidaan katsepolun avulla
Fiksaatio =
Silmä pysähtyy
keräämään tietoa
Sakkadi = silmä liikkuu
paikasta toiseen
www.helsinki.fi/yliopisto
Sakkadit ja fiksaatiot
• Sakkadi kestää noin 5-80ms ja niitä tapahtuu 3-4 kpl sekunnissa
• Pitkät sakkadit siirtävät katseen kiinnostavaan paikkaan näkymässä
• Lyhyet sakkadit siirtelevät katsetta kiinnostavan alueen sisällä
• Sakkadin aikana silmän kyky vastaanottaa tietoa on alentunut
(sakkadinen suppressio). Vastaanotto ei katkea kokonaan, mutta
heikkenee paljon.
• Fiksaatio kestää keskimäärin 250 millisekuntia. Tämä tarkoittaa sitä, että
90% ajasta silmä on paikallaan.
• Fiksaation aikana:
• Silmä vastaanottaa tietoa fovealta ja perifeerisestä näöstä.
• Tietoa prosessoidaan. Prosessoinnin monimutkaisuus vaikuttaa
fiksaation kestoon.
• Seuraavaa sakkadia lasketaan.
www.helsinki.fi/yliopisto
Näkymätön tarkkaavaisuuden
siirtäminen
www.helsinki.fi/yliopisto
Näkymätön tarkkaavaisuus
• Posner (1980): jos annetaan vihje ilmestyvän objektin paikasta,
reaktionopeus kasvaa. Tehtävä: Etsi T-kirjain
• Silmänliikemittauslaite tarkkailee, että katse pysyy kohdistettuna ristiin
keskellä
T
L
L
L
Annetaan vihje kohteen sijainnista
Mitataan reaktioaika
• Oikea vihje nopeuttaa reaktiota
www.helsinki.fi/yliopisto
Näkymätön tarkkaavaisuus
• Voimme ennakoida tietyssä näkökentän paikassa tapahtuvia kiinnostavia
asioita. Tarkkaavaisuuden ”valokeila”
• Ennakointi tarkoittaa, että voimme tehostaa siellä tapahtuvaa prosessointia
• Tämä näkyy myös aivojen aktivoitumisessa
• Paljon keskusteltu kysymys on näkyvän ja näkymättömän tarkkaavaisuuden
siirtämisen suhde
• Ilmeisesti näkymättömällä tarkkaavaisuudella on kaksi funktiota:
• Asioiden nopea tarkistus
• Tietyn aivoalueen aktivoiminen hetken kuluttua tulevaa silmänliikettä
varten. Eye-Mind-hypoteesi.
www.helsinki.fi/yliopisto
25
Endogeeninen tarkkaavaisuus
www.helsinki.fi/yliopisto
2
Mihin katse kohdistuu?
• Ensimmäiset tutkimukset 1960-luvulla osoittivat, että emme katso tyhjiin,
tasaisiin ja epäinformatiivisiin alueisiin
• Katsomme informatiivisiin alueisiin. Mitä ne ovat? Yarbus (1967):
tehtävä vaikuttaa silmänliikkeisiin
• Tämä on sisäisesti ohjautunutta eli endogeenista tarkkaavaisuuden
siirtämistä
www.helsinki.fi/yliopisto
27
www.helsinki.fi/yliopisto
2
Top-down
• Top-down-lähestymistapa: Tieto, tavoitteet ja semantiikka määrittelevät
silmien kohdistumisen.
• Episodinen näkymätieto (episodic scene knowledge)
•
•
Lyhytaikainen: Laitoin äsken työpöydän etuosaan iPadin
Pitkäaikainen: Säilytän iPadin laturia pöytälaatikossa
• Näkymäskeematieto (scene schema knowledge)
•
•
•
Semanttinen: keittiössä on yleensä ruokailuvälineitä
Spatiaalinen: ruokailuvälineitä säilytetään yleensä laatikossa
Yleinen: ruokailuvälineet eivät yleensä leiju ilmassa
• Tehtäväsidonnainen tieto (task-related knowledge)
•
•
•
•
Autoa ajettaessa katsot säännöllisin väliajoin taustapeiliin
Jos aiot tehdä voileipiä, katsot eri paikkoihin kun aikoessasi siivota keittiön
Jos yrität muistaa kuvan, katsot eri paikkoihin kuin jos arviot sen laatua
(=Yarbus)
Esimerkkinä koe teen keittämisestä
www.helsinki.fi/yliopisto
29
Eksogeeninen tarkkaavaisuus
www.helsinki.fi/yliopisto
30
Salientit piirteet (bottom up)
• Helposti erottuvia piirteitä sanotaan salienteiksi piirteiksi.
•
•
Puhutaan ”pop-out” ilmiöstä, kun erilainen kohde erottuu välittömästi.
Tarkkavaisuus sieppautuu kohteeseen (”attentional capture”)
• Tämä on ulkoisesti ohjautunutta, eksogeenista tarkkaavaisuuden siirtymistä
• Voidaan myös sanoa, että tarkkaavaisuuden ohjaus on ”bottom-up”
www.helsinki.fi/yliopisto
31
Esimerkkejä erottuvista kuvan
ominaisuuksista
www.helsinki.fi/yliopisto
32
Silmänliikkeet ja sisäiset mallit
www.helsinki.fi/yliopisto
33
Sakkadien aikainen muisti
• Jos oletetaan, että sakkadeita on kolme sekunnissa, 16-tuntisen päivän aikana
teemme 172800 sakkadia
• Silmänliikkeen aikana ei nähdä juuri mitään: sakkadinen supressio
•
Benno Erdmannin & Raymond Dodge (1898)
• Jos oletetaan, että sakkadin keskipituus on 30 ms, olemme 86 minuuttia
päivästä sokeita
• Minkälainen malli maailmasta aivoissa on sakkadien aikana?
• Jotain täytyy representoida jotta meillä säilyy koherentti kokemus maailmasta.
Täytyy olla sakkadien aikainen muisti.
• Voisi olla
• Kuva maailmasta
• Abstrakti ja harva representaatio
• Ei mitään muistia. Ulkomaailma toimii muistina, josta tieto poimitaan.
www.helsinki.fi/yliopisto
34
Esimerkki
https://www.youtube.com/watch?v=v3iPrBrGSJM
www.helsinki.fi/yliopisto
35
Esimerkki
https://www.youtube.com/watch?v=qpPYdMs97eE
www.helsinki.fi/yliopisto
36
Yhteenveto: Tiedon poimiminen
• Silmänliikkeiden ajaksi tallennetaan vähän tietoa
• Sisäinen malli on siis erittäin karkea
• Siellä on tietoa objektien identiteetistä ja paikoista, mutta ei niin paljon tietoa
esimerkiksi objektien ominaisuuksista
www.helsinki.fi/yliopisto
37
Ilmiöiden ymmärtämisen tasot
www.helsinki.fi/yliopisto
38
Havaintoilmiöiden ymmärtämisen
tasot
• Havaitseminen on pohjimmiltaan biologinen prosessi, mutta sitä on vaikea ymmärtää
ilman kognitiivisen tason ilmiöiden ymmärtämistä
Kognitiivinen taso
Laskennallinen taso
Neuraalinen taso
www.helsinki.fi/yliopisto
39
Kognitiivinen taso
• Gaetano Kanizsa (1955) Kanizsan kuvio
• Kognitiivisen tason tutkimus: Ilmiön löytäminen! Millä ehdoilla ilmiö
esiintyy? Mitkä asiat heikentävät tai voimistavat ilmiötä?
Support ratio
Kuinka paljon keskialueen havainto kirkastuu?
Indusoivan kuvion muoto. Pitääkö täydentyä symmetriseksi?
Pitääkö kuvioiden olla ajallisesti samanaikaisia?
Pitääkö indusoivan kuvion täydentyä alle?
Onko illusorinen pinta hypoteettinen peittävä pintä?
Tarvitaanko apukuvioita?
www.helsinki.fi/yliopisto
40
Kognitiivinen taso
Kanizsan kuvio
Tsen volumetrinen mato3
Tsen merihirviö4
Idesawan illusorinen piikkipallo2
2
Idesawa M. (1991) Perception of Illusory Solid Object with Binocular Viewing. Proceedings
IJCNN
3 Tse, P. U. (1998). Illusory volumes from conformation. Perception, 27(8):977–994.
4 Tse, P. U. (1999). Volume Completion. Cognitive Psychology, 39: 37–68.
www.helsinki.fi/yliopisto
41
Neuraalinen taso
R von der Heydt, E Peterhans, and G Baumgartner (1984) Illusory contours and cortical neuron responses. Science 224, 1260-1262.
www.helsinki.fi/yliopisto
42
Neuraalinen taso
KT= Kanisa triangle KS = Kanizsa square NS = non-Kanizsa square
NT = non-Kanizsa triangle
F. Kruggel, C. S. Herrmann, C. J. Wiggins, and D. Y. von Cramon (2001) Hemodynamic and Electroencephalographic Responses to
Illusory Figures: Recording of the Evoked Potentials during Functional MRI. NeuroImage 14, 1327–1336.
www.helsinki.fi/yliopisto
43
Miten visuaalisen kognition ja
teknologian tutkimisen voi
yhdistää?
www.helsinki.fi/yliopisto
44
Kasvojen välittämät emootiot ja
stereo 3D
Hakala, J., Kätsyri, J. & Häkkinen, J. (2015) Stereoscopy amplifies emotions elicited by facial expressions. i-Perception, In Press.
www.helsinki.fi/yliopisto
45
Käden liikkeet stereoskooppisilla
näytöillä
www.helsinki.fi/yliopisto
46
Käden liikkeet stereoskooppisilla
näytöillä
www.helsinki.fi/yliopisto
47
Havaintosuoriutuminen kaareutuvilla
näytöillä
www.helsinki.fi/yliopisto
48
Havaintosuoriutuminen kaareutuvilla
näytöillä
T Mustonen, J Kimmel, J Hakala, J Häkkinen (2015) Visual performance with small concave and convex displays Human
Factors 57: 6. 1029-1050.
www.helsinki.fi/yliopisto
49
Havainto ja toiminta esineiden
internetin kanssa
www.helsinki.fi/yliopisto
50