1. No category

Mobilt Testande*
-en jämförelse av kognitiva testpoäng från mobil respektive icke-mobil enhet
Handledare: Anders Sjöberg
MASTERUPPSATS I PSYKOLOGI, 30 POÄNG 2016
Johan Wikström
STOCKHOLMS UNIVERSITET
PSYKOLOGISKA INSTITUTIONEN
Mobilt Testande*
-en jämförelse av kognitiva testpoäng från mobil respektive icke-mobil enhet
Johan Wikström
Ökad användning av mobila enheter, samt organisationers önskan att
effektivt testa och engagera arbetssökande driver utvecklingen av
mobilanpassade test framåt. Forskning kring mobila enheters inverkan på
testresultat är tvetydig med positiva och negativa utfall. Mobila enheter
verkar ha negativ inverkan på testpoäng från kognitiva test. En effekt som
kan bero på de begränsningar (mindre skärm, pekskärm) som mobila
enheter har. Mått på kognitiva förmågor används ofta vid urval, om olika
enheter ger upphov till differens i testpoäng behöver detta utredas. I en
experimentell studie (N=51) undersöktes huruvida mobila enheter har
negativ inverkan på resultat från kognitiva test. I upprepade mätningar
genomförde deltagarna kognitiva test på mobil och icke-mobil enhet.
Studien visar att mobila enheter inte har en negativ påverkan på
testresultatet. Diskussionen behandlar möjliga förklaringar till resultat
utifrån urval och testdesign, tar upp begränsningar i studien samt siar om
MT framtid.
Internet har förändrat hur vi människor kommunicerar, gör affärer och lever våra liv.
En förändring som även har påverkat organisationers rekryterings- och
urvalsprocesser vare sig det gäller annonsering av vakanta platser,
varumärkesbyggnad, webbaserade urvalstest eller användandet av oövervakade
internet test (King, Ryan, Kantrowitz, Grelle, & Dainis, 2015). Utveckling som gjort
det relativt enkelt och standardiserat för organisationer att genomföra både enklare
och mer avancerade testsituationer (t.ex. adaptiva kognitiva test), med arbetssökande
som befinner sig på vitt skilda platser både i tid och rum (Tippins, 2011). Detta har
lett till ett större utbud av sökande, samt sänkt testkostnader då behovet av
administratörer reducerats eller helt eliminerats genom användandet av oövervakade
test (Fluckinger, Dudley, & Seeds, 2014; Tippins, 2009, 2011).
Ökad tillgång till, och användning av smarta telefoner, surfplattor och mobilt internet,
tillsammans med organisationers önskan att på ett mer effektivt sätt engagera och
testa sökande driver idag testindustrin mot mobilanpassade test och urvalsprocesser
(Findahl, 2015; Huff, 2015; Kantrowitz, 2014). Att utforma test som fungerar för
olika medium kan skapa problem då det finns en risk att måttet (mätinstrumentet)
förändras när det överförs från en enhet till en annan och inte är likvärdigt över
medium (Schroeders & Wilhelm, 2010). Att ett mått inte är likvärdigt över medium
gör att resultat mellan grupper vars data samlats in med olika metoder (t.ex. mobil vs.
icke-mobil enhet) inte kan jämföras med varandra (Arthur, Doverspike, Muñoz,
Taylor, & Carr, 2014; Horn & McArdle, 1992; Steenkamp, Jan-Benedict;
Baumgartner, 1998; Vandenberg & Lance, 2000). Trots likvärdighet i mått över
medium kan det uppstå medelvärdesskillnader i testpoäng då olika medium används,
något som framförallt verkar vara sant för kognitiva test (Arthur et al., 2014; Morelli,
*Tack till Anders Sjöberg för stöd och råd under arbetet med uppsatsen, och tack till
Mats Englund på cut-e som ledde in mig på området, och gav värdefulla tips i ämnet. 2
Mahan, & Illingworth, 2014). Denna differens kan bero på Mode Effect, dvs.
påverkan från det medium som testet administreras via (Leeson, 2006). Likvärdighet i
mått och likvärdighet i resultat över medium är viktigt för att de slutsatser som görs
utifrån observerade resultat ska vara valida (Binning & Barrett, 1989; Cronbach &
Meehl, 1955; Vandenberg & Lance, 2000). Om arbetssökande ges möjligheten att
välja mellan att genomföra en testsituation på en mobil eller icke-mobil enhet där
resultat från test används som urvalskriterier, är det viktigt att kunna garantera och
bevisa att resultat från test oavsett medium är likvärdiga, eller om så inte är fallet att
det finns tydliga riktlinjer för tolkande av resultat som uppstått från olika medium
(AERA, APA, & NCME, 2014; ISO 10667, 2013).
Användning av mobila enheter vid psykometriska test är relativt outforskat och kan
enligt Arthur et al., (2014) sägas bestå av tre delar (1) relationen mellan användare av
mobila enheter och ändrat socialt beteende, (2) framväxten av mobila enheter som ett
verktyg för att samla in data och (3) mobila enheters påverkan på test och testpoäng.
Det är det tredje nämnda området som kommer vara fokus för denna studie. Forskning
som har undersökt testande via mobila enheter är tvetydig, vissa studier visar på
positiva utfall andra lyfter fram möjliga problem och risker (Arthur et al., 2014; Huff,
2015; Illingworth, Morelli, Scott, & Boyd, 2014; King et al., 2015; Morelli et al.,
2014).
Då det föreligger en ökad vilja att använda mobila enheter i testsituationer och det
finns en tvetydighet kring utfallet av användandet av mobila enheter behövs mer
forskning i ämnet.
Studiens syfte är att undersöka om likvärdiga resultat uppnås på kognitiva test oavsett
om testen genomförs med en mobil eller icke-mobil enhet.
Först presenteras, i korthet, nyttan med att bedöma kognitiva förmågor vid urval.
Varpå mobilt testande definieras samt potentiella fördelar och risker med mobilt
testande lyfts. Därefter presenteras studiens hypotes samt tidigare forskning av mobilt
testande.
Urvalstestning & kognitivförmåga
Den primära anledningen till att organisationer är intresserade av att låta
arbetssökande genomgå testsituationer är för att predicera arbetsprestation (Sjöberg,
2014). Arbetsprestation kan definieras som mätbara, handlingar, beteenden och utfall
hos anställda som är kopplade till och bidrar till en organisations mål (Viswesvaran &
Ones, 2000). Kognitiv förmåga är kapaciteten att kunna lära, lösa problem och
anpassa sig till rådande omgivning (Ones, Dilchert, Viswesvaran, & Salagado, 2010).
Att bedöma kognitivförmåga hos arbetssökande som urvalssätt är lämpligt då
kognitivförmåga varierar hos individer (Spearman, 1904) och är starkt positivt
korrelerad till akademisk prestation, förmåga att lära och bemästra kunskaper samt
arbetsprestation (Schmidt & Hunter, 1998). Validiteten i test som mäter
kognitivförmåga varierar inte i någon stor grad mellan olika typer av organisationer
eller för olika grupper av individer, vilket bidrar till att göra kognitivförmåga till den
enskilt bästa faktorn för att predicera arbetsprestation (Ones et al., 2010).
3
Mobilt testande
Definition
Det första kognitiva test som utvecklades (1905) användes till att identifiera barn med
inlärningsproblem (Toquam, Corpe, Dunnette, Rumsey, & Simutis, 1991). Utveckling
av kognitiva test har skett sen dess, men det är en utveckling som snarare har rört hur
testen administreras (kontrollerat, okontrollerat) och med vad för typ av medium
(papper, dator) än vad för item som används för att mäta olika kognitiva förmågor
(Arthur, Glaze, Villado, & Taylor, 2010; Pearlman, 2009). Det finns kognitiva test
som är utvecklade direkt för datorer och mobila enheter (t.ex. cut-es Slst & Smt). Men
många av de dator- och mobilanpassade kognitiva test som finns tillgängliga idag är
ursprungligen utvecklade att utföras med papper och penna under kontrollerade
former men som genom teknisk utveckling har överförts till nya medium (Mead &
Drasgow, 1993). Ett problem då det psykologiska konstrukt som mätts kan komma att
påverkas av det medium det administreras med (Leeson, 2006; Mead & Drasgow,
1993).
I studien används termerna mobil och icke-mobil enhet samt mobilt testande och
datoriserat testande. Mobil enhet vilket syftar till handhållna, trådlösa enheter t.ex.
smarta telefoner och surfplattor, och icke-mobil enhet syftar till stationära och bärbara
datorer. Definitionen av en mobil enhet är hämtad från med Chernyshenko och Stark
(2015) som menar att en enhet ska vara portabel och användarvänlig/lättanvänd för att
ses som mobil. Portabel anses en enhet vara som kan användas i princip i vilken
kontext som helst, även när en person går. Användarvänlig/Lättanvänd anses en enhet
vara som kan hållas och samtidigt användas med minimal ansträngning. Detta leder
till att mobilt testande, i denna studie, definieras av vad för enhet deltagaren använder
för att genomföra testet snarare än hur själva testet administreras (mobilt internet, WiFi eller fast uppkoppling). Detta innebär att använda en smarttelefon/läsplatta för att
genomföra ett test ses som mobilt testande (MT). Och att använda en bärbar dator och
en trådlösuppkoppling för att genomföra ett test ses som datorbaserat testande (DT).
Fördelar med MT
Potentiella fördelar som lyfts fram med testande via mobila enheter är t.ex. ett större
och mer diversifierat urval och ett, för organisationer, stärkt varumärke (Arthur et al.,
2014; Lahey, 2014). Ett större och mer diversifierat urval bygger på antagande om att
MT ger möjligheten att nå ut till grupper som tidigare varit exkluderade pga. tekniska
förutsättningar och grupper med låg socioekonomisk status, som ofta varit
underrepresenterade i dessa rekryterings- och urvalsprocesser, beroende på låg
tillgång till rätt teknik (Kende, 2015; Kontos, Emmons, Puleo, & Viswanath, 2010).
Men även att MT skulle öka mångfalden generellt bland sökande vad det gäller etnisk
bakgrund, kön och ålder. (Arthur et al., 2014; Chou, Hunt, Beckjord, Moser, & Hesse,
2009; Kontos et al., 2010; Pearlman, 2009). Mobilt internet ger arbetssökande en
möjlighet att genomföra en testsituation ”när som helst, var som helst” (Lee, Kim, &
Kim, 2005), vilket anses kunna stärka en organisations varumärke då det anses bidra
till en positiv kandidatupplevelse av rekryteringsprocessen (Lahey, 2014). Sökandes
uppfattning om en rekryteringsprocess är viktig då sökanden som upplever en
rekryteringsprocess som positiv tenderar att se positivt på organisationen i stort och är
mer benägna, att inte bara, tacka ja till jobberbjudanden men också rekommendera
andra om organisationen (Hausknecht, Day, & Thomas, 2004). Studier visar dock att
kandidater i stor utsträckning föredrar att genomföra en testsituation på icke-mobil
4
enhet före mobil enhet (Fursman & Tuzinski, 2015). MT anses ha ytterligare fördelar,
utöver de som redan finns med dagens oövervakade webbaserade test, men är inte
utan problematik.
Risker med MT
Potentiella risker för MT är t.ex. kontextuella aspekter om var test via mobila enheter
utförs, avsaknad av likvärdighet i mått, demografiska skillnader samt begränsningar
kopplade till enheten (små skärmar, avsaknad av tangentbord) vilka anses ha negativ
påverkan på prestation (Arthur et al., 2014; King et al., 2015; Leeson, 2006; Morelli
et al., 2014).
Kontext
Lee et al. (2005) beskriver hur kontext kan påverka användandet av mobila internet
tjänster (t.ex. ett mobil-anpassat oövervakat kognitivt test). Författarna skiljer på
personlig kontext (som beror på vilket tillstånd användaren är i) från den omgivande
kontexten (som har med yttre påverkan på mobil användandet). Den personliga
kontexten bryts ner i emotion, tid och rörelse. Aspekter som t.ex. påverkar beteende
vid användandet av mobila internet tjänster, val av tjänst samt upplevelsen av en tjänst
(Bies, Tripp, & Kramer, 1997; Dholakia & Dholakia, 2004; Spector & Fox, 2002).
Den omgivande kontexten bryter Lee et al. (2005) ner i fem delar (fysisk plats,
distraktion, trängsel, interaktion, avskildhet). Fysisk plats har med den geografiska
platsen att göra, om en t.ex. är inomhus (klassrum, kontor, bibliotek, restaurang) eller
utomhus (gatan, park, busstation). Distraktion rör graden av konkurrerande krav
(oväsen, obekväm miljö, andra sysslor). Trängsel har med uppfattning av kontroll
över omgivningen och kan t.ex. beröra huruvida andra kommer in där en gör ett test.
Interaktion berör till vilken grad kommunikation med andra sker medan ett test
genomförs (svar på inkommande, mail/sms/samtal, prata med vänner). Avskildhet
definieras av om en är ensam eller med andra (tillgång till eget rum, eller delat
utrymme) (Lee et al., 2005). En kontext där det är mer troligt att en mobil enhet
används kan tänkas ha en större negativ påverkan på prestationen vid kognitiva test,
då en sådan testsituation skulle innehålla mer störande och distraherande element
(Arthur et al., 2014; King et al., 2015).
Kontextuellt kan MT och DT skilja sig åt, men ett specifikt testtillfälle behöver
nödvändigtvis inte göra det. Det är t.ex. möjligt att genomföra en testsituation på en
mobil eller icke-mobil enhet i en offentligmiljö och samtidigt kommunicerar med
andra, även om det är mer troligt att det görs på en mobil enhet. En testsituation kan
också genomföras på en mobil enhet i en privat kontext helt utan distraktioner, rörelse
och med liknande känslotillstånd som i vilken annan kontext som helst.
Likvärdighet
Att ett mått inte är likvärdigt över medium gör att resultat mellan grupper vars data
samlats in med olika metoder (t.ex. mobil vs icke mobil enhet) inte kan jämföras med
varandra (Arthur et al., 2014; Horn & McArdle, 1992; Steenkamp, Jan-Benedict;
Baumgartner, 1998; Vandenberg & Lance, 2000). För personlighetstest och andra
icke-kognitiva tester har likvärdighet i mått uppmäts för MT (Arthur et al., 2014;
Illingworth et al., 2014; Morelli et al., 2014). Morelli et al. (2014), fann förvisso i sin
studie även likvärdighet för en kognitivt laddad övning mellan mobil och icke-mobil
enhet, men i övrigt tyder studier på att mobila enheter har en negativ inverkan på
5
prestation i testsituationer som mäter kognitiv förmåga (Arthur et al., 2014; King et
al., 2015).
Mode Effect
Sammanfattande forskning av Leeson (2006) visar på ett antal faktorer som har visat
sig bidra till att skapa differens i flera olika typer av psykologiska testsituationer över
olika medium. Leeson, benämner detta som Mode Effect, och visar på hur olika
demografiska aspekter (kön, etnicitet, ovana med teknik, kognitiv förmåga) samt
aspekter som rör begränsningar i enhet (interaktivitet och läsbarhet i gränssnitt)
influerar prestation (se tabell 1) i datorbaserade testsituationer jämfört med
testsituationer där test görs på papper med penna (Leeson, 2006).
Huff (2015), menar att Mode Effect förklarar varför vissa studier har funnit differenser
i datorbaserade testsituationer (Bridgeman, Lennon, & Jackenthal, 2003; Mead &
Drasgow, 1993; Schroeders & Wilhelm, 2010; Wästlund, Norlander, & Archer,
2008), medan andra inte har funnit några differenser (Mead & Drasgow, 1993;
Templer & Lange, 2008) när ett test administreras på olika sätt.
Tabell 1. Mode Effect
Aspekt
Mode Effect
Deltagare aspekter
Kön & Etnicitet
Endast små skillnader för etnicitet, kvinnor presterar något sämre på
datorbaserade test.
Minne & förståelse
Varierande resultat för effekter på kognitivt processande.
Snabbhet
Deltagare tar generellt längre tid på sig att läsa på en dator skärm.
Förmåga
Hög presterande studenters prestation verkar förstärkas av datorbaserade test.
Datorvana
Små skillnader i prestation mellan vana & ovana datoranvändare, differens som
kan reduceras genom introduktion & testomgång.
Gränssnitt-Läsbarhet
Skärmupplösning
Hög upplösning resulterar i ökad läsbarhet & reducerar trötthet.
Skärmstorlek
Subjektiva skillnader, deltagare upplevde det lättare att läsa text från stor skärm.
Text storlek
Påverkar läshastighet och effektivitet
Gränssnitt-Interaktivitet
Scrollande
Har visat sig påverka prestation negativt pga. försämrad möjlighet till visuell
markering & spatial lokalisering.
Item presentation
Presentation av ett item per sida tenderar att öka fel & påskynda svar,
möjligheten till återblick reducerar den negativa effekten. Presentation av flera
item per sida verkar ha en underlättande effekt, då det ger möjlighet till att hoppa
över, scanna av & bygga vidare på tidigare given information.
6
Demografiska skillnader
Det finns skillnader i prestation vid kognitiva test mellan specifika grupper
(Gallagher, Bridgeman, & Cahalan, 2002; Klein, Dilchert, Ones, & Dages, 2015;
Ployhart & Holtz, 2008), och då olika grupper av individer verkar vara olika benägna
att genomföra MT (Arthur et al., 2014), är detta av intresse då det kan uppstå
ogynnsamma testsituationer för vissa grupper. Ovana med den teknik som testet
administreras via är också en demografisk faktor som kan påverka prestation negativt
(Paek, 2005; Schroeders & Wilhelm, 2010), något som dock kan reduceras av att
deltagare erbjuds en övningsomgång (Powers & O’Neill, 1993).
Enhetens begränsningar
Mindre skärmstorlek och låg skärmupplösning har visat sig ha negativ inverkan av
läshastighet och effektivitet på textbaserade test, samt ökar trötthet i ögon vilket anses
påverka prestation negativt (Bridgeman et al., 2003; Sanchez & Branaghan, 2011;
Sanchez & Goolsbee, 2010; Ziefle, 1998). Scrollande samt textstorlek (vilka båda kan
påverkas av skärmstorlek) är ytterligare aspekter som visat sig medför negativ
påverkan av prestation i testsituationer (Bridgeman et al., 2003; Leeson, 2006; Morelli
et al., 2014; Sanchez & Goolsbee, 2010; Wästlund et al., 2008). Scrollande som är
den vanligaste förklaringen till differenser i testresultat mellan medium, antas bero på
att det tar fokus från den faktiska uppgiften i en testsituation (Potosky, 2008).
Inmatningsmetod (t.ex. tangentbord eller pekskärm) har visat sig påverka likvärdighet
i mått över medium, där högre överensstämmelse i inmatningsmetod mellan medium
bidrar till större likvärdighet i måttet (Overton, Taylor, Zickar, & Harms, 1996).
En stor skillnad, kanske den mest uppenbara, mellan mobila och icke-mobila enheter
är användargränssnitt. Icke-mobila enheter tenderar att ha stora tangentbord, mus eller
styrplatta och relativt stora skärmar, något mobila enheter oftast inte har. Det är en
viktig aspekt enligt Schroeders och Wilhelm (2010), då mobila enheter ställer andra
perceptuella krav och kräver annan motorisk färdighet, än vad t.ex. en icke-mobil
enhet gör. De perceptuella kraven som syftar till möjligheten att korrekt uppfatta
innehållet som presenteras, berörs av skärmstorlek och skärmupplösning. Motorisk
färdighet berör den fysiska interaktionen med ett testmedium, t.ex. användandet av
pek-penna, finger, pekskärm, eller mus/styrplatta (Schroeders & Wilhelm, 2010).
Vissa av dessa aspekter varierar inom medium, men även då det finns likvärdighet i
mått över medium, så kommer det finnas skillnader mellan MT & DT. De som
använder mobila enheter kan komma att uppleva begränsningar i skärmstorlek och
inmatningsmetod, samt motoriska utmaningar i navigerande vilket kan leda till sämre
prestation vid användandet mobila enheter.
Mobila enheters inverkan på testpoäng
Tidigare publicerad forskning för ämnet användning av mobila enheter vid
psykometrisk testning är begränsad. Den som finns (Arthur et al., 2014; Huff, 2015;
Illingworth et al., 2014; King et al., 2015; Morelli et al., 2014; Sanchez & Branaghan,
2011; Sanchez & Goolsbee, 2010) visar på att test och test poäng kan påverkas av
vilken typ av enhet (mobil eller icke-mobil enhet) som används för att genomföra ett
test och att denna påverkan skiljer sig beroende på vilket typ av test som görs (se
tabell 2.). Dessa studier bidrar med värdefull information kring användandet av
7
mobila enheter vid urvalstestning, men är framförallt intressant för textbaserade
kognitiva test samt icke-kognitiva test (personlighetstest & bio data). Av tidigare
studier är det dessutom endast King et al. (2015) som är av experimentell design
vilket gör att resultat från övriga studier kan ha svårt att skilja vilka effekter som
faktiskt beror på testmedium och vad som kan bero på andra faktor.
Ett problem, menar Huff (2015), är att tidigare forskning sällan tagit med den
information Leeson (2006) redovisar i sina beräkningar, utan betraktar enheterna som
används i en testsituation som likvärdiga om implementeringen av testet är likvärdigt
över enheterna. Vilket leder till slutsatsen att skillnader i medium kan ge upphov till
skillnader i testsituationen, men ger inga svar på hur eller varför (Huff, 2015).
Utifrån tidigare forskning som visar att användandet av mobila enheter i
testsituationer tendera att påverka testpoäng av kognitiva test negativt, samtidigt som
det verkar finnas en tendens till ökad vilja hos både organisationer och arbetssökande
att använda mobila enheter i rekryterings- och urvalsprocesser är det viktigt att
fortsätta undersöka mobila enheters inverkan på testpoäng. Syftet med studien har
varit att undersöka om testpoäng från kognitiva test utförda med mobil respektive
icke-mobil enhet skiljer sig eller inte. För att undersöka detta har följande hypoteser
ställts.
Hypoteser:
1a Lägre testpoäng förväntas på det kognitiva test Slst i en testsituation då mobil
enhet används jämfört med när en icke-mobil enhet används.
1b Lägre testpoäng förväntas på det kognitiva test Smt i en testsituation då mobil
enhet används jämfört med när en icke-mobil enhet används.
8
Tabell 2. Mobila enheters inverkan på testpoäng 1(2)
Ref
Urval
Beskrivning
Resultat
Arthur et al. 2014
3.575.207 arbetssökande (69.000 på mobil
enhet),
slutförde
oövervakade
internetadministrerade test som en del av en
arbetsökan. Tjänster som söktes fanns
framförallt
inom
detaljhandeln
&
besöksnäringen.
Jämförde demografiska & testpoängs
skillnader (personlighet, kognitivförmåga)
bland arbetssökanden som genomfört
ansökan på mobil enhet med de som
genomfört ansökan på en icke-mobil enhet.
Kvinnor, afroamerikaner, spansktalande & unga arbetssökande
använde mobila enheter i något större utsträckning för att
genomföra sin ansökan. Testpoäng för personlighetstester var
likvärdiga över medium, men testpoäng för begåvning var klart
lägre på mobila enheter.
Huff, 2015
47 college studenter (M ålder=26, 40% män)
slutförde i upprepade mätningar ett 5faktoriellt webbaserat personlighetstest samt
lämnade demografisk information m. dator &
smarttelefon.
Studien undersökte om typ av enhet
påverkar mängden fel, tid att genomföra
test samt uppfattning om användarvänlighet
av test som inte är optimerade för mobila
enheter.
Ingen skillnad i personlighetstest mellan enheter men det tog
signifikant längre tid att fylla i enkäten på mobil enhet.
Användarvänligheten av testet ansågs sämre på mobil enhet.
Illingsworth et al.
2014
Arkivdata från arbetssökande som genomfört
icke-kognitiva test på mobil (n=7.743) eller
icke- mobil (n=929.341) enhet som en del av
ansökningsprocess.
Jämförde användnings, mät likvärdighet &
potentiella utfallsskillnader mellan mobila
& icke-mobila enheter vid en oövervakad
icke-kognitiv testsituation.
1% av sökande använde mobilenhet vid genomförandet av
testsituation. Faktoranalys indikerar på likvärdighet mellan
medium, användande av mobil & icke-mobil enhet visade inga
signifikanta skillnader i testpoäng eller mellan demografiska
grupper.
King et al. 2015
253 amerikanska universitets studenter (77%
kvinnor, 29% etniska minoriteter, M=ålder
24, 49% hade anställning) deltog frivilligt
mot extra kurspoäng.
Deltagare genomförde, i upprepade
mätningar
(dator/mobil)
övervakade
testsituation av bl.a. kundorientering,
kognitivförmåga & SJT för att undersöka
om likvärdighet i måtten över medium
fanns.
Likvärdighet fanns för SJT men inte för kognitivförmåga.
Indikationer på relation både mellan ångest & prestation &
reaktioner till mobilt testande. Mer positiva reaktioner till
testande på dator än testande på mobil enhet.
Morelli et al. 2014
608.518 (24192 mobil) arbetssökande inom
besöksnäringen genomförde oövervakade
testsituationer av kognitivförmåga, biodata,
multimedia arbetssimulering & SJT som en
del av en urvalsprocess.
Med multipel faktoranalys undersöktes
likvärdigheten i testsituationen över
medium för kognitivförmåga, biodata,
multimedia arbetssimulation & SJT.
Likvärdighet över medium förefaller finnas för alla
testsituationer, men mobil användares medelvärden var en 1/2
Sd lägre på SJT jämfört med icke mobil användare.
9
Tabell 2 forts. Mobila enheters inverkan på testpoäng 2(2)
Ref
Urval
Sanchez &
Totalt 77 universitets studenter deltog i två
Branaghan 2011
studier (S1=34, S2=33) i utbyte mot
kurspoäng.
Sanchez &
Goolsbee 2010
39 universitets studenter (M ålder = 19,
Kvinnor 56%) deltog i utbyte mot kurspoäng.
Beskrivning
Undersöker om deltagares förmåga att
komma ihåg & resonera kring information
som meddelats via enheter m. små skärmar
försämras. Ospan simultantest användes för
att undersöka arbetsminne.
Resultat
Försämrad förmåga att resonera i jämförelse med när stora
skärmar används, genom att ändra till ett optimerat läge
försvinner detta problem. Optimering verkar framför allt gynna
de med låg arbetsminneskapacitet, då de dessa verkar ha
problem med inlärning vid scrollande.
Deltagare läste ett flertal texter på stor eller
liten skärm. Storlek på text manipulerades
för att undersöka hur möjligheten att
minnas text påverkas av skärmstorlek &
textstorlek. OSpan simultantest användes
för att undersöka arbetsminne.
Textstorlek ökade behovet att scrolla på små skärmar, vilket
påverkade förmågan att komma ihåg text negativt.
10
Metod
Design
Studien använde sig av en inom individsdesign med upprepade mätningar, där
deltagare genomförde två kognitiva test två gånger, ena gången på mobil enhet och
ena gången på icke-mobil enhet. Deltagare slumpades till vilken enhet (mobil/ickemobil enhet) de skulle börja med när så var möjligt och användes för att kontrollera
för ordnings- och inlärningseffekter. I ett försök att kontrollera för kontextuella
aspekter som skulle kunna förklara skillnader i resultat skapades en statisk kontext.
Testen genomfördes inomhus, utan distraktion eller interaktion men med potentiell
påverkan av tidsaspekt, då deltagande skede under skol- arbetstid (Lee et al., 2005).
För att motivera deltagare till att prestera sitt bästa erbjöds deltagare att få ta del av
sitt resultat. Alla deltagare genomförde testen under övervakning, på egenmedhavd
dator, smarttelefon/läsplatta. På detta sätt försöktes testsituationen göras så likvärdig
och jämförbar som möjligt.
Deltagare
60 (55 % kvinnor, M ålder = 26.2) personer anmälde sig frivilligt till studien, varav 51
personer genomförde båda testtillfällena. Av de 9 som inte deltog vid båda tillfällen
var 6 från gruppen som genomförde testen på mobil enhet först och 3 var från
gruppen som genomförde testen på icke-mobil-enhet först. Deltagare var studenter
vid Stockholms universitets psykologiska institution, anställda vid en HR-avdelning
(Org. 1) samt kontorsanställda vid ett detaljhandelsföretag (Org. 2). Studenter som
deltog vid båda testtillfällena fick i utbytte mot sitt deltagande en timmes UD-tid
(kurskrav vid institutionen). Övriga deltagare erbjöds fikabröd eller en lott för sitt
deltagande. Deltagare som deltog vid båda testtillfällen fick en individuell
resultatrapport av resultat från begåvningstesten som gjorde på icke-mobil enhet.
Ingen muntlig återkoppling gavs av testresultatet då det inte handlade om att ta beslut
med vägledning av testpoängen.
Procedur Studenturval
Studenterna (n=38) i studien rekryterades på plats vid psykologiska institutionen, via
riktade mail med psykologiska institutionen som avsändare samt olika nät-forum där
studenter vid psykologiska institutionen är närvarande. Alla föranmälda deltagare
slumpades till att antingen börja med MT eller DT (19 deltagare slumpades inte).
Varje deltagare informerades via mail vilken enhet de skulle ta med sig till sitt första
testtillfälle samt om var och när de skulle infinna sig. På plats i givet klassrum,
administrerades en web-länk till testen där ytterligare instruktioner för genomförandet
fanns att tillgå. Vid inloggandet uppmanades deltagare att lämna information om kön,
födelseår, land, utbildningsnivå, yrkeserfarenhet, för- och efter namn samt e-post.
Deltagarnas e-post användes för att matcha respektive deltagares första och andra
tillfälle och var tillsammans med namn de enda obligatoriska uppgifterna. Här
informerades också deltagarna om att deras medverkan var frivillig samt att deras
uppgifter behandlas i enlighet med personuppgiftslagen. Deltagare informerades även
muntligen om att deras medverkan var frivillig samt att de när som helst kunde
avbryta sitt deltagande. Vid varje tillfälle genomförde deltagarna två test (Slst &
Smt). Vid starten av varje test fick deltagarna information om hur testet skulle
genomföras (instruktioner för Smt-testet var på mobil enhet endast tillgängligt på
engelska) samt möjligheten till att pröva testet innan det började på riktigt för att
11
förstå hur det fungerade. Deltagarna uppmanades att inte tala med varandra eller att
surfa runt och uppmuntrades till att göra sitt bästa. Samma procedur upprepades vid
det andra tillfället, som ägde rum ca (sju dagar) efter det första tillfället. Deltagare
som inte redan hade bokat in ett andra tillfälle, blev efter testtillfället inbokade för
nytt tillfälle. Alla deltagarna blev också efter testtillfället informerade om tid, plats
samt vilken enhet de skulle ha med sig till nästa tillfälle, även ett påminnelse mail
med denna information gick ut till deltagarna. Efter deltagarnas andra testtillfälle
utdelades UD-tid (1 timme) till de studenter som ville ha det.
Procedur Urval Anställda
Deltagarna (n=13) rekryterades genom personliga kontakter inom respektive
organisation, som i sin tur informerade och uppmuntrade anställda till att delta. I
avskilda lokaler hos respektive organisation, på utsatt tid kom intresserade för att
delta. Efter att deltagarna blivit slumpade till vilken enhet de skulle börja med
administrerades en web-länk till test och instruktioner (som beskrivet tidigare). Tid
för ett andra tillfälle bestämdes med personlig kontakt inom varje organisation som i
sin tur informerade deltagarna. Pga. tekniska problem slumpades ingen av deltagarna i
org. 2, där alla började med mobil enhet.
För studenturvalet tillämpades tidsbokning samt möjlighet till drop-in, detta medförde
att det för deltagarna i detta urval kunde komma in deltagare i rummet medan test
utfördes. För samtliga deltagare gällde att när de genomfört testen och loggat ut från
testsidan var de fri att resa på sig och lämna lokalen.
Mått
De två mått för att mäta kognitiv förmåga som används i studien är utvecklade av
företaget cut-e. Båda testen är web-anpassade och konstruerade på ett sätt som gör det
möjligt att administrera testen utan att ha en testadministratör närvarande. Båda testen
är oberoende av specifik hårdvara vilket betyder att testen anpassar sig till det
gränssnitt (storlek & upplösning på skärm) deltagaren använder sig av. Anpassningen
gör att effekter av olika hårdvara eller internetuppkoppling undviks.
Scales lst (Slst)
Adaptivt test tänkt att mäta deduktiv slutledningsförmåga. Uppgiften i testet är att,
under 6 min. bestämma och placera en av de givna symbolerna i den ruta som är
märkt med ett frågetecken (bild 1.). Vid varje administration genereras ett individuellt
test. Testet består av sex svårighetsnivåer vilka justeras adaptivt efter korrekt eller
felaktigt svar. Lst korrelerar .48 p < .001 med den avancerade varianten (APM) av
Ravens Progressive Matrices. α = .89 (Split-half, Spearman-Brown corrected).
12
Bild 1. Mobil & Icke-Mobil version av Slst
Not.* Mobilversion till höger.
Scales mt (Smt)
Testet är tänkt att mäta förmågan att utföra flera uppgifter samtidigt. Uppgiften bestod
i att under 5 minuters tid utföra tre stycken uppgifter simultant. 1. Avgöra åt vilket
håll en pil pekar, 2. Avgöra om en matematisk uträkning är korrekt eller inte, 3.
Avgöra om en serie med 7 siffror innehåller dubbletter eller inte (bild 2.). Varje
uppgift hade lika stor påverkan på resultatet. Korrelationen för Smt med andra test
inom Scales-serien är: E3 (koncentration) .32 p < .01, cls (logiskt resonerande) .21 p
< .05. α = .91 (Split-half, Spearman-Brown corrected), α = .81 (re-test).
Bild 2. Mobil & Icke-Mobil version av Smt
Not.* Mobilversion till höger i bild.
Resultat
Hypoteserna prövades med parat t-test. Inga signifikanta skillnader fanns mellan
testpoäng från mobil respektive icke-mobil enhet. Respektive test uppvisade
13
signifikant korrelation mellan de olika enheterna. Tabell 3 redovisar N, medelvärden,
standardavvikelse och interkorrelation för respektive test och enhet.
Hypotes 1a: Lägre testpoäng förväntas på det kognitiva testet Slst i en testsituation då
mobil enhet används jämfört med när en icke-mobil enhet används. Det parade t-test
(poäng icke-mobil, poäng mobil) som utfördes visade inte på någon signifikant
skillnad i testpoäng för de olika enheterna t50 = .54, 95 % CI [-2.41, 4.17] p > .05.
Hypotes 1b: Lägre testpoäng förväntas på det kognitiva testet Smt i en testsituation då
mobil enhet används jämfört med när en icke-mobil enhet används. Det parade t-test
som (poäng icke-mobil, poäng mobil) utfördes visade inte på någon signifikant
skillnad i testpoäng för de olika enheterna t50 = .44, 95 % [-.95, 1.48] p > .05.
Tabell 3 Medelvärde, standardavvikelse, korrelation
Icke-Mobil
Mobil
Test
N
M
SD
N
M
SD
r
Slst
51
50.92
11.10
51
50.04
10.34
.41*
Smt
Not. * p < .005.
51
52.32
4.44
51
52.05
5.46
.63*
Figur 1. Boxplot med Median & Konfidensintervall fördelat per test & enhet
Kompletterande analys
Då det varit problem med slumpandet av deltagarna till respektive enhet under
datainsamlingen utfördes variansanalys med upprepade mätningar som
kompletterande analys för att undersöka om det fanns skillnader mellan de två
14
grupperna. Resultat från kompletterande variansanalysen visade att deltagare som
använde en icke-mobil enhet vid tillfälle ett (T1) presterade (oberoende av enhet eller
tillfälle) bättre än den grupp med deltagare som använde en mobil enhet vid T1
(F(1,49) = 7.918, p < .01). Effekt av grupp samt ökning i medelvärde över tid
(inlärningseffekt) illustreras i figur 2.
Övergripande
deskriptiv
statistik
(medelvärde,
standardavvikelse
&
konfidensintervall) för respektive grupp fördelat per test och enhet vid T1 och T2
redovisas i tabell 4.
Fig. 2 Gruppeffekt & Inlärningseffekt per grupp
56
Icke-Mobil
M=55.04
55
Mobil
54
53
M=52.44
52
M=51.37
51
50
49
M=48.82
48
T1
T2
Not. M = Total testpoäng (Slst, Smt), enhet vid T1 & T2 skiljer sig för grupperna.
Tabell 4. Deskriptiv statistik Slst & Smt
Grupp (N)
Mobil
(32)
Enhet & Tid
Mobil
T1
Test
SD
95% CI
Nedre
Övre
Slst
47.01
1.71
43.58
50.44
Icke-Mobil T2
Slst
49.81
1.96
45.86
53.76
Mobil T1
Smt
50.63
0.88
48.85
52.40
Icke-Mobil T2
Smt
52.92
0.70
51.51
54.33
50.09
1.31
Total Grupp
Icke-Mobil (19)
M
Icke-Mobil T1
Slst
52.79
2.55
47.67
57.92
Mobil T2
Slst
55.15
2.21
50.71
59.60
Icke-Mobil T1
Smt
52.08
0.91
50.25
53.91
Mobil T2
Smt
54.92
1.14
52.62
57.22
Total Grupp
53.74
1.70
TOTAL (51)
51.91
.81
50.23
53.55
15
Diskussion
Syftet med studien var att undersöka om användandet av en mobil enhet vid
genomförande av kognitiva test påverkar testresultat i en negativ riktning. Studien
redovisar även resultat för gruppeffekt och inlärningseffekt. Resultaten i studien visar
på att mobila enheter inte påverkar testresultat negativt. Att det finns en skillnad i
prestation mellan grupperna (mobil respektive icke-mobil enhet), där gruppen ickemobil överlag presterar bättre. Prestationen förbättras över tid för respektive grupp.
Ingen skillnad i resultat mellan MT & DT kunde uppvisas. Antagandet var att
testresultat skulle försämras när en mobil enhet användes på grund av mindre skärm,
annorlunda inmatningsmetod och högre krav på motorisk färdighet. Att denna studie
till skillnad från tidigare forskning t.ex. Arthur et al. (2014); King et al. (2015) och
Morelli et al. (2014) inte uppvisade ett sådant resultat skulle kunna förklaras med att
testen i denna studie har varit figurala. I tidigare studier har de kognitiva testen varit
textbaserade. Detta skulle kunna ha betydelse då det är möjligt att textbaserade test i
större utsträckning påverkas av skärmstorleken på sådant sätt att typsnitt blir mindre,
vilket i sig påverkar läshastighet och effektivitet. Ett mindre typsnitt till följd av
mindre skärm skulle också kunna leda till mer scrollande något som i sig är den
vanligaste förekommande förklaringen till försämrad prestation på mobila enheter
(Potosky, 2008). Scrollande har inte varit nödvändigt, vare sig på dator- eller
mobilversion av testen in denna studie, då testen varit väl designade och optimerade
till varje enhet. Avsaknaden av att behöva scrolla för att genomföra testen kan ha
bidragit till att prestation över enheter är bibehållen. Väl optimerade test gynnar
framförallt individer med lägre arbetsminneskapacitet (Sanchez & Branaghan, 2011),
vilka i denna studie i sådana fall inte bör ha presterat sämre och därmed inte heller
påverkat resultat på mobilversionen av testen negativt. Ytterligare förklaring till de,
från tidigare forskning, avvikande resultaten skulle kunna vara att testen i denna
studie från början är utvecklade för mobila enheter, detta är relevant då forskning och
teori menar att ett mått riskerar att förändras när de överförs mellan medium
(Schroeders & Wilhelm, 2010). En effekt som i denna studie i sådana fall skulle
utebli. Att resultaten i denna studie skiljer sig från tidigare forskning kan även tänkas
bero på att testen i denna studie är figurala, medan tidigare forskning framförallt
fokuserat på textbaserade kognitiva test.
Effekten av grupptillhörighet, som variansanalysen visar på, är förvånande och något
svårtolkad. En förklaring är att fördelningen av deltagare till respektive grupp är skev.
Detta beror på att det inte var möjligt att slumpa alla deltagare. Grupperna är små
Mobil T1 (n=32), Icke-Mobil T1 (n=19), vilket potentiellt skulle kunna göra att några
få individer inom en grupp ger stor effekt inom den gruppen. Det kan alltså både vara
som så att några få individer i Mobil-gruppen underpresterar och sänker den gruppens
medelvärde, men det kan också vara så att några individer i gruppen Icke-Mobil
presterar väldigt högt och höjer då den gruppens medelvärde. Då det i studien saknas
ytterligare variabler (t.ex. utbildningsnivå, vana med teknik) för att försöka på
individuellnivå förklara vad skillnaden kan bero på ges nedan förslag på yttre och
kontextuella distraktioner som kan ha påverkat.
Gruppen Mobil har en högre andel icke slumpade deltagare. Framför allt så började
alla deltagare (n=10) från Org.2 med mobil enhet. Det testtillfället var det tillfälle med
flest deltagare vid ett och samma tillfälle, vilket gjorde att deltagare satt närmare
16
varandra, och det var fler tillfällen då deltagare som var klara rest sig för att lämna
rummet än vid något annat testtillfälle, vilket enligt Lee et al. (2005) kan ses som
källor till distraktion. Detta tillfälle föregicks också av ett tekniskt problem vilket
gjorde att försök med att nå testsidan behövde startas om. Det var ingen som påbörjat
själva testen, men avbrottet kan i sig ha gett upphov till frustration över teknik, något
som kan påverka resultatet negativt då känslotillstånd påverkar beteende hos
användare av olika internet tjänster (Bies et al., 1997; Potosky, 2008; Spector & Fox,
2002).
Deltagarna förbättrade sina resultat över tid oberoende av vilken enhet de använde vid
T2. En effekt som är väntad vid upprepade mätningar då det första tillfället fungerar
som ett tillfälle för lärande (Carrier & Pashler, 1992). Att inlärningseffekten finns
över tid för båda grupper skulle kunna användas som argument för att det inte finns
någon negativ inverkan på testresultat av mobila enheter då gruppen Icke-Mobil i
annat fall borde försämrats sin prestation vid T2. För att kunna kontrollera för
inlärningseffekt skulle det behövas en design där deltagarna genomförde varje
testsituation två gånger på respektive enhet, dvs. re-test sker inom respektive enhet.
Coursaris, Hassanein, Head, och Bontis (2012) har visat på att distraktioner i form av
ljud- och synintryck samt rörelse har negativ inverkan på hur effektivt och noggrant
uppgifter utförs på mobil enhet. Detta är distraktioner som bör leda till ett sämre
resultat vid MT i jämförelse med DT. I studien försöktes den typen av yttre
distraktioner konstant hållas och bör där med inte ha någon påverkan i denna studie.
Vad som inte kontrollerades för var förekomsten av inkommande samtal och/eller
pop-upp notiser (sms, mail, applikationer, m.m.) under testsituationen. Något som
borde upplevas som en distraktion i form av ljud- och synintryck. Det är tänkbart att
distraktioner av den typen är mer frekvent förekommande för MT än DT då det kan
vara så att användandet av pop-upp notiser är mer vanligt förekommande på mobila
enheter än icke-mobila enheter. Oavsett om så är fallet eller inte, är det tänkbart att
inkommande pop-notiser upplevs som mer störande vid MT än DT då den tar upp en
större del av skärmutrymmet. Utöver yttre kontextuella distraktioner är det här är
aspekter som organisationer bör ha i åtanke vid en möjlig implementering av MT i en
rekryterings- och urvalsprocess.
Potentiella begränsningar
Urvalet till denna studie är litet och bestod främst av psykologistudenter vid
Stockholms universitet. Detta är inte representativt för en global population, vad det
gäller användandet av mobila enheter. Sverige är ett av de länder i världen där
användandet av mobila enheter är som störst, speciellt i den åldersgrupp som urvalet
till stor del består utav (Findahl, 2015). Det är möjligt att individer som lever där
användandet av mobila enheter inte är lika utbrett, skulle prestera sämre. De skulle
även kunna ha mer negativa attityder till MT på grund av lägre vana med mobila
enheter. Lägre vana skulle även kunna vara sant för en äldre del av populationen, då
dessa (i dagsläget) inte heller använder mobila enheter i lika stor utsträckning som
yngre (Findahl, 2015). Som redan beskrivits fanns det problem med slumpandet av
deltagare, vilket kan ha varit avgörande för utfallet, även om det endast går att
spekulera på vilket sätt det har påverkat resultatet är det en begränsning för de
slutsatser som görs utifrån resultatet. Studien undersöker heller inte möjliga
underliggande variabler (kön, ålder, utbildningsnivå) som enligt Leeson (2006) skulle
kunna ha påverkat resultat i studien.
17
Deltagare i studien är inte arbetssökande, vilket gör att de möjligen inte är lika
motiverade till att prestera, eller bekymrade över hur en mobil enhet påverkar deras
möjlighet till att prestera som de kanske skulle vara i en riktig urvalsprocess. Det
skulle kunna ha en inverkan på resultat och testpoäng. Motivationen till att prestera
skull dessutom kunna variera mellan tillfällena på grund av stressande tids aspekt,
eller varierande vilja att använda de olika enheterna.
Likvärdighet över medium för testen som använts i studien har inte analyserats. Detta
kan vara ett problem för studiens upplägg och analys då likvärdighet i mått över
medium är nödvändig för att jämförelse av testresultat från olika enheter ska vara
möjlig (Vandenberg & Lance, 2000).
Allmän diskussion
Att mobilt testande ligger i tiden, är inte så konstigt med tanke på den senaste tidens
kraftiga utveckling och användande av mobila enheter (Findahl, 2015). Mobilt
testande ger som beskrivet en del tänkbara fördelar men dras även med en del
problem (än så länge). Den fördel som enligt min uppfattning är av störst betydelse
för att fortsätta driva utvecklingen av MT framåt är att det öppnar upp för individer
som idag på grund av tekniska och/eller ekonomiska skäl står utanför
arbetsmarknaden (Arthur et al., 2014). Testande av individuella differenser som
urvalsmetod växer, vilket är bra, men om det på grund av hur det distribueras stänger
ute vissa grupper av människor motverkas en av anledningarna till att test används,
nämligen att de är objektiv bedömningar som minimerar risken för diskriminering i
rekryteringsprocesser. MT kan ju inte i sig lösa alla de problem som finns kring
diskriminering vid urval, men har ändå potentialen att förbättra förutsättningarna. På
andra sidan av samma mynt finns det stora problemet med att utföra test, i vart fall
kognitiva test, med mobila enheter. Det verkar nämligen ge upphov till försämrad
prestation och lägre testpoäng (King et al., 2015; Morelli et al., 2014), även om den
här studien är ett ljus i tunneln. Om då de grupper som kanske skulle gynnas mest av
att organisationer erbjuder att genomföra rekryteringsprocesser på mobila enheter i
slutändan ändå skulle missgynnas på grund av att de använder sig av MT är vi tillbaka
på ruta ett i den frågan. Problemet med att det finns differenser mellan enheter
kommer säkert reda ut sig. Men så länge det finns organisationer och oseriösa aktörer
inom testindustrin som tror sig kunna dra nytta av nya och uppkommande
urvalsmetoder som t.ex. MT är det ett problem. Framför allt för de kandidater som
kan komma att missgynnas, men även för den organisation som inte får den bäst
lämpade kandidaten, och för testindustrin i stort.
De problem, oavsett om det gäller testpoängs differenser, likvärdighet i mått eller
kontextuella problem som MT idag står framför kommer de behöva lösas. För det
kommer inte vara möjligt att inte låta kandidater använda mobila enheter med tanke
på dess spridning och användning i samhället. För att komma till rätt med problem
kring likvärdighet är kanske lösningen inte att överföra ”gamla” test till nya enheter,
utan utveckla test anpassade för de nya enheterna. Mobila enheter erbjuder ju här en
del spännande tekniska fördelar över icke-mobila enheter, som t.ex. möjligheten till
Virtual Reality (VR), vilket skulle kunna skapa intressanta sätt för arbetssimulering.
Kontexten kan ju ge upphov till distraktioner (Lee et al., 2005), men den mobila
enheten ger ju möjlighet att med geografisk positionering avgöra om en kontext för
testande är godkänd eller inte.
18
Utöver andra tekniska möjligheter, är användnings området av mobila enheter långt
mycket större än vad det är för icke-mobila enheter. Med appar som håller koll på vår
hälsa, hur vi sover, var vi är, vad vi äter, vad vi gillar, ogillar, köp- och resebeteenden
för att nämna en liten del. All data som mobila enheter kan samla in om en individ
kan i sin sammanslagna form kallas för Big Data. Ett område som är omtvistat, av
integritetsskäl. Den här typen av information används idag framför allt till
marknadsföring, där reklam riktas specifikt till mig utifrån mina beteenden på
internet. Ett test i en testsituation ger bara en ögonblicksbild av personen som testas
(kognitiva förmåga är dock relativt stabilt över tid), just där just då. Testresultat och
testpoäng påverkas också av olika fel varianser (t.ex. det medium test administreras
med). Om analyser kunde göras på all den information som mobila enheter har
möjligheten att samla in skulle vi kanske kunna få en mycket mer heltäckande och
korrekt bild av en person, då det går att se vad en person faktiskt har gjort istället för
att förlita sig på individers egna beskrivningar om vad de gjort. Big Data skulle kunna
ge upphov till att prediktioner om beteenden sker utifrån faktiskt observerat beteende
istället utifrån teorier om beteende. Det här är en intressant aspekt med mobila enheter
och MT, men rymmer så klart en stor diskussion om integritet, vad som bör och inte
bör mätas samt vem som äger informationen som samlas in.
Innan organisationer väljer att implementera MT i sin rekryterings- och
urvalsprocesser bör det läggs mer forskning kring kandidatupplevelsen av MT, både
vad det gäller viljan till och uppfattning om att använda MT i rekryteringsprocesser
för att säkerställa att upplevelsen av en rekryteringsprocess upplevs som effektiv och
rättvis.
Sammanfattning
Resultaten tyder på att användandet av mobila enheter när en genomför figurala
kognitiva test inte påverkar resultat negativt. Det finns en effekt av grupp, där de som
börjat använda icke-mobil enhet, överlag presterar bättre. En effekt som troligen beror
på problem med slumpande till grupperna. Oavsett grupp eller enhet som används vid
T2 har prestationen förbättrats i jämförelse med T1, något som bör förstås som en
inlärningseffekt mellan tillfällena, och kan vara till stöd för en tolkning av att
användandet av mobila enheter inte ger upphov till skillnad i testpoäng.
Referens
AERA, APA, & NCME. (2014). Standards for educational and psychological testing. American
Educational Research Association.
Arthur, W., Doverspike, D., Muñoz, G. J., Taylor, J. E., & Carr, A. E. (2014). The Use of Mobile
Devices in High-stakes Remotely Delivered Assessments and Testing. International Journal of
Selection and Assessment, 22(2), 113–123.
Arthur, W., Glaze, R. M., Villado, A. J., & Taylor, J. E. (2010). The Magnitude and Extent of Cheating
and Response Distortion Effects on Unproctored Internet-Based Tests of Cognitive Ability and
Personality. International Journal of Selection and Assessment, 18(1).
Bies, R. J., Tripp, T. M., & Kramer, R. M. (1997). At the breaking point: Cognitive and social
dynamics of revenge in organizations. In R. A. Giacalone & J. Greenberg (Eds.), Antisocial
behavior in organizations (pp. 18–36). Sage Publications.
Binning, J. F., & Barrett, G. V. (1989). Validity of personnel decisions: A conceptual analysis of the
inferential and evidential bases. Journal of Applied Psychology, 74(3), 478–494.
Bridgeman, B., Lennon, M. Lou, & Jackenthal, A. (2003). Effects of Screen Size, Screen Resolution,
and Display Rate on Computer-Based Test Performance. Applied Measurement in Education,
16(3), 191–205.
19
Carrier, M., & Pashler, H. (1992). The influence of retrieval on retention. Memory & Cognition, 20(6),
633–642.
Chernyshenko, O. S., & Stark, S. (2015). Mobile Psychological Assessment, 206–216.
Chou, W. S., Hunt, Y. M., Beckjord, E. B., Moser, R. P., & Hesse, B. W. (2009). Social media use in
the United States: implications for health communication. Journal of Medical Internet Research,
11(4), e48.
Coursaris, C. K., Hassanein, K., Head, M. M., & Bontis, N. (2012). The impact of distractions on the
usability and intention to use mobile devices for wireless data services. Computers in Human
Behavior, 28(4), 1439–1449.
Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological
Bulletin, 52(4), 281–302.
Dholakia, R. R., & Dholakia, N. (2004). Mobility and markets: Emerging outlines of m-commerce.
Journal of Business Research, 57(12 SPEC.ISS.), 1391–1396.
Findahl, O. (2015). Svenskarna och Internet 2015. .Se, 67.
Fluckinger, C. D., Dudley, N. M., & Seeds, M. (2014). Incremental Validity of Interactive Multimedia
Simulations in Two Organizations. International Journal of Selection and Assessment, 22(1),
108–112.
Fursman, M., & Tuzinski, A. (2015). Reactions to Mobile Testing From the Perspective of Job
Applicants.
Gallagher, A., Bridgeman, B., & Cahalan, C. (2002). The Effect of Computer-Based Tests on RacialEthnic and Gender Groups. Journal of Educational Measurement, 39(2), 133–47. 47
Hausknecht, J., Day, D. V, & Thomas, S. C. (2004). Applicant Reactions To Selection Procedures : an
Updated Model and Meta-Analysis, 20.
Horn, J. L., & McArdle, J. J. (1992). A practical and theoretical guide to measurement invariance in
aging research. Experimental Aging Research, 18(3-4), 117–144.
Huff, K. C. (2015). The comparison of mobile devices to computers for web-based assessments.
Computers in Human Behavior, 49, 208–212.
Illingworth, A. J., Morelli, N. A., Scott, J. C., & Boyd, S. L. (2014). Internet-Based, Unproctored
Assessments on Mobile and Non-Mobile Devices: Usage, Measurement Equivalence, and
Outcomes. Journal of Business and Psychology.
ISO 10667. (2013). Svensk standard ss-iso 12107:2012.
Kantrowitz, T. M. (2014). 2014 Global Assessment Trends Report. CEB. Retrieved from
https://www.cebglobal.com/shl/images/uploads/GATR-042014-UKeng.pdf.
Kende, M. (2015). Internet Society Global Internet Report 2015.
King, D. D., Ryan, A. M., Kantrowitz, T., Grelle, D., & Dainis, A. (2015). Mobile Internet Testing: An
analysis of equivalence, individual differences, and reactions. International Journal of Selection
and Assessment, 23(4), 382–394.
Klein, R., Dilchert, S., Ones, D., & Dages, K. (2015). Cognitive Predictors and Age-Based Adverse
Impact Among Business Executives. J Appl Psychol, 100(5), 1497–1510.
Kontos, E. Z., Emmons, K. M., Puleo, E., & Viswanath, K. (2010). Communication inequalities and
public health implications of adult social networking site use in the United States. Journal of
Health Communication, 15 Suppl 3, 216–35.
Lahey, Z. (2014). Mobile Talent Acquisition: Adjusting to the Times.
Lee, I., Kim, J., & Kim, J. (2005). Use contexts for the mobile internet: a longitudinal study monitoring
actual use of mobile internet services. International Journal of Human-Computer …, 18(3), 269–
292.
Leeson, H. V. (2006). The Mode Effect: A Literature Review of Human and Technological Issues in
Computerized Testing. International Journal of Testing, 6(1), 1–24.
Mead, A. D., & Drasgow, F. (1993). Equivalence of computerized and paper-and-pencil cognitive
ability tests: A meta-analysis. Psychological Bulletin, 114(3), 449–458.
Morelli, N. A., Mahan, R. P., & Illingworth, A. J. (2014). Establishing the Measurement Equivalence
of Online Selection Assessments Delivered on Mobile versus Nonmobile Devices. International
Journal of Selection and Assessment, 22(2), 124–138.
Ones, D. S., Dilchert, S., Viswesvaran, C., & Salagado, J. F. (2010). Handbook of Employee Selection.
(J. L. Farr & N. T. Tippins, Eds.). New York: Routledge Taylor and Francis Group.
Overton, R. C., Taylor, L. R., Zickar, M. J., & Harms, H. J. (1996). The Pen-Based Computers as an
Alternative Platform for Test Administration. Personnel Psychology, 49, 455–464.
Paek, P. (2005). Recent Trends in Comparability Studies, (August), 1–34. Retrieved from
http://www.pearsonassessments.com/NR/rdonlyres/5FC04F5A-E79D-45FE-848407AACAE2DA75/0/TrendsCompStudies_rr0505.pdf
20
Pearlman, K. (2009). Unproctored Internet testing: Practical, legal, and ethical concerns. Industrial and
Organizational Psychology, 2(1), 14–19.
Ployhart, R. E., & Holtz, B. C. (2008). The diversity-validity dilemma: Strategies for reducing
racioethnic and sex subgroup differences and adverse impact in selection. Personnel Psychology,
61(1), 153–172.
Potosky, D. (2008). A Conceptual Framework for the Role of the Administration Medium in the
Personnel Assessment Process. Accademy of Management Review, 33(3), 629–648.
Powers, D. E., & O’Neill, K. (1993). Inexperienced and anxious computer users: Coping with a
computer-administered test of academic skills. Educational Assessment. Lawrence Erlbaum.
Sanchez, C. A., & Branaghan, R. J. (2011). Turning to learn: Screen orientation and reasoning with
small devices. Computers in Human Behavior, 27(2), 793–797.
Sanchez, C. A., & Goolsbee, J. Z. (2010). Character size and reading to remember from small displays.
Computers and Education, 55(3), 1056–1062.
Schmidt, F. L., & Hunter, J. E. (1998). The Validity and Utility of Selection Methods in Personnel
Psychology: Practical and Theoretical Implications of 85 Years of Research Findings.
Psychological Bulletin, 124(2), 262–274.
Schroeders, U., & Wilhelm, O. (2010). Testing reasoning ability with handheld computers, notebooks,
and paper and pencil. European Journal of Psychological Assessment, 26(4), 284–292.
Sjöberg, S. (2014). Utilizing research in the practice of personnel selection: General mental ability,
personality, and job performance. Stockholm University, Sweden. Retrieved from
http://www.diva-portal.org/smash/record.jsf?pid=diva2:706092
Spearman, C. (1904). “ General Intelligence ,” Objectively Determined and Measured. The American
Journal of Psychology, 15(2), 201–292.
Spector, P., & Fox, S. (2002). An emotion-centered model of voluntary work behavior: Some parallels
between counterproductive work behavior and organizational citizenship behavior. Human
Resource Management Review, 12, 269–292.
Steenkamp, Jan-Benedict; Baumgartner, H. (1998). Copyright © 1998. All rights reserved. Journal of
Consumer Research, 25(June), 78–90.
Templer, K. J., & Lange, S. R. (2008). Internet testing: Equivalence between proctored lab and
unproctored field conditions. Computers in Human Behavior, 24(3), 1216–1228.
Tippins, N. T. (2009). Where Is the Unproctored Internet Testing Train Headed Now? Industrial and
Organizational Psychology, 2(1), 69–76.
Tippins, N. T. (2011). Overview of Technology-Enhanced Assessment of Talent. In N. T. Tippins & S.
Adler (Eds.), Technology-Enhanced Assessment of Talent (pp. 1–18). John Wiley & Sons, Inc.
Toquam, J. L., Corpe, V. A., Dunnette, M. D., Rumsey, M. G., & Simutis, Z. M. (1991). Literature
Review : Cognitive Abilities- Theory , History , and Validity.
Vandenberg, R. J., & Lance, C. E. (2000). A review and synthesis of the measurement invariance
literature: Suggestions, practices, and recommendations for organizational research.
Organizational Research Methods, 3(1), 4–70.
Viswesvaran, C., & Ones, D. S. (2000). Perspectives on Models of Job Performance. International
Journal of Selection and Assessment, 8(4), 216–226.
Wästlund, E., Norlander, T., & Archer, T. (2008). The effect of page layout on mental workload: A
dual-task experiment. Computers in Human Behavior, 24(3), 1229–1245.
Zhang, H., P, & Feinzig, S. (2016). Looking for Top Talent ? Move to Mobile Recruiting.
Ziefle, M. (1998). Effects of display resolution on visual performance. Human Factors, 40(4), 554–
568.