1. No category

Bruger Test
Formål
Planlægning
Testopgaver
Udførelse
Afrapportering
1
Formål med usability test
• Formålet med usability test er at opdage fejl eller problemer
som kan være årsag til problemer i det daglige brug af et
system
• Dette kan afgøres ved at vurdere i hvilket omfang et system er:
– Let at lære
– Let at huske
– Effektivt at bruge
– Tolerant overfor fejl
– Tilfredsstillende at bruge
• Med andre ord:
– I hvilken grad et produkt kan anvendes af en specifik bruger
til at opnå specifikke mål funktionelt, effektivt og
tilfredsstillende i en specifik kontekst (ISO standard DIS 9241)
2
Usability test teknikker
Man skelner mellem ekspert test og bruger test.
Ekspert review (som også kalder heuristisk evaluering) der er baseret
på eksperters erfaringer med, hvad der er godt design (har I haft)
eksperter evaluerer usability i et design ved brug af heuristikker (=
tommelfingerregler) eller “bedst practices”
Brugertest baseret på tænke højt princippet ( denne gang)
Brugere observeres mens de løser kritiske opgaver ved at tænke
højt
Fælles for metoderne er, at de kan anvendes til evaluering af:
 UI prototyper med forskellig grad af færdiggørelse (fidelity):
 skitser, skærm dumps, interaktive UI prototyper som ligner den
færdige UI osv
 UI på kørende systemer
3
Brugertest
• En test som involverer brugere
• Er altid nødvendig på et tidspunkt, idet man aldrig
helt (som ekspert) kan sætte sig ind i hvordan en
bruger tænker
• Vil altid afsløre problemer ”eksperterne” ikke har
tænkt på
• Er dyrere end ekspert review
• Derfor tilrådes at udføre ekspert review før
brugertest
4
Brugertest forløb
• En bruger løser en række realistiske opgaver vha.
systemet
• Brugeren "tænker højt" imens
• En forsøgsleder observerer
• Forsøgslederen hjælper når forsøgspersonen er
gået i stå og stiller afklarende ”hv…” spørgsmål
• Data (observationer) opsamles løbende. Det kan
være noter på et papir, bånd, video eller
skærmoptagelse
• Testen dokumenteres
5
Video: Udførelse af en usability brugertest
Steve Krug: How you can do user testing yourself in a inexpensive way:
http://www.youtube.com/watch?v=QckIzHC99Xc
6
Forberedelse
• Formulere testopgaver og planlægge hvordan og
hvor testen skal foregå
– Beslutte dataopsamlingsmetode og hvordan testlokalet
skal indrettes
– Anskaffe eller booke udstyr
• Rekruttering af testdeltagere
– Personer der matcher med målgruppen
– Ven, kollega , familie….
• Udførelse af pilottest
– Ven eller kollega
7
Dataopsamling og test-setup
• Det gør ikke den store forskel, hvor testen foregår
• Derimod er der forskellige holdninger til
dataopsamlingen
• Noter på papir anbefales af [Molich]:
– Det tvinger dig til at lytte, forstå, vurdere og udvælge
– Letter den efterfølgende analyse
• Gratis skærmoptagelsesværktøjer kombineret med
lydoptagelser og web cam giver et solidt
dokumentationsgrundlag .
– Optagelser af brugerens ansigt kan bruges til at evaluere de
oplevelsesmæssige aspekter
– Omfattende analysearbejde
8
Eksempel: Test setup
9
Design af testopgaver
En kritisk aktivitet
• Start med at lave en liste over de vigtigste opgaver som
brugeren skal kunne udføre, dvs. use cases og trinene i
use cases (use case funktionalitet)
– Udvælg kritiske use cases, dvs. ting som brugere skal være i stand
til at kunne gøre. Og hvad der ellers holder dig vågen om natten!!!
• Beslut hvad der skal testes
• Formuler de opgaver I vil stille brugeren ved at lave
forskellige testscenarier over udvalgt use case
funktionalitet :
– Skal være realistisk, have en logisk rækkefølge og et slutpunkt
– Undgå skjult hjælp, fx ord der er anvendt på sitet
– Test helheden dvs. den samlede oplevelse.
• Den første opgave skal være let
10
Eksempel på testopgaver og
testscenarier for en Web-shop
Opgave 1: Find ønsket cd (første step i use casen: Køb vare)
Scenarie 1.1
• Du kunne tænke dig en populær cd, der ikke er for dyr. Har web-sitet
noget spændende?
Scenarie 1.2
• Du vil gerne bestille ”Åh abe”. Har de den? (uden brug af søg)
Opgave 2: Find leveringsoplysninger (step i use casen : Find
leveringinfo, som er inkluderet i alternativ flow til use casen: Køb
vare))
Scenarie 2.1
• Du har fundet en cd til dig selv og vil gerne lige tjekke leverings- og
betalingsbetingelserne. Er dette muligt?
Opgave 3: Køb cd’en (andet step i use casen: Køb vare)
Scenarie 3.1
• Du vil gerne købe den fundne cd. Udfør købet. (stop ved betaling)
Scenarie 3.2
• Du fortryder købet af cd’en. Hvad gør du?
11
Introduktion (briefing)
Før I går igang med selve testen er det en god ide, at stille
brugeren nogle indledende spørgsmål, der kan være
nyttige ved vurdering af testen (spørgeskema), fx
Demografiske data
Alder, uddannelse, IT baggrund osv
Forventninger
Hvad er dine forventninger til systemet?
Har du erfaringer med anvendelse af lignende
systemer?
…...
12
”The home page tour”
I forbindelse med introduktionen af det site brugeren skal
teste, er det en god ide at teste om brugeren kan se, hvad
sitet tilbyder
Bed brugeren om at se på udvalgte sider (fx forside og
hovedside) og fortælle hvad det umiddelbare indtryk er,
hvem der er afsenderen og hvad man kan gøre herfra, fx:
Hvad synes du om dette skærmbillede?
Hvad tror du du kan gøre herfra?
Er det hvad du forventer (fx når du viser næste billede,
der illustrerer reaktionen på handlingen)
13
Eftersnak (debriefing)
• Når brugeren har været igennem alle testopgaver
afsluttes med nogle spørgsmål der har til formål, at få
indblik i brugerens samlede opfattelse af web-sitet
• Overvej følgende spørgsmål:
– Har web-sitet indfriet dine forventninger?
– Manglede der noget?
– Hvis der her været alvorlige problemer: Hvordan kan vi
ændre websitet, så problemet undgås?
– Er svartiderne tilfredsstillende?
– Passer den designmæssige stil til din opfattelse af ”afsender”
– Vil du anbefale web-sitet til andre?
14
Udførelse af testen
•
Testlederens adfærd
Velkomst og introduktion
– Forklar formål og metode.
– Interview brugeren
•
Udførelse af test
– Brugerne løser en opgaverne ved
hjælp af systemet
– Brugeren "tænker højt" imens:
han/hun beskriver intentioner og
forståelse
– Forsøgsleder observerer (evt.
optages testen på video eller gratis
programmer til skærmoptagelse og
optagelse af lyd)
– Forsøgslederen hjælper når
forsøgspersonen er gået i stå
•
Opsamling og afslutning
© (2002-03) Mikael B. Skov, Jan
Stage og Jesper Kjeldskov
15
vær upartisk
pas på kropssprog og ytringer
tænk på hver forsøgsperson som
et individ
stil spørgsmål i stedet for at give
svar
Relation til forsøgsperson
lad være med at redde dem
vær sikker på at opgaven er
afsluttet
Opgaver og observationer
Giv brugeren en opgave ad gangen, start med en
let
Hold øje med hvordan testdeltagerne reagerer på
de situationer der opstår:
Tøven, søgen, omveje, fejl
Hent inspiration fra Steve Krug:
http://www.sensible.com/downloads-rsme.html,
download Demo Test video
16
Forslag til spørgsmål testlederen kan stille undervejs
(Things a Therapist would say [Krug])
17
Analyse af datamateriale efter
afsluttet test
• De fundne problemer gennemgås og vurderes
• Hvor forekommer problemet?
– Generelle funktioner, menuer, søgning eller tilknyttet
indhold på et specifikt skærmbillede
• Hvad går problemer ud på?
– Beskriv problemet
• Hvor alvorlig er problemet [Molich]
– Kategorier: Kosmetisk problem, Mindre problem,
Alvorligt problem, Kritisk (katastrofalt) problem
– Hertil kommer kategorierne: Godt , Forbedringsforslag
– Forslag til Ikoner se næste slide
18
Klassificering ved brug af Ikoner
19
Forslag til indhold af testrapport
Et kort resumé
En beskrivelse af testpersonerne og deres baggrund
En beskrivelse af hvad der er testet, dataopsamling samt
spørgsmål
Liste over de vigtigste problemer og løsningsforslag
Husk også at beskrive hvad der er godt
Detailbeskrivelser og løsningsforslag
Introducerende spørgsmål og svarene herpå
De enkelte testopgaver, fundne problemer evt. vist på en
illustration af skærmbilledet, deres alvorsgrad (klassifikation) samt
løsningsforslag
Se også template:
http://www.usability.gov/how-to-andtools/resources/templates/report-template-usability-test.html
20
Eksempel: Uddrag af testrapport
Se fx:
http://www.dialogd
esign.dk/Testrappor
ter_fra_DD.htm
21
Nyttige links vedr. usability
www.dialogdesign.dk (eksempler på rapporter)
www.rocketsurgerymadeeasy.com (udførelse af
test)
www.usability.gov (templates)
(http://www.usability.gov/how-to-andtools/resources/templates/report-template-usabilitytest.html)
www.useit.com
www.bedstpaanettet.dk
22
Opgaver – se opgaveark
• Opgave 1 og 2: Formulering af testopgaver og
interviewspørgsmål
• Opgave 3: Drejebog over forløb, klargøring samt pilottest
• Opgave 4: Udførelse af test – 1 session for hver af jeres
tests (der bør være mindst 3
• Opgave 6: Opsamling og afrapportering.
http://www.usability.gov/how-to-andtools/resources/templates/report-template-usabilitytest.html
• Rapporten fremlægges!!
23