Brukertesten - Making Waves
Er brukerne dumme? Frokostseminar – Making Waves – 9. november 2010 HVA SKAL VI SNAKKE OM? Brukertesting • Både Tarantell og Making Waves har lang erfaring med brukertesting. Vi har utført tester for en rekke norske virksomheter, blant annet Norwegian, Finanstilsynet, Helly Hansen, Norsk Tipping og Sparebanken Vest. • På dette frokostseminaret vil vi dele våre erfaringer og vise hvordan funn fra brukertester kan gi deg fornøyde brukere som oppfører seg slik du ønsker på nett og dermed øker inntjeningen din. • Vi ser på hvordan en brukertest bør gjennomføres og hvilke resultater du kan oppnå når den gjøres riktig. Du får vite når du bør gjennomføre en test, hva den kan gi svar på, hvordan den bør utformes og hvordan brukere bør velges ut. • Gjennom konkrete eksempler vil vi vise hvorfor brukertesting er oppskriften på smarte, resultatgenererende og fornøyde brukere. HVA SKAL VI SNAKKE OM? Agenda 08.30 Er brukerne dumme? Hvorfor brukertest? Hva kan brukertesten gi svar på? 09.15 Kaffe og frukt + Spørsmål samles inn i esken 09.30 Hvordan gjennomfører vi en god brukertest? Hvordan kommer man fra brukertesten til resultat og de gode tiltakene? 10.15 Oppsummering og diskusjon 10.30 Takk for nå! HVEM ER VI? Haakon Halvorsen Leder for Experience research Erfaring • Ca. 10 års erfaring som konsulent i hhv. Razorfish, Creuna, Tarantell og Making Waves • Ca. 10 års erfaring med informasjonsarkitektur • Jevnlig brukertesting av ulike løsninger og nettsteder de siste 10 år Utdanning • Cand.mag. fra UiO HVEM ER VI? Ragnhild Ask Torvik Experience researcher Erfaring • Brukertesting og evaluering av nettsteder i Tarantell og Making Waves • Brukerinvolvering i design, funksjonelle kravspesifikasjoner og evaluering av kontrollrom i Scandpower Risk Management • Utprøving av integrerte operasjoner og nye samarbeidsformer ved Statoils forskningssenter Utdanning • Sivilingeniør i industriell design fra NTNU • Bachelor i sosialantropologi fra UiB Er brukerne er dumme? Av og til kan det virke slik… ER BRUKERNE DUMME? Hvorfor gjør brukerne slik? • Hvorfor forlater brukerne fulle handlekurver i nettbutikken eller ledige flyseter midt i bookingen? • Hvorfor overser de viktig informasjon og klikker seg videre i feil retning? ER BRUKERNE DUMME? Topp 7 frustrasjoner 1. 2. 3. 4. 5. 6. 7. De er dumme! De har tunnelsyn! De er late! De er trege! De juger! De liker ikke forandring! De glemmer! ER BRUKERNE DUMME? MEN: Brukerne har ALLTID rett :D OG: Det er din feil! ER BRUKERNE DUMME? Hva gjør at de feiler? • Vi har prinsipper for design og usability • Bygger på bl.a. kognitiv psykologi • Er informasjonsarkitektur, interaksjonsdesign og grafisk design godt utført? • OG: Fungerer det i denne brukssituasjonen? ER BRUKERNE DUMME? Ergonomi ER BRUKERNE DUMME? Brukeropplevelse er sammensatt av 7 faktorer • Tilbyr du noe som brukerne har behov for og kan se verdien av? Morvilles kube ER BRUKERNE DUMME? Forventninger • Hvor mye truer du brukerne dine til å gjøre før de får noe tilbake? • Hvor mye forlanger du at de skal investere i sin tid for at du skal gi de det de ba om i første omgang? • Hvem tar oppvasken? "I'm Not Here To Be In a Relationship" ER BRUKERNE DUMME? Jakob's Law of the Web User Experience “Users spend most of their time on other websites." Hvorfor brukertest? Alt du lurer på om brukertesting men ikke turde å spørre om… 11.11.2010 © MAKING WAVES 20 HVORFOR BRUKERTEST? Hvorfor brukertesting? • «Vi ønsker å forsikre oss at det er brukervennlig før vi lanserer!» • «Vi er uenige med avdeling XYZ om en rekke ting og vi tar en brukertest for å finne ut hva som er riktig» • «Vi har penger igjen på budsjettet og må bruke det opp før jul (!)» • «Jeg har blitt anbefalt av en venn å gjennomføre brukertesting på nettsidene våre, det er visst veldig artig og gir bra resultat» • «Kunden har spesifisert at brukertesting er inkludert i prosjektet» 11.11.2010 © MAKING WAVES 22 HVORFOR BRUKERTEST? forts. hvorfor brukertesting? • «Sjefen min tror at nettstedet er perfekt og tror at vi ikke trenger penger på neste års budsjett til videreutvikling av nettstedet» • «Vi har fått levert en elendig løsning fra vår leverandør og ønsker bevis for at det er så dårlig som vi tror…» • «Vi er opptatt av at løsningen er så enkel å bruke som mulig» • «Vi er opptatt av resultater og ønsker at det blir minst 5% færre handlekurver som forlates på nettstedet vårt» 11.11.2010 © MAKING WAVES 23 HVORFOR BRUKERTEST? Hva lurer våre oppdragsgivere på? • • • • • • • • «Liker brukerne nettsidene våre?» «Finner de frem på nettsidene våre?» «Har de problemer med navigasjonen vår?» «Klarer brukerne å bestille flybilletter?» «Klarer brukerne å betale regningene sine eller bestille fond?» «Hvor får de problemer på nettsiden vår?» «Skjønner de det nye kommunikasjonskonseptet vårt?» «Ser de innloggingen? Og klarer de å logge inn?» 11.11.2010 © MAKING WAVES 24 HVORFOR BRUKERTEST? ROI på brukertesting • Det finnes mange eksempler på at brukertesting lønner seg. • De mest kjente eksemplene er akkurat nå: – «How one extra field cost $12m» (Expedia, 2010) – «The $300m button» (Ukjent, 2009 – se uie.com) • How Changing a Button Increased a Site's Annual Revenues by $300 Million – «Hvordan Making Waves (Tarantell) sørget for et titalls millioner kroner ekstra på bunnlinjen for Norwegian» (2009) 11.11.2010 © MAKING WAVES 25 Hva kan brukertesten gi svar på? Når bør du gjennomføre brukertest og når kan en annen metode gi svar på dine spørsmål? 11.11.2010 © MAKING WAVES 26 HVA KAN BRUKERTESTEN GI SVAR PÅ? Hva svarer brukertesten på? • Donald Norman bruker begrepene – visceral (om det estetiske m.m.) – behavioral (om adferd) – reflective (om det intellektuelle) • Brukertesten svarer på spørsmål knyttet til adferd - behavioral. • Den kan ikke fortelle om brukeren syns ditt nettsted er visuelt tiltalende eller intellektuelt utfordrende og spennende. HVA KAN BRUKERTESTEN GI SVAR PÅ? Andre metoder KVALITATIV Ekspertevaluering Brukerintervjuer Fokusgrupper Brukertesting Feltstudier Eyetracking Cardsorting Personas HOLDNING ADFERD Persepsjonsanalyse Finnbarhetstest Sidetrafikk Polling Logganalyser Spørreundersøkelser KVANTITATIV HVA KAN BRUKERTESTEN GI SVAR PÅ? Data driven design • Større internasjonale aktører som f.eks. Expedia bruker analytics aktivt for å optimalisere design • Komplementært til design og usability ”If you stare at the dashboard, you crash” HVA KAN BRUKERTESTEN GI SVAR PÅ? Video: Er engelsk greit? • Video fra brukertest av Helly Hansen hvor alle brukerne sier noe slikt som: – «Jeg har ikke problemer med engelsk, men alle andre derimot…» og – «Helly Hansen er norsk, hvorfor har de ikke norske sider» • Det egentlige høydepunktet kommer når en av brukerne skal betale for varene, men lurer på om det blir toll på varene fordi det er et engelsk nettsted. Så lurer han på om det er et engelsk nettsted og er egentlig veldig usikker… • Eksemplet viser at noen ganger er det også riktig og viktig å høre hva brukerne sier. PAUSE Husk å legge dine spørsmål i esken! Hvordan gjennomfører vi en god brukertest? Oppmerksomhetstesten: Tell antall pasninger mellom de hvitkledde spillerne HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Resultatet 50% Ser ikke den dansende bjørnen i det hele tatt. NB! En gruppe som fikk i oppdrag å se på de svarte spillerne la merke til bjørnen dobbelt så mange ganger! 38 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Praktiske spørsmål • «Kan vi være med på brukertestingen selv?» • «Hvor mye koster det?» • «Blir det billigere om vi stiller med egne folk til å gjøre testen?» • «Blir det billigere om vi ikke bruker lab?» • «Hvor mange brukere må vi teste?» • «Når bør vi gjøre testen?» 11.11.2010 © MAKING WAVES 39 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Brukertesten fra A til Å • • • • • • • • • • Lag en testplan Vurder om testen skal kjøres i lab eller annet sted Rekrutteringskriterier og rekruttering av brukere Forbered oppgaver til testen Pilottest Utfør brukertesten Oppsummering med kunden Analysere funn og redigere video Prioritere funn og tiltak Workshop/ presentasjon HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Rekruttering Rekrutter personer som kan være reelle brukere. • Velg dine viktigste målgrupper • Både demografi og interesser kan være kriterier • For Helly Hansen var ett av kriteriene at de måtte være interessert i utendørssport • Unngå ”eksperter”, med mindre du lager noe helt spesielt – vi unngår å rekruttere folk fra IT og media til de fleste av våre tester HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Målgrupper • Stor forskjell på brukerne, selv om du har rekruttert f.eks to kvinnelig sykepleier på 32 år. • Ofte har én bruker i testen fremstått som en ”superbruker”, som raser gjennom alle oppgavene og får til alt slik kunden hadde forventet DERFOR ANBEFALER VI • Minst 3 fra hver målgruppe • IKKE bruk egne ansatte eller folk med IT bakgrunn HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Antall brukere Hvor mange brukere trenger du? • Noen sier at 5 – 6 er det magiske nummeret, men vår anbefaling om 3 brukere fra hver målgruppe tilsier at 6-8 brukere er bedre. • Desto mer komplekse problemstillinger og oppgaver, desto flere brukere trenger vi. • Vi opplever ofte at det blir færre funn når vi kommer til bruker nr 8 og 9, men det kan være nye ting som avdekkes der også. Oppgaver til testscript • • • • Open ended vs scripted Vi har ofte ca 8 oppgaver De gås igjennom med oppdragsgiver og med pilotbruker før testen Bruker ofte 40 – 50 minutter i selve testen Et typisk testscript: • Introduksjonsspørsmål for at brukeren skal slappe av • Praktiske oppgaver • Debrief og brukerens opplevelse av site HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Hvem bør observere testen? • Brukertest bør sees av hele prosjektgruppen – Designer – Informasjonsarkitekt – Prosjektleder – Programmerere • Fra kunde bør deltakere komme fra: – Ledelse – Markedsføring – Kundestøtte – IKT! • • MEN sørg for at hver person ser minst 2 personer. Det er veldig lett å få et helt feil bilde av en test dersom man er uheldig og observerer en person som enten er «for god» eller «for dårlig». 45 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Testoppsett Brukeren blir presentert for en rekke testoppgaver Interaksjonen som skjer med systemet blir tatt opp og lagret som videofiler. På observasjonsrommet registreres brukerens handlinger, analyseres og loggføres av observatør(er) Han/hun blir filmet med to videokameraer og blir også overvåket fra PC til PC forbindelse for å se musbevegelser mm. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Aktører Oppdragsgiver: Den som bestiller brukertesten. Testdeltaker: Forsøkspersonene som blir rekruttert til å delta i brukertesten. Testleder: Veileder brukerne og gir testoppgavene ut fra testskriptet. Hovedobservatør: Vår observatør, som noterer, markerer videoklipp og gjennomgår funn med oppdragsgiver underveis. Observatører: Alle representanter fra Oppdragsgiver som har interesse av å observere brukertesten fra observasjonsrommet. HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Testdeltakerne (brukerne) HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Moderering Å være en god moderator/ testleder er ikke lett… Du må være • tålmodig • nysgjerrig • ikke avbryte • ikke lede for mye • ikke bekrefte • få dem til å tenke høyt HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Retningslinjer for observatører • Bruk «innestemmen» • Behandle deltakerne med respekt • Se hva brukerne gjør, ikke legg vekt på subjektive meninger om design eller interaksjon. • Diskuter funn med de andre i pausen mellom deltakerne • Ta med en stor dose tålmodighet! • Hvis du bare kommer for å spise pizza og drikke brus…. Ok, det hadde vært billigere å sitte på Peppes ;) 50 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Observasjon • Vit hva du skal se etter: – Tenk igjennom mulige scenarier og test oppgavene på deg selv og vær forberedt! – Legg inn stikkord i testscriptet slik at du og alle som skal observere vet litt hva de skal se etter. • Brukere skal sees ikke høres! – Mer om dette kommer…. • Noter gjerne banale hendelser og marker tidspunktet for når noe vesentlig skjer slik at det er lett å finne tilbake. – Dette ser man ofte etter at det har skjedd og man rekker ofte ikke å skrive ned hva som faktisk skjedde. – Banale hendelser skaper ofte et mønster som du får bruk for senere. 51 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Brukere skal sees, ikke høres! • Når testdeltakere bruker ord og setninger som: – «Jeg ville ha…» – «Andre ville ha gjort…» – «Hvis denne knappen hadde vært rød…» – «Jeg klarte ikke dette, men andre ville ha…» • Dvs. alle antakelser og hypoteser brukerne gjør om sine egne og andres handlinger kan du se bort fra! • MEN… 52 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Lytt til brukerne dine! • Når de gir svar på spørsmål som: – «Hva tror du vil skje hvis du klikker på denne?» – «Kan du forklare meg hva du kan gjøre her?» – «Hva er dine erfaringer med dette fra før?» – «Hva forventer du å finne på nettsiden?» – Dvs. deres forventninger til hva som skal skje og hva de har opplevd før kan måles opp mot det som faktisk skjer der og da! – All informasjon som er nyttig for å forstå hvordan de tenker er også nyttig. 53 HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Faktorer som påvirker resultatet • • • • • • • Open ended vs. Scripted testoppgaver Realisme – skal brukeren kjøpe noe? Situasjon – testsituasjonen påvirker bl.a. tålmodighet etc. Antall brukere Demografi? Hvor viktig er dette og hva? Erfaring med tema, erfaring med internett etc. Testleder (ledende spørsmål etc) Huskelister For bedre gjennomføring HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Forberedelse Ansvarlig Beskrivelse Tidspunkt Oppdragsgiver og MW Oppdragsgiver og MW Min. 1 uke før testen Oppdragsgiver og MW Utarbeide verveguide til rekruttering av deltakere Helst 2 uker før testen Oppdragsgiver og rekrutteringsbyrå Oppdragsgiver Rekruttere testdeltakere – husk å ha 2(1) deltakere i reserve Helst 2(1) uker før testen Utarbeide innhold til prototypen Min 1 uke før testen Rekrutteringsbyrå / MW Min. 1 uke før testen Rekrutteringbyrå Sett opp timeplan for testen. Minimum 15 minutters pause mellom deltakerne. Minne deltakere om brukertest Oppdragsgiver og MW Avstemme testscript Min. 4 dager før testen MW Booke test-rommene Min. 2 uker før testen Oppdragsgiver Kjøp deltakerpremie eller sørg for at disse er tilgjengelig. Gavekort på 500,- er standard. Min. 1 uke før testen Dagen før HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Pilottest Ansvarlig Beskrivelse Tidspunkt Testleder og testmedhjelper MW PILOTTEST, helst 3 dager før hovedtest Etter pilottest MW Gjennomfør minimum 1 pilottest med spørreskjema og etterintervju Gjør endringer i testopplegget (testscript/prototyp) dersom det er nødvendig etter pilottesten Ta utskrift av taushetserklæringen hvis nødvendig MW Kjøp forfriskninger til bruk under testen (farris, cola etc.) Dagen før testen Oppdragsgiver Evt. godkjenning av justert testscript Etter pilottest Dagen før testen HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Brukertesten Ansvarlig Beskrivelse Tidspunkt Making Waves Før testen Making Waves Informer resepsjonen om at testen skal gjennomføres og gi timeplan for testen (med navn) Heng timeplanen på døra til testplanen. Informer alle på teststedet om testen Ha Kaffe og forfriskninger til Testdeltakerne klart Making Waves Sjekk at det er film i kameraene Rett før testen Making Waves Rett før testen Making Waves Sørg for at prototypen er resatt og satt til å vise førstesiden (minimer) Be deltaker signere taushetserklæring Making Waves Gjennomfør spørreundersøkelse TESTEN Making Waves Gjennomfør praktisk test TESTEN Making Waves Gjennomfør etterintervju TESTEN Making Waves Gi deltakeren deltakerpremie TESTEN Making Waves Skriv problemrapport med funn fra brukertesten. Etter testen Making Waves Opptak fra testen klargjøres til leveranse dersom dette er avtalt på forhånd Overlevere problemrapport til Oppdragsgiveren i et eget presentasjonsmøte Etter testen Making Waves Making Waves og Oppdragsgiveren Oppdragsgiveren godkjenner problemrapporten. Før testen Rett før testen TESTEN Etter at rapporten er ferdig HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Møter Ansvarlig Beskrivelse Tidspunkt Making Waves Making Waves/ Oppdragsgiver Oppstartsmøte Making Waves Making Waves/ Oppdragsgiver Avstemming av testscript Making Waves Making Waves/ Oppdragsgiver Presentasjon av testresultater HVORDAN GJENNOMFØRE EN GOD BRUKERTEST? Testmaler For å gjennomføre en brukervennlighetstest kreves følgende maler: • Verveguide • Taushetserklæring • Timeplan og deltakerliste • Excelark til testmedhjelper • Forintervju • Testskript • Etterintervju • Skjema for utfylling av potensielle testdeltakere Video: eksempel Et reellt eksempel fra en Brukertest • Du vil få se en 4 minutter lang video • Noter hva som skjer • Deretter viser vi hvordan vi analyserte testen Fra funn til tiltak 11.11.2010 © MAKING WAVES 62 «The usability test and cardsort has nothing to do with creating a good design, you can create an incredible crappy design from using these... We have proven this time and time again!» - Jared Spool: IA Summit keynote 2008 Fra prioritert tiltaksliste til skisse • Nedenfor er det illustrert hvordan en typisk testprosess ser ut: – En prioritert liste over tiltak med løsningsforslag fra brukertesten som fører til en wireframeskisse og grafisk uttrykk Anbefaling 11.11.2010 © MAKING WAVES 65 Designbrief: Vi endrer designet på selve filtreringen 2 1 4 5 3 Activity må forklares og settes under «Gender» i rekkefølge 66 «Collection» må forklares / showcases Denne inndelingen må splittes opp og restruktureres «Technology» må forklares og eventuelt ny navngiving Før Etter Diskusjon/ spørsmål Oppsummering BRUKERTESTING Oppsummering • • • • Ikke gjør brukerne dine dumme! Design for virkelige mennesker og situasjoner Test og test igjen Få med flest mulig fra din organisasjon til å observere testen Ta kontakt! Haakon Halvorsen Manager Experience Research [email protected] mobil 992 96 717 twitter: @haakonha
© Copyright 2024