Kristin Skeide Fuglerud
Stein Erik Skotkjerra
Till Halbach
Testing av tilgjengelighet på web –
metoder, hjelpemidler og verktøy
Testdagen ODIN
2015-09-23
1/46
2/46
Metoder
(v. Kristin Skeide Fuglerud)
3/46
Universell utforming (uu)
Forskrift for uu av IKT: “Med universell utforming menes
at utforming eller tilrettelegging av hovedløsningen i IKT
er slik at virksomhetens alminnelige funksjon kan
benyttes av flest mulig.”
FN’s definisjon (2006): "'Universal design' means the
design of products, environments, programmes and
services to be usable by all people, to the greatest
extent possible, without the need for adaptation or
specialized design. 'Universal design' shall not exclude
assistive devices for particular groups of persons with
disabilities where this is needed.”
4/46
Forskriften krever WCAG som igjen
krever kompatibilitet med hjelpemidler
5/46
Eksempler på
kompenserende
teknologi
Sansetap:
Skjermlesere og skjermforstørrere;
bedre kontraster; haptiske (følbare)
varsler; visuelle markeringer av
lyder
Bevegelseshemming:
Spesialmus, pedaler og brytere;
Øyestyring/ skjermtastatur;
Munnstyring
Kognisjon:
Retteprogram; Forenkling av
informasjon, Illustrasjoner; Audio,
syntetisk tale, lyder;
Omgivelseskontroll; Påminning,
Foto: iStock 2015
6/46
steg-for-steg instruksjoner
Hovedmål
IKT-løsninger som kan brukes av flest mulig,
inkludert personer med nedsatt funksjonsevne
Oppnås gjennom
A) Teknisk tilgjengelighet (en forutsetning)
© iStock 2014
B) God brukskvalitet
7/46
Testmetoder for teknisk
tilgjengelighet
Testing av teknisk tilgjengelighet
WCAG
Med IKT-hjelpemidler
Andre tekniske tester
(ARIA, CSS osv.)
8/46
Testmetoder for brukskvalitet
Eksperttesting
Heuristics/guidelines, personas, walkthrough
osv.
Brukertesting
Inkluderer personer med nedsatt funksjonsevne
Atferdsstatistikk
Spørreskjema, logger osv.
9/46
Andel avdekkede bruksproblemer
Omfattende brukertesting: 100% (utgangspunkt)
Ekspertsjekk av WCAG 2: Mellom 33% og 50%
sammenliknet med brukertesting [1,2,3]
Verktøysjekk av WCAG 2: Mellom 23% og 50%
sammenliknet med ekspertsjekk [4]
Achecker, SortSite, TotalValidator, TAW, Deque,
AMP
10/46
Andel bruksproblemer, forts.
100%
Alle tilgjengelighetsfeil
Best case
Worst case
80%
60%
100%
40%
50%
20%
25%
33%
0%
8%
Brukertesting
Ekspertsjekk
11/46
Verktøysjekk
Oppsummert: Kombinér testmetoder
1. Teknisk tilgjengelighet
2. Eksperttesting
3. Brukertesting med personer med nedsatt
funksjonsevne: Utnytt «kanarifugleffekten»
12/46
Oppsummering, forts.
Flere runder med mindre tester
Luk bort flest mulig tilgjengelighetsproblemer før
brukertesting
13/46
NS 11040 Universell utforming –
brukermedvirkning og IKT
Tips om hvordan involvere personer med
nedsatt funksjonsevne
14/46
Hjelpemidler
(v. Stein Erik Skotkjerra)
15/46
Samspill og grensesnitt
Hjelpemidler
Bruker
Nettleser
Webløsning
16/46
Forskriftens krav til nettløsninger:
WCAG 2.0-retningslinjene
WCAG er bygd opp av fire prinsipper
1. Mulig å oppfatte
2. Mulig å betjene
3. Forståelig
4. Robust
Prinsippene understøttes av 12 retningslinjer
17/46
Kompatibilitet – en utfordring
Skjermlesere
Cobra
Jaws
Window Eyes
Supernova
NVDA
Zoomtext
Voiceover (iOS)
Talkback (Android)
...
Nettlesere
Internet Explorer
Chrome
Firefox
Safari
...
18/46
Kompatibilitet, forts.
Skjermlesere
Cobra
Jaws
Window Eyes
Supernova
NVDA
Zoomtext
Voiceover (iOS)
Talkback (Android)
...
Ugh!
Så mye testing er umulig!
Trenger å vite hvilke versjoner og
kombinasjoner som er mest brukt!
Nettlesere
Internet Explorer
Chrome
Firefox
Safari
...
Et utall versjoner og kombinasjoner!
19/46
Undersøkelse om
skjermlesere og
-forstørrere
20/46
Statistikk om
skjermlesere og
-forstørrere
21/46
Noen glimt fra undersøkelsen
63 Respondenter
Internet Explorer: 75%
Firefox: 40%
Safari: 37%
Chrome: 32%
Mer enn 79% bruker to eller flere nettlesere
22/46
Hvilke hjelpemidler skal vi teste?
Avhenger av målgruppen
Brukere av hjelpemiddelprogramvare har ofte eldre
program- og maskinvare enn andre
Mange har flere ulike skjermlesere til ulike behov
Test et bredt utvalg dersom alle skal med
Test et mindre utvalg for å sikre kompatibilitet kun med
nyere versjoner
23/46
Eksempler
JAWS - Internet Explorer
Supernova - Internet Explorer
NVDA - Firefox
VoiceOver - Safari
Window Eyes - Firefox
24/46
Andre grunner til å teste
Kompatibilitet med hjelpemidler gir ...
1. sikkerhet for at løsningen kan brukes av flest
mulig
2. kvalitetssikring av kode
3. fordeler for brukere uten hjelpemidler også
4. løsninger som er teknologiuavhengige
5. løsninger som er mobilvennlige
25/46
Verktøy
(v. Till Halbach)
26/46
Oversikt
Mål
Oppfylle uu-forskriften / WCAG 2
Rimelig, overkommelig
Hvilke verktøy kan vi bruke til hva, og
hvordan?
27/46
På nettet
http://iktforalle.no/
accessibility-checker-evaluation/
28/46
Fremgangsmåte
12 Sjekkere
20 000+ tekniske tester
15 nettsider
3 eksperttestere
(høst 2014)
29/46
Fremgangsmåte, forts.
Funksjonalitet / fullstendighet
Riktighet
Brukskvalitet
30/46
And the Oscar goes to ...
Ingen
31/46
Amandaen går til ...
SortSite (v. Powermapper)
32/46
Funn
33/46
Funn, forts.
Ikke fullstendig
Mangler
Ufullstendig støtte
Store forskjeller
Hastighet, flerdokumentstesting, rapportering,
enkelt å bruke, ...
34/46
Funn, forts.
For lite automasjon: mange potensielle feil
Lav nøyaktighet
Ikke alle påståtte feil er virkelig feil
Langt fra «alle» feil blir funnet
Dokumentasjon med potensial for forbedring
Hva testes og hvordan
35/46
Eksempel menneske vs. maskin
1 Nettsted, 64 tester
Av alle feil på dette nettstedet fant ..
Menneske: 92%
TVP: 14%
Wave: 17%
FAE: 19%
36/46
Noble0, CC-BY-SA-3.0
Eksempel, forts.
37/46
Anbefalinger
Bruk flere sjekkere
Kryssverifisér resultatene
Involvér tilgjengelighetseksperter
Kjør brukertesting for fasiten
38/46
Andre tilgjengelighetssjekkere
W3C-liste
http://www.w3.org/WAI/ER/tools/
Usabilitygeek
http://usabilitygeek.com/10-free-web-based-website-accessibility-evaluation-tools/
...
39/46
Oppsummering
40/46
41/46
Stor takk!
Wojtek Lyszkiewicz, Unicus
Ingvar Tjøstheim, Norsk Regnesentral
EU Commission og FutureID-prosjektet
Deltasenterets UnIKT-program
NAV
42/46
Samarbeid
Innovasjonsprosjekter
Forsknings- og utviklingsprosjekter
Rådgivning
++
43/46
Kontakt
Kristin Skeide Fuglerud, Till Halbach
Norsk Regnesentral
[email protected], [email protected]
Nyhetsbrevet: http://weba.im/nyttomuu
Stein Erik Skotkjerra
Vision2Access
[email protected]
44/46
Referanser
1. Rømen, D. & Svanæs, D. (2010). Validating WCAG 1.0 and WCAG
2.0 through Usability Testing with Disabled Users . Unitech 2010,
Oslo (Norway), pp. 168-189: Tapir Academic Publishers
2. Power, C., Freire, A. P., Petrie, H. & Swallow, D. (2012). Guidelines
are only half of the story: accessibility problems encountered by blind
users on the web. Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, Austin, Texas, USA, pp. 433-442.
2207736: ACM
3. Vigo, M., Brown, J. & Conway, V. (2013). Benchmarking web
accessibility evaluation tools: measuring the harm of sole reliance on
automated tests. Proceedings of the 10th International CrossDisciplinary Conference on Web Accessibility, Rio de Janeiro, Brazil,
pp. 1-10. 2461124: ACM
4. Brajnik, G., Yesilada, Y. & Harper, S. (2012). Is accessibility
conformance an elusive property? A study of validity and reliability of
WCAG 2.0. ACM Trans. Access. Comput., 4 (2): 1-28
45/46
Onlineressurser om tilgjengelighetstesting, brukskvalitet og uu
W3C: Accessibility Testing. http://www.w3.org/wiki/Accessibility_testing
University of Cambridge: Inclusive Design Toolkit.
http://www.inclusivedesigntoolkit.com/
Magnusson, C., Rassmus-Gröhn, K., Tollmar, K. & Deaner, E. (2009):
HaptiMap: Haptic, Audio and Visual Interfaces for Maps and LocationBased Services.
http://www.english.certec.lth.se/haptics/papers/HaptiMap_d12.pdf
Maguire, M. C. (1998): Respect user-centred requirements handbook.
HUSAT Research Institute.
http://www.scs.ryerson.ca/~cps613/References/UsabilityEngineering
/User-Centred%20Requirements%20Handbook/contents.htm
Usabilitynet.org: http://www.usabilitynet.org/tools/methods.htm
46/46