The LEGO Journey:
Building an agile test foundation one brick at
the time
Casper Gaardland Englund
Stephan Hjelmdal Nielsen
©2013 The LEGO Group
l
TestExpo ‘15
Hvem er vi?
Casper Englund
•
•
Page 2
Uddannet datamatiker
Senior Software Test Engineer i LEGOs marketingafdeling
©2013 The LEGO Group
Hvem er vi?
Stephan Nielsen
•
•
•
Page 3
MSc in Information Management and Business
Konsulent hos CapgeminiSogeti Danmark A/S
Arbejder med kvalitetsikring og agil udvikling hos LEGO A/S
©2013 The LEGO Group
Medielandskabet
+350.000.000
sidevisninger
+27.000.000
unikke besøg
+50 websites
under
LEGO.com
Op til 23
sprog pr. site
25% besøg
fra mobil /
tablet
Page 4
Kvalitet hos LEGO
Page 5
Rejsen
Hvordan startede LEGO arbejdet
med webudvikling og
kvalitetssikring?
Hvordan arbejder LEGO med
test og agil udvikling I dag på
den digitale portefølje I CMA?
Page 6
©2013 The LEGO Group
The testing dream
Værktøjer
Proces
Teststrategi
Page 7
Hvad er Consumer Marketing Agency?
CMA
Digital
Solutions
Digital Product
Development &
Innovation
…
Digital Platform
…
Digital Marketing
Development
Page 8
Consumer
Marketing Agency
…
…
…
…
…
…
LEGO.com tidslinie
1996
Page 9
2000
2004
2005
2009
Den spæde start
FIX
LIVE
Deploy
FTP
Dev team
Local test
Page 10
LIVE
verificering
Udviklingsværktøjer
Page 11
©2013 The LEGO Group
Strukturering og SCRUM
Daily
scrum
Product
backlog
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Page 12
Sprint
backlog
Item C
Item D
Item E
Item F
Item G
Item H
2 week
iterations
Sprint
activities
Sprint review
Sprint demo
Sprint
retrospective
Continuous integration
QA
Page 13
QA
QA
QA
QA
QA
CI værktøjer
Page 14
LEGO.com i dag
Responsive?
YEAH!
Page 15
Test i udviklingsproces i dag
Lokal
server
Dev
WebQA
• Build
• Deploy
• QA / udvikler test
• Deploy
• Verificering / validering
• Redaktør miljø
• Deployment 2 gange ugentligt
• Verificering / validering
LIVE
Page 16
Test i dag
Page 17
LEGO DS Portfolio
Page 18
LEGO DS Portfolio
Page 19
Infrastruktur
Page 20
1 server
DEV miljø
4 servere
QA miljø
12 servere
Produktionsmiljø
2 Datacentre
US / EU
2 Byggeserver
Applikation og
unit test
4 testservere
UI Test
Værktøjer
Page 21
Automatiseret Accept Test
Page 22
Automatiseret Accept Test
Page 23
Udfordringer
Page 24
Udvidet medielandskab
Page 25
Kontrol over indhold
Automatisk test
Page 26
Proces udfordringer
Decentralisering af
test proces
Testdesign /
Testplan
Dokumentation /
traceability
Page 27
Decentralisering af
test strategi
Potentielt
ustruktureret og
uformaliseret
Menneskelige udfordringer
Tidligere
udviklere
Traditionelle
systemtestere
Tekniske
testere
Manuelle
testere
Domæne
kendere
Page 28
Test pyramide
Manuel test
Accept test
System test
Integrationstest
Unit test
Page 29
Drømmen
Page 30
Test strategy
Align test strategy
across organization
DS Test
strategy
CoE
Test strategy
Test strategy
Test strategy
Test strategy
Test strategy
Test strategy
QA
Page 31
QA
QA
QA
QA
QA
Proces
Page 32
©2013 The LEGO Group
Strukturering og SCRUM
Daily
scrum
Automation test
center
Product
backlog
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Item
Page 33
Sprint
backlog
Item C
Item D
Item E
Item F
Item G
Item H
2 week
iterations
Sprint
activities
Sprint review
Sprint demo
Sprint
retrospective
Kode Kvalitet
Page 34
Kode Kvalitet
Page 35
Indholdsstruktur
Page 36
Visuel test
Page 37
Mobil Test
Parallel
mobile tests
Test report
Page 38
Chaos Monkey
Features
• Kører kun i arbejdstiden
• Gennemfører tilfældige
handlinger
• Effektiv til at opdage
svagheder i setup
Page 39
Page 40
Test rapportering
Allure
• Allure Test
Report
Page 41
Cloud Partner
Page 42
Definition af test profiler
Website
Website
Komponent
Website
Komponent
Infrastruktur
Page 43
Strategi eksekvering
2015
Q1
Q2
2016
Q3
Q4
Q1
Q2
2017
Q3
Q4
Q1
Q2
Q3
Offshore test
Strategi
Test policy
Test roller
Test strategi
Offshore AAT
Mobile first
Test strategi
Test management
DoR, DoD, DoS
Proces
Test roller
Testdesign
Offshore AAT
BDD
TIOBE
Værktøjer
Allure
Webspider
Dynamisk UI test
Mobile automation setup
Automation framework
Page 44
Chaos monkey
Q4
Q & A (Spørgsmål)
Kontaktoplysninger
Casper Englund
[email protected]
Stephan Nielsen
[email protected]
Page 45