Godkendelseskriterier

GODKENDELSESKRITERIER
NETVÆRKSMØDE DEN 30. JANUAR 2014
NETVÆRKSMØDE DEN 30. JANUAR 2014
GODKENDELSESKRITERIER
Indlægget drøfter med udgangspunkt i konkrete eksempler forskellige
typer af godkendelseskriterier ved afprøvning i udviklings- og
driftsaftaler og de overvejelser, der bør gøres i forhold til valg af kriterier
og overtagelsesproces for de to typer af kontrakter.
NETVÆRKSMØDE DEN 30. JANUAR 2014
GODKENDELSESKRITERIER
• Agenda
1. Problem i praksis eller?
2. Leverancetyper og overtagelsesprocessen
3. Regulering i ex. K01, K02 og K03 og evt. behov for justeringer?
4. Hvad er god markedsstandard for godkendelseskriterier i en
udviklingskontrakt og driftskontrakt
5. Diskussion
NETVÆRKSMØDE DEN 30. JANUAR 2014
Ad. 1 Problem i praksis eller?
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD1: STATISTIK FRA IACCM - HVAD GÅR TYPISK GALT?
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 1: ER GODKENDELSESKRITERIER ET OMRÅDE, SOM OFTE
GIVER ANLEDNING TIL PROBLEMER?
• Fokusområde hos advokatkontorer, analysevirksomheder og organisationer, herunder Gartner, BVH
og IACCM
• Kontraktområde, som lander mellem flere faggrupper, (juridiske, leverancemæssige og
projektledelse)
• Ofte også stor uenighed om selve prøveplanen, cases og hvornår prøven er afsluttet
• Påfører projektet stor kommerciel og projektmæssig risici, hvis der ikke er den rette regulering i
kontrakten
• Manglende sammenhæng mellem regulering i hovedkontrakten og i prøvebilaget
• Sammenhæng til bods-og erstatningsbestemmelser samt bestemmelser om proactive remedies
NETVÆRKSMØDE DEN 30. JANUAR 2014
Ad. 2 Leverancetyper
og overtagelsesprocessen
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 2: LEVERANCETYPE OG OVERTAGELSESPROCESSEN OG
BETYDNINGEN FOR GODKENDELSESKRITERIERNE
• Skal tilpasses til den konkrete leverance, herunder i forhold til transitionsplanen
for projektet
• Godkendelseskritierne skal tilpasses de forskellige type af prøver
• Overvejelser i forhold til fall-back mulighederne, hvis prøven ikke bestås
• Skal tage højde for mulighederne for at gentage prøverne, hvor der kun er visse
tidsslot på måneden eller året, hvor prøverne kan gennemføres
• Overvejelser i forhold til funktionaliteter i systemet, som kun kan afprøves i
bestemte tidsrum
NETVÆRKSMØDE DEN 30. JANUAR 2014
Ad. 3 Eksempler på regulering i K01, K02, K03
og i en driftskontrakt
og evt. behov for justeringer?
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: K01 – GODKENDELSESKRITERIER – BILAG 8 PKT. 3.5
Kravene til overtagelsesprøvens resultat er opfyldt, hvis prøven gennemføres uden konstatering af
en eller flere kvalificerede mangler.
Der er tale om en kvalificeret mangel hvis,
• flertallet af brugerne ikke kan anvende systemet eller funktionaliteten er nedsat i en sådan
grad, at systemet må anses for ude af drift, eller
• anvendeligheden af systemet nedsættes eller besværliggøres i betydende omfang, eller
• anvendeligheden af systemet er nedsat i ikke ubetydeligt omfang, med mindre manglen kun
berører enkelte af de relevante brugere eller manglen kan omgås uden betydelig ekstra
indsats for kunden.
• et af de i bilag 10 anførte servicemål er forringet med mere end […]%, forudsat at det er
aftalt at servicemålet afprøves under overtagelsesprøven.
• der konstateres væsentlige mangler ved tilknyttede ydelser.
• ..[…]
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: K01 – GODKENDELSESKRITERIER – BILAG 8 PKT. 3.5,
FORTSAT
Der er ikke tale om en kvalificeret mangel hvis,
• der blot er tale om at en enkelt funktion ikke virker, med mindre den pågældende funktion
har central betydning for kundens anvendelse af systemet, eller
• kun […] brugere ud af en større brugergruppe er påvirket af manglen, og således at de
øvrige brugere i brugergruppen fortsat kan anvende systemet, eller
• der blot er tale om at en enkelt funktion ikke virker, med mindre den pågældende funktion
har central betydning for kundens anvendelse af systemet.
• […]
Såfremt antallet og indholdet af ikke kvalificerede mangler er af et sådant omfang at kundens
anvendelse af systemet herigennem påvirkes som havde der været tale om en kvalificeret
mangel, vil disse samlet blive anset som en kvalificeret mangel. Antallet af ikke kvalificerede
mangler må under ingen omstændigheder overstige […].
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: K02 – GODKENDELSESKRITERIER, BILAG 14: PRØVER,
(VEJLEDNINGSTEKST)
• Leverandøren fremkommer som en del af sit tilbud med afprøvningsprogram,
afprøvningsforskrifter, afprøvningsplaner og godkendelseskriterier. Hvis der er særlige forhold,
kunden ønsker adresseret i forbindelse med afprøvningen, herunder krav til godkendelse af en
bestået prøve, kan kunden med fordel vælge at opstille en række overordnede krav hertil som
en del af sit udbudsmateriale.
• De i bilag 6 anførte servicemål skal, medmindre andet angives i bilag 6, overholdes fra
overtagelsesdagen. Kunden skal være opmærksom på, at såfremt overholdelse af sådanne
servicemål (f.eks. svartider) skal indgå som en del af overtagelsesprøven, skal dette meddeles
leverandøren inden afklaringsfasens afslutning eller være omfattet af kundens eventuelle krav
til overtagelsesprøven.
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: K03 – GODKENDELSESKRITERIER, BILAG 6
(VEJLEDNINGSTEKST)
Det anbefales, at Kunden ved formuleringen af kravene samtidig foretager en indledende
formulering af det tilhørende acceptkriterier til brug for Interne Tests. Derved sikres, at kravene
kan verificeres og ikke bliver for upræcise.
-------Kontrakten forudsætter herefter, at Parterne i fællesskab, som led i planlægningen af den
kommende Iteration, fastlægger acceptkriterier til de krav, som er omfattet af den pågældende
Iteration, jf. Kontraktens punkt 5.2.1. Acceptkriterierne fastlægges i overensstemmelse med
retningslinjerne fastlagt i bilag 6. Acceptkriterierne anføres i dette bilag ud for det
korresponderende krav, jf. nedenfor i punkt 4.
-------I bilaget skal fastsættes kundens godkendelseskriterier for de enkelte prøver. Kunden skal i den
sammenhæng være opmærksom på Kontraktens punkt 7.4, hvoraf følger, at Kunden ikke kan
nægte godkendelse af en overtagelsesprøve under henvisning til, at godkendelseskriterierne til
Øvrige krav ikke er opfyldt. Såfremt godkendelseskriterierne til Øvrige krav ikke er opfyldt
behandles dette som en Fejl, som anføres i Fejllisten.
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: EKSEMPEL PÅ GODKENDELSESKRITERIER I EN
DRIFTSKONTRAKT
Leverandøren udarbejder en overtagelsesprøverapport, der forelægges Kunden til godkendelse.
Kravene til overtagelsesprøvens resultat er opfyldt, hvis prøven gennemføres uden konstatering
af én eller flere kvalificerede Fejl eller Mangler.
Der er tale om en kvalificeret Fejl eller Mangel, hvis:
•
•
Flertallet af Brugerne ikke kan anvende Driftsmiljøet eller de dele af Driftsmiljøet, der
gennemføres overtagelsesprøve på, eller funktionaliteten er nedsat i en sådan grad, at
Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres overtagelsesprøve på, må anses
for ude af drift.
Anvendeligheden af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres
overtagelsesprøve på, nedsættes eller besværliggøres i betydende omfang.
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: EKSEMPEL PÅ GODKENDELSESKRITERIER I EN
DRIFTSKONTRAKT
•
•
•
•
Anvendeligheden af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres
overtagelsesprøve på, er nedsat i ikke ubetydeligt omfang, medmindre Fejlen eller Manglen
kan omgås uden betydelig ekstra indsats for Kunden.
Et af de i bilag 5 anførte servicemål vedr. tilgængelighed er forringet med mere end 1%,
forudsat at servicemålet kan afprøves under overtagelsesprøven. For kritiske IT-miljøer, jf.
bilag 2 må tilgængeligheden dog ikke være forringet med mere end 0,5 %.
Der konstateres Fejl eller Mangler i forhold til de aftalte sikkerhedsniveau og processer,
medmindre der er tale om bagatelagtige forhold.
Der konstateres væsentlige Fejl eller Mangler ved tilknyttede Leverancer, fx
Driftsdokumentation.
NETVÆRKSMØDE DEN 30. JANUAR 2014
AD 3: EKSEMPEL PÅ GODKENDELSESKRITERIER I EN
DRIFTSKONTRAKT
Der er ikke tale om en kvalificeret Mangel, hvis:
•
Der blot er tale om, at en enkelt funktion ikke virker i de aftalte Leverancer, medmindre den
pågældende funktion har central betydning for Kundens anvendelse af Driftsmiljøet eller de
dele af Driftsmiljøet, der gennemføres overtagelsesprøve på.
Såfremt antallet og indholdet af ikke-kvalificerede Fejl og Mangler er af et sådant omfang, at
Kundens anvendelse af Driftsmiljøet eller de dele af Driftsmiljøet, der gennemføres
overtagelsesprøve på, herigennem påvirkes, som havde der været tale om en kvalificeret
mangel, vil disse samlet blive anset som en kvalificeret Mangel. Antallet af ikke-kvalificerede Fejl
og Mangler må under ingen omstændigheder overstige 10 for den samlede overtagelsesprøve.
Såfremt der afholdes delovertagelsesprøver aftales det maksimale antal ikke-kvalificerede Fejl og
Mangler for hver delovertagelsesprøve.
NETVÆRKSMØDE DEN 30. JANUAR 2014
Ad. 4 Hvad er god markedsstandard
for godkendelseskriterier i en
udviklingskontrakt og driftskontrakt
NETVÆRKSMØDE DEN 30. JANUAR 2014
MARKEDSSTANDARD FOR UDVIKLINGSKONTRAKTER?
• Godkendelseskriterierne aftales inden kontraktindgåelsen
• Kunden skal sikre sig en grundig forståelse af prøveforløbet og kundens indsats
under afprøvningen
• Leverandøren og kunden har samme forståelse af godkendelseskriterierne
• Sporbarhed tilbage til kravene i kravspecifikationen
• Kriterierne skal være operationelle med udgangspunkt i brugerne anvendelse af
systemet
• Regulering af en betinget godkendelse skal være klar i forhold til gentagelse af
afprøvningen, bod og afholdelse af meromkostninger, som påføres kunden
•
NETVÆRKSMØDE DEN 30. JANUAR 2014
MARKEDSSTANDARD FOR DRIFTSKONTRAKTER?
Afholdelse af forudgående ”readiness tests” med egne kriterier inden overtagelsesprøven
gennemføres, hvor der eksempelvis afprøves:
• applikationens funktionalitet er fuldt til stede i samme omfang som før
• verifikation af at data er til stede uforvanskede
• svartidsmålinger i forhold til konkrete kpi'er for udvalgte applikationer,- ofte flyttes miljøerne
ikke samlet og test sker løbende
• afprøvning af proces for håndtering af incidents og problems, dvs er organisering og viden til
stede hos leverandøren
• afprøvning af særlig aftalt overvågning, måling, logning og sikkerhed er til stede som aftalt
NETVÆRKSMØDE DEN 30. JANUAR 2014
MARKEDSSTANDARD FOR DRIFTSKONTRAKTER?
• Overtagelsesprøven er ikke en funktionalitetsprøve
• Forskel i forhold til om det er en ”as-is” service inden transformation til ”to-be” service
• Leverandøren skal være forpligtet til at levere services, selvom prøven ikke bestås
• Godkendelseskriterierne vil som oftest tage udgangspunkt i:
• verifikation af de aftalte servicemål
• afprøvning af om forskellige processer fungerer
• verifikation af om den aftalte dokumentation er tilstede
• Driftsprøven verificerer, at servicemålene er stabile og overholdes i en aftalt periode plus opsamling
af fejl fra overtagelsesprøven
NETVÆRKSMØDE DEN 30. JANUAR 2014
Ad. 5 Diskussion
NETVÆRKSMØDE DEN 30. JANUAR 2014
DISKUSSION
• Kan der etableres markedsstandarder for godkendelseskriterier?
• Kan der etableres en juridisk vejledning til overtagelsesprocessen?
• Kan der etableres en vejledning til de juridiske konsekvenser, som
der skal tages højde for, hvis prøven godkendes betinget?
NETVÆRKSMØDE DEN 30. JANUAR 2014