1. No category

Dagskonferanse om Elhuben
Den norske datahuben
Defo og KS Bedrift Energi i samarbeid med Statnett og NVE
10. Mars 2015
Program for dagskonferanse om Elhuben den 10.mars 2015.
Møteleder Arvid Bekjorden Defo
0930 - 1000
Kaffe med rundstykke
1000 - 1005
Velkommen ved Alf Vee Midthun
1005 - 1010
Praktiske opplysninger ved møteleder
1010 - 1045
NVE (Kalle Ellingaard)
1045 - 1100
Statnett (Tor Heiberg)
1100 - 1115
Pause
1115 - 1125
Statnett (Tor Heiberg)
1125 - 1210
Statnett (Jan Magne)
1210 - 1300
Lunsj
1300 - 1345
Statnett (Eigil)
1345 - 1400
Pause
1400 - 1415
CGI
1415 - 1430
Enoro
1430
Avslutning
Status
■ Valg av leverandør – Accenture
■ Høring av forskriftsendringer
■
Høringsfrist 1. oktober
■ Oppsummering av høringen pågår
■ Vedtak i april
■ Oppstart for Elhub 20. februar 2017
■
Prosjektplan oppdatert
■ Behov for mer tid til tilpasning av
aktørenes løsninger mht. Elhub
Norges vassdrags- og energidirektorat
Sentrale tema i høringen
■ Viktige temaer i høringen mht. Elhub
■ Personvern – lagringstid for
■
■
■
■
timeverdier
Fødselsnummer
Tidspunkt for innføring av NBS
Nøytralitetskrav
Asymmetrisk avviksoppgjør
Norges vassdrags- og energidirektorat
Krav til avregningsansvarlig/Elhub
■ Leverandørskifter
■ Anleggsovertagelser
■ Stipulering av timesvis uttak
■ Nettap
■ Avregningsdata til
■
■
■
■
■
regulerkraftavregning
Måleverdier mm. tilgjengelig kl. 0900
Lagring av timeverdier i 2 år
Lagring i 3 år for profilavregnede mp.
Avviksoppgjør
Sikkerhetskrav
Norges vassdrags- og energidirektorat
Krav til nettselskap
■ Overføring av timeverdier innen kl.
■
■
■
■
07.00
Lagring av måleverdier i
målepunktet
Standard for behandling av
timeverdier (VEE)
Skal innhente fødselsnummer ved
datamigrering
Nøytralitetskrav
Norges vassdrags- og energidirektorat
Krav til kraftleverandører
■ Ansvar for oppdatering av
kundeinformasjon
■ Skal innhente fødselsnummer eller
organisasjonsnummer ved
kontraktsinngåelse
■ Kraftleverandør skal presentere
forbruksdata
Norges vassdrags- og energidirektorat
Krav til elhubbrukere
■ Elhubbrukere = Nettselskap
+ kraftleverandører + tredjeparter
■ Skriftlig avtale med
avregningsansvarlig
■ Avtale med sluttbruker for universell
tilgang
■ Webløsning for personvern
Norges vassdrags- og energidirektorat
Migreringsprosjekt
■ Kritisk med en effektiv migrering
for gjennomføring av Elhubprosjektet
■ Både nettselskap og
kraftleverandører må sette i
gang kvalitetssikring av egen
database
■ NVEs oppfølging
■
Vedtak om kvalitetssikring og
testing av datakvalitet
■ Aktørene skal overholde plan for
migrering utformet av
avregningsansvarligfrister
Norges vassdrags- og energidirektorat
Takk for oppmerksomheten
[email protected]
Siste nytt om status for Elhubprosjektet
11.03.2015
Bunntekst
13
Sikker, effektiv og attraktiv
14
Det formelle grunnlaget
Statnett sin konsesjon som
Avregningsansvarlig (f.o.m.
30.01.2012)
"Avregningsansvarlig skal utrede
og ha et overordnet ansvar for å
utvikle felles IKT-løsninger for
kraftmarkedet, som legger til rette
for effektiv informasjonsutveksling
og gjennomføring av
støttefunksjoner for
forretningsprosesser innen
måling, avregning, fakturering og
samordnet opptreden i
kraftmarkedet"
Utviklingen av datahub for
kraftmarkedet (brev fra NVE
28.05.2013)
• NVE ber om at Statnett nå setter
i gang arbeidet med utvikling av
en datahub for kraftmarkedet i
tråd med avregningskonsesjonen
punkt 12…
• …etableres et bransjeråd og en
ekspertgruppe som konsulteres
når det skal fattes beslutninger
om vilkår for aktørene og
funksjonalitet i datahuben.
15
Endring fra dagens infrastruktur
"i dag, snakker alle med alle"
"alle snakker med en datahub"
Nettselskap
Kraftleverandør
1
A
1
A
B
2
B
2
Måleverdier
Grunndata
Sluttbruker info.
3
4
…
C
Bytte
Flytte
Avregningsdata
Kraftleverandør
Nettselskap
til
3
elhub
C
D
4
D
…
…
…
2.8 mill. målepunkter
Ca. 1 mill. bytte og flytte per år.
Overordnet status
Q1/15
Anskaffelsesprosess
02/15
Implementeringsplan
11.03.2015
Test & Migrering
Operativ drift
20.02.2017
17
Prosjektstatus - Fremdrift
År
Aktivitet
Måned
2013
2014
2015
2016
2017
2018
9 101112 1 2 3 4 5 6 7 8 9 101112 1 2 3 4 5 6 7 8 9 101112 1 2 3 4 5 6 7 8 9 101112 1 21 3 4 5 6 7 8 9 101112 1 12 3 4 5 6 7 8 9 101112
Beslutningsport 1
Kravspesifikasjon
Beslutningsport 2
Valg av leverandør
Beslutningsport 3
Systemimplementasjon og test
Datamigrering og markedstest
Elhub i drift
Beslutningsport 4 og 5
Planlagte bransjerådsmøter
NVE Forskriftsarbeid
(Elhub/NBS)
NVE Forskriftsarbeid
(Leverandørsentrisk/En-regning)
AMS implementering
Elhub versjon 2
10.03.2015
18
Målbare gevinster Elhub v. 1.0 (i)
Funksjon
Nettselskap
Kraftleverandør
Avregning og fakturering
Ingen besparelse
Noe besparelse på grunn av mer
stabilt datagrunnlag samt slipper å
forholde seg til stander
Kundeservice utover
ordinær kundekontakt
Noe besparelse. Bedre kvalitet på
kundedata og måleverdier, samt én
master for disse data gjennom Elhub gir
grunnlag for at ordinær kundekontakt
holder høyere kvalitet og således
redusere behovet for ekstra
kundekontakt.
Noe besparelse. Bedre kvalitet på
kundedata og måleverdier, samt én
master for disse data gjennom Elhub
gir grunnlag for at ordinær
kundekontakt holder høyere kvalitet
og således redusere behovet for ekstra
kundekontakt.
Måleverdiinnsamling og
distribusjon
Noe besparelse. Forenklet distribusjon
til Elhub i stedet for til hvert enkelt
kraftselskap, og at Elhub holder rede på
relasjon leverandør – måleverdier
Stor besparelse. Elhub vil medføre én
kilde til alle data og lik behandling av
AMS data og profilmålte. VEE vil også
heve effektiviteten i behandlingen av
måledata.
11.03.2015
19
Målbare gevinster Elhub v. 1.0 (ii)
Funksjon
Nettselskap
Kraftleverandør
Prosess for
leverandørbytter
Stor besparelse. Nettselskapet skal
ikke lenger utføre denne oppgaven.
Stor besparelse. Prosessen vil bli enklere i og
med at Elhub vil være grensesnittet, i stedet
for hver enkelt nettselskap. Innføring av
fødselsnummer vil heve datakvaliteten og
signifikant øke andelen som kan utføres
automatisk (selvbetjente kunder gjennom
hjemmesider).
Prosess for flytting
Vesentlig besparelse. Prosessen blir
forenklet og datagrunnlaget blir bedre
gjennom Elhub og bruk av
fødselsnummer. Det vil signifikant øke
andelen som kan utføres automatisk
(selvbetjente kunder gjennom
hjemmesider).
Stor besparelse. Prosessen vil bli enklere i og
med at Elhub vil være grensesnittet, i stedet
for hver enkelt nettselskap. Innføring av
fødselsnummer vil heve datakvaliteten og
signifikant øke andelen som kan utføres
automatisk (selvbetjente kunder gjennom
hjemmesider)
Leverandøravregning
Stor besparelse. Elhub overtar det
meste av denne oppgaven.
Ingen besparelse
Ukeavregning
Stor besparelse. Elhub overtar denne
oppgaven.
Stor besparelse. Elhub overtar denne
oppgaven.
11.03.2015
20
Gevinstrealisering Elhub v. 1.0 (iii)
Ikke-kvantifiserbare gevinster
 Nøytralitet
o Likebehandling og lavere terskler
o Monitorering
 Kvalitet
o Benchmarking og rapportering
 Internasjonal integrasjon
o Harmoniserte standarder og markeder
 Sikkerhet & Personvern
o Privacy by Design
 3. part tilgang og tjenester
metering points
o Større
mulighet
for innovasjon
master
data
11.03.2015
metered values
time series
21
Gebyrstruktur –
kostnadsfordeling Elhub i operativ drift
Elhub inntekter = Investering + Driftskostnader
Per Målepunkt
Basis årsgebyr
+
Årsgebyr for
-Nettselskap
Gebyr: 30.000,-
Tilgang til Elhub
etter
sertifisering
-Kraftlev.
Gebyr: 30.000,-
Kraftleverandører
Kostnadsandel 1/5
-3part. ?
Gebyr: 30.000,-
-Systemlev.
Gebyr: 15.000,-
Nett
Kostnadsandel 4/5
Tilgang til Elhub
for systemsertifisering
Helpdesk og
support
3.part
Kostnadsandel 1/15
(Dette er en "usikker post"
og vil bli vurdert fremover)





Leverandørbytte
Inn- og utflytting
Tilgang til kundedata
Uttrekk av måleverdier
Web-API løsning
 Web-API løsning
 Uttrekke av måleverdier på godkjente
tilganger på MPID
Konsekvenser for markedsaktørene (i)
Veien mot Elhub går gjennom vasking, migrering og testing av data hos alle
aktørene
• Ved oppstart må data i Elhub være konsistent
med aktørenes data
• Elhub prosjektet vil administrere prosessen, lage
formater og sette krav.
• Historiske data fra 1/1-2016
• Struktur data
– Nettavregningsområder
– Utvekslingspunkter
– Aktører m.m.
• Grunndata
– Målepunktdata
– Kundedata
– Hendelser over tid (markedsprosesser)
• Måleverdier
– Historiske verdier
Konsekvenser for markedsaktørene (ii)
 Endring i roller og markedsfunksjoner

NBS og nettavregningsområder

Omlegging av MAFI
forretningsprosesser (de fleste)

AMS – datavolum og
oppdateringsfrekvens

VEE – Validering og estimering av
måleverdier

Elhub overtar mange av
nettselskapets oppgaver

Leverandørsentrisk og "èn regning"
(potensielt)
Ny strategi for IT og drift
 AMS utrulling
 Funksjoner
 Datakvalitet
 Systemer
 Migrering av data til Elhub
 Overganger og utfasing
 Testing mot Elhub
 Driftsrutiner
 Økte krav til automatisering
 Oursourcing
 Økte krav til kvalitet
 Drift i henhold til ny markedsmodell
 Delte databaser
11.03.2015
24
Konsekvenser for markedsaktørene (iii)
Må ta stilling til roller, rolleinnhold og Systemarkitektur
Nettselskap
Innsamlingssystem
MV validering og
"benchmarking"
MV kvalitetssikring;
Validering, editering,
estimering
Målepunkt-id
+ måleverdier
(ikke real-tid,
hvert døgn)
HAN
*Måleverdier
*Tilgangsstyring
Målepunkt-id
+ måleverdier
(ikke real-tid,
hvert døgn)
Kunde
Måledata
og kunde
Målepunkt-id
+ måleverdier
Måleverdibase
Real-tid
Datahub
Kraftleverandør
3p. leverandør
Målepunkt-id
og måleverdier
NIS
Scada
Nettinformasjons- Nettdrift system
system
Kontrakt
Kontrakt
Spørreundersøkelse om tilpasning til Elhub
November 2014:
• Alle har definert kontaktpersoner for elhub
• ~40% har etablert eget elhub-prosjekt
• ~25% har estimert ressursbehov internt
• ~30% har inngått avtale med systemleverandører om bistand for
tilpasning til elhub
• ~30% har startet å spesifisere hvilke endringer som må gjøres
• ~75% har gjennomført aktiviteter for datakvalitet
• ~80% av aktørene planlegger å involvere systemleverandør i
datavask
Spørreundersøkelse om tilpasning til Elhub
Halvparten av selskapene er med i en samarbeidskonstellasjon
Kommunikasjons med Elhub
Spesifikasjoner
Milepælsplaner
Infobrosjyre
Ekspertgruppe-møter
Bransjerådsmøter
Statusmøter med
systemleverandører
elhub.no
Rapportmaler
Sjekklister
Presentasjoner
Nyhetsbrev
Distribusjonslister for epost
Seminarer og
roadshow
Bransjeorganisasjoner
Koordinering med NBS-prosjektet
Felles kommunikasjon med NVE
11.03.2015
28
11.03.2015
Bunntekst
29
Krav til aktørene relatert til
systemutvikling og endring av prosesser
11.03.2015
Bunntekst
30
Endringer, de viktigste
• Forskriftsendringer
– Avregningsforskriften – 301, inkludert NBS og Elhub
– Plusskunde
– El-sertifikat
• Elhub
– Flytting av oppgaver – og ansvar
– Utvidet sett av markedsprosesser og endring av tidsfrister
– Økte krav til automatisering og standardisering
• NBS
– Nettavregningsområder
11.03.2015
Bunntekst
31
Forskriftsendringer med Elhub
• Leverandørskifter, anleggsovertagelse
• Ansvar for beregningsoppgaver
• Standard for behandling av
timeverdier (VEE)
– Stipulering av timesvis uttak, beregning • Kraftleverandør skal presentere
forbruksdata
av nettap, og avregningsdata til
regulerkraftavregning
• Overføring av timeverdier til elhub
innen kl. 07:00
• Måleverdier tilgjengelig kl. 09:00
• Lagring av timeverdier og
kundeinformasjon i 2 år i Elhub
• Bruk av fødselsnummer
• Avviksoppgjør
• Sikkerhetskrav
• Nøytralitetskrav
Elhub versjon 1.0 innhold
Kraftleverandør
Nettselskaper
EDI/XML
• Kundeinformasjon
• Markeds
prosesser
• Måleverdiforespørsel
• Avregningsunderlag
database
Kundeavtale
Sluttbruker
EDI/XML
• Markedsprosesser
• Målepunkt-DB
• Måleverdi-DB
• Markedsaktører
• Strukturdata
• Sluttbrukers
kontraktrelasjoner
• Beregning av tap og JIP
• Rapportering til
NBS & NECS
• Avviksunderlag
• Målepunktinformasjon
• Måleverdier
• Markedsprosesser
• Nett-tariff
informasjon
(opsjon)
Måleverdier
Målepunkt
database
Eksisterende
prosesser
Endring i oppgaver
Elhub
Mer automatisering
Nye prosesser
Elhub Prosjektet
Støtte - Avklaring
11.03.2015
Nytt meldingsformat og protokoll
Endringer i aktørenes systemer og prosesser
Aktørenes
KIS
systemer
Nye og endrede
prosesser og
oppgaver
Endringer
Nye
funksjoner
Systemleverandører
vil medføre
endringer i
aktørenes
arbeidsprosesser
og deres
støttesystemer
Elhub markedsprosesser, prosesskomponenter og
meldinger
• Markedsprosesser - BRS
– 55 prosesser med tidsfrister, informasjonskrav og sekvensflyt
• Eksempel: BRS-NO-101 Oppstart kraftleveranse - leverandørskifte
• Prosesskomponenter
– 48 forretningsfunksjoner (logiske meldinger) fra/til EN aktør
– Gjenbrukes av ulike markedsprosesser
• Eksempel: Prosesskomponent 1- StartOfSupply benyttes i
markedsprosessene 101, 102, 103 og 104
– Består av en eller flere fysiske meldinger
• Meldinger
– 37 fysiske meldinger. 8 inn, 3 inn/ut, 25 ut og kvitteringsmelding
– Gjenbrukes i ulike prosesskomponenter
• Eksempel: Melding 1-RequestStartOfSupply benyttes i 3 ulike prosesskomp.
Elhub meldingsutveksling, web-services
• Protokoll
– SOAP 1.1
• Transportprotokoll
– HTTPS
• Syntax
– XML
• Semantikk
– ebIX
101
New metering point
Start of supply - change of supplier
102
Start of supply - move in - in the future
Activation of metering point
103
Start of supply - move in - back in time
New grid access contract - move in)
104
111
Rollback of new metering point
Change of Supplier from last resort
Rollback - start of supply
Rollback of activation of metering point
Rollback of new grid access contract
201
202
221
222
Move out from metering point - from grid owner
End of supply due to move out
End of supply
Deactivation of metering point
Removal of metering point
Rollback of end of supply
Rollback of deactivation of metering point
Rollback of move out
Rollback of removal of metering point
Balance
Supplier
301
Se www.elhub.no\dokumenter for mer info !
303
305
311
315
322
324
Update master data - balance supplier
Update master data - grid owner
Request master data - balance supplier
Request master data - grid owner
Settlement type change
Structure data change
Reporting of metering values for profiled MP
Meter reading and expected annual consumption
Request for metering values - balance supplier
Reporting of metering values for non-profiled MP
Reminders of metering values from grid owner
Preliminary Profiled Consumpt. to balance supplier
Request for metering values - grid owner
Request basis for settlement - balance supplier/
responsible
Update Expected Annual Consumption
Update Grid Loss parameters
Quality assurance - grid owner
391
401
101
Request basis for settlement - grid owner
Request for pass-through billing
Corrections of master data - from balance supplier
BRS main processes
Corrections of master data - from grid owner
Elhub
BRS support processes
121
122
123
131
132
133
211
212
213
223
224
302
304
306
312
313
314
316
317
318
321
325
402
123
Grid
Owner
Endringer - nettselskap
• Måleverdiinnsamling og VEE
Nettselskaper
• Tidsfrister
• Informasjonsmodell - ansvar
• Oppgaveoverføring til elhub
– MGA tap og JIP
– Beregning av MGA balanse
– Avviksunderlag (saldo og korrigering)
– Rapportering til NBS og NECS
• Arbeidsprosess-støtte
EDI/XML
• Målepunktinformasjon
• Måleverdier
• Markedsprosesser
• Nett-tariff
informasjon
(opsjon)
Måleverdier
– Aktørportal støtte
– KPI rapporter
• Nøytralitet
Målepunkt
database
Endringer - kraftleverandør
• Elhub som part
Kraftleverandør
– Markedsprosesser
EDI/XML
• Kundeinformasjon
database
Kundeavtale
– Måleverdier
– Avregningsunderlag
• Markeds
prosesser
• Måleverdiforespørsel
• Tidsfrister
• Avregningsunderlag
• Sluttbrukers tilgang
• Informasjonsmodell
– Web Plug-in
• 3. parts tjenester
• Nøytralitet
Sluttbruker
Oversikt over en typisk daglig prosess i elhub
relatert til måleverdier og rapportering
Måleverdier
Timemålte
Måleverdier
Profilavregnet
Måleverdiansvarlig
Purringer
VEE
(Nettselskap)
RapporterKvalitet - KPI
Elhub Portal
Sjekk og
lagring
Elhub
Rapportermåleverdier
Rapportertotalvolum
Kalkuleringer, JIP, profilering og
tapsberegninger
Aggregert
volum
Timeverdier
tilgjengelig
B2B Meldinger/
Abonnement
Underlag
NBS
Agg. volum
MGA/aktør
D+2-12
D+13
Nettselskap
Kraftleverandør
3.Part
Balanseansvarlig
Produsenter
NBS
Tidsfrister kl.
07:00
09:00
10:00
12:00
Måleverdiinformasjon og aggregerte verdier
Eksempel på forskjellige grafiske fremstillinger
KPI og status, visualisert per nettavregningsområde
D = 01.10.2016
D = 01.10.2016
Eksempel
Elhub operatør oversikt
Balanseunderlagsberegning
Ikke Startet
Startet
> 50%
Ferdig 100%
Måleverdikvalitet (07:00)
Ikke mottatt
> 50%
> 90%
100%
(Brukt kommunekart)
Web Plug-in
Kraftleverandør AS
Eksempel
11.03.2015
Bunntekst
43
Overordnet tidsplan systemtilpasning, test og migrering
2015
Q1
Q2
2016
Q3
Q4
Q1
Q2
Q3
Q4
Datavask
Pilot migrering
Innledende
migrering
Inkrementell migrering
MIGRERING
SYSTEMTILPASNING / TEST
Systemgodkjenning
Elhub
System
tilpasning
Systemsertifisering
Edielportal
Aktørsertifisering
Edielportal
Aktørgodkjenning
Elhub
Q1
2017
Q2
Kontaktpunkt for spørsmål:
[email protected]
Spørsmål og svar…
11.03.2015
46
Utfordringer og krav til aktørene
relatert til datavask, migrering og
testing
11.03.2015
Bunntekst
47
Tilpasning til Elhub
• Alle markedsaktører som ønsker å operere i
sluttbrukermarkedet er ansvarlige for at de er klare for å gå i
drift på Elhub på dato spesifisert av NVE.
• Alle kraftleverandører og nettselskap må
– endre sine underliggende IT-systemer og prosesser vedrørende
målerverdier, kundeadministrasjon og avregning, slik at de er i henhold
til gjeldende markedsprosesser i Elhub
– gjennomføre et test- og sertifiseringsløp for å verifisere at de er klare
– gjennomføre datavask og datamigrering fra sine IT-systemer til Elhub.
11.03.2015
Bunntekst
48
Overordnede GO-LIVE-kriterier for hver aktør
Aktør testet og godkjent i
Elhub
Data migrert til Elhub
• Aktør har migrert definert
dataportefølje til Elhub
• Datakvalitet på migrerte data må
være i henhold til Elhubs krav
• Data i Elhub er konsistent med
aktørenes data
• Aktørs system oppgradert
• Aktør sertifisert i Ediel-portalen
• Aktør godkjent i Elhub
• Aktør har innført nye
forretningsprosesser og
gjennomført intern opplæring
SYSTEMUTVIKLING/
TEST
Aktør
klar for
Elhub
MIGRERING
Ekspertgruppe for test og migrering
• Oppstart høst 2014
• Utpekt av bransjeorganisasjonene
• Representativt utvalg av kraft og nett-selskaper. Inkluderer nå også de
viktigste systemleverandørene
• Skal bidra i å utarbeide strategier og prosesser samt spesifisere tekniske
løsninger for aktørtesting og datamigrering
• Skal bidra til å etablere og teste ut løsning og metodikk i praksis (via
pilotaktører)
• Status:
– Filformat og datakvalitetskrav for migrering er utarbeidet og publisert (v0.9)
– Overordnet prosess for aktørtesting og migrering utarbeidet. Detaljering av
prosesser pågår
11.03.2015
Bunntekst
50
Overordnet tidsplan systemtilpasning, test og
migrering
2015
Q1
2016
Q2
Q3
Q4
Q1
Q2
Q3
Q4
Q1
2017
Q2
Datavask
Innledende
migrering
Pilot migrering
Inkrementell migrering
MIGRERING
SYSTEMTILPASNING / TEST
Systemgodkj.
Elhub
Systemtilpasning
Aktørsert.
Edielportal
Systemsertifisering
Edielportal
DAM v0.5 levert
01.06.2015
Ediel-portal klar for
systemleverandør-testing
01.08.2015
MGA
implementert
Q3-Q4 2015
DAM v1.0 levert
15.12.2015
Aktørgodkjenning
Elhub
NBS Go-Live
18.04.2016
Elhub klar for
Vendor Trial
01.04.2016
Elhub klar for
Market Trial
01.09.2016
Elhub GO-LIVE
20.02.2017
Overordnet om datamigrering
11.03.2015
Bunntekst
52
Introduksjon til migrering
• For at Elhub skal fungere som forventet, må relevante data være
migrert inn i løsningen fra markedet ved go-live
• Ved oppstart må data i Elhub være konsistent med aktørenes data
• Elhub migreringsprosjektet er etablert for å gjennomføre og sikre
denne datainnsamlingen
• Migreringsprosjektet har definert mottak av 5 filtyper med data fra
markedsaktører
• Markedsaktørene har ansvar for datakvalitet og eierskap til
informasjon
– Migreringsprosjektet påpeker identifiserte feil i data, kraftleverandører og
nettselskaper må korrigere disse
– En filtype for tilbakemelding er definert for hver av filtypene for innsending
Ansvarsfordeling – migrering
Elhub-prosjektet
Markedsaktørene
Etablere og administrere overordnede
planer og prosesser for migrering
Etablere planer for egen datavask og
migrering
Definere krav til datainnhold,
datakvalitet og filformat for migrering
Gjennomføre datavask på egne data i
henhold til Statnetts krav
Etablere og drifte sentral
migreringsplattform (DAM)
Migrere egne data til DAM i henhold til
Statnetts planer
Prinsipiell teknisk infrastruktur for migrering
Front
end
DAM
Kraftleverandør Periodisk kjøring
Validation
Nettselskap
Migr.
DB
Elhub
migr.
Elhub
DB
Migrering av data fra kraft og nett
Elhub
Kraftleverandør
• Kunde
• Relasjon til
målepunkt
• Lagring
• Syntakskontroll
• Integritetskontroll
• Konsistenskontroll
•
•
•
•
Målepunkt
Måleverdier
Kunde
Relasjoner
Nettselskaper
database
database
Sluttbruker
Målepunkt
Filformater for migrering
Kontrakt
Kunde
Målepunkt
5 filtyper:
• Metering Point
• Customer
• Metering value
• Contracts
• Formula
Kunde
Kontrakt
Måleverdier
Kraftleverandør
Nettselskap
Elhub Specification of Migration Files
Elhub Specification of Nonconformity Files
www.elhub.no
Utkast overordnet innsendingsprosess
• Overordnet prinsipp: Aktørene starter å migrere inn data så tidlig som mulig (så fort
DAM er tilgjengelig, tentativt fra høst 2015) og fortsetter å sende inn
kompletterende data i iterasjoner frem til Go-Live
• Aktørene kan starte med å sende inn en delmengde av data som kompletteres etter
hvert, inntil de har sendt inn hele porteføljen
• For store aktører ønsker Elhub å kun motta delta datamengde (korrigeringer
endringer og tillegg)
– Migreringsdatabasen bygger seg gradvis opp
– Risiko reduseres ved at det ikke er behov for store dataoverføringer rett før Go-Live og ved
at data kvalitetssikres kontinuerlig fra et tidlig tidspunkt
• Små aktører tillates å sende inn fullt datasett (dvs hele porteføljen) flere ganger.
DAM vil da analysere hva som er endret siden forrige innsending og kun prosessere
dette
• Innsendingsfrekvens:
– Små aktører med få feil: Hele porteføljen, månedlig
– Store aktører: Kompletterende og korrigerende datasett, ukentlig
– Små aktører med mange feil: Korrigerende datasett, ukentlig inntil antall feil er redusert
Krav til datakvalitet og datavask
Bunntekst
59
Overordnede datakvalitetskrav
QA-kategori
Beskrivelse
FEILNIVÅ
TYPISK INFORMASJON
MÅ
Data som er nødvendige
for at Elhub skal virke.
MÅ kvalitetssikes.
KRITISK
•
•
•
•
•
BØR
Data som skal sendes til
ALVORLIG
Elhub som ikke er
driftskritiske, men er viktige
for markedet.
BØR kvalitetssikres.
• Målepunktadresse
KAN
Data som skal sendes til
Elhub som ikke er
driftskritiske, men vil bli
viktige for markedet.
KAN kvalitetssikres
• Kundeadresse
• Kontaktinfo
MINDRE
VIKTIG
Målepunktinformasjon
Måleverdier
Kundeidentifikasjon
Avgiftsinformasjon
Relasjoner
Kvalitetssikringskrav pr felt
Historikk på migrerte data
• Elhub skal ha historikk fra 1. januar 2016 på spesifiserte felter,
herunder:
– Knytning mellom målepunkt og aktører, dvs. kraftleverandør,
balanseansvarlig, nettselskap og sluttbruker
– Målepunktinformasjon som avregningsmetode, avlesningsmetode,
status
– Måleverdiinformasjon som kvantitet, kvalitet, valideringskode,
estimeringskode, registreringsdato, startdato, tildato, kategori
Anbefalt kvalitetssikring som aktørene skal
gjennomføre
QA-kategori
INFORMASJON
ANBEFALT KVALTETSSIKRING
MÅ
Målepunktinformasjon
Sjekk at målepunkt-ID har gyldig GSRN-nr
Fjern duplikater
Måleverdier
Sjekk at parameter "antatt årsforbruk" er
rimelig
Kundeidentifikasjon person
Sjekk navn og fødselsnr mot
Folkeregisteret
Splitt navn til fornavn/etternavn
Kundeidentifikasjon bedrift
Sjekk navn og organisasjonsnr mot
Brønnøysund
Avgiftsinformasjon
Sjekk om satser er riktige i forhold til type
forbruk på målepunkt
Relasjoner
Sjekk av kunderelasjon på målepunkt
mellom kraftleverandør og nettselskap
BØR
Målepunktadresse
Sjekk mot Matrikkelen
KAN
Kundeadresse
Sjekk mot kunden
Vasking av data mot Folkeregisteret
• Gjennom avtale med Skattedirektoratet (Skd) er EVRY
enedistributør av DSF. Se www.infotorg.no
• Det kreves tillatelse for å få tilgang til DSF, for eksempel i
forbindelse med vask og vedlikehold. Tillatelse må innhentes
hos registereier (Skattedirektoratet) før det kan etableres
tilgang til en tjeneste hos DSF
• Elhub-prosjektet vil følge opp at tilstrekkelige hjemler gis til
aktørene gjennom forskrifter og vil være en fasilitator i
prosessen for å sikre tillatelse fra Skattedirektoratet
• Elhub-prosjektet vil ikke være involvert i aktørenes tekniske
integrasjon mot DSF
Definisjon av feil i migrerte data
• Feil i migrerte data aggregeres og rapporteres på
målepunktnivå – et målepunkt er enten korrekt eller feil
• Et målepunkt defineres som feil dersom
– Målepunktet mangler (dvs at målepunktet eksisterer i virkeligheten men
data om målepunktet er ikke migrert til Elhub)
ELLER
– Et obligatorisk felt tilknyttet målepunktet mangler
ELLER
– Et tilknyttet felt har en KRITISK feil (dvs QA-krav = MÅ)
Inkonsistens i kundedata fra nett og kraft
Kontrakt
Kunde
Målepunkt
Kunde
Kontrakt
Måleverdier
•
•
Kraftleverandør
•
Nettselskap
•
Inkonsistens mellom kraft og nett må
rettes før Go-Live
Dersom fortsatt inkonsistens ved GoLive vil Elhub velge data fra Nett
Inkonsistens defineres som feil for
kraftleverandør
Prosess for retting av inkonsistens er
Migreringspilot – foreløpige funn
11.03.2015
Bunntekst
67
Datagrunnlag
• 9 pilotaktører
– 3 Nettselskap
– 6 Kraftleverandører
• Ca 90.000 unike kunder
• Ca 78.000 unike målepunkt
• Ca 146.000 kontrakter
11.03.2015
Bunntekst
68
Datoformat – 3 systemer, 4 formater
11.03.2015
Bunntekst
69
Observasjoner rundt konsistens på tvers av
nett/kraft
• Organisasjoner uten organisasjonsnummer.
– Pågående dialog med NVE på hvordan dette skal håndteres
– 260 tilfeller av 135.879 kunder = 0,2 % feilprosent
– Estimert 5600 tilfeller av 2.800.000 målepunkt på nasjonal basis.
• Kundeforhold på et målepunkt hvor det er en privatkunde på
en av kontraktene, mens det er bedriftskunde på den andre.
– Eksempelvis en privatperson som sitter som kunde på nett mens et
selskap sitter som kunde på kraft.
– 340 tilfeller av 73.000 kundeforhold = 0,47%
– Estimert 13160 tilfeller av 2.800.000 målepunkt på nasjonal basis.
11.03.2015
Bunntekst
70
Observasjoner rundt konsistens på tvers av
nett/kraft fortsetter
• Kundeforhold med personer med likt etternavn, men med ulikt
fornavn (herr og fru problematikken)
– 1380 av 54891 kundeforhold = 2,5%
– 70.000 tilfeller av 2.800.000 målepunkt på nasjonal basis.
11.03.2015
Bunntekst
71
Andre observasjoner
• Privatkunder uten fødselsdato
– 60 av 135.879 kunder = 0,04%
– 1120 tilfeller på 2.800.000 målepunkt på nasjonal basis.
• Kundeforhold uten noen form for kommunikasjonskanal annet
enn postadresse. (NB! Utrulling AMS)
– 792 av 54891 kundeforhold = 1,44%
– 40320 tilfeller på 2.800.000 målepunkt på nasjonal basis.
11.03.2015
Bunntekst
72
Systemutvikling og aktørtesting
11.03.2015
Bunntekst
73
Ansvarsfordeling – aktørtesting
Elhub-prosjektet er ansvarlig for å
Markedsaktørene er ansvarlig for å
Etablere overordnede planer for Elhub
aktørtesting
Etablere planer for egen utvikling og
enhetstesting
Tilpasse egne systemer for Elhub
Endre egne forretningsprosesser og
gjennomføre intern opplæring
Tilpasse Edielportalen for sertifisering mot Gjennomføre test og sertifisering i
Elhub
Edielportalen
Planlegge aktørtest i Elhub og foreta
godkjenning av aktører
Gjennomføre test og godkjenning mot
Elhub
Hovedaktiveter aktørtesting
• Aktørsertifisering i Edielportalen
– Elhub vil videreføre oppsettet med test og sertifisering i Edielportalen
– Denne testen vil verifisere at aktøren kan utveksle meldinger med Elhub på
korrekt format i henhold til aktuell rolle
– Vi vil kreve at både Systemsertifisering og Aktørsertifisering i Edielportalen er
gjennomført før en markedsaktør kan godkjennes i Elhub
• Godkjenning i Elhub
– Denne prosessen omfatter Leverandørtest og Markedstest.
– Leverandørtest er en full funksjonell ende-til-ende test av et IT-system mot
Elhub
– Markedstesten er mindre omfattende og skal verifisere at aktører kan
gjennomføre et utvalg av ende-til-ende prosesser med Elhub via et sertifisert ITsystem
– Godkjenning i Elhub forutsette at markedsaktører har tilpasset sine interne
arbeidsprosesser i forhold til Elhub
Utkast sjekkliste for systemtilpasning/test
Sjekkpunkt
Dato
Elhub-spesifikasjoner er ferdigstilt og publisert
Utviklings- og testprosjektet er planlagt
Krav til systemendringer er spesifisert
Krav til endringer i prosess og organisasjon er spesifisert
Løsningsbeskrivelse og arkitektur for Elhub er etablert
Avtale om utvikling og test med systemleverandør er inngått
M2 Alle markedsaktører har inngått avtale med systemleverandør 01.06.2015
om systemtilpasning og test
Systemtilpasning og intern modultest er utført
Brukermanuel for Systemsertifisering er utarbeidet
Edielportalen er ferdig utviklet
Systemsertifisering i Edielportalen er gjennomført
Testplan for Leverandørtest/Vendor trial er utarbeidet
Elhub er klargjort for Systemtest
Systemet er klargjort for Leverandørtest
Leverandørtest i Elhub er gjennomført
Sertifisert og testet system er installert hos markedsaktør
Aktørsertifisering i Edielportalen er gjennomført
M4 Alle markedsaktører er sertifisert i Edielportalen
15.09.2016
Intern opplæring i Elhub-funksjonalitet er gjennomført
Testplan for Aktørgodkjenning/Market trial er utarbeidet
Interne arbeidsprosesser er tilpasset Elhub
Aktørgodkjenning i Elhub (Market trial) er gjennomført
Ny VEE prosess er implementert
Ansvarlig
Elhub
Markedsaktør
Markedsaktør
Markedsaktør
Markedsaktør
Markedsaktør
Kommentar
Systemleverandør
Elhub
Elhub
Systemleverandør
Elhub
Elhub
Systemleverandør
Systemleverandør
Markedsaktør
Markedsaktør
Internt og/eller hos systemleverandør
Rutiner for forløpende datavask i drift er implementert
Markedsaktør
M5 Alle markedsaktører er godkjent i Elhub
15.01.2017
Markedsaktør
Elhub
Markedsaktør
Markedsaktør
Markedsaktør
Både interne og eksterne aktiviteter og avhengigheter mellom disse.
Basert på Elhub-spesifikasjoner (BRS, BIM og VEE).
Endringer i interne arbeidsprosesser som følge av Elhub
Test av systemer mot Elhub
For aktørsertifisering
Kjøre definerte testcase
Skal skje senest ved produksjonssetting av Elhub-løsningen, men kan
også skje før
Etter overgang til Elhub skal aktør tilfredsstille Elhubs krav til
datakvalitet
Oppfølging av aktørene –
Milepæler for aktørtesting og migrering
11.03.2015
Bunntekst
77
Milepæler for kraftleverandører og nettselskaper
• For å sikre at alle markedsaktører har jevn progresjon i arbeidet
og blir klare for idriftsettelse av Elhub på planlagt dato har
Elhub-prosjektet utarbeidet en milepælsplan for
aktørsertifisering og datamigrering.
• Aktørene skal rapportere status på hver milepæl til Elhubprosjektet.
• NVE kan fatte vedtak om foretaksbøter for selskaper som ikke
kan dokumentere fremdrift i henhold til milepælsplanen.
Milepæler systemtilpasning, test og migrering
2015
Q1
2016
Q2
Q3
M1
01.06.15
Q4
M2
01.11.15
Q1
Q2
M3
01.03.16
Q3
M4
15.09.16
Q4
Q1
M5
15.01.17
2017
Q2
Datavask
Innledende
migrering
Pilot migrering
Inkrementell migrering
MIGRERING
SYSTEMTILPASNING / TEST
Systemgodkj.
Elhub
Systemtilpasning
Aktørsert.
Edielportal
Systemsertifisering
Edielportal
DAM v0.5 levert
01.06.2015
Ediel-portal klar for
systemleverandør-testing
01.08.2015
MGA
implementert
Q3-Q4 2015
DAM v1.0 levert
15.12.2015
Aktørgodkjenning
Elhub
NBS Go-Live
18.04.2016
Elhub klar for
Vendor Trial
01.04.2016
Elhub klar for
Market Trial
01.09.2016
Elhub GO-LIVE
20.02.2017
Utkast aktørmilepæler - test og migrering
2015
Q1
Q2
M1
01.06.15
Formål
2016
Q3
Q4
M2
01.11.15
Q1
Q2
M3
01.03.16
Kriterier Migrering
Q3
Q4
M4
15.09.16
Q1
M5
15.01.17
Kriterier Test
• Sikre at aktøren har
• Datakvalitetsrapport på • Avtale om
korrekt identifisert alle
spesifisert format er
systemtilpasning og
data som skal migreres
oversendt til Elhub
test inngått med
• Gi en tidlig indikasjon på • Avtale om migrering
systemleverandør
datakvalitet på data som
inngått med
skal migreres
systemleverandør (evt
• Få oversikt over
plan for egen utvikling)
strukturdata i markedet • Markedsaktør har
• Sikre at aktør har inngått
bekreftet at selskapet
nødvendige avtale med
har til hensikt å gå i drift
systemleverandører
på Elhub
• Kvalitetssikre liste over
aktører med
kontaktpersoner for test
og migrering
2017
Q2
Utkast aktørmilepæler - test og migrering
2015
Q1
Q2
2016
Q3
M1
01.06.15
Q4
M2
01.11.15
Q1
Q2
M3
01.03.16
Formål
Kriterier Migrering
• Sikre at aktøren er i
stand til å gjøre uttrekk
fra egne systemer på
spesifisert filformat og
oversende disse til DAM
• Etablere infrastruktur
for migrering
• Få oversikt over omfang
av inkonsistens på
porteføljenivå
• Grunndata og
strukturdata sendt til
Elhub på definert
filformat*
* Gradvise frister pr aktør
Q3
Q4
M4
15.09.16
Kriterier Test
Q1
M5
15.01.17
2017
Q2
Utkast aktørmilepæler - test og migrering
2015
Q1
Q2
2016
Q3
M1
01.06.15
Q4
M2
01.11.15
Q1
Q2
M3
01.03.16
Formål
Kriterier Migrering
• Sikre at datakvalitet på
grunndata/strukturdata
er på akseptabelt nivå
• Hele porteføljen av
grunndata og
strukturdata for
aktøren er bekreftet
korrekt mottatt i elhub
DAM
• Datakvalitet >= 95,0%
(inkl fødselsnr/orgnr og
nettavregningsomåder)
Q3
Q4
M4
15.09.16
Kriterier Test
Q1
M5
15.01.17
2017
Q2
Utkast aktørmilepæler - test og migrering
2015
Q1
Q2
2016
Q3
M1
01.06.15
Q4
M2
01.11.15
Q1
Q2
M3
01.03.16
Q3
Q4
M4
15.09.16
Q1
M5
15.01.17
Formål
Kriterier Migrering
Kriterier Test
• Sikre at datakvalitet på
migrerte data er høy
• Sikre at aktøren har
tilpasset sitt
forretningssystem til
elhub
• Hele porteføljen av
grunndata,
strukturdata og
måleverdier for
aktøren er bekreftet
korrekt mottatt i DAM
• Datakvalitet >= 99,0%,
inkl måleverdier frem
til 01.09
• Aktør er sertifisert i
Ediel-portalen
2017
Q2
Utkast aktørmilepæler - test og migrering
2015
Q1
Q2
2016
Q3
M1
01.06.15
Q4
M2
01.11.15
Q1
Q2
M3
01.03.16
Q3
Q4
M4
15.09.16
Q1
M5
15.01.17
2017
Q2
Formål
Kriterier Migrering
Kriterier Test
• Sikre at datakvalitet på
migrerte data er i
henhold til kriterier for
GO-LIVE
• Sikre at aktørs
forretningssystem er
verifisert og klar for GOLIVE
• Hele porteføljen av
grunndata,
strukturdata og
måleverdier for
aktøren er bekreftet
korrekt mottatt i DAM
• Datakvalitet >=
99,95%, inkl
måleverdier frem til
01.01
• Aktør er godkjent i
Elhub (Market Trial
gjennomført)
• Aktør har
implementert løpende
verifikasjon av
fødselsnr/org nr
Mulig go-live prosess
Frys markedsprosesser
Go Live: Åpne
opp
markedsproses
ser mot Elhub
Siste frist for
migrering av
data til DAM
Market Parties
incremental migration
to DAM
Migrate from DAM to
Elhub
Market Parties migrate
latest updates to DAM
Migrate from DAM to
Elhub (delta)
Market Parties Cut
Over to Elhub
MARKEDSFRYS
Oppsummering
- Test og migrering
Oppsummering – viktigste fokusområder for
bransjen
• 2015
– Etablere eget prosjekt for tilpasning til Elhub og migrering av data
– Gjennomføre datavask på egne data, inkludert innhenting av fødselsnr
– Inngå avtale med systemleverandør om tilpasning til Elhub
– Planlegge datamigrering
– Gjennomføre innledende datamigrering
– Planlegge systemoppgradering
• 2016
– Starte inkrementell datamigrering
– Gjennomføre systemoppgradering
– Sertifisere seg i Ediel-portalen
– Teste og godkjenne seg mot Elhub
• Q1 2017
– Fullføre datamigrering
– Implementere nye markedsprosesser, inkl intern opplæring
– Go-Live
Kontaktpunkter for test og migrering:
[email protected] for spørsmål knyttet til systemutvikling og test
[email protected] for spørsmål knyttet til datavask og migrering
Spørsmål og svar…
11.03.2015
[email protected]
90