Kontaktinformasjon Thomas Brinkman, [email protected] Anne Mette Andreassen, [email protected] Fra minutter til sekunder – Vår reise med Analytics Hva skjer med analyser og rapporter når du går fra minutter til sekunder, hvordan kommer du dit og hva betyr det for andre prosesser? 19.11.2015 v/Thomas J. Brinkman og Anne Mette Andreassen Bakgrunn • Kimball 1995: The single most dramatic way to affect performance in a large data warehouse is to provide a proper set of aggregate (summary) records that coexist with the primary base records. Aggregates can have a very significant effect on performance, in some cases speeding queries by a factor of one hundred or even one thousand. No other means exist to harvest such spectacular gains Norsk Tipping AS 19.11.2015 4 Datamengde Norsk Tipping AS 19.11.2015 5 Time-to-market Time-to-market Norsk Tipping AS 19.11.2015 6 Selvbetjening Norsk Tipping AS 19.11.2015 7 Endret fokus Norsk Tipping AS 19.11.2015 8 DVH 2.0 • • • • • Teknisk løft datavarehusplattform Selvbetjent analyse Prediktiv/avansert analyse Refaktorering Right Time Datavarehus Norsk Tipping AS 19.11.2015 9 Analytics-reisen overordnet • • • Lite forprosjekt Kjørte migreringsprosjektet selv Oracle – Analytics: Norsk Tipping AS 19.11.2015 10 Analytics-reisen Oracle -> Analytics Norsk Tipping AS 19.11.2015 11 Hva måtte gjøres? Norsk Tipping AS 24.11.2015 12 Datastruktur • • • • Endring datatype BIGINT? Kan vi ikke bruke INT? Distribusjonsnøkkel Random? Customer_WK, Retailer_WK 800 Tabeller x 10 minutter = 4 uker Skripting Oracle Views -> Netezza DDL Besparelse: ca. 3 uker Norsk Tipping AS 24.11.2015 13 Datamigrering • • • • 800 tabeller PowerCenter (manuelt) PowerCenter (templates) 800 x 15 minutter = 6 uker Skripting Norsk Tipping AS 24.11.2015 14 Datamigrering - Skripting • • • • • Proof of Concept Tilpasse ved behov Delta lasting Initial Load: ca. 3 dager Delta Load: ca. 6 timer Norsk Tipping AS 24.11.2015 15 Migrering ETL-Jobber • • • • • • • • SQL Endringer Bruk PowerCenter repository Single Row Insert/Update Bulk Load Updates : Merge tables Trial-and-Error 650 mappinger 1 person Norsk Tipping AS 24.11.2015 16 Eksterne Applikasjoner • • • • • JAVA applikasjoner PL/SQL Packages Oracle DBLINK Views Norsk Tipping AS 24.11.2015 17 Business Objects • • • • Minimaliser oppgave… 850 -> 350 Bare rapporter som feiler Test mot produksjonsdata Pilot: direkte mot fakta Norsk Tipping AS 24.11.2015 18 Kjør parallelt, test automatisk • • • • • 2 x Powercenter + 2 x Database = kjør parallelt Ikke stopp produksjon Test automatisk (netezza vs oracle) Sparte mye tid, bra kvalitet Kan ikke sjekke alt…. Norsk Tipping AS 24.11.2015 19 Miljø : før XML Spillmotorer PowerCenter v 9.1 / AIX NT Backend Databaser Datawarehouse (Oracle) Norsk Tipping AS 24.11.2015 20 Miljø : Migrering XML Spillmotorer XML PowerCenter v 9.6 / RHEL PowerCenter v 9.1 / AIX NT Backend Databaser Automatisk Test Datawarehouse (Oracle) Norsk Tipping AS 24.11.2015 21 Datawarehouse (Netezza) Miljø : Nå Spillmotorer XML PowerCenter v 9.6 / RHEL NT Backend Databaser Datawarehouse (Netezza) Norsk Tipping AS 24.11.2015 22 Fakta! Norsk Tipping AS 24.11.2015 23 Lasting • • • • 4x raskere Spesielt store lastinger Venter på kildesystemer Feil? Laster ferdig i bare kort tid Norsk Tipping AS 24.11.2015 24 Rapporter • • • • • My fortere minutter blir sekunder Scheduled jobs -> ved behov Økt bruk av Business Objects Refaktorering pågår – fjerning aggregater Tilrettelagt for analyse og prediksjon Norsk Tipping AS 24.11.2015 25 Prosjekter • • Mindre kode Enklere å implementere Norsk Tipping AS 24.11.2015 26 Veien videre ELT Log DVH < kompl eksitet Norsk Tipping AS 19.11.2015 27 RT DVH Takk for oppmerksomheten! Kontaktinformasjon Thomas Brinkman, [email protected] Anne Mette Andreassen, [email protected]