Prep og last av data i SAS Visual Analytics

Analysis of Variance
Statistical Process Control
Spectral Analysis
Categorical Data Analysis
Social Network Analysis
Forecasting
R Integration
Statistical Analysis
Nonlinear Programming
Process Capability Analysis
Sentiment Analysis
Design of Experiments
Cluster Analysis
Data Visualization
Matrix Programming
Scoring Acceleration
Bayesian
Ensemble Models
Text Analytics
Gradient Boosting Machines
Predictive Analytics
Survey Data Analysis
Genetic Algorithms
Operations Research
Association & Sequence Analysis
Constraint Programming
Survival Analysis
Analysis of Means
Interior-Point Models
Discrete Event Simulation
Automated Scoring
Simulation
Random Forrests
Content Categorization
Ontology Management
Model Management
Large-Scale Forecasting
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Multivariate Analysis
Quality Improvement
Content Categorization
Ontology Management
D-Optimal
Information Theory
Mixed Models
Study Planning
Time Series Analysis
ARIMA Models
High Performance Forecasting
Statistics
Multinomical Discrete Choice
Sample Size Computations
X11 & X12 Models
Psychometric Analysis
Text Mining
Predictive Modeling
Econometrics
Data Mining
Decision Trees
Descriptive Modeling
Linear Programming
Interactive Matrix Programming
Nonparametric Analysis
Neural Networks
Reliability Analysis
Network Flow Models
Vector Autoregressive Models
Discrete Event Simulation
Mixed-Integer Programming
Exploratory Data Analysis
Scheduling
Fractional Factorial
Regression
PREP OG LAST AV DATA I
SAS VISUAL ANALYTICS
VEGARD HANSEN, SENIOR ANALYTIKER
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
HVA ER SAS® VISUAL ANALYTICS
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL
HVA ER SAS® VISUAL ANALYTICS?
ANALYTICS
En løsning for data visualisering,
utforskning av data og guidet analyse
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL
HVA ER SAS® VISUAL ANALYTICS?
ANALYTICS
Administration
•
Explore, discover and visualize
Distribute
WEB-GRENSESNITTET
ADMINISTRATION
• Prepare and load data
• Administrate
• Monitoring
EXPLORER
• Perform ad-hoc analysis &
data discovery
• Guided analytics
DESIGNER
• Create reports and
dashboards
• Distribute content
• Interactive reports
SAS® LASR™ ANALYTIC SERVER
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
DISTRIBUTION
•
•
•
•
Web
SAS Mobile BI
MS Office & SharePoint
PDF, Excel, CSV
SAS® VISUAL
HVA ER SAS® VISUAL ANALYTICS – KOMPONENTER
ANALYTICS
Administrere
ADMINISTRASJON
• Dataprep og last av data
• Administrere
• Monitorere/overvåke
Utforske, oppdage og visualisere
EXPLORER
• Utføre ad-hoc analyser &
utforske data
• Guidet analyse
DESIGNER
• Lage rapporter og
dashboards
• Interaktive rapporter
• Distribuere innhold
SAS® LASR™ ANALYTIC SERVER
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Distribuere
DISTRIBUSJON
•
•
•
•
•
Web
SAS Mobile BI
MS Office & SharePoint
PDF, Excel, CSV
Skedulere
SAS® VISUAL
HVA ER SAS® VISUAL ANALYTICS – KOMPONENTER
ANALYTICS
Administrere
ADMINISTRASJON
• Dataprep og last av data
• Administrere
• Monitorere/overvåke
Utforske, oppdage og visualisere
EXPLORER
DESIGNE
• Utføre ad-hoc
analyser &
• “THE
Lage rapporter
HJEMMESIDEN/
HUB” og
utforske data
dashboards
• Sentral inngang
• Guidet analyse
•
• Rolle basert oppsett Interaktive rapporter
• Distribuere
• Organisere og distribuere
innhold innhold
• Tilgang til alle VA funksjoner
SAS® LASR™ ANALYTIC SERVER
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Distribuere
DISTRIBUSJON
•
•
•
•
•
Web
SAS Mobile BI
MS Office & SharePoint
PDF, Excel, CSV
Skedulere
SAS® VISUAL
KONSEPT
ANALYTICS
Simulere
Hva skjer hvis….?
?
HVORFOR?
Tidsserier
Hva er nåværende
trend?
VARFÖR
Data Visualisering
& Utforskning
HVA?
Enkel
Visualisering
Drillbare
Visualisering
(Pivot)
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Alarmer/
Alerts
Interaktive
Visualiseringer &
Rapporter
(Dashboards)
Forstå Hvorfor
Hva påvirker hva?
SAS® VISUAL
HVILKEN VERDI
ANALYTICS
Selvbetjenings modell/løsning – Lett å
begynne
Mulig å lage interaktive rapporter med navigasjon til
detaljerte data
Effektiv distribusjon av innhold
Håndter alle dataene dine og aggreger når du
trenger det
Data behøver ikke å være pre-definerte
Finn mønster og trender som forklarer forskjellige
spørsmål
Identifiser underliggende parameter som påvirker spesifikke
KPI’er
Et web-grensesnitt med forskjelleige muligheter for
forskjellige roller
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL
NOEN EKSEMPLER PÅ ANVENDELSE
ANALYTICS
Klassisk BI rapportering for oppfølging, planlegging osv.
Salgs- og markedsrapportering og analyse, Salgsprosess oversikter mv.
Kunde/pasient innsikt and analyse, identifisere “fraud”, identifisere (plutselig)
endring i adferd og utvikling – bruker data innovation lab concept(Big Data)
Ad-hoc verktøy – data visualisering og utforksning for å finne svar på forskjellige
ad-hoc spørsmål
Analytical cycle support – data utforskning for innsikt/kunnskap og data validering
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
LAST AV DATA TIL SAS VISUAL ANALYTICS (LASR)
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL
FORSKJELLIGE METODER FOR Å LASTE DATA INN I LASR
ANALYTICS
Direkte import i VA
•
•
•
•
Direkte import av data kan
gjøres i alle VA komponenter
Velg fil av type csv, Excel,
tekst, SAS datasett fil eller
andre datakilder og last data
inn i LASR
En jobb lages automatisk
Katalog (folder) for autoload
av csv, Excel eller SAS
datasett inn i LASR er også
tilgjengelig («drop-box»)
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Andre muligheter
Data spørringer i VA
•
•
•
•
•
Lage dataspørringer for last
av data.
Spørringer kan skeduleres.
Last av data fra en
datakilde/server via en SAS
connector.
Direkte import av data inn i
data builder
Støtte for stjerneskjema og
append tables
(på utsiden av SAS VA)
•
•
•
•
SAS Enterprise Guide
SAS Data Management (SAS
DI Studio)
SAS Base kode
Ikke-SAS ETL verktøy
SAS® VISUAL
HVEM GJØR HVA?
ANALYTICS
Sluttbruker
Direkte import i VA
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Superbruker
Visual Data Builder
Enterprise Guide
Utvikler / Data administrator
Data Integration Studio
SAS Code
SAS® VISUAL
GRUNNLEGGENDE OM LASTING AV DATA INN I LASR
ANALYTICS
•
•
Viktig komponent: SAS connectors (SAS Access Engines)
SAS Visual Analytics inkluderer 2 SAS connectors:
•
•
PC File Format access connector (mandatory)
En egenvalgt SAS connector
•
SAS connectors er konfigurert for hver datakilde/database (normalt engangs
oppgave)
• Importering av Excel, CSV og SAS datasett direkte inn i VA krever ikke noen
pre-konfigurering.
• Last av data inn i VA kan etableres på flere forskjellige måter, beskrevet i de
neste slidene.
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL
GRUNNLEGGENDE PRINSIPPER FOR DATAPREP OG LAST
ANALYTICS
•
Eksempelet illustrerer ‘basic’
oppsett.
•
Multiple (logiske) LASR servere
kan konfigureres til:
• Ulike formål
• Ulike brukergrupper
• Prosjekter, etc.
•
Ulike sikkerhetsinnstillinger kan
legges til LASR-server
•
De neste sidene viser eksempler
på last av data til SAS LASR
Analyticsl Server, basert på
beste praksis fra området.
SAS Visual Analytics Environment
SAS LASR Analytical Server
SAS Data Connectors
Oracle
SAP
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SQL
Hadoop
Files
SAS® VISUAL
SCENARIO BESKRIVELSE FOR LAST AV DATA
ANALYTICS
•
Scenario 1 – Rett frem last av data til LASR-server direkte fra kilde
•
Scenario 2 – Staging av data i SAS før last til LASR-server
•
Scenario 3 – Staging av data i Hadoop før last til VA/LASR-server
•
Scenario 4 – Eksempel ved bruk av multiple LASR servere
•
Scenario 5 – Rad-nivå-sikkerhet vs multiple datakilder
•
(NB! Scenarioer kan kombineres)
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL SCEANRIO 1 - RETT FREM DATA LOAD TIL LASR DIREKTE FRA
ANALYTICS KILDE
SAS Visual Analytics Environment
•
•
SAS LASR Analytical Server
SAS Data Connectors
Oracle
SAP
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SQL
Hadoop
Eksempel illustrere en kunde
som har en MS SQL-server.
Files
Ulike SQL view er laget som marter
for hvert dashboard/rapport
•
SAS VA spørringer peker på
hvert SQL View og deretter
skedulert i VA
•
Ingen data i staging
•
Kun en logisk LASR-server
SAS® VISUAL
SCENARIO 2 – STAGING DATA I SAS FØR DATALOAD TIL LASR
ANALYTICS
•
Eksempelet viser data som
kommer fra multiple datakilder,
med staging og dataprep ved bruk
av ulike SAS verktøy eller Visual
Data Builder i VA
•
Valg av SAS verktøy er i
utgangspunktet sett i et (historisk)
perspektiv i forhold til SAS
kompetanse og anvendelse.
•
Eksempel på kunder som har valgt
dataprep ved bruk av SAS/Base
(o.l.).
•
Eksempel på kunder som har brukt
SAS Data Management Tools til å
laste data til LASR, og som også
kan brukes til å laste data inn i
Hadoop.
•
Jobber kan skeduleres
SAS Visual Analytics Environment
SAS LASR Analytical Server
Server Disk (SAS Libraries)
SAS Data Connectors
Oracle
SAP
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SQL
Hadoop
Files
SAS® VISUAL
SCENARIO 3 – STAGING DATA I HADOOP FØR LAST AV DATA TIL VA
ANALYTICS
SAS Visual Analytics Environment
•
Eksempel på data staging
scenario i Hadoop for å få en
(enda) raskere dataload til
LASR-server.
•
Vanlig bruk av metoden når
store datavolum skal lastes til
LASR-server, og teknologien er
nyttig for å oppnå raskere re-last
av data til LASR-server (ved
eks. re-start av server).
•
Metoden er bl.a. brukt hos
kunde i et VA Data Lab oppsett.
SAS LASR Analytical Server
SAS Hadoop/HDFS (or other Hadoop cluster)
SAS Data Connectors
Oracle
SAP
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SQL
Hadoop
Files
SAS® VISUAL SCENARIO 4 – EKSEMPEL VED BRUK AV MULTIPLE LASR
ANALYTICS SERVERE
•
NB! Eksempelet kan benyttes i
kombinasjon med eksemplene
1-3.
•
Kunder har opprettet multiple
(logiske) LASR-servere for
mange formål, eksempelvis:
SAS Visual Analytics Environment
SAS LASR Analytical Server
•
En server for å dekke daglige
dashboard/rapporter der det er
krav til nøyaktighet i data og behov
for faste oppdateringer, samt en
server for innovasjons-lab hvor
data lastes inn og tømmes ut av
minnet ved behov.
•
Opprettes en (logisk) server for
hver forretningsenhet og
bruksområde. Tilnærmingen
benyttes for å sikre og separere
data fra forskjellige
grupper/brukere.
SAS Data Connectors
Oracle
SAP
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SQL
Hadoop
Files
SAS® VISUAL
SCENARIO 5 – RAD-SIKKERHET VS MULTIPLE DATAKILDER
ANALYTICS
•
NB! Eksempelet kan benyttes i
kombinasjon med scenario 1-3.
•
Noen VA kunder har ulike typer av
brukere/grupper som kun av
sikkerhetsårsaker skal ha tilgang til
helt spesifikke data.
•
Rad-nivå sikkerhet tillater ulike
brukere å se samme VA rapporter,
men data er segmentert, basert på
rad-nivå reglene satt av
administrator/BI-utvikler.
•
Eksempel er kunde som har
segmentert på bl.a. land og
grupper, og tilgang til data er
begrenset til å se sine egne data,
mens leder kan se alle sine ansatte
sine data.
•
Noen kunder separerer datakilder i
LASR. Mulighet dersom det er få
brukere/grupper.
SAS Visual Analytics Environment
SAS LASR Analytical Server
SAS Data Connectors
Oracle
SAP
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SQL
Hadoop
Files
SAS® VISUAL DATA BUILDER
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL DATA
HVA ER SAS VISUAL DATA BUILDER?
BUILDER
•
•
•
•
•
Lage dataspørringer fra en eller flere
input tabeller.
Administrere kolonneegenskaper og
lage kalkulerte kolonner basert på
uttrykk
Filtrere data til å kun inneholde
ønskede rader.
Lage outputtabeller eller laste
resultatet av spørringer direkte til
SAS LASR Analytical server (inmemeory).
Importere data fra lokalt, fra server,
Hadoop, eller andre kilder
(facebook, twitter, og google
analytics).
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
SAS® VISUAL DATA HVORFOR LAGE SPØRRINGER I VA VED BRUK AV SAS
BUILDER VDB?
Det
kommer an på…..?!
SAS Visual Data Builder Data Intergration Tools
Kapasitet
Brukervennlig verktøy med
avgrenset og funksjonelt enkle
sett av muligheter/kapasiteter.
Kompleks(e) verktøy med bredt og stort utvalg av
mulige kapasiteter
Tillatelser
Brukere trenger bare begrenset
tilgang til data.
Trenger tilgang til et større (store) mengder data.
Kompetanse Minimal kontakt med SQL
Deling
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .
Data laget for et spesifikt formål
og deles med et mindre/antall
team
Programmerings- og scriptingskompetanse viktig
Data laget for flere formål og deles på tvers av
multiple avdelinger
SAS® VISUAL DATA
BUILDER
C op yr i g h t © 2 0 1 4 , S A S I n s t i t u t e I n c . A l l r i g h t s r es er v e d .