Tietokantojen merkitys sovelluskehityksessä
Pasi Parkkonen
COO, Senior Consultant
www.advance.fi
”Tietokanta? Ei sillä ole merkitystä,
sehän on vaan persistent storage...”
- Hibernate koodaaja
Advance IT Solutions Oy
www.advance.fi
Pasi Parkkonen, ketterä tietokantajätkä
• Ruuvari kourassa 80-luvulla
• C64, Amiga, Atari, Spectrum, MSX2+, PC tietokoneiden kasausta
• Yliopisto-opintoja ja intti 90-luvulla
• Kehittäjätausta
• 680x0 assembler, skriptaus, monia ohjelmointikieliä, html 1994-, cgi-bin 1995-
• Sekalaisia tietokantakokeiluja 80-luvun lopulta alkaen
• Paradox, Superbase, Ingres...
• Ensimmäinen tietokantapohjainen tuotantojärjestelmä 1992
• Vesikunnan talojohtokortisto, Superbase 4, tuotantokäytössä melko pitkään
• Paljon Oraclea 1995 eteenpäin
• Kouluttajana Oracle Universityssä 1999 -
• Relaatiokantojen sekakäyttöä
• Oracle, SQL Server, MySQL, DB2, PostgreSQL...
• Vahvemmat aineet: pilveä, big dataa ja noSQL välineitä
• Azure, Amazon Oracle, Redshift, Handlersocket, Hadoop, MongoDB, TokuMX...
Advance IT Solutions Oy
www.advance.fi
Esityksen kulku
• Alustus (done)
• Miksi tarvitaan tietokantoja?
• Tietokantojen jatkuva väärinkäyttö sovelluskehityksessä
• Tietokannat sovelluskehityksen jarruna tai vauhdittajana
• Muuttuva ympäristö & vaatimukset
• Itse järjestelmät, välineet, käyttötapa, ostotapa, nopeus
•
•
•
•
Järjestelmien tietoturva
DEV, Test & QA ympäristöjen hallinta
Mitä opimme?
Kysymykset, ehkä myös vastaukset
Advance IT Solutions Oy
www.advance.fi
Miksi tarvitaan tietokantoja?
Advance IT Solutions Oy
www.advance.fi
Linkitetty lista toteuttaa tiedon tallennustarpeet
 Tietojen tallentaminen & säilyttäminen
 Tietojen hakeminen
 Tietojen muuttaminen
 Tietty jäykkyys, pakko mennä aina vain eteenpäin (.next)
 Edelliseen listan itemiin ei voi hypätä
Item1
Advance IT Solutions Oy
www.advance.fi
Item2
Item3
Evoluutio: se voi olla jopa kaksisuuntainen (!)
 Tietojen tallentaminen & säilyttäminen
 Tietojen hakeminen
 Tietojen muuttaminen
 Edelliseen itemiin pääsee hyppäämään suoraan! (.prev, .next)
Item1
Advance IT Solutions Oy
www.advance.fi
Item2
Item3
Tietokannat tarjoavat tukun ominaisuuksia
•
•
•
•
•
•
•
•
•
•
Datan tulee sijaita jossain
Monimutkaiset käsittelyvaatimukset
Nopeus
Eheys
Yhtäaikainen käyttö
Isot datamäärät
Jatkuvuusvaatimukset
Lukitukset, yhteiskäyttö
Backupit
Palautukset
... Kaupan päälle JTO!
Advance IT Solutions Oy
www.advance.fi
JTO
Jonkun Toisen Ongelma
Advance IT Solutions Oy
www.advance.fi
Nopea kurkistus historiaan
Noin 20 vuotta sitten tehtyä webbikehitystä
Advance IT Solutions Oy
www.advance.fi
Web arkkitehtuuri mallia 1995
www-sivut
CGI-BIN
Perl
”Videoplayer”
Marjalan asuntomessut 1995
• Selainpohjainen tietokilpailu
• Kysely näytti videon, jonka
jälkeen esitettiin kysymys
• Useampi yhtäaikainen käyttäjä
www-sivut
www-sivut
Vastaukset tekstitiedostoon
Lukkotiedosto yhteiskäyttöä varten
”Tietokanta”
Advance IT Solutions Oy
www.advance.fi
NCSA Mosaic
Advance IT Solutions Oy
www.advance.fi
Tilanne vuonna 2014
Kuinka rakentaisit
vastaavan
Web järjestelmän
tänään?
Tuskinpa samalla
tavalla...
Advance IT Solutions Oy
www.advance.fi
Audience participation required
[WARNING] YOU need to be active during this session!
Advance IT Solutions Oy
www.advance.fi
Relaatiokantojen
käyttäjät?
Advance IT Solutions Oy
www.advance.fi
Muun tyyppisten
kantojen käyttäjät?
NoSQL
Hadoop
MongoDB
TokuMX
Neo4j
Key – Value
Wide column
Document
Graph
Advance IT Solutions Oy
www.advance.fi
Lähde: http://www.networkworld.com/article/2839141/cloud-computing/nosql-takes-the-database-market-by-storm.html
Advance IT Solutions Oy
www.advance.fi
Tietokantojen väärinkäyttö
rangaistavaksi
Advance IT Solutions Oy
www.advance.fi
Advance IT Solutions Oy
www.advance.fi
Tietokantojen ominaisuuksien hyödyntäminen
• tietokannoista löytyy ominaisuuksia, joita harva osaa hyödyntää
• näillä ominaisuuksilla voi oikeasti ratkaista monia ongelmia
• esim. tietotyypit
• tietotyypit vaikkapa laina-aikojen käsittelyyn ”3 vuotta, 6kk, 7 päivää”
• Kaikki kuviteltavissa olevat aikavyöhykekäsittelyt muunnoksineen (lokaali / globaali)
• funktiot ja proseduurit
• Karkausvuosi
• Tilastolliset funktiot datalle
• oikea käyttötapa
• mitä tehdä tietokannassa, mitä sovelluskoodissa?
• milloin on hyvä suorittaa koodia tietokannassa?
• mitä tietoa kannattaa siirtää sovelluskerrokselle? Milloin se ei kannata?
• arkkitehtuurivalinnat
• oikeiden välineiden valinta tärkeää hyvän lopputuloksen varmistamiseksi
Advance IT Solutions Oy
www.advance.fi
Tietokannat sovelluskehityksessä
• välttämättömiä
• järjestelmien data sijaitsee ~aina tietokannassa
• poikkeuksia tähän voivat olla dokumenttijärjestelmät (ei välttämättä)
• muita poikkeuksia?
• mahdollistajia
• tarjoavat monenlaisia kyvykkyyksiä
• sovelluskehittäjä voi ottaa niitä käyttöön tai keksiä pyörää uudelleen vuodesta toiseen
• mahdollisuus pärjätä myös suurten datamäärien kanssa (teratavut, petatavut)
• erilaisia eläimiä
• tietokantojen kanssa pärjääminen on oma taiteenlajinsa
Advance IT Solutions Oy
www.advance.fi
”Number one bottleneck in
application development is
supplying development and QA
environments”
- Gene Kim, author on The Phoenix Project
Advance IT Solutions Oy
www.advance.fi
Q: Kuinka generoitte testidataa?
Tuotannosta tietyllä syklillä?
Kantadumppi, import testiin?
Kehittäjä vai DBA tekee?
Advance IT Solutions Oy
www.advance.fi
Testidatan hallinnan automatisointi
Advance IT Solutions Oy
www.advance.fi
Testidatan hallinta
Datan suojaaminen ulkopuolisilta
Testidatan generoinnin automatisointi
Advance IT Solutions Oy
www.advance.fi
Case: järjestelmän tiukat
lokitusvaatimukset
Muutoshistoria:
• kuka muutti dataa?
• milloin?
• vanhan tiedon tallentaminen
• turvallisuustoimiala
Advance IT Solutions Oy
www.advance.fi
Case: järjestelmän tiukat lokitusvaatimukset
• järjestelmässä käytössä sovellustason lokitus (jopa 15 triggeriä per insert)
• jokainen triggerikutsu aiheuttaa 2 context switchiä
 vakavaa hitautta (jopa 30 kpl context switchejä)
 estää tekemästä operaatiota ns. bulk operaationa
Pilotoimme tietokannan enterprise version change trackingin & lokituksen.
Tulos: 1000 kertainen nopeutus insertoinnissa, kun
tietokannan ominaisuudet kytkettiin päälle.
Aina edes tietokantatason lokitus ei riitä täyttämään, esim. compliance
vaatimuksia => miten voidaan osoittaa, ettei lokeja ole muunneltu?
Advance IT Solutions Oy
www.advance.fi
Tietoturva
...ja datan
kanssa
eläminen
Advance IT Solutions Oy
www.advance.fi
Tietomurtoja tehdään jatkuvasti
Sensitiividatan suojaaminen
tärkeää
Suojaamisen täytyy
tapahtua tietokantatasolla
2015 lakimuutos
henkilötietojen
hukkaamisen
kriminalisoinnista
Advance IT Solutions Oy
www.advance.fi
Livedemo
Tällaisessa maailmassa elämme
Advance IT Solutions Oy
www.advance.fi
Muuttuva ympäristö &
vaatimukset
Tietoturvavaatimukset
Advance IT Solutions Oy
www.advance.fi
Tiukat tietoturvavaatimukset
• jos vaatimukset ovat hyvin tiukat, voi olla että
esim. järjestelmän sovelluspalvelintasolle
rakennettu lokitus ei riitä
• serveriltä pääsee suoraan kiinni dataan
• lokeja pääsee muokkaamaan
• rootit käsissä voi muuttaa kaikkea
• compliance kysymykset
• kuka vahtii adminia?
• kuinka voidaan osoittaa, ettei datoja ole viety?
• kuka on hakenut tietoja viimeisen vuoden aikana?
Advance IT Solutions Oy
www.advance.fi
Ajattele out-of-the-box
Ratkaisu voi olla 100% valmis, se vain otetaan käyttöön
Esim. valmis tietokannan ulkopuolinen tietoturvajärjestelmä ratkaisemaan
compliance, raportointi, sisäisen tarkastuksen, asiakkaiden tms. vaatimuksia
Advance IT Solutions Oy
www.advance.fi
Advance IT Solutions Oy
www.advance.fi
Advance IT Solutions Oy
www.advance.fi
Advance IT Solutions Oy
www.advance.fi
Advance IT Solutions Oy
www.advance.fi
Yhteenveto
Oikea aseistus tärkeää
Advance IT Solutions Oy
www.advance.fi
Oikea aseistus tehtävään
• Eventual consistency ei kuullosta hyvältä pankin tuotantojärjestelmässä
• Sosiaalisen median saitilla, kuten Facebookissa se on taas ihan ok
• 10 Exadataa jokaiseen maahan ei kuulosta parhaalta infralta Facebookille
• Sopiva sharding ratkaisu, automaattinen datan replikointi jne taas kuulostaa hyvältä
• Globaalin yrityksen uudelle intralle pilvi voi olla erittäin hyvä ratkaisu
Yhteistä:
• koskaan ei ole ollut niin paljon erilaisia vaihtoehtoja
• isotkaan datamäärät eivät ole enää ongelma
• osa NoSQL (Not Only SQL) – ratkaisuista on jo täysin tuotantokypsiä
Advance IT Solutions Oy
www.advance.fi
Esityksen pointit
• tarvitaan myös ketteriä tietokantajätkiä
• kantaosaamisella tehostusta, tehoa ja laatua työn jälkeen
• otetaan käyttöön jo olemassaolevat ominaisuudet
• ketterällä DBA:lla erilainen temppuvalikoima hihassa kuin ketterällä kehittäjällä
• arkkitehtuurilla on todellakin merkitystä
• if <liian syvällä koodissa> then <astu 2 askelta taaksepäin>
• pohdi ratkaisetko asiaa kestävästi ja riittävän hyvin
• ”good enough” on toki ketterää 
• tietoturvan tärkeys korostunut ja korostuu jatkossakin
• EU krimininalisoimassa henkilödatan hukkaamisen
• asiat pitää ratkaista oikealla tavalla, esim. Compliance vaatimusten täyttäminen
• testidatan hukkaaminen voi olla tapa hukata henkilödataa
Advance IT Solutions Oy
www.advance.fi
Advance IT Solutions Oy
www.advance.fi
Q&A
Sana on vapaa
Advance IT Solutions Oy
www.advance.fi
We are Advance. This is what we do.
Where?
Database Security
Disaster
Recovery
sites
In a nutshell:








DBA CONSULTANTS
DATABASE SUPPORT
DATABASE SECURITY
LICENSES
ENTERPRISE IT
OFF-SITE BACKUP
HIGH AVAILABILITY
DISASTER RECOVERY
Advance IT Solutions Oy
www.advance.fi
Etäpalvelin
(DR)
High
Availability
Off-site
backup
Database
Support
Hitsaajankatu 20
00810 Helsinki
Contact:
Sales Manager:
Matias Löfman
+358 40 5709 066
[email protected]
COO:
Pasi Parkkonen
+358 40 5905 307
[email protected]
CEO:
Timo Peltonen
+358 40 7227 017
[email protected]
Tietokantapalvelumme
Tietokantojen ylläpitopalvelu
Advance IT Solutions Oy
www.advance.fi
Tietokantojen tietoturva
DB ajoympäristöjen parantaminen