Massadata
Massadata tai iso data (engl. big data) on erittäin suurten, järjestelemättömien, jatkuvasti lisääntyvien tietomassojen keräämistä, säilyttämistä, jakamista, etsimistä, analysointia sekä esittämistä tilastotiedettä ja tietotekniikkaa hyödyntäen.
Massadata on siis yhteisnimitys valtaisille datamäärille, joiden yhteydessä ei voida soveltaa perinteisiä datanhallinnointitapoja. Massadata soveltuukin käsitteenä hyvin moniin erityyppisiin tilanteisiin, eikä vielä ole syntynyt konsensusta siitä mitä massadata tarkalleen sisältää. Vaikkei olekaan yhtä vakiintunutta määritelmää, on olemassa toistuvia tunnusomaisia piirteitä, joilla massadataa kuvataan. Näitä ovat muun muassa seuraavat:
- se ei ole käsiteltävissä yleisesti käytössä olevilla laitteistoilla tai ohjelmistoilla siedettävissä olevassa ajassa käyttäjän kannalta
- mahdollisesti käytössä monessa paikassa yhtä aikaa
- data tulee eri lähteistä, eri muodoissa ja se kasaantuu ja/tai muuttuu nopeasti
- usein jonkin laitteen automaattisesti tuottamaa
- kerätty mahdollisesti ilman suunnitelmaa siitä, mihin sitä tarkkaan ottaen tullaan käyttämään
- datalla on usein vain löyhästi määritelty rakenne, tai ei rakennetta lainkaan, jolloin sitä ei voida sellaisenaan analysoida
- lisäksi myös: tiedon varastointi fyysisesti (tilat, tiedon siirto, laitteet (palvelimet) ja siihen liittyvät asiat, kuten huolto tai jäähdytys)
Massadatalle on myös ominaista määritelmän tarkan sisällön muuttuminen ajan kuluessa. Tämä tapahtuu teknologian ja työvälineiden kehittyessä, jolloin se data, jonka käsittely vielä aiemmin tuotti vaikeuksia onkin tänään jo siinä määrin helposti hyödynnettävissä, ettei sitä enää voida massadataksi kutsua.
Massadatan ominaisuuksia
Massadataa voidaan kuvata seuraavilla ominaisuuksilla (engl. viisi V:tä):
- Volume (määrä) = Luodun datan määrä ja varastoidun datan määrä. Datan määrä määrittelee arvon ja potentiaaliset oivallukset voidaanko sitä pitää massadatana vai ei
- Variety (valikoima) = Tietojen tyyppi ja luonne. Saatu data koostuu useasta eri lähteestä ja on joko jäsentymätöntä tai lähes jäsenneltyä
- Velocity (nopeus) = Dataa tulee pystyä tuottamaan nopeasti ja sitä tulee myös pystyä käsittelemään nopeasti
- Value (arvo) = Datan tulee tuottaa arvoa ja dataa tulee pystyä hyödyntämään
- Veracity (todenmukaisuus) = Datan analysointi voi johtaa vääriin johtopäätöksiin tai analysoituihin tuloksiin liittyy epävarmuutta
Massadatan kertyminen
Massadataksi kutsuttavia tietovarantoja syntyy hyvin monilla eri aloilla. Sen lähteitä ovat muun muassa seuraavat:
- Aika- ja paikkatiedot, esimerkiksi navigointipalvelu, joka tallettaa missä asiakas on milläkin hetkellä
- Internetsivustojen lokitiedot
- Tekstit, kuten asiakaspalaute tai arvostelut
- RFID-merkit
- Älykkäät sähköverkot
- Laitteiden toimintaa tarkkailevat mittarit
- Sosiaalisen median sisältö, sosiaalinen massadata
- Telemetria autoissa, tai videopelin pelaajan toimintaa seurattaessa
Massadatan käyttäminen
Massadatan käyttöönotto saattaa olla haastavaa johtuen suuruuden lisäksi myös rakenteesta ja hyödyllisen tiedon erottamisen vaikeudesta.
Rakenne
Erityyppiset datan rakenteet voidaan jaotella karkeasti seuraaviin kolmeen eri luokkaan:
- Rakenne on selkeä ja ennalta tarkkaan määritelty. Perinteisesti data on tällaista, missä on ennalta määritetty mitä tietoja kerätään ja miten ne merkitään ja tämä sama säännöstö pätee koko dataan.
- Löyhästi määritelty rakenne. Esimerkiksi internetsivuston keräämät lokitiedot ovat tällaista. Data sisältää tietoa, joka on merkitty ennaltamäärätyllä tavalla, mutta minkä tahansa yksittäisen tiedon etsiminen saattaa vaatia mittavaa etsimistä. Analysointia varten dataa joudutaan luultavasti merkittävästi muokkaamaan ja sieltä poimimaan ne osat, jotka ovat varsinaisesti hyödyllisiä annetun kysymyksen näkökulmasta.
- Ei lainkaan rakennetta. Esimerkiksi asiakaspalautteet tai sosiaalisesta mediasta poimitut ihmisten lähettämät julkiset päivitykset. Tällaisessa tilanteessa ei voida lainkaan tehdä oletuksia siitä, mitä data tulee sisältämään tai millaisessa muodossa asioita tullaan ilmaisemaan.
Turha data
Nykyisin tiedontallennuksen ollessa hyvin edullista dataa saatetaan kerätä niin paljon kuin voidaan, esimerkiksi asiakkaan käyttäytymisestä organisaation internet-sivustolla. Tällöin tallennetuksi päätyy myös paljon sellaista dataa, joka ei ole hyödyllistä. Ryhdyttäessä analysoimaan tällaista dataa ensimmäiseksi täytyy pyrkiä löytämään datan joukosta se osa, joka on merkityksellistä. Mikä osa datasta on kunkin hetkisen tilanteen kannalta oleellista saattaa vaihtua hyvinkin nopeasti. Tämä johtuu siitä että, Massadatan yhteydessä on tyypillistä päivittää tehtyä analyysia hyvin usein, jotta käytettävissä olisi viimeisin mahdollisin tieto.
Käyttöönotto
Kun edellisistä kohdista ollaan selvillä voidaan siirtyä käyttämään yleistä kolmiportaista ETL-mallia massadatan käyttöönotolle. Ensimmäiseksi tulee extraction, suomeksi poiminta, eli data saadaan jostain. Tämän jälkeen tulee transformation, suomeksi muunnos, jolloin datalle tehdään tarvittavat muutokset sen käyttöönottamiseksi valitussa analysointiympäristössä. Viimeisenä vaiheena on load, suomeksi lataaminen, eli otetaan data käyttöön valitussa analysointiympäristössä.
Massadatan virtualisointi
Datavirtualisointi on tapa kerätä tietoa useista lähteistä samassa paikassa. Kokoaminen on virtuaalista: toisin kuin muut menetelmät, suurin osa tiedoista jää alkuperäisasemaansa ja on peräisin vaadittavista raaka-aineista.
Kritiikki
Yksityisyydensuoja
Kerättäessä suuria määriä tietoa yksittäisten ihmisten toiminnasta, kuten vaikkapa sosiaalisen median käytöstä, on noussut huoli siitä kuka ja miten näitä tietoja voidaan käyttää. Euroopan unionin yleinen tietosuoja-asetus (GDPR) antaa tietyssä tilanteissa rekisteröidylle oikeuden saada itseään koskevat tiedot pois palveluntarjoajan rekisteristä, tämä kulkee nykyisin nimellä oikeus tulla unohdetuksi (engl. the right to erasure). Maailmanlaajuisesti samantapaisia aloitteita on lukuisia muitakin.
Lähteet
- ↑ http://www.bigdata.fi/big-data-maaritelma (Arkistoitu – Internet Archive)
- ↑ http://www.talouselama.fi/kumppaniblogit/tieto/big+data+muuttaa+maailmaa/a2191461 (Arkistoitu – Internet Archive)
- ↑ Hilbert, Martin (2013)http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2205145 "Big Data for Development: From Information- to Knowledge Societies" Rochester, NY: Social Science Research Network
- ↑ Srinivasa, Srinath (2012) http://link.springer.com.ezproxy.jyu.fi/book/10.1007%2F978-3-642-35542-4 "Big Data Analytics : First International Conference, BDA 2012, New Delhi, India, December 24-26, 2012. Proceedings / edited by Srinath Srinivasa, Vasudha Bhatnagar" Springer, Berlin, Heidelberg.
- 1 2 3 4 5 6 7 8 9 Franks, Bill (2012) http://site.ebrary.com.ezproxy.jyu.fi/lib/jyvaskyla/docDetail.action?docID=10546553[vanhentunut linkki] "Taming the Big Data Tidal Wave : Finding Opportunities in Huge Data Streams with Advanced Analytics" Wiley, Hoboken, NJ, USA
- 1 2 Adrian, Merv (2011)http://www.teradatamagazine.com/v11n01/Features/Big-Data/ (Arkistoitu – Internet Archive) "Big Data" Teradata Magazine 1/2011
- 1 2 3 4 5 6 Kacfah Emani, C., Cullot, N. and Nicolle, C.: Understandable Big Data: A survey. Computer Science Review., 17, pp. 70–81. doi: 10.1016, 2015 toukokuu. Elsevier Inc..
- 1 2 3 4 5 6 Authors, F.: Enhancing knowledge management: Big Data analytics and social media content. Strategic Direction, toukokuu 2017.
- ↑ Data Virtualization – dataWerks www.datawerks.com. Arkistoitu 10.4.2018. Viitattu 3.5.2018. (englanniksi)
- ↑ Lee, Newton (2013)"Facebook Nation: Total Information Awareness" Springer, New York
Aiheesta muualla
Kuvia tai muita tiedostoja aiheesta Massadata Wikimedia Commonsissa