Vind de speld in de datahooiberg
Stel u bent onderzoeker aan een vooraanstaand instituut dat zich bezighoudt met onderzoek naar kanker. U beschikt over een berg aan gegevens, waarin zich érgens dat antwoord bevindt op die onderzoeksvraag. Wie het antwoord vindt, realiseert misschien wel dé doorbraak op het gebied van de behandeling van deze beroerde ziekte.
Maar ja, waar haalt u de tijd vandaan om al deze data door te worstelen? Het antwoord is: niet. Die tijd is er niet en als het gaat om de enorme hoeveelheden gegevens die dagelijks verzameld worden door allerlei bronnen komt die tijd er ook niet.
Verbanden leggen
Zulke bergen aan data kunnen alleen worden ontrafeld met behulp van slimme computersystemen. En vooral heel krachtige systemen. Plus de juiste software die ervoor zorgt dat de gegevensberg snel en efficiënt kan worden doorgespit en waarbij verbanden worden gelegd, en de juiste antwoorden naar boven komen.
Hadoop. Dit raamwerk met deze ietwat vreemde naam is inmiddels dé standaard als het gaat om gegevensanalyse. Hadoop breekt de gegevens in kleine, hapklare brokjes en stuurt die naar kleinere deelprocessen die er vervolgens chocola van maken.
Ongestructureerde data
Toepassingen van Hadoop treffen we vooral aan in situaties waarin grote hoeveelheden ongestructureerde gegevens worden gegenereerd, denk aan Internet of Things, maar ook waar ongestructureerde data moeten worden gelegd op complete datasets. Bij dat laatste moet u vooral denken aan zaken als spraakherkenning, beeldanalyse en machine learning.
Hadoop. Het is een complex onderwerp, maar als u er het fijne van wilt weten, dan hebben we voor u een whitepaper.
Ruud van Donk, senior consultant Azlan / TechData
