Het oudste geschreven document dat tot nu toe is ontdekt is een klacht over de ondermaatse kwaliteit van koper, gegraveerd in klei en ongeveer 3500 jaar oud. Het is fascinerend om te lezen hoe het dagelijks leven van mensen er duizenden jaren geleden uitzag en hoe goed de klei bewaard is gebleven. Vandaag de dag worden er elke minuut enorme hoeveelheden data gecreëerd en met technologieën zoals AI komt er alleen maar meer data bij. Zullen toekomstige generaties net zo gefascineerd zijn door de data die wij nu creëren als wij dat zijn door de eeuwenoude klacht in klei?
Verschil in data die door mensen zijn gecreëerd en data die door computers worden gegenereerd
Een steeds groter percentage van de data die elke dag wordt gecreëerd, wordt niet langer door mensen gegenereerd, maar door computers en apparaten. Een voorbeeld hiervan zijn data van beveiligingscamera’s die hoge resolutie beelden opnemen. Voeg daar alle data aan toe die door IT-systemen worden gegenereerd omwille van security, veerkracht of regelgeving en het wordt voor bedrijven al snel moeilijk om goed met deze enorme hoeveelheden data om te gaan. Nu komen daar ook nog de gegenereerde data van AI-systemen bij. Bedrijven hebben een schaalbare en flexibele strategie nodig om met al deze data om te gaan.
Hoewel toekomstige generaties waarschijnlijk niet bijzonder geïnteresseerd zullen zijn in deze informatie, is het algemeen aanvaard dat we zoveel mogelijk gegevens willen bewaren omdat er maar één probleem nodig is om organisaties te laten wensen dat ze een bepaalde dataset niet hadden verwijderd. Hiernaast is er een groeiend besef dat door mensen gecreëerde data belangrijk zijn om nieuwe AI-modellen te trainen en ‘model collapse’ te voorkomen. Deze data is bijvoorbeeld divers, met meer subtiele nuances vergeleken met trainingsdata die gegenereerd is door machines. De waarde van door mensen gecreëerde data is daarom groot en deze data worden niet snel meer verwijderd.
Datagroei en data gravity
Naar schatting is 90% van de data die wereldwijd beschikbaar zijn, pas in de afgelopen twee jaar gegenereerd. In de praktijk betekent dit dat de hoeveelheid gegevens die in de komende jaren gegenereerd zullen worden, waarschijnlijk snel groter zal zijn dan de totale hoeveelheid data die er nu is. Deze exponentiële datagroei maakt het voeren van het juiste beleid op gebied van datalocatie, -bescherming en -retentie steeds belangrijker om eventuele problemen te minimaliseren.
Naarmate de hoeveelheid data zich opstapelt, zorgen de omvang en de onderlinge afhankelijkheden voor nieuwe uitdagingen op het gebied van storage en toegankelijkheid. ‘Data gravity’ zorgt er niet alleen voor dat een dataset moeilijker is om te verplaatsen, het zorgt er ook voor dat kleinere datasets naar dezelfde locatie worden getrokken – vaak omdat ze gekoppeld zijn door een applicatie. Dit verergert het probleem: meerdere datasets die zich groeperen worden groter en de applicaties die afhankelijk zijn van grotere datasets zullen niet gemakkelijk verplaatst kunnen worden.
Omgaan met enorme datagroei
Organisaties kunnen een aantal stappen nemen om de uitdagingen van datagroei en data gravity het hoofd te bieden:
- Bepalen waar data worden opgeslagen: de meeste grote organisaties hebben een hybride cloud benadering, waarbij sommige datasets on-premises worden opgeslagen en sommige in de publieke cloud. Als het gaat om het bepalen waar data worden opgeslagen, is het belangrijk dat duidelijk is wat de gevolgen van een bepaalde keuze zijn op kosten, security en veerkracht. Het is daarnaast essentieel dat problemen direct aangepakt kunnen worden – hoe langer er wordt gewacht, hoe moeilijker het wordt om data te verplaatsen. Organisaties moeten zich altijd afvragen: “Zijn mijn keuzes nog steeds de juiste als deze dataset tien keer zo groot wordt?” Hoewel een tienvoudige groei misschien overdreven lijkt, wordt dit bij een groeipercentage van 40% per jaar al in slechts zeven jaar bereikt. Daarnaast is het belangrijk om bij het verplaatsen van data het proces zo eenvoudig mogelijk te houden, zodat software en infrastructuur niet aangepast hoeven te worden.
- On-demand consumptie voor nieuwe vereisten: on-demand, on-premises storagesystemen kunnen bedrijven helpen om om te gaan met onverwachte storagebehoeften en tegelijkertijd de toekomstige groei van nieuwe applicaties en hun data bij te houden. Deze aanpak maakt het eenvoudiger om inzicht te krijgen in de opslagvereisten op lange termijn.
- Security en de groeiende behoefte aan dataveerkracht: ransomware-aanvallen en toenemende wettelijke vereisten hebben geleid tot een sterkere focus op dataveerkracht. Dit kan resulteren in nog meer datagroei, omdat om dataveerkracht te bereiken vaak meer kopieën van data worden gemaakt. Daarnaast zijn er meer systemen nodig om al deze data te beheren. Organisaties zouden daarom gebruik moeten maken van oplossingen die dataveerkracht bieden met een lage overhead in termen van opslagvereisten. Hierbij is het ook essentieel dat de oplossing een lage Recovery Time Objective (RTO) heeft.
- Duurzaamheid: organisaties moeten rekening houden met kosten gerelateerd aan duurzaamheid. Hierbij moeten ze kijken naar de energie-efficiëntie van hun data storage systemen. Om de energie-efficiëntie te beoordelen moeten organisaties kijken naar de capaciteit per watt en de prestaties per watt. Daarnaast moeten ze, om de ‘carbon cost’ te kunnen beoordelen, de totale lifecycle van een oplossing beoordelen, inclusief fabricage, transport en buiten gebruik stellen/recyclen.
- Lange termijn archivering: voor het opslaan van data op de lange termijn – on-premises of in de cloud – is het zaak om goed na te denken of de data slechts zelden worden geraadpleegd of misschien zelfs helemaal niet. Dit kan een impact hebben op de uiteindelijke kosten. Organisaties zouden daarom rekening moeten houden met de totale kosten op basis van een realistische verhouding van data die worden opgevraagd. Dit omvat kosten voor het ophalen van data uit de cloud, maar ook kosten voor externe storage. Het omvat ook de kosten en tijd die nodig zijn om gegevens fysiek op te halen, te vervoeren en te herstellen van opslagmedia zoals tape.
- Het speciale geval van videodata: video is naar schatting goed voor de helft van alle opgeslagen data ter wereld. Het is dus goed om hier specifieke strategieën op toe te passen. Vooruitgang op het gebied van data compressie, sampling en optimalisatie hebben geholpen om de opslagvereisten van dit soort data zo laag mogelijk te houden, maar de vereisten voor datatoegang zijn ook veranderd. Van oudsher werden de meeste videodata als een archief bewaard. Nu we echter de mogelijkheid hebben om videobeelden door AI te laten analyseren, willen mensen deze data nu actief gebruiken en bestuderen. Hiervoor is een storage oplossing nodig die zowel grote hoeveelheden data als snelle, gelijktijdige toegang biedt. Flash storage met een hoge capaciteit voldoet aan deze eisen met kosteneffectieve opslag en tegelijkertijd snelle en efficiënte toegang tot data te garanderen.
Databergen verplaatsen
Er zullen altijd veranderende eisen en opties zijn als het gaat om data opslag. Zakelijke behoeften veranderen, er ontstaan nieuwe projecten, de maximale opslagcapaciteit wordt bereikt, er wordt nieuwe regelgeving van kracht, etc. Daarnaast is er constante technologische innovatie gaande, zowel op het gebied van datageneratie als data storage. Een deel van de innovatie richt zich nu op keramische opslag, omdat keramiek heeft bewezen dat het gegevens kan beschermen voor langere periodes. Organisaties moeten op zoek naar een dataplatform dat flexibiliteit biedt, dat on-demand of als eigendom gebruikt kan worden en dat op de meest efficiënte manier kan voldoen aan de nieuwste eisen op het gebied van datatoegang, -security en -veerkracht.
Marco Bal, Consulting Systems Engineer bij Pure Storage
