Volgens Gartner groeit de hoeveelheid ongestructureerde data met 30% per jaar, en dat betekent dat de totale hoeveelheid ongestructureerde data in 2026 bijna verviervoudigd zal zijn. Een dergelijke datagroei is op zichzelf al een uitdaging. Maar ongestructureerde data zijn er ook nog in verschillende groottes en kunnen worden opgeslagen als bestanden of objecten, met hoge eisen aan de opslagperformance. Dit heeft geleid tot de opkomst van een nieuwe opslagcategorie voor uniforme, snelle opslag van bestanden en objecten. Hiermee lijkt dit decennium de Roaring Twenties van ongestructureerde data te worden. Met de Roaring Twenties wordt de zeer bewogen periode tijdens de jaren 1920 aangeduid, waarin ongekend werd afgeweken van de tot dan toe geldende normen.
Waarom is er behoefte aan snelle bestands- en objectstorage?
Om te beginnen de al genoemde groei van ongestructureerde data, die kunnen bestaan uit zeer grote hoeveelheden zeer kleine bestanden of objecten – misschien zelfs miljarden daarvan. Ongestructureerde data kunnen ook bestaan uit een kleiner aantal veel grotere bestanden of objecten, denk aan video of stilstaande beelden. Of een combinatie. Back-upgegevens kunnen bijvoorbeeld bestaan uit allerlei datatypen en datasets van uiteenlopende omvang.
Een andere belangrijke factor voor snelle opslag van bestanden en objecten is hoe snel deze ongestructureerde data toegankelijk zijn. Denk aan de explosieve groei op het gebied van analytics en machine learning, om desgewenst in real-time waarde te destilleren uit enorme hoeveelheden ruwe data.
Ondertussen groeit digital imaging nog steeds zeer snel, zoals PACS (picture archiving and communication systems) in de gezondheidszorg. Een voorbeeld hiervan is het baanbrekende gebruik van machine learning voor kankerdiagnose door het Amerikaanse Paige. Dit bedrijf heeft opslagcapaciteit op petabyte-schaal nodig, met snelle toegang en een hoge verwerkingscapaciteit om herkenning mogelijk te maken van miljoenen beelden van weefselmonsters. Dit vergt krachtige toegang tot bestands- en objectdata.
Daarnaast is er behoefte aan back-up en dataprotectie, wat om grote aantallen sterk uiteenlopende bestanden gaat. En terwijl back-ups vroeger misschien op de traagste opslagplaats terecht kwamen, is er nu behoefte aan snelle toegang tot back-ups om die data direct te kunnen herstellen na een ransomware-aanval.
Snelle file én object storage: waarom beide?
Een belangrijke innovatie is het toevoegen van snelle objectopslag. Bestandsopslag is al tientallen jaren gangbaar, waarbij in de afgelopen decennia de capaciteit en de performance van scale-out NAS zijn toegenomen om ongestructureerde data te ondersteunen. Maar objectopslag is belangrijk en goed ingeburgerd, dankzij het web en de opkomst van de cloud.
Bestanden en objecten kunnen dezelfde soorten inhoud bevatten. Bestandssystemen maken gebruik van een hiërarchisch, op mappen gebaseerd systeem. Objectopslag maakt gebruik van een ‘platte’ structuur, waarbinnen objecten een individuele identificatiecode krijgen.
Historisch gezien was objectopslag het opslagtype met de laagste performance en vormde het een aparte productcategorie. Maar dat is aan het veranderen, omdat organisaties in toenemende mate grote hoeveelheden ongestructureerde data moeten analyseren, die zowel in objectformaat als in bestandsformaat kunnen zijn. En dus hebben we de opkomst gezien van high performance storage- oplossingen die toegang tot bestand en object combineren.
Snelle file en object storage: de voordelen
Waar ongestructureerde data worden gecreëerd en waar die tijdens hun levenscyclus naartoe moeten kan vele locaties omvatten. En het kan om vele soorten gegevenstypen gaan. Dat is een groot verschil met de oude wereld: een database die een ERP-systeem ondersteunt. Die database werd intern geboren en bleef verder intern. De opkomende fast file en object storage producten van vandaag kunnen omgaan met network file system (NFS) en server message block (SMB) bestandsformaten, die Posix-compliant zijn en georiënteerd op de manier waarop veel van de huidige bedrijfsapplicaties zijn geschreven.
Maar fast file en object producten kunnen ook omgaan met ongestructureerde data in object-access formaten die het resultaat zijn van hun cloud oorsprong, zoals Amazon S3. Fast file and object storage is ook gebouwd voor hybride cloud situaties, met ongestructureerde data die van on-site naar cloud locaties kunnen gaan en vice versa.
Wat moet een product voor snelle bestands- en objectstorage bieden?
- Ten eerste, capaciteit. Deze moet naar behoefte kunnen worden opgeschaald, en voor veel enterprise workloads die ongestructureerde data omvatten, kan dat om petabytes gaan. Ongestructureerde datasets kunnen enorm groot zijn.
- Ten tweede moet het product toegang bieden tot bestands- en objectopslag, met de belangrijkste protocollen zoals NFS en SMB voor bestandstoegang en S3 voor objecttoegang.
- Ten derde moet het product gebouwd zijn voor snelle toegang en hoge verwerkingscapaciteit. Lage latency – vooral bij lezen – is vereist voor opslag voor AI/ML, bijvoorbeeld voor medische imaging. Dat betekent dat gekozen moet worden voor all-flash opslag.
Lage latency moet echter gepaard gaan met een hoge verwerkingscapaciteit. Ongestructureerde dataopslag – bijvoorbeeld bij het herstellen van back-ups na een ransomware-aanval – vereist gelijktijdige snelle toegang tot vele, vele bestanden of objecten, en dat alles gemeten in TB per uur. Grote organisaties moeten zoeken naar verwerkingscijfers die in de buurt komen van 300 TB per uur.
Hiermee beginnen de Roaring Twenties in data storage, met snelle oplossingen voor bestands- en objectopslag die zijn gebouwd voor grote hoeveelheden ongestructureerde gegevens met ongekende performance, helemaal afgestemd op de gangbare dataformaten binnen analytische toepassingen, video- en beeldverwerking en dataprotectie.
Marco Bal, Principal Systems Engineer, Pure Storage
