Snelle, op flash gebaseerde objectopslag maakt gebruik van de flexibiliteit, beschikbaarheid en duurzaamheid van traditionele objectopslag, maar biedt een hogere doorvoercapaciteit en een lagere latency. De behoefte aan snelle objectopslag werd duidelijk toen cloud-native apps objects begonnen te gebruiken als hun standaardopslag en het applicatieontwerp hieraan werd aangepast. De meeste data worden nu door apparatuur en sensoren gegenereerd en ook niet altijd in eigen beheer, wat ze onvoorspelbaar maakt. Die data zijn ook multi-modaal, dat wil zeggen: in de vorm van bestanden of van objecten. Het moderne datatijdperk vraagt daarom om Fast Object Storage en zal de komende jaren snelle bestands- en objectopslag vereisen.
Drie trends
Drie trends – massale datagroei, gebruik van uitgebreide metadata en multidimensionale performance -onderstrepen de behoefte aan een nieuw soort objectcapaciteit die radicaal anders is dan de object stores die oorspronkelijk voor harde schijven zijn gebouwd:
- Exponentieel groeiende ongestructureerde datasets, die meer zijn dan slechts een archief. Nieuwe machine learning toepassingen, grootschalige datawarehouses en andere moderne analytische tools zijn allemaal cruciaal geworden voor het ontsluiten van grote hoeveelheden ongestructureerde data. De eens zo populaire trend om data elders onder te brengen en te verwerken in een ‘data lake’ is een architectonisch doodlopende weg gebleken. Aangezien er het afgelopen decennium publieke en private cloudarchitecturen zijn ontstaan, is objectopslag het favoriete platform geworden voor het hosten van deze enorme hoeveelheden data. Door de infrastructuur voor computing en die voor storage van elkaar los te koppelen en te vertrouwen op nieuwe netwerkontwikkelingen, kunnen systeemarchitecten oplossing op maat maken voor specifieke workflows.
- Metadata zijn essentieel voor het werken met enorme hoeveelheden data. Het opslaan van al deze gegevens heeft niet veel zin als we ze niet kunnen terugvinden. Architecten hebben moeite om binaire ‘blob’ data op te slaan in een traditionele relationele database. Maar door deze ongestructureerde blobs in een externe objectstore te zetten, kan de relationele database fungeren als een krachtige metadatastore binnen de grotere applicatiearchitectuur. Hoewel relationele databases deze rol kunnen vervullen, kunnen flexibele tools en het ontkoppelen van data en metadata problemen met de consistentie opleveren. We zien een groeiende groep klanten die daarom op zoek is naar het opnemen van metadata in hun objectopslag, naast de ruwe data. Daarom bieden moderne objectplatforms een breed scala aan toegangsmethoden en ondersteuning van steeds geavanceerdere metadata-gedreven analyses.
- Moderne data bewegen tussen vele sites. Of het nou gaat om analysesystemen voor de detectie van cybersecurity-dreigingen, datawarehouses voor meetgegevens in de ruimtevaart of data-opslag voor kwantitatieve financiering, er zijn diverse performanceaspecten waar de infrastructuur rekening mee moet houden. Lage latency voor data die arriveren en moeten worden opgeslagen, enorme bandbreedte voor bulkanalyse van databewegingen en een hoge doorvoer van metadata, zijn zaken waar het dan om draait.
Na Fast Object komt Unified Fast File and Object
Snelle bestandsopslag is natuurlijk niets nieuws, maar de combinatie van snelle bestandsopslag en snelle opslag van objecten in hetzelfde systeem is baanbrekend. Traditionele architecturen kunnen hoge performance leveren voor ofwel kleine ofwel grote bestanden en ofwel sequentiële ofwel random file workloads.
Maar moderne data vereisen dat allemaal tegelijk en het enige wat zeker is, is dat het voor geen enkel workloadpatroon geoptimaliseerd kan worden. En dat betekent dat er multi-protocol en multi-dimensionale toegang nodig is met een architectuur die de vereiste performance kan leveren met verschillende soorten data. De volgende praktijk voorbeelden laten zien hoe organisaties een uniforme snelle file én objectstorage inzetten:
- Een telecommunicatiebedrijf dat elke 15 minuten tientallen terabytes aan telemetrische en capaciteitsdata verzamelt van zijn mobiele netwerk om de kwaliteit van de signalen en de beschikbare capaciteit op het hoofdnet te valideren. Het vermogen om de data te verzamelen en te verwerken levert inzichten op – in sommige gevallen in bijna real-time – zodat inefficiënties meteen kunnen worden opgelost.
- Cogo Labs is een incubator die afhankelijk is van data-analyse om winstgevende bedrijven snel op te schalen. Cogo maakt gebruik van data om zakelijke kansen te identificeren, ‘wat als’ experimenten uit te voeren om zo de omzet van hun internet startups te vergroten.
Fundamenteel kenmerk van Unified Fast File and Object storage is dat zowel met files en objecten gewerkt kan worden in hetzelfde opslagsysteem. In de huidige markt ondersteunen de meeste storage-platformen ofwel files ofwel objecten. Ook blijft de performance achter en in het geval van file storage is het platform alleen snel voor specifieke dataprofielen. Echte uniforme snelle bestands- en objectopslag moet multidimensionale performance leveren voor het verwerken van uiteenlopende workloads. Daarnaast moeten ze naadloos kunnen opschalen om consolidatie mogelijk te maken en ook nog eenvoudig te implementeren en te beheren zijn.
Waar het op neerkomt is dat de behoeften van moderne ongestructureerde gegevens een nieuwe benadering van data-storage vereisen die kleine en grote bestanden en objecten met multi-dimensionale prestaties ondersteunt. Kortom: alle datasets als ‘prominente burgers’ behandelt.
Marco Bal, Principal Systems Engineer, Pure Storage
