Nu AI en GenAI (Generatieve AI) de hype voorbij zijn, zoeken grote organisaties naar manieren om deze technologie op allerlei plekken in te zetten. Dat vereist heel specifiek maatwerk als het gaat om edge- en cloudtechnologie. En dat kunnen de grote hyperscalers niet bieden, stelt Kevin Cochrane, CMO van cloudleverancier Vultr.
Het is duidelijk, AI en GenAI zijn uit de proof-of-concept-fase. De race om machine learning en kunstmatige intelligentie te operationaliseren, is begonnen. Deze innovatiegolf is zichtbaar in alle sectoren. Ondernemingen van elke omvang brengen verschillende machine learning-modellen (MLM’s) en grote taalmodellen (LLM’s) in productie, en schalen deze op voor gebruik aan de edge. De use cases van AI en GenAI om bijvoorbeeld de interne bedrijfsvoering of klantrelaties te verbeteren, zijn legio. Vandaar dat deze technologieën op de agenda van elke CIO en CMO staan.
Volgens een recent onderzoek van Menlo Ventures is meer dan 90 procent van de middelen die bedrijven op dit moment investeren in MLM’s en LLM’s gericht op inference in plaats van op het trainen van modellen. Bij inference gebruik je een getraind model om voorspellingen te doen en de data om te zetten in bruikbare inzichten. Het doel hiervan is niet om het model nog te laten leren, maar om het in de praktijk te gebruiken.
Dat gebruik vindt veelal plaats aan de edge. Daarbij wijkt het schalen van inference aan de edge sterk af van traditionele of cloud-native DevOps. Dat komt omdat bedrijven tegenwoordig sterk gefocust zijn op het ontwikkelen, onderhouden en operationeel maken van verschillende MLM’s en LLM’s. Efficiënte ondernemingen bouwen deze modellen niet vanaf de grond; in plaats daarvan maken ze gebruik van open source-modellen die openbaar beschikbaar zijn en passen ze deze aan, en/of herbestemmen ze bestaande modellen uit hun eigen repositories voor verschillende use cases.
De juiste partner
Om inference aan de edge mogelijk te maken, kan een bedrijf terecht bij een van de grote cloudproviders. Maar er zijn betere opties. Dat komt omdat de hyperscalers hun bedrijfsmodellen lang vóór het huidige AI/ML-tijdperk ontwikkelden. Hun aanbod is niet van de grond af aan ontworpen om de unieke MLOps- en LLMOps- workflows te ondersteunen. Het lukt hyperscalers daarom niet of nauwelijks om organisaties het maatwerk aan te bieden dat nodig is om aan de unieke behoeften van elk bedrijf te voldoen. Ook hebben ze geen focus op het helpen van bedrijven om geld te besparen bij hun inference-at-the-edge-initiatieven.
Bij het zoeken naar complete AI-stackoplossingen ontdekken potentiële klanten vaak ook dat de hyperscalers beperkende technologiestacks bieden met componenten die de eigen inkomsten van de hyperscaler maximaliseren ten koste van de flexibiliteit van de klant. Voor bedrijven die een contract afsluiten met een hyperscaler kan dit ertoe leiden dat ze te veel betalen voor tools en/of diensten die ze niet nodig hebben, geleverd door leveranciers waarmee ze niet willen samenwerken. Deze rigiditeit, de afhankelijkheid van leveranciers en de hoge kosten zorgen ervoor dat de keuze voor hyperscalers als cloudpartners meestal geen goede is.
De nieuwe architectuuraanpak: kenmerken van de juiste cloudstack
Wil je als bedrijf efficiënt en flexibel inference-at-the-edge inzetten, dan heb je partijen nodig die tenminste het volgende kunnen bieden:
- Een cloudgebaseerde architectuur ontworpen voor het AI/GenAI-tijdperk en opgebouwd rond het ondersteunen van gecentraliseerde ontwikkeling, training en beheer van meerdere modellen en het operationeel maken van modellen in edge-omgevingen.
- Een wereldwijde footprint van datacenterlocaties om edge-inzet mogelijk te maken, waar de organisatie ook zakendoet.
- Nauw geïntegreerde CPU- en GPU-stacks die minder rekenintensieve taken naar CPU’s kunnen overbrengen die anders op GPU’s zouden worden uitgevoerd.
- Openbare en private containerregisters om de ontwikkeling, implementatie en schaling van MLM’s en LLM’s te vereenvoudigen. Het openbare register biedt de mogelijkheid om de beste open-sourcemodellen te gebruiken en daarmee gespecialiseerde, domeinspecifieke LLM’s te ontwikkelen, te trainen en te hergebruiken. Met het private register pushen bedrijven bedrijfseigen modellen naar edge-omgevingen, waar ze kunnen worden afgestemd op lokale gegevensbronnen.
- Een configureerbare architectuur om ervoor te zorgen dat elke onderneming de ideale AI-stack voor zijn specifieke vereisten kan samenstellen.
- Een breed ecosysteem van de beste aanbieders van tools, diensten en applicaties zodat interoperabiliteit en configureerbaarheid gewaarborgd zijn.
- Een partner die zich inzet om cloud-GPU- en CPU-bronnen betaalbaar te houden, zodat inference-at-the-edge voor elk bedrijf binnen handbereik is.
Met deze kenmerken maak je je inference-initiatieven beheer(s)baar, duurzaam en economisch levensvatbaar en is het mogelijk om volop te profiteren van de zakelijke mogelijkheden van AI en GenAI voor de dagelijkse bedrijfsvoering.
Kevin Cochrane, Chief Marketing Officer bij Vultr
