Lokale AI & autonome workflows

Verlaten perron van metrostation Stadion in Stockholm, met tl-balken aan het plafond en een grote klok op de achtergrond. Een metafoor voor wachten en tijdsdruk: wat doe je als de dienst waar je van afhankelijk bent er opeens niet meer is?

Als ik terugkijk op hoe mijn werk de laatste jaren is veranderd, springen er twee momenten uit: de eerste keer dat ik OpenCode gebruikte en opeens een coding agent tot mijn beschikking had, en een paar maanden later de eerste keer dat mijn token-budget op was.

Binnen korte tijd was de agent net zo essentieel geworden als een internetverbinding, en het moment dat die er opeens niet meer was confronteerde me met een vraag die ik mezelf daarvoor nooit had gesteld: wat doe ik eigenlijk als dit er niet is? Niet omdat ik per se afhankelijk was geworden – ik wist nog steeds hoe ik de problemen die ik nu met een LLM oploste zelf moest uitzoeken – maar omdat teruggaan naar de oude manier van werken simpelweg niet meer logisch voelde. Ik was gewend geraakt aan de snelheid en het gemak. Om een metafoor van een collega te lenen: je kan nog steeds op de fiets naar Maastricht, maar je pakt liever de trein. Ook al heeft de trein vertraging.

Waar de zeggenschap ligt

“AI-afhankelijkheid” is niet zo’n interessante discussie. Wat we ons wel moeten realiseren: de tools die ons het snelst maakten, zijn precies de tools waar we het minste controle over hebben. Rate limits, prijswijzigingen, storingen, en de laatste maanden ook exportbeperkingen en gefaseerde, door overheden goedgekeurde releases zijn allemaal besluiten die volledig buiten onze invloedssfeer genomen worden. Dat is geen klacht richting aanbieders, maar een simpele constatering van waar de zeggenschap ligt: op dit moment is dat niet bij onszelf.

Zolang alles beschikbaar is, voelt dat niet als een probleem. Pas op het moment dat het misgaat wordt het zichtbaar, en dan is het te laat om er nog iets aan te doen.

Een onderscheid dat vaak over het hoofd wordt gezien

Het goede nieuws: die afhankelijkheid is niet overal even groot. Er zit een onderscheid onder dat vaak over het hoofd wordt gezien.

Twee soorten AI-gebruik

Interactief gebruik

Frontier-model heeft meerwaarde

Samen met een agent een bug natrekken, live meedenken over een implementatie. Hier weegt de kwaliteit op tegen de afhankelijkheid van een externe partij.

Autonoom gebruik

Frontier-model niet nodig

Nachtelijke regressieanalyse, testgeneratie in bulk, herhaalde passes over een migratietool. Moet betrouwbaar draaien, onbeheerd, op volume.

Voor QA Company is dat precies de volgende fase: niet losse taken automatiseren, maar complete workflows bouwen die volledig autonoom op de achtergrond draaien, zonder dat er iemand op wacht of meekijkt, en zonder dat iedere run afzonderlijk afgerekend wordt bij een externe partij. Dát is het werk dat je als eerste onder eigen controle kan terugbrengen.

Dit onderscheid wordt ook door de aanbieders zelf erkend. Begin dit jaar kondigde Anthropic aan om interactief gebruik en geautomatiseerd agent-gebruik voortaan apart te factureren, met een eigen budget voor dat laatste. Na stevige kritiek werd die aankondiging weer (tijdelijk) ingetrokken, maar de onderliggende constatering bleef overeind: interactieve en autonoom draaiende workloads zijn economisch gewoon iets anders, ook in de ogen van de partij die ons de rekening stuurt.

Lokale modellen als gerichte verschuiving

Bij QA Company werken we daarom met lokale, open-weight modellen op eigen hardware, ingezet voor precies dat soort achtergrondwerk. Geen poging om overal de duurste cloud-API te vervangen, maar een gerichte verschuiving van de taken die toch al onbeheerd draaiden. De winst zit niet in een indrukwekkende GPU-opstelling, maar in het feit dat dit werk simpelweg niet meer stilligt zodra een externe partij iets verandert aan prijs, limieten of toegang.

Waarom dit moment anders is

Twee ontwikkelingen maken dit moment anders dan een jaar geleden. Open-weight modellen zijn inmiddels goed genoeg voor dit soort werk. Het gat met de absolute top is de afgelopen jaren flink geslonken, en voor taken die die absolute top niet nodig hebben, doet het er sowieso weinig toe.

Tegelijkertijd is de beschikbaarheid van frontier-modellen zelf minder vanzelfsprekend geworden. Bedrijven die gebruikmaken van Github Copilot zagen hun kosten de laatste tijd exploderen — een eerste signaal dat de rekening van niet alleen de tokens maar ook de jarenlange en torenhoge investeringen die gedaan zijn een keer betaald moet worden. Daarnaast hebben we dit jaar al gezien dat overheden in het ergste geval per direct exportbeperkingen kunnen opleggen waarmee een model zomaar uit de lucht gehaald kan worden.

Dit is geen pleidooi om te stoppen met frontier-modellen. Integendeel, gebruik ze waar hun voorsprong er echt toe doet. Het is een pleidooi om bewust te blijven van waar gemak stilletjes verandert in volledige afhankelijkheid, en om in ieder geval het werk dat toch al onbeheerd draait niet voor iets te laten stilvallen dat volledig buiten onze deur beslist wordt.

Deel dit bericht:

Gerelateerde posts

Verlaten perron van metrostation Stadion in Stockholm, met tl-balken aan het plafond en een grote klok op de achtergrond. Een metafoor voor wachten en tijdsdruk: wat doe je als de dienst waar je van afhankelijk bent er opeens niet meer is?

Lokale AI & autonome workflows

Toen mijn token-budget op was, realiseerde ik me dat de tools die ons het snelst maken ook de tools zijn waar we het minste controle over hebben. Hoe QA Company lokale AI inzet voor autonome workflows en waarom dat niet gaat over het vervangen van frontier-modellen.

Read More »