Blog
Observability voor testers, deel 2
Observability is een term die je weinig tegenkomt in het testvak. Terwijl dit veld ons zo veel te bieden heeft! Deel 1 – Wat is observability en waarom is het belangrijk voor testers van deze serie was een introductie tot observability; wat het is, en waarom het belangrijk is om iets van af te weten. In deze tweede blogpost gaan we in op concrete manieren waarop je observability kunt inzetten in het testvak. Wat is observability Hoe zat het ook alweer met observability? Wij gebruiken de volgende definitie: Observability is het vermogen om, op basis van output (logs, metrics, traces), te verklaren wat er intern in het systeem gebeurt. Omdat we hier wat verder zullen inzoomen op observability-technieken kan het geen kwaad om toe te lichten wat met logs, metrics en traces bedoeld wordt.Logs zijn de administratie van wat er in een systeem gebeurt. Dit kan gaan over access logs (wie
Testen in een wereld met AI Agents: AI versnelt, de expert bewaakt de richting
AI agents vinden steeds vaker hun weg naar testautomatisering. Ze analyseren falende tests, doen voorstellen voor nieuwe testcases en genereren zelfs automatisch testcode, bijvoorbeeld voor Playwright. Dat gebeurt niet alleen op basis van testresultaten en logdata, maar ook door analyse van de System Under Test, onderliggende applicatiecode en contractuele specificaties. Deze ontwikkeling biedt kansen voor snelheid en schaal, maar introduceert ook een fundamentele vraag. Wat gebeurt er met de kwaliteit wanneer testcode niet alleen meer door mensen wordt geschreven, maar ook door autonome systemen wordt aangepast? In dit artikel verkennen we die vraag vanuit het QA vakgebied. Niet door AI te vergelijken met developers, maar door te kijken naar een bekend en bewezen principe uit softwareontwikkeling: menselijke review van elkaars werk. We laten zien waarom datzelfde principe onmisbaar is wanneer AI agents een rol krijgen in test automation, en waarom de tester daarmee nadrukkelijk expert in the lead blijft. Wanneer
Observability voor testers, deel 1
Observability is een essentieel onderdeel van moderne DevOps-teams. Maar in de wereld van testen blijft het onderbenut. In dit artikel laten we je zien wat observability is en waarom het zo belangrijk is voor testers.
RAG & Bias Checklist:Zo voorkom je hallucinatie en bias in AI-modellen
Retrieval Augmented Generation (RAG) is een krachtige manier om met Large Language Models (LLM’s) te werken, maar geen wondermiddel. Het vermindert hallucinatie en bias niet vanzelf, de risico’s verschuiven alleen. Met deze checklist en de juiste tools maak je die risico’s concreet en testbaar. In deze RAG & Bias Checklist laten we zien hoe je risico’s meetbaar maakt en welke tools je helpen om AI-toepassingen écht betrouwbaar te maken. De RAG & Bias Checklist stap voor stap 1. Relevantie Risico: irrelevante passages leiden tot hallucinaties.Hoe meten: beoordeel of je top-5 resultaten écht relevant zijn.Voorbeeld: document niet in top-5 → foutief antwoord. 2. Evidence-first Risico: het model verzint samenvattingen zonder bron.Hoe meten: check of broncitaten aanwezig zijn.Voorbeeld: output zonder referenties = rode vlag. 3. No-evidence, no-answer Risico: model vult leegte met fantasie.Hoe meten: meet refusal rate met een out-of-scope testset.Voorbeeld: vraag “Wat zegt dit document over raketten?” → correct = “Niet
Vibe coded applicaties – minder testen, meer observeren
De wereld van softwareontwikkeling wordt momenteel op zijn kop gezet door de opkomst van agentic code editors als Windsurf en Cursor. Deze integrated development environments (IDE’s) kunnen in hoog tempo applicaties ontwikkelen, doordat zij toegang hebben tot niet alleen je codebase, maar ook je build tools, versiebeheer en je terminal. De mogelijkheden lijken eindeloos, maar hoe zit het met de kwaliteit? De rol van AI in ontwikkeling Kwaliteit is steeds minder inzichtelijk bij applicaties die met behulp van deze tools gebouwd worden (voor het gemak even “AI-powered” genoemd). Architecturale keuzes, programmatuur en configuratie worden uit handen genomen, maar daarmee ook begrip van hoe de applicatie werkt. De manier waarop we kwaliteit inzichtelijk maken, is sterk afhankelijk van de rol die we AI geven in ons ontwikkelproces. Snel maar risicovol (vibe coding) Vibe coding is de nieuwste trend op LinkedIn. Je hoeft niet te kunnen programmeren, met enkel prompts tuig je
Het LLM Quality Canvas: Waarom traditioneel testen faalt bij AI
🗣 LLM Quality Canvas Hoe waarborg je continuïteit van software zonder voorspelbare output? In onze nieuwste blog delen we de eerste aanzet tot een LLM Quality Canvas — een denkkader voor testers, QA leads en AI-teams die verder denken dan prompts proberen. De wereld van software testing verandert sneller dan ooit. Waar we jarenlang testautomatisering zagen als eindoplossing voor testvragen, breekt nu een nieuw tijdperk aan dat het testautomatisering fundamenteel moeilijk maakt: dat van AI-gedreven appplicaties. Large Language Models (LLM’s) zijn bezig om zich in elke laag van onze applicaties te nestelen — en dus ook in onze teststrategieën. Dit roept fundamentele vragen op. Hoe test je een systeem dat geen vaste output heeft? Wat betekent testdekking als er miljoenen mogelijke inputvarianten zijn? En wie beoordeelt de kwaliteit als modellen elkaars werk reviewen? Daarom presenteren wij vandaag de eerste aanzet tot een nieuw denkkader: het LLM Quality Canvas. Waarom Traditionele
Observability voor testers, deel 2
Observability is een term die je weinig tegenkomt in het testvak. Terwijl dit veld ons zo veel te bieden heeft! Deel 1 – Wat is observability en waarom is het belangrijk voor testers van deze serie was een introductie tot observability; wat het is, en waarom het belangrijk is om iets van af te weten. In deze tweede blogpost gaan we in op concrete manieren waarop je observability kunt inzetten in het testvak. Wat is observability Hoe zat het ook alweer met observability? Wij gebruiken de volgende definitie: Observability is het vermogen om, op basis van output (logs, metrics, traces), te verklaren wat er intern in het systeem gebeurt. Omdat we hier wat verder zullen inzoomen op observability-technieken kan het geen kwaad om toe te lichten wat met logs, metrics en traces bedoeld wordt.Logs zijn de administratie van wat er in een systeem gebeurt. Dit kan gaan over access logs (wie
Testen in een wereld met AI Agents: AI versnelt, de expert bewaakt de richting
AI agents vinden steeds vaker hun weg naar testautomatisering. Ze analyseren falende tests, doen voorstellen voor nieuwe testcases en genereren zelfs automatisch testcode, bijvoorbeeld voor Playwright. Dat gebeurt niet alleen op basis van testresultaten en logdata, maar ook door analyse van de System Under Test, onderliggende applicatiecode en contractuele specificaties. Deze ontwikkeling biedt kansen voor snelheid en schaal, maar introduceert ook een fundamentele vraag. Wat gebeurt er met de kwaliteit wanneer testcode niet alleen meer door mensen wordt geschreven, maar ook door autonome systemen wordt aangepast? In dit artikel verkennen we die vraag vanuit het QA vakgebied. Niet door AI te vergelijken met developers, maar door te kijken naar een bekend en bewezen principe uit softwareontwikkeling: menselijke review van elkaars werk. We laten zien waarom datzelfde principe onmisbaar is wanneer AI agents een rol krijgen in test automation, en waarom de tester daarmee nadrukkelijk expert in the lead blijft. Wanneer
Observability voor testers, deel 1
Observability is een essentieel onderdeel van moderne DevOps-teams. Maar in de wereld van testen blijft het onderbenut. In dit artikel laten we je zien wat observability is en waarom het zo belangrijk is voor testers.
RAG & Bias Checklist:Zo voorkom je hallucinatie en bias in AI-modellen
Retrieval Augmented Generation (RAG) is een krachtige manier om met Large Language Models (LLM’s) te werken, maar geen wondermiddel. Het vermindert hallucinatie en bias niet vanzelf, de risico’s verschuiven alleen. Met deze checklist en de juiste tools maak je die risico’s concreet en testbaar. In deze RAG & Bias Checklist laten we zien hoe je risico’s meetbaar maakt en welke tools je helpen om AI-toepassingen écht betrouwbaar te maken. De RAG & Bias Checklist stap voor stap 1. Relevantie Risico: irrelevante passages leiden tot hallucinaties.Hoe meten: beoordeel of je top-5 resultaten écht relevant zijn.Voorbeeld: document niet in top-5 → foutief antwoord. 2. Evidence-first Risico: het model verzint samenvattingen zonder bron.Hoe meten: check of broncitaten aanwezig zijn.Voorbeeld: output zonder referenties = rode vlag. 3. No-evidence, no-answer Risico: model vult leegte met fantasie.Hoe meten: meet refusal rate met een out-of-scope testset.Voorbeeld: vraag “Wat zegt dit document over raketten?” → correct = “Niet
Vibe coded applicaties – minder testen, meer observeren
De wereld van softwareontwikkeling wordt momenteel op zijn kop gezet door de opkomst van agentic code editors als Windsurf en Cursor. Deze integrated development environments (IDE’s) kunnen in hoog tempo applicaties ontwikkelen, doordat zij toegang hebben tot niet alleen je codebase, maar ook je build tools, versiebeheer en je terminal. De mogelijkheden lijken eindeloos, maar hoe zit het met de kwaliteit? De rol van AI in ontwikkeling Kwaliteit is steeds minder inzichtelijk bij applicaties die met behulp van deze tools gebouwd worden (voor het gemak even “AI-powered” genoemd). Architecturale keuzes, programmatuur en configuratie worden uit handen genomen, maar daarmee ook begrip van hoe de applicatie werkt. De manier waarop we kwaliteit inzichtelijk maken, is sterk afhankelijk van de rol die we AI geven in ons ontwikkelproces. Snel maar risicovol (vibe coding) Vibe coding is de nieuwste trend op LinkedIn. Je hoeft niet te kunnen programmeren, met enkel prompts tuig je
Het LLM Quality Canvas: Waarom traditioneel testen faalt bij AI
🗣 LLM Quality Canvas Hoe waarborg je continuïteit van software zonder voorspelbare output? In onze nieuwste blog delen we de eerste aanzet tot een LLM Quality Canvas — een denkkader voor testers, QA leads en AI-teams die verder denken dan prompts proberen. De wereld van software testing verandert sneller dan ooit. Waar we jarenlang testautomatisering zagen als eindoplossing voor testvragen, breekt nu een nieuw tijdperk aan dat het testautomatisering fundamenteel moeilijk maakt: dat van AI-gedreven appplicaties. Large Language Models (LLM’s) zijn bezig om zich in elke laag van onze applicaties te nestelen — en dus ook in onze teststrategieën. Dit roept fundamentele vragen op. Hoe test je een systeem dat geen vaste output heeft? Wat betekent testdekking als er miljoenen mogelijke inputvarianten zijn? En wie beoordeelt de kwaliteit als modellen elkaars werk reviewen? Daarom presenteren wij vandaag de eerste aanzet tot een nieuw denkkader: het LLM Quality Canvas. Waarom Traditionele