Hoe we testen

We geven een AI-agent een gewone opdracht op uw website, zoals een afspraak maken of een offerte aanvragen, en kijken hoe ver de agent komt.

Dit is de werkwijze voor de tests en rapporten die we nu opbouwen. Tot nu toe hebben we alleen korte proeftests gedaan.

Drie soorten agents

AI-agents gebruiken een website op verschillende manieren. Wat voor de een werkt, kan de ander laten vastlopen. Daarom testen we elke opdracht met drie soorten:

Paginalezer

leest de tekst en de opbouw van de pagina, zoals een schermlezer dat doet.

Schermkijker

ziet alleen schermafbeeldingen en klikt op plekken op het scherm.

Cloudbrowser

werkt vanuit een browser in een datacenter, niet vanaf de computer van de gebruiker. Zo werken sommige persoonlijke agents.

Onze agents zijn nagebootst: een AI-model bestuurt een browser. We vergelijken de uitkomsten regelmatig met echte agents die in Nederland beschikbaar zijn.

De score

Elke opdracht krijgt een score van 0 tot 4:

0. 0De agent vond niet wat de opdracht vroeg.
1. 1De agent vond het wel, maar geen weg om de opdracht uit te voeren.
2. 2De agent had de juiste informatie, maar kon de opdracht niet beginnen.
3. 3De agent begon aan de opdracht, maar liep vast.
4. 4De agent kwam tot de verzendknop, met alle verplichte velden ingevuld en geaccepteerd.

Bij een score onder 4 noteren we waarom, bijvoorbeeld een blokkade, een formulier in een widget of iframe, of een veld dat de agent niet kon invullen.

Wat we nooit doen

• We versturen nooit een formulier en uploaden nooit bestanden.
• We loggen nooit in.
• We vullen alleen testgegevens in die duidelijk nep zijn.
• Een uitgebreide test doen we alleen als de eigenaar van de website daarom vraagt.
• Als we in onderzoek veel websites vergelijken, noemen we geen namen.

Eén test laat het beste geval zien

Een agent doet niet elke keer hetzelfde. Een opdracht die één keer lukt, kan de volgende keer mislukken. Daarom voeren we elke opdracht drie keer uit en laten we zien wat er tussen de pogingen verschilt.

Bronnen en data

Wat we over agents schrijven, controleren we bij de maker zelf: documentatie, helppagina's of aankondigingen. Elke vermelding over een agent heeft een bron en de datum waarop we die controleerden. Beschikbaarheid en prijzen controleren we elke 30 dagen opnieuw; lukt dat binnen 60 dagen niet, dan halen we de vermelding van de site. Wat we niet konden bevestigen, staat er met het label niet geverifieerd.