Wft mystery-shop bij chat agents: 18 valkuilen in kaart

14:32, dinsdag in maart. De AFM mystery shopper typt in de chatwidget van een Nederlandse tussenpersoon: "mijn vader is 67, kan hij nog een overlijdensrisicoverzekering afsluiten?" De bot antwoordt binnen zeven seconden. De shopper maakt een screenshot van het gesprek. Drie weken later krijgt het kantoor telefoon van de AFM met de vraag wie er, precies, verantwoordelijk is voor het advies dat net in het dossier is beland.

Als je een Nederlandse tussenpersoon runt en je hebt een chat agent op de publieke site staan, ken je de ruwe vorm van het risico al. Wat je meestal niet hebt, is een platte lijst met de faalmodes die echt in een mystery-shopverslag terugkomen. Hieronder de onze, opgebouwd uit achttien maanden aan bouwwerk voor tussenpersonen in Utrecht, Eindhoven en Antwerpen. We hebben ze gesorteerd op wie de fix in handen heeft: de marketingverantwoordelijke, die de system prompt vanmiddag nog aanpast, of de compliance officer, die het hele write-pad moet dichttimmeren voordat de agent live mag.

Wat de AFM eigenlijk toetst

Wft-vakbekwaamheid is niet één diploma. Het is een basismodule plus zes submodules: Schadeverzekeringen particulier, Schadeverzekeringen zakelijk, Inkomensverzekeringen, Hypothecair krediet, Pensioenverzekeringen en Vermogen. De adviseur in de stoel heeft een stapel diploma's die past bij de producten waarop hij mag adviseren. De chat agent heeft alleen wat je vrijdagmiddag om 16:50 in zijn system prompt hebt getypt.

Het laat een mystery shopper koud dat de bot "alleen maar triage" doet. Op het moment dat het gesprek de overgang maakt van informeren (mag) naar adviseren (gereguleerd onder artikel 4:23 Wft), ligt de bal bij de tussenpersoon. De achttien faalmodes hieronder zijn ofwel echt aangetroffen in een mystery-shopverslag, ofwel door ons gevangen tijdens een dry run voor de klant live ging.

Faalmodes die marketing zelf oplost in de system prompt

Dit zijn de makkelijke. Niet omdat de regels zelf makkelijk zijn, maar omdat de fix een paragraaf in de system prompt is en een redeploy. Geen van deze raakt de database, het CRM of het dienstverleningsdocument. Allemaal moeten ze staan voordat de agent een echte klant te woord staat.

1. Van informeren in adviseren glijden. De bot geeft een mening over welk product past. De fix is een keiharde weigering: de agent beantwoordt productvragen alleen in algemene termen en stuurt door naar een adviseur. Concrete triggerzinnen ("welke past het best", "wat zou jij doen") krijgen een deterministische afwijzing.

2. Geen vermelding van vergunning bij eerste contact. De agent noemt nergens het AFM-vergunningnummer, de kantoornaam of het feit dat het een bot is. De fix is een opener van één regel en een voettekst in elk bericht: wie je bent, wat je niet bent, en waar dat te verifiëren valt.

3. Een specifieke verzekeraar met naam noemen zonder vergelijking. "We werken meestal met X" is een aanbeveling, ook als het eerlijk bedoeld is. De prompt noemt geen verzekeraars; namen vallen onder de adviseur.

4. Het klantprofiel overslaan. De agent geeft concrete dekkingsantwoorden voordat hij enige context van de klant heeft. De fix is een korte, vaste intake: situatie, wat ze al hebben, wat de aanleiding voor het gesprek is. Niets over risicobereidheid nog; dat hoort thuis in het adviesgesprek.

5. Schijnzekerheid over dekking. "Ja, dat is gedekt" is de duurste zin die een chat agent van een tussenpersoon kan produceren. De prompt heeft een lijst met verboden zinnen en een terugvaltekst: "Dat hangt af van uw polisvoorwaarden. Ik zet het door naar uw adviseur."

6. Ongebonden versus gebonden status niet melden. De Wft-informatieregels verwachten dat klanten weten of de tussenpersoon onafhankelijk is of gebonden aan een kleine set verzekeraars. De prompt zegt het in klare taal bij het eerste contact en opnieuw zodra het gesprek richting een product schuift.

7. Ingaan op producten buiten het modulebereik van het kantoor. Een schade-only kantoor waarvan de bot een vraag over hypotheek of pensioen aanneemt, zit al fout. De prompt heeft een allow-list met onderwerpen en een nette afwijzing voor de rest, met de agenda-link van de adviseur.

8. Premies of tarieven noemen. De bot geeft een indicatieve prijs af. Indicatief is een gereguleerd woord. De fix is: nooit getallen in de chat, alleen wat al op de publieke prijspagina's van het kantoor staat.

9. Aanraden om een bestaande polis op te zeggen. "U kunt die opzeggen" zonder inventarisatie is een van de favoriete struikelblokken van de AFM, vooral rond overstapadvies. De agent adviseert nooit op te zeggen; eerst een gesprek inplannen.

10. Verkeerde toon bij kwetsbare klanten. Mystery-shopscripts bevatten vaak een klant die net weduwe is, terminaal ziek, of in financiële nood. De prompt heeft een zachte handoff-tak: signaal oppikken, het verkoopregister loslaten, binnen één bericht doorzetten naar een mens.

Een compacte versie van de weigerlaag die onderaan de prompt zit:

REFUSAL RULES (always win over helpfulness)
- If user asks "welke is beter / wat raad je aan / wat past bij mij"
  -> reply with general information only, then offer afspraak
- If user names a specific product or insurer
  -> do not confirm fit, do not compare, route to adviseur
- If user asks about hypotheek, pensioen, beleggen, lijfrente
  -> politely state these are outside this chat's scope
- If user mentions overlijden, ziekte, ontslag, scheiding
  -> drop sales register, short empathetic line, route to human
- Never name an insurer. Never quote a premium. Never confirm
  coverage without seeing the polis.

Faalmodes die de compliance officer dwingen het write-pad af te grendelen

Dit zijn geen promptproblemen. Je kunt de zorgvuldigste system prompt van de Benelux schrijven en alsnog op de volgende acht zakken, want die gaan niet over wat de agent mag zeggen, maar over wat de agent mag doen. De fix zit een laag dieper: de function-callinglaag, de opslaglaag en de integraties. Als de agent kan schrijven naar iets wat de sessie overleeft (het CRM, de mailbox, het documentarchief, de verzekeraars-API), kun je de faalmode niet in de prompt herstellen. Dan moet je de tool call uitzetten.

11. Schriftelijke adviesdocumenten genereren. Op het moment dat de agent een PDF, een e-mail of zelfs een opgeslagen chattranscript produceert dat eruitziet als een aanbeveling, heb je een schriftelijk advies in het dossier liggen. Dat triggert artikel 4:23 Wft op zichzelf. De gate: geen enkel pad naar documentgeneratie dat de agent kan aanroepen.

12. Het kantoor schriftelijk vastleggen op een specifieke aanbeveling. De agent roept een integratie aan die "klant wil product X" als lead in het CRM zet, mét product gekoppeld. Dat is een schriftelijke aanbeveling in het systeem van het kantoor zelf. De gate: de agent mag alleen notities schrijven, nooit productvelden.

13. Klantprofiel-data buiten het bereik van het kantoor opslaan. De agent stuurt intake-antwoorden door naar een derde tool waarvan de verwerkersovereenkomst geen financiële intake-data dekt. De gate: een harde allow-list waar klantprofiel-JSON mag landen, met fiat van de FG per integratie.

14. Kennis, ervaring of risicohouding loggen zonder audit trail. De agent verzamelt de Wft-verplichte kennisvelden en schrijft ze naar een vendor-log die het kantoor niet op verzoek kan exporteren. De gate: elk veld van het klantprofiel is versie-bewust, exporteerbaar en gekoppeld aan een chat-ID met timestamp.

15. Het dienstverleningsdocument automatisch versturen. De agent mailt het DVD op eigen initiatief op basis van een heuristiek. Als het DVD niet aansluit op de dienst die de klant uiteindelijk krijgt, heb je een probleem met artikel 4:25b. De gate: het DVD versturen is altijd een handeling van een mens.

16. Automatisch offertes of aanvragen indienen. De agent belt de API van de verzekeraar voor een echte offerte, of erger, dient een aanvraag in. De gate: elke call naar een verzekeraarintegratie loopt via een wachtrij die een adviseur met de hand vrijgeeft. Zonder uitzonderingen, ook niet voor zogenaamd "laag risico" productlijnen als reisverzekeringen.

17. PII doorgeven aan de modelprovider zonder dekkende verwerkersovereenkomst. De agent stuurt BSN-achtige data, gezondheidsinformatie of financiële positie naar een model-API waarvan de DPA geen PII voor financiële dienstverlening dekt. De gate: een PII-scrubber aan de ingang, een routinglaag die liefst EU-gehoste modellen kiest voor alles na de eerste beurt, en een gelogde weigering voor de harde gevallen.

18. Direct in het CRM van de adviseur schrijven. De agent past klantrecords aan, wijzigt contractstatussen of zet leads over. Elk van die bewerkingen is een gereguleerde handeling zodra hij het adviesspoor raakt. De gate: write-back gaat gefaseerd via een "nog beoordelen"-wachtrij; geen veld wordt aangepast totdat een adviseur op accepteren klikt.

Hoe wij een chat agent scoren voordat hij live gaat

Bij een tussenpersoon waar we vorig kwartaal voor werkten zag de testlus er zo uit. Twintig mystery-prompts, geschreven door een Wft-bevoegde compliance officer, die de achttien faalmodes hierboven dekten plus zes randgevallen voor hun specifieke moduleset. De agent moest op elk van die prompts gesloten falen, in het Nederlands, met de juiste routing.

De score is binair per item, niet gewogen. Een Wft-toets kent geen gedeeltelijke punten: de AFM beoordeelt niet op een curve. Wat wij wel wegen is de prijs van de fix. De eerste tien zijn een revert naar een commit op de system prompt. De laatste acht zijn meestal een refactor van de toollijst van de agent. We leveren geen tussenpersoon-agent op die direct een verzekeraars-API kan aanroepen; de integratie zit altijd achter een wachtrij.

Het patroon is breder dan verzekeren. Elk gereguleerd domein waar de chat agent vlak naast een schriftelijk-advies-klif staat (hypotheekadviseurs, accountants, medische triage, energie-overstapservices) heeft dezelfde split. Marketing bezit de woorden. Compliance bezit de werkwoorden.

Wat je vanmiddag kunt doen

Open de system prompt van je agent en grep op twee dingen: elke zin die een specifiek product of een specifieke verzekeraar noemt, en elke instructie die de agent vrij baan geeft om zelf een document te genereren of een externe API aan te roepen. Het eerste is een herschrijving van de prompt. Het tweede is een gesprek met wie ook maar het write-pad in handen heeft.

Toen we de chat agent bouwden voor een tussenpersoon in Utrecht, was het zwaarste struikelblok de CRM write-back: een "behulpzame" lead-creation-call die elke triagechat in een schriftelijk dossier veranderde met een product eraan vast. We hebben het opgelost door alle CRM-writes door een wachtrij te routeren die de adviseur aan het begin van elke dag leeg trekt. Wil je beter zien hoe deze AI-agent-opzet in productie draait? Hetzelfde patroon komt terug in het grootste deel van ons werk voor gereguleerde branches.