AI veilig inzetten ondanks hallucinaties

Waarom uw grootste AI risico niet de fout is, maar het vertrouwen erin

Er is een aanname die door bijna elke boardroom sluipt zodra het woord kunstmatige intelligentie valt: dat een taalmodel de waarheid vertelt. Die aanname is niet naïef, hij is gevaarlijk.

Grote taalmodellen verzinnen niet af en toe iets fouts, ze doen het structureel en met een zelfverzekerdheid die niets te maken heeft met hoeveel ze daadwerkelijk weten. Onderzoek laat zien dat dit percentage oploopt tot bijna vijftig procent zodra een vraag opener wordt, en dat zelfs getrainde professionals zich erdoor laten meeslepen zonder het te merken.

Dit signaal laat zien wat het verschil maakt tussen organisaties die telkens in de val trappen en organisaties waar de application van AI juist standhoudt, met concrete cijfers en strategieën die vandaag al toepasbaar zijn.

Het probleem is niet dat AI liegt, het is dat niemand het doorheeft

De cijfers zijn hard genoeg om ongemakkelijk te zijn. Onderzoekers van Renmin University introduceerden in 2023 de HaluEval-benchmark en ontdekten dat ChatGPT bij ongeveer negentien procent van de onderzochte gebruikersvragen informatie fabriceerde die niet te controleren viel [1]. Een jaar later, met een uitgebreidere dataset van bijna negenduizend vragen verspreid over vijf domeinen, bleek het beeld nog genuanceerder: op biomedisch gebied hallucineerde het model in ongeveer vijftien procent van de gevallen, maar in het open domein, waar vragen minder gestructureerd en breder van aard zijn, liep dat percentage op tot bijna zevenenveertig procent [2]. Dat is geen uitzondering die je met een paar extra instructies wegfiltert. Dat is een systematisch patroon dat verandert naarmate de vraag opener wordt en de context dunner.

Wie dit als een technisch detail wegzet, mist de kern. Of een organisatie een AI-implementatie kan vertrouwen met klantcommunicatie, medisch advies of financiële rapportage staat niet los van hoe indrukwekkend een model klinkt, maar hangt af van hoe voorspelbaar het faalt, en of de organisatie daarop is voorbereid.

Stel je een ervaren arts voor die een diagnose stelt met hulp van een taalmodel. Het model is overtuigend, het klinkt autoritair, het citeert klinische termen alsof het uit een leerboek komt. Niets in de toon verraadt onzekerheid. Dat is precies het probleem.

Automation bias: waarom getrainde mensen er toch intrappen

Een gerandomiseerde klinische trial, gepubliceerd in NEJM AI, zette dit scenario op de proef met tweeënveertig artsen die allemaal training in AI-geletterdheid hadden gehad. De ene groep kreeg correcte aanbevelingen van ChatGPT-4o, de andere groep kreeg bewust foutieve aanbevelingen voorgeschoteld in de helft van de casussen. Het resultaat: de diagnostische nauwkeurigheid daalde van vierentachtig komma negen procent naar drieënzeventig komma drie procent zodra de AI een foute suggestie deed, een verschil van veertien procentpunt dat statistisch significant was [3]. Dit waren geen doorsnee gebruikers. Dit waren artsen die wisten dat AI kan hallucineren, en die er nog steeds in trapten.

Dat is de kern van wat automation bias heet: hoe overtuigender een systeem klinkt, hoe minder de mens ernaast nog kritisch controleert. Menselijke controle wordt vaak als het ultieme vangnet gepresenteerd in elke governance discussie over verantwoord AI-gebruik, maar dat vangnet blijkt in de praktijk poreuzer dan beleidsdocumenten suggereren. Een reviewer die zes uur lang AI-output afvinkt, ontwikkelt dezelfde blinde vlek als een piloot die te veel op de automatische piloot vertrouwt.

Waarom gebeurt dit niet vaker in het nieuws? Omdat de meeste hallucinaties niet spectaculair zijn. Ze zijn subtiel: een verkeerd jaartal, een verzonnen bronvermelding, een net iets te stellige samenvatting van een onderzoek dat de nuance mist. Precies dat soort kleine, plausibele fouten is het gevaarlijkst, omdat ze de menselijke controlereflex niet activeren.

Wat de NEJM-studie eigenlijk laat zien, is dat “menselijke controle” als concept niet genoeg is als die controle niet actief wordt ingevuld. De artsen die faalden, hadden geen tekort aan AI-kennis, ze hadden op dat moment simpelweg geen eigen inhoudelijke toets naast de AI-suggestie gelegd. Een basisniveau van kennis van zaken over het onderwerp, of op zijn minst de gewoonte om een opvallende claim eerst zelf even te verifiëren, bijvoorbeeld met een gerichte zoekopdracht, blijft daarom onmisbaar. Geen enkele prompt-template of AI-tool vervangt die reflex, hooguit versterkt die hem.

Wat wél werkt, en wat alleen goed klinkt

Hier wordt het interessant, want er is een reëel verschil tussen mitigatiestrategieën die daadwerkelijk feitelijkheid verbeteren en strategieën die vooral geruststellend klinken op een slide.

Retrieval-augmented generation, ofwel het model laten grasduinen in een externe kennisbron voordat het antwoordt, is de meest onderzochte en meest effectieve aanpak tot nu toe. Onderzoek naar RAGTruth, een corpus van bijna achttienduizend natuurlijk gegenereerde RAG-responses met woordniveau-annotaties, laat zien dat zelfs met retrieval onvoldoende onderbouwde en tegenstrijdige claims blijven opduiken, maar dat een relatief klein model dat specifiek is finetuned op dit soort data een detectieprestatie kan behalen die vergelijkbaar is met promptgebaseerde aanpakken op basis van GPT-4 [4]. Met andere woorden: RAG lost het probleem niet op, het verkleint het aanzienlijk, en de manier waarop je het combineert met gerichte detectie bepaalt hoeveel winst je daadwerkelijk boekt.

Wat níet blijkt te werken als sluitende oplossing is vertrouwen op het model zelf om zijn eigen fouten te herkennen. Onderzoek naar semantisch bewuste cross-check consistency toont aan dat hallucinaties die voortkomen uit de vraagstelling zelf of uit beperkingen van het model niet effectief kunnen worden opgespoord door simpelweg te checken of het model consistent hetzelfde antwoord geeft [5]. Een model kan drie keer achter elkaar hetzelfde foute antwoord geven met evenveel overtuiging als het juiste antwoord. Consistentie is geen synoniem voor waarheid, hoe verleidelijk die gelijkstelling ook is voor wie snel een guardrail wil bouwen.

De oplossing is niet om AI-gegenereerde output te wantrouwen, maar om het gebruik ervan te reguleren met slimme verificatie, menselijk toezicht en herkomsttracering.

En dan is er de categorie oplossingen die verkocht worden als silver bullet maar dat in de praktijk niet blijken te zijn. Confidence scores, de percentages die sommige interfaces tonen om aan te geven hoe zeker een model van zichzelf is, correleren regelmatig slecht met daadwerkelijke feitelijke juistheid. Prompt engineering alleen, hoe slim ook opgezet, verandert niets aan het onderliggende mechanisme dat waarschijnlijkheid verwart met waarheid. En voor claims dat ensemble voting, meerdere modellen laten stemmen over het beste antwoord, een betrouwbare oplossing biedt voor feitelijkheid in productieomgevingen: die onderbouwing is op dit moment dunner dan vaak wordt gesuggereerd. Er bestaat sterk bewijs dat stemmen tussen meerdere redeneerpaden de nauwkeurigheid bij wiskundige en logische taken verbetert, maar voor open-domein feitelijkheid in productiesettings ontbreekt tot nu toe onafhankelijk gerepliceerd bewijs met een schoon vóór-en-na-percentage. Dat is geen reden om de techniek te negeren, wel een reden om claims erover met scepsis te lezen tot dat bewijs er ligt.

Drie prompt-technieken die aantoonbaar werken

Prompt engineering alleen lost het onderliggende mechanisme niet op, maar dat betekent niet dat elke prompt evenveel effect heeft. Er is een verschil tussen een prompt die simpelweg netter klinkt en een prompt die het model dwingt tot een controleerbaar proces. De drie templates hieronder zijn geen losse trucjes, ze zijn direct afgeleid van peer-reviewed onderzoek en zijn te kopiëren en direct te gebruiken.

De organisaties die dit nu al goed doen

Neem een juridisch adviesbureau dat AI gebruikt om conceptcontracten te doorzoeken op afwijkende clausules. In plaats van het model te vragen om een samenvatting te genereren, wat ruimte laat voor invulling en dus voor hallucinatie, wordt het model gedwongen om elke bewering te koppelen aan een citaat uit het brondocument. Geen citaat, geen claim. Die simpele architecturale keuze, het model dwingen tot verifieerbare output in plaats van vrije generatie, blijkt in de praktijk een van de meest effectieve, laagdrempelige interventies.

Vergelijk dat met een organisatie die AI-gegenereerde samenvattingen ongefilterd doorstuurt naar klanten omdat het sneller is en de eerste honderd voorbeelden er goed uitzagen. Het verschil zit niet in de kwaliteit van het onderliggende model. Het zit in de strategy achter de implementatie: is er een structurele grens ingebouwd tussen wat het model genereert en wat een mens of tweede systeem daadwerkelijk verifieert, of leunt de hele keten op de veronderstelling dat het wel goed zal gaan omdat het meestal goed gaat.

Een vergelijkbaar patroon zien we bij klantenservice-implementaties. Een verzekeraar die een chatbot inzet om polisvragen te beantwoorden, kan ervoor kiezen het model vrij te laten formuleren op basis van wat het meent te weten over de polisvoorwaarden, of het model dwingen om letterlijk te citeren uit de actuele polistekst en pas daarna in eigen woorden toe te lichten. Het eerste levert vlottere, natuurlijker klinkende antwoorden op. Het tweede levert antwoorden op die trager aanvoelen maar controleerbaar zijn, en dus uiteindelijk minder escalaties naar een klachtenafdeling. Die keuze wordt zelden expliciet gemaakt in een projectplan, maar bepaalt achteraf wel welk bedrijf in het nieuws komt met een pijnlijk voorbeeld en welk bedrijf niet.

Die veronderstelling is precies waar het misgaat. Een systeem dat in vijfentachtig procent van de gevallen correct is, voelt betrouwbaar aan, tot het moment dat de resterende vijftien procent een factuur, een medisch advies of een juridisch document betreft dat niemand meer dubbel checkt omdat het al zo vaak goed ging.

Wat dit betekent voor wie nu beslissingen neemt

De impact van deze kwetsbaarheid reikt verder dan een individuele foutmelding. Het raakt aan de vraag hoeveel autonomie een organisatie een AI-systeem toevertrouwt voordat er een mens tussen zit die daadwerkelijk kritisch kijkt, niet alleen op papier maar in de praktijk van een drukke werkdag.

Wie vandaag beslist over AI-implementatie kan een paar dingen doen die niet wachten op perfecter wordende modellen. Bouw verificatie in als architecturaal ontwerpprincipe, niet als achteraf toegevoegde stap: een systeem dat claims moet onderbouwen met traceerbare bronnen presteert structureel beter dan een systeem dat vrije tekst genereert. Behandel menselijke review niet als afvinklijstje maar als taak die tijd en aandacht vereist, want automation bias treft juist de mensen die denken dat ze er immuun voor zijn. En wees kritisch op leveranciers die spreken over garanties tegen hallucinatie, want die garantie bestaat op dit moment simpelweg niet, ongeacht hoe overtuigend de marketingclaim klinkt.

Regelgevers bewegen ondertussen mee, zij het traag. De Europese AI-verordening verplicht voor hoogrisicotoepassingen al een vorm van menselijk toezicht en documentatieplicht, precies de twee elementen die uit dit onderzoek als meest kritisch naar voren komen. Maar regelgeving loopt per definitie achter op de snelheid waarmee deze modellen worden ingezet, wat betekent dat de verantwoordelijkheid voorlopig vooral bij de implementerende organisatie zelf ligt.

Wat opvalt aan de organisaties die dit patroon doorbreken, is dat ze hallucinatie niet behandelen als een bug die ooit wordt opgelost, maar als een permanente eigenschap waar structureel omheen wordt gebouwd. Dat is een mentale verschuiving die meer oplevert dan wachten op het volgende modelupdate. De vraag is niet langer of een taalmodel weleens iets verzint, die vraag is inmiddels beantwoord. De vraag die overblijft, en die elke organisatie voor zichzelf moet beantwoorden, is of het systeem eromheen zo is gebouwd dat een verzinsel wordt opgevangen voordat het schade aanricht, of pas wordt ontdekt nadat die schade al is geleden.

De technologie zal blijven verbeteren, dat is een veilige voorspelling gezien het tempo van de afgelopen jaren. Maar wie wacht tot hallucinatie volledig is opgelost voordat er serieus in verificatie wordt geïnvesteerd, wacht op iets dat volgens het huidige onderzoek nog niet in zicht is. De organisaties die nu al winnen, zijn niet de organisaties met het beste model. Het zijn de organisaties die hun systemen zo hebben gebouwd dat het niet uitmaakt welk model eronder draait, omdat de waarheid altijd apart wordt geverifieerd voordat ze het daglicht ziet.

Gerelateerde signalen

• Waarom AI-modellen In Stilte Falen In Productie Toont een verwant patroon: systemen die goed lijken te werken totdat niemand meer controleert waarom ze dat doen.

• De Ethische Uitdaging Van Kunstmatige Intelligentie Plaatst het vertrouwensprobleem uit dit signaal in een breder kader van verantwoorde AI-inzet.

Referenties

[1] Li J, Cheng X, Zhao WX, Nie JY, Wen JR. HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. 2023. Available from: https://aclanthology.org/2023.emnlp-main.397/

[2] Li J, Chen J, Ren R, Cheng X, Zhao WX, Nie JY, Wen JR. The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024. Available from: https://aclanthology.org/2024.acl-long.586/

[3] Automation Bias in Large Language Model-Assisted Diagnostic Reasoning among Physicians Trained in AI Literacy: A Randomized Clinical Trial. NEJM AI. 2025. Available from: https://ai.nejm.org/doi/full/10.1056/AIoa2501001

[4] Niu C, Wu Y, Zhu J, Xu S, Shum K, Zhong R, Song J, Zhang T. RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. 2024. Available from: https://aclanthology.org/2024.acl-long.585/

[5] Zhang J, Li Z, Das K, Malin B, Kumar S. SAC3: Reliable Hallucination Detection in Black-Box Language Models via Semantic-aware Cross-check Consistency. Findings of the Association for Computational Linguistics: EMNLP 2023. Available from: https://aclanthology.org/2023.findings-emnlp.1032/

[6] Dhuliawala S, Komeili M, Xu J, Raileanu R, Li X, Celikyilmaz A, Weston J. Chain-of-Verification Reduces Hallucination in Large Language Models. Findings of the Association for Computational Linguistics: ACL 2024. Available from: https://aclanthology.org/2024.findings-acl.212/