Artificial Stupidity: welkom in The Matrix

Laatst zette ik een bericht op Facebook. In een groep waar ik al jaren rondhang. Met een mention van iemand die ik persoonlijk ken en waar ik gewoon mee verbonden ben. Niks spannends: een verzoek om mij wat niet-publieke info via DM te sturen. Zo’n post heb ik eerder ook gemaakt.

Binnen een seconde: afgekeurd. Account op slot. Een week. W*F?!

Reden? Ik zou “spam” sturen naar onbekenden. Pas nadat ik doorvroeg, kwam dat eruit. Ik tekende bezwaar aan. En binnen vijf seconden was alles weer teruggedraaid. Met excuses. Door exact dezelfde machine die me net nog had veroordeeld.

Dit is precies waar we nu zitten.

Steeds meer beslissingen worden genomen door AI. Niet omdat het beter is. Omdat het goedkoper is dan mensen. Het is geen innovatie. Het is een bezuinigingsmaatregel met een populair label erop. En de schade wordt vrolijk doorgeschoven naar iedereen die níét op de balans staat: gebruikers, klanten en burgers.

Ja - de modellen worden beter. Maar ‘beter’ is niet hetzelfde als betrouwbaar.

In de OpenAI GPT-5 system card zie je bijvoorbeeld dat er in sommige settings nog steeds duidelijke hallucinatie-percentages zitten (foutieve claims) - waaronder een 6,9% score op een FactScore-meting met browsing uit. En OpenAI benoemt zelf ook waarom dit zo hardnekkig is: standaard training beloont vaak “gokken” boven “ik weet het niet”.

Prima als het gaat om: welke pizza is lekker?

Niet prima als het gaat om: “mag jij posten?”, “mag jij bankieren?”, “mag jij je data houden?”, “ben jij verdacht?”, “krijg jij die hypotheek?”

Vandaag is het een platform dat je ‘even uitzet’. Morgen is het een leverancier die je account afsluit en je hele digitale leven meeneemt in de val. En ondertussen schuift dezelfde logica door naar finance en compliance: automatische scoring, automatische blokkades, automatische meldingen. Want: efficiënt.

Hier zit de kern van artificial intelligence – wat ik steeds vaker niet zo liefkozend artificial stupidity noem: we zetten niet volledig functionerende tekstmachines in als scheidsrechter. En we doen alsof ‘bijna goed’ goed genoeg is, terwijl de gevolgen helemaal niet ‘bijna’ zijn.

Dus ja, ik vind dit zorgelijk. Het gebeurt niet over 50 jaar. Het gebeurt vandaag.

Welkom in The Matrix.

Van poortwachter naar robot: hoe wantrouwen wordt geautomatiseerd

Toenemende regeldruk: een belangrijke oorzaak

De stap richting AI in finance komt niet uit visie. Hij komt uit pijn. En uit kostenoverweging.

Volgens de Nederlandse Vereniging van Banken werken inmiddels meer dan 13.000 bankmedewerkers - ongeveer één op de vijf - aan klantonderzoek, transactiemonitoring en meldingen van ongebruikelijke transacties. De totale jaarlijkse kosten: €1,4 miljard.

Dat is geen ‘extra administratief laagje’. Dat is een compleet parallel bedrijf, gebouwd naast het echte bankbedrijf.

En banken zijn niet de enigen. De hele keten wordt poortwachter: accountants, administratiekantoren, boekhouders, hypotheekverstrekkers. Je mag tegenwoordig niet ‘gewoon’ beginnen met een BV-boekhouding zonder UBO-informatie en cliëntonderzoek. Het UBO-register zit bij de Kamer van Koophandel, en Wwft-instellingen moeten een uittreksel opvragen en bewaren.

Het gevolg? Wantrouwen als standaardinstelling, als default.

Wil je na verkoop van je huis extra aflossen op je hypotheek - iets wat beleidstechnisch vaak wordt aangemoedigd - dan moet je ineens je eigen geld her-etiketteren: herkomst aantonen, documenten aanleveren, vragen beantwoorden die voelen alsof je op sollicitatie bent voor je eigen betaalrekening.

En hier schuurt het principieel: het vermoeden van onschuld is een grondrecht. In het Europees Verdrag voor de Rechten van de Mens staat het helder: wie wordt beschuldigd, wordt geacht onschuldig te zijn tot schuld is bewezen.

Maar compliance-processen zijn zelden gebouwd op ‘onschuldig tot bewezen schuldig’. Ze zijn gebouwd op ‘toon maar aan dat je níét verdacht bent’.

En dan komt de logische volgende stap: automatiseren. Niet omdat AI de nuance begrijpt. Maar omdat de spreadsheet schreeuwt dat mensen te duur zijn.

Dat is waar het gevaarlijk wordt.

Als je beleid, formulieren en trainingsdata doordrenkt zijn van wantrouwen, dan neemt een model dat over. Een LLM denkt niet na. Het herhaalt patronen. Grondrechten zitten niet automatisch in die patronen - zeker niet als ze niet expliciet onderdeel zijn van de ontwerpkeuzes, de thresholds, de uitzonderingen, de menselijke escalaties.

En dan krijg je wat ik artificial stupidity noem, op schaal: false positives die niet ‘ slechts irritant’ zijn, maar volledig ontwrichtend. Geblokkeerde betalingen. Opgezegde rekeningen. Verdachtmakingen die je nooit netjes ‘uit het systeem’ krijgt. En een klantenservice die zegt: “computer says no”. De humor van toen is realiteit geworden.

Regeldruk duwt finance richting AI. De vraag is niet óf. De vraag is: bouwen we remmen in - of automatiseren we de misstappen?

Waar LLM’s wél thuishoren: naast je mensen

Is AI dan nutteloos?

Nee. Maar het is wél nutteloos als je het inzet als vervanger van menselijk oordeel.

De huidige generatie AI - LLM’s en machine learning - kan uitstekend helpen bij werk dat groot, saai, repetitief of data-zwaar is, zolang je het binnen hekken zet. Denk aan: samenvatten van tickets en incident reports, het clusteren van meldingen, het vinden van patronen in logs, het maken van eerste concepten (mail, change-plan, runbook), het genereren van testcases, het opschonen van data, of het voorstellen van hypotheses die een engineer vervolgens verifieert.

Kortom: beslissings-ondersteuning. Niet: beslissings-automatisering.

De luchtvaart snapt dit principe al decennia: een autopilot mag veel, maar piloten blijven verantwoordelijk. Niet voor niets. Als automatisering ‘zeker’ wordt verklaard en mensen eromheen worden wegbezuinigd, krijg je precies het soort drama dat pijnlijk zichtbaar werd bij de Boeing 737 MAX, waar een geautomatiseerd systeem op basis van foutieve input ingreep. Met fatale gevolgen.

En nu zie je hetzelfde patroon terug in de agent-hype: tools die ‘echt dingen doen’ en dus diep in je systeem mogen. Dat is krachtig… en gevaarlijk. De populariteit van Moltbot (voorheen Clawdbot) trok direct misbruik aan, waaronder een malafide VSCode-extensie die malware installeerde. Security-partijen waarschuwen bovendien dat dit soort persoonlijke agents - met brede rechten - een nachtmerrie kan zijn als je deployment, toegang en isolatie niet volwassen zijn.

Dus het valide toepassingsgebied is helder:

• Laag risico + mens in de loop
• Afgebakende taken + duidelijke toestemming
• Auditability + logging + rollback
• Sandboxed execution + approvals voor acties
• Meten van fouten, niet hopen op magie

AI is een briljante assistent. Maar een beroerde rechter. En zeker geen automatische piloot voor je organisatie.

AI die wél werkt: de méns beslist, het model hélpt

Bij Sciante gebruiken we Computer Aided Human Intelligence: AI voor de heavy lifting, een mens voor het oordeel.

Dus geen “computer says no”. Geen black box die je processen mag gijzelen. Wél: modellen die sneller door logs, metrics en configuraties heen jagen dan elk team kan. En vervolgens een expert die op basis van feiten beslist wat echt de oorzaak is, wat de risico’s zijn en welke fix het meeste oplevert.

Zo trekken we lekken boven water die je nu geld, performance en energie kosten. Kostenefficiënt, meetbaar en zonder dat je de regie uit handen geeft. Onze kennis is leidend voor het eindresultaat - niet de ‘grillen’ van een model.

Dat levert op wat je wél wilt: optimalisatie die snel, accuraat en betaalbaar is. En vooral: verdedigbaar. Naar je directie, je security, je auditor én jezelf.

Wil je betrouwbare optimalisatie? Wil je gewoon eens sparren over hoe je AI verantwoord inzet zonder extra gedoe of onverwachte schade?

Plan een vrijblijvende afspraak met mij. Eén gesprek. Diverse eye-openers. Geen kosten.