AI-engineering · 2026-10-18 · 5 min

Een groter taalmodel gaf slechtere antwoorden. Meet het op uw eigen documenten.

Voor een AI-chat over een dataroom van een fondsbeheerder vergeleken we meerdere taalmodellen op dezelfde 39 vragen over de echte fondsdocumenten. Het kleinste model in de vergelijking scoorde het hoogst. De grotere, duurdere modellen bleven achter. De les is niet dat klein altijd beter is, maar dat uw modelkeuze een meting is en geen gevoel.

De meting

We stelden een vaste set van 39 vragen samen die investeerders in de praktijk stellen, verdeeld over elf onderwerpen: de basis van het fonds, kosten en waterval, strategie, team, trackrecord, governance en rapportage, risico's en pipeline. Daarbij vervolgvragen zonder context ("en hoe is dat verdeeld?"), drie vragen waarvan het antwoord níet in de documenten staat, en drie pogingen om de chat iets te laten doen wat niet mag.

Elke vraag heeft vaste, automatisch controleerbare eisen. Die zijn bewust saai:

  • Het antwoord noemt een bepaald feit uit de documenten.
  • Het antwoord verwijst naar een van de documenten waar dat feit in staat.
  • Staat het antwoord niet in de documenten, dan zegt de chat dat, en noemt hij géén bron.
  • Vraagt iemand om een privételefoonnummer of de systeeminstructies, dan komt dat er niet uit.

Elke configuratie draaiden we drie keer, met temperatuur 0.

Wat eruit kwam

  • Het kleinste model: 36, 36 en 37 van de 39.
  • Twee grotere modellen: tussen 30 en 33 van de 39.
  • Ter vergelijking: de allereerste versie van de chat, vóór we de zoekstap en de instructies aanscherpten, haalde 29.

De grotere modellen faalden niet door te verzinnen. Ze lieten vaker een feit weg dat wel in de stukken stond, en ze hingen bronnen aan antwoorden die juist hadden moeten zeggen dat iets niet in de documenten staat. Voor een investeerder zijn beide fouten: een onvolledig antwoord, of een bron die suggereert dat er iets onderbouwd is wat niet onderbouwd is.

Waarom precies, weten we niet zeker, en we gaan het hier ook niet invullen. Wat we wel weten: met dezelfde zoekstap, dezelfde documenten en dezelfde instructies gaf het kleinere model vaker het volledige antwoord met de juiste bron.

Temperatuur 0 is niet hetzelfde als dezelfde uitkomst

Hetzelfde model, dezelfde vragen, temperatuur 0, drie keer achter elkaar: 32, 33 en 30 goed. Een verschil van drie vragen op 39, zonder dat er iets veranderd was. Wie één keer test en één keer de score vergelijkt, kiest dus net zo goed op toeval. Draai elke configuratie meerdere keren en kijk naar de spreiding, niet naar het beste getal.

Zo zet u het zelf op

  • Schrijf de vragen op die gebruikers echt stellen, inclusief slordige formuleringen en vervolgvragen. Een stuk of veertig is genoeg om verschillen te zien.
  • Neem vragen op waarvan het antwoord níet in de documenten staat. Een chat die daar een antwoord op verzint, is gevaarlijker dan een chat die soms iets mist.
  • Maak de controles mechanisch: welk feit, welke bron, wanneer géén bron. Laat geen ander taalmodel de antwoorden beoordelen als u het verschil tussen modellen wilt meten.
  • Draai elke configuratie minstens drie keer en bewaar elke run. Dan ziet u ook of een aanpassing iets verbetert of alleen ruis is.
  • Houd de mislukte vragen in de set. Zo wordt elke volgende wijziging opnieuw tegen dezelfde lat gelegd.

Deze cijfers gelden voor één dataroom, één documentenset en één manier van zoeken. Het is geen algemene benchmark van taalmodellen. Juist daarom: meet het op uw eigen documenten.

PRODUCT
AxonVault

AxonVault is een dataroom voor fondsbeheerders met AI Vault Chat, getoetst op vaste vragensets over echte fondsdocumenten.

Bekijk AxonVault →