AI-chat op vertrouwelijke documenten: rechten vóór retrieval
Een AI-chat over een dataroom, personeelsdossier of kennisbank staat snel: documenten in een vectordatabase, een taalmodel erachter. Het lastige deel zit niet in het model. Het zit in de vraag wie wat mag zien, en wat er gebeurt als een antwoord uit meerdere documenten put. Dit leerden we de afgelopen maanden bij het bouwen van een dataroom voor fondsbeheerders en een kennisbank met betaalde en interne inhoud.
Filter vóór de zoekopdracht, niet erna
De voor de hand liggende bouw: doorzoek de hele collectie, neem de tien beste fragmenten en gooi weg wat de gebruiker niet mag openen. Dat lijkt veilig, maar het antwoord wordt er slechter van. Een investeerder met toegang tot drie documenten krijgt een antwoord op basis van twee van de tien treffers, of op basis van niets, omdat de beste treffers in documenten zaten die voor hem dicht zijn.
De oplossing is de rechten als filter in de zoekvraag zelf mee te geven: per omgeving, per groep, alleen gepubliceerde stukken. Dan zijn de tien beste treffers de tien beste uit wat deze persoon mag lezen. Het model ziet nooit tekst die de gebruiker niet mocht zien, en het antwoord wordt er beter van in plaats van dunner.
Ook zoeken en suggesties lekken
Hetzelfde geldt buiten de chat. Een zoekresultaat toont een fragment, dus wie in betaalde inhoud kan zoeken zonder die te mogen lezen, leest haar alsnog, stukje voor stukje. Zoeken in afgeschermde inhoud hoort dus alleen te werken voor wie die inhoud mag zien.
Voorgestelde vragen zijn een minder voor de hand liggend lek. "Wat zijn de kernvoorwaarden in [documentnaam]?" verraadt dat het document bestaat. In onze dataroom verlaten geen titels en geen id's de server: het scherm krijgt alleen onderwerpen (fondsomvang, strategie, team, kosten) waarop een document dat deze persoon mag doorzoeken waarschijnlijk antwoord geeft.
PII-maskering: waar, en wat precies
Namen van personen maskeren we bij het inlezen, vóór het embedden. Het opgeslagen fragment bevat dan [PERSON], en niets verderop in de keten kan dat terughalen. Dat is de strenge en veilige standaard. Daarna volgt een controle op het antwoord van het model.
Onze eerste versie van die controle maskeerde alles wat op persoonsgegevens leek. Het resultaat waren antwoorden als "De sleutelpersonen zijn [PERSON] en ...". De lezer mocht het brondocument openen, en daar stond de naam gewoon in. Maskeren wat letterlijk in toegestane bronnen staat beschermt niets en maakt het antwoord onleesbaar. Het lek waarvoor de controle bestaat, is een naam of getal dat het model produceert en dat níet in de meegegeven bronnen staat. Dat maskeren we nu wel, de rest laten we staan. Vergelijk daarbij zonder witruimte: PDF-extractie breekt regels midden in namen.
Een vuistregel is geen beleid
Naamherkenning met regels gaat twee kanten op mis. De onze zag elke reeks van twee of drie woorden met een hoofdletter als persoon: "Net Asset Value", "Call Notice", "Central Bank", "Cayman Islands". Een patroon voor Nederlandse achternamen ("de", "van der" plus een woord met hoofdletter) had geen woordgrens ervoor en ving zo het einde van Engelse woorden: "include Acme Health" werd "inclu[PERSON] Health". Elk Engels woord op -de doet dat: provide, made, trade. Test zo'n detector dus op echte documenten in beide talen, lees de uitvoer, en houd de lijst met uitzonderingen kort genoeg om hem in zijn geheel te controleren.
Sommige keuzes laat u ook niet aan een vuistregel over. Een fondsovereenkomst noemt sleutelpersonen juist omdat investeerders moeten weten wie dat zijn: vertrekt er een, dan wordt de investeringsperiode opgeschort. Die namen maskeren maakte de belangrijkste clausule voor een investeerder onleesbaar. De uitzondering, een naam vlak rond "key person" of "sleutelpersoon" met contactgegevens nog steeds gemaskeerd, is een besluit van de eigenaar. Het staat met datum in de specificatie en wordt niet stilletjes door een ontwikkelaar of een AI bijgesteld.
Bewijs dat het niet lekt
"Het lekt niet" is een bewering, geen test. In de kennisbank staat afgeschermde tekst met verzonnen verklikkerwoorden die nergens anders voorkomen. Een lektest zoekt die woorden in elk antwoord, elk zoekresultaat en elke bundel die de browser binnenhaalt. Bronvermeldingen lopen via codes die de server zelf uitdeelt: het model kiest uit de toegestane bronnen, en een code die het verzint valt weg. Zo kan een antwoord nooit verwijzen naar een document dat de lezer niet mag openen.
Ook de infrastructuur telt mee. Bij ons schaalde de vectordatabase onder belasting naar meerdere replica's die elk leeg begonnen, waardoor dezelfde collectie in dezelfde seconde "bestaat al" en "niet gevonden" antwoordde. De configuratie in productie was afgedreven van wat de infrastructuurcode voorschreef. Een AI-chat die af en toe niets vindt, is voor een gebruiker niet te onderscheiden van een chat die iets verzwijgt.