Het vliegwiel
Een betrouwbare AI-adviseur bouw je niet als een project met een einde, maar als een vliegwiel: een korte aanloop die overgaat in een doorlopende verbeter-loop, met de Client Blueprint als levende basis en zeven guardrails als onderlaag. De mens beslist op twee poorten: wat bouwen we, en wat brengen we live.
Een korte aanloop, dan een blijvende loop
Doel, data en een eerste kennislaag vormen de aanloop; daarna meet, verbeter en hertest je continu tegen vaste vragensets, met de zeven guardrails als onderlaag onder elke stap.
Fundament + eerste adviseur
Doel, proces, data en de eerste gelaagde kennislaag vormen het fundament. Daarna een eerste werkende adviseur met een testlat: vaste vragensets.
Meten en verbeteren
Meten tegen de vragensets, verifiëren, de zwakste plek verbeteren, hertesten. Nooit "af": een AI-product loopt ook zonder codewijziging langzaam uit de pas.
De Client Blueprint
Een levend ontwerpdocument dat elke ronde meebeweegt, geen document dat na oplevering in een la verdwijnt.
Zeven guardrails
Onder elke stap, elke ronde opnieuw getoetst. Geen eenmalige afvinklijst.
Zeven guardrails en een harde meetlat
De zeven guardrails voor betrouwbare AI (EU) vormen de onderlaag onder elke stap; de vragensets zijn de meetlat die elke ronde opnieuw wordt gelegd.
Hieronder staat per guardrail de omschrijving uit het BeeHaive-framework, en wat we er in deze hackathon wel en niet mee doen. Wat we niet doen, is een bewuste keuze voor een prototype van twee dagen of een punt voor het vervolg.
Human agency
De mens beslist, ook als AI de zaak versnelt.
Wat we doen. Welke wet geldt, beslist een mens. De dialoog neemt de wet over uit de thesaurus, en vaste controles in de code houden een antwoord met een andere wet tegen. Experts beoordelen een deel van de antwoorden, zonder te weten welk model het antwoord gaf. De pagina van de dialoog meldt dat het antwoord door AI is gemaakt.
Wat we niet doen. We meten niet of mensen te veel op de dialoog gaan vertrouwen. Daarvoor zijn echte gebruikers nodig, en die zijn er in dit prototype niet.
Robustness
Betrouwbaar gedrag onder alle omstandigheden, ook wanneer iets misgaat.
Wat we doen. De vaste controles hebben eigen tests die bij elke wijziging draaien. We meten tegen vaste vragensets, en stellen elke vraag drie keer per model. In de brons set staat dezelfde situatie in vijf verwoordingen, zodat we zien waar het antwoord verandert. Een meting zonder thesaurus laat zien wat de thesaurus toevoegt.
Wat we niet doen. Tests met misleidende invoer, zoals een verstopte opdracht in een vraag of een bron, zijn geen vast onderdeel; ze liggen klaar als reserve. Bewaken of de kwaliteit na verloop van tijd afneemt, automatische waarschuwingen en een proces voor incidenten horen bij beheer, na de hackathon.
Privacy
Persoonsgegevens onder controle, van trainingsdata tot model-output.
Wat we doen. We werkten met een cloudmodel; de vergelijking met een Europees model dat in de EU draait, is voor deze editie geschrapt. De testvragen zijn geanonimiseerd of verzonnen. In de demo typt het team de vragen zelf in en controleert ze vooraf op persoonsgegevens; er typt geen bezoeker rechtstreeks. De dialoog kan de testsets niet lezen.
Wat we niet doen. Een privacy-effectbeoordeling (DPIA) voor gebruik door echte burgers is er nog niet. Die is nodig voordat de dialoog live kan. We trainen zelf geen model, dus toetsen op gelekte trainingsdata doen we niet.
Fairness
Gelijke behandeling, geen systematische benadeling.
Wat we doen. We kijken of dezelfde situatie in elk van de vier gemeenten op dezelfde wet en dezelfde deur uitkomt, en of het antwoord gelijk blijft als een burger of een professional de vraag stelt.
Wat we niet doen. We meten niet per groep, bijvoorbeeld naar taalniveau, herkomst of leeftijd. Een kleine proef met dezelfde vraag in gebrekkig Nederlands en in spreektaal ligt klaar als reserve. Er is nog geen knop waarmee iemand een bevooroordeeld antwoord kan melden.
Transparency
Helder hoe AI werkt, wat het doet, en waarom.
Wat we doen. Elk antwoord noemt zijn bronnen. Noemt het model een bron die het in dat gesprek niet heeft geraadpleegd, dan keurt de code het antwoord af. Is de wet niet gecontroleerd, dan staat dat bij het antwoord. Per antwoord leggen we vast welk model het gaf en met welke versie van de thesaurus, de bronnen en de instructie.
Wat we niet doen. Er is geen modelkaart en geen registratie in het Algoritmeregister: het is een prototype. Of een bewering ook echt op de genoemde pagina staat, controleert een AI-beoordelaar en een mens op een deel, niet op elk antwoord.
Well-being
AI die bijdraagt aan welzijn van mensen, samenleving en milieu.
Wat we doen. De dialoog schrijft in eenvoudige taal (B1). Bij een medische vraag en bij de vraag of iemand ergens recht op heeft, hoort hij door te verwijzen; dat toetsen we met de brons set. Per antwoord leggen we tijd en verbruik vast, zodat de kosten per model zichtbaar zijn.
Wat we niet doen. We meten het taalniveau van de antwoorden nog niet, en ook niet het energieverbruik of de toegankelijkheid van de demo. Of de dialoog bij acute nood eerst naar directe hulp verwijst, is geen vast onderdeel van de tests; die vragen liggen klaar als reserve.
Accountability
Duidelijk wie verantwoordelijk is, en hoe daarop wordt toegezien.
Wat we doen. Besluiten leggen we vast met de afgewogen alternatieven (zie besluiten). Elke wijziging aan de thesaurus, de bronnen of de instructie krijgt een eigen versie, die bij elk antwoord wordt bewaard. Een akkoord van een mens leggen we vast met wie en wanneer. Elke fout uit een meting krijgt een oorzaak.
Wat we niet doen. Wie na de hackathon eigenaar is van de dialoog en de metingen, is nog niet besloten. Ook de indeling onder de Europese AI-verordening is nog niet vastgelegd. Beide zijn beslispunten voor het vervolg.
Vaste vragensets
Niet één lijst, maar meerdere, elk met een eigen gewicht: echte vragen met het antwoord dat een expert gaf, de zes use cases in verschillende verwoordingen per gemeente, feitenvragen met één vast antwoord, en vragen uit rechtspraak om mee te oefenen. Geen "inrichten en klaar": de dialoog beantwoordt de sets elke ronde opnieuw, AI-beoordelaars kijken de antwoorden na en een mens controleert een deel. De vragen bevatten geen persoonsgegevens: ze zijn geanonimiseerd of gemaakt. Welke sets er zijn staat op de datapagina; hoe we meten bij de evalstraat.
Elf controles, in deze volgorde
Een model stelt voor, een script controleert wat te controleren valt, en een expert heeft het laatste woord. Eerst de kennis, dan de meetlat, dan de dialoog zelf, daarna de antwoorden op de vaste vragen. De volgorde staat vast; op welk moment van de twee dagen een controle valt, niet.
De begrippen met een vlag
Bij 41 kernbegrippen kan meer dan één wet horen. Klopt de wet, en haalt de doorvraag de wetten echt uit elkaar?
De begrippen van de use cases zonder vlag
De zes use cases leunen ook op begrippen met één wet. Die lopen de experts apart na, zodat elk begrip waar de meting op leunt door een mens is gezien.
Het landelijke antwoord per use case
Welke wet, welke deur en wie is verantwoordelijk? Het voorstel ligt er; de experts verbeteren en vullen aan. Welke wet bij een casus hoort, beslist de expert.
De lokale namen en deuren
Hoe heet een voorziening in een gemeente, en waar meld je je? De naam en de deur zijn twee aparte vragen. Vooraf is nagegaan of de deur op de bronpagina staat; of hij klopt, zegt de expert.
Het antwoord per gemeente
Alleen waar het afwijkt van het landelijke antwoord. Een leeg vak betekent: hier geldt het landelijke antwoord.
De wet van de use case naast de wet van het begrip
De expert noemt bij een use case een wet, en de begrippen in de thesaurus hebben er ook een. Waar die twee verschillen, beslist de expert welke klopt.
De labels van de echte vragen
Bij elke echte vraag horen een begrip, een deur en een uitkomst: beantwoorden, doorvragen of niet beantwoorden. Het voorstel komt uit het antwoord dat de expert eerder gaf; een mens kijkt het na voordat het meetelt. Welke wet bij een vraag hoort, beslist de expert.
Eigen vragen aan de dialoog
De experts stellen zelf vragen, in hun eigen woorden, en beoordelen wat er terugkomt. Dat laat zien wat de vaste vragensets missen.
Een klein aantal antwoorden nakijken
De experts beoordelen antwoorden met de beoordelingslijst. Daarmee stellen we de AI-beoordelaars af; die tellen pas mee als ze dicht genoeg bij het oordeel van de expert zitten.
De blinde steekproef bij de eindmeting
De experts beoordelen zelf een deel van de antwoorden op de meetvragen.
De reserveset
Tests bij vier guardrails: noemt de dialoog eerst de nooddeur, houdt hij stand bij een aanval, herhaalt hij ingetypte persoonsgegevens, en blijft het antwoord gelijk in gebrekkig Nederlands of spreektaal? Telt nooit mee in de vergelijking.
Elke controle bouwt op de vorige
De begrippen komen eerst, want de thesaurus wordt daarna vastgezet. Het antwoord per gemeente (5) is een afwijking van het landelijke antwoord (3) en gebruikt de lokale naam en de deur (4). De twee wetten naast elkaar leggen (6) kan pas als beide door een expert zijn bekeken. De labels van de echte vragen (7) gebruiken de begrippen en de wet die dan zijn nagelopen, en zijn nodig voordat een antwoord wordt nagekeken. De experts bevragen de dialoog (8) pas als de kennis waarop hij leunt is nagelopen. En de beoordelaars worden eerst afgesteld (9) voordat de eindmeting telt (10).
Laat een controle zien dat iets in de thesaurus niet klopt, dan stelt het team een wijziging voor. Die gaat alleen door als een expert haar goedkeurt, en geldt dan voor de hele dialoog.
Het vliegwiel in twee dagen
Voorbereiding + dag 1
Doel en proces, de data en de gelaagde kennislaag over de vier zorgwetten en de lokale bronnen, en de vragensets als testlat. De experts liepen de kennis na in vaste controles.
Dag 2
De experts stelden hun vragen aan de dialoog, het team stuurde hem tussendoor bij, en de evalstraat mat tegen de vragensets.
Bouwen en live
Vóór de hackathon is vastgelegd wát we bouwen; na de hackathon adviseren we, op basis van de metingen en gebruikersacceptatie, wat kansrijk is om verder te brengen.