De juiste deur, ook lokaal · Werkwijze
Terug naar overzicht
Werkwijze

Het vliegwiel

Een betrouwbare AI-adviseur bouw je niet als een project met een einde, maar als een vliegwiel: een korte aanloop die overgaat in een doorlopende verbeter-loop, met de Client Blueprint als levende basis en zeven guardrails als onderlaag. De mens beslist op twee poorten: wat bouwen we, en wat brengen we live.

Gebouwd op het BeeHaive-framework · beehaive.nl

Het vliegwiel

Een korte aanloop, dan een blijvende loop

Doel, data en een eerste kennislaag vormen de aanloop; daarna meet, verbeter en hertest je continu tegen vaste vragensets, met de zeven guardrails als onderlaag onder elke stap.

AANLOOP · KORT 0 · Doel + proces 1 · Data + kennislaag 2 · Eerste adviseur + testlat POORT 1 wat bouwen we? CONTINUE VERBETER-LOOP meet · vragensets verifieer · observeer verbeter zwakste plek hertest Blueprint bijwerken CLIENT BLUEPRINT levende basis POORT 2 wat brengen we live? Live · Beheer na doel + acceptatie 7 GUARDRAILS doorlopende onderlaag onder elke stap, elke ronde opnieuw getoetst
Klassieke fasen klappen in tot een loop met twee beslispoorten. De mens beslist op de poorten die ertoe doen.
Aanloop (kort)

Fundament + eerste adviseur

Doel, proces, data en de eerste gelaagde kennislaag vormen het fundament. Daarna een eerste werkende adviseur met een testlat: vaste vragensets.

Continue loop

Meten en verbeteren

Meten tegen de vragensets, verifiëren, de zwakste plek verbeteren, hertesten. Nooit "af": een AI-product loopt ook zonder codewijziging langzaam uit de pas.

De basis

De Client Blueprint

Een levend ontwerpdocument dat elke ronde meebeweegt, geen document dat na oplevering in een la verdwijnt.

De onderlaag

Zeven guardrails

Onder elke stap, elke ronde opnieuw getoetst. Geen eenmalige afvinklijst.

Betrouwbaar bouwen

Zeven guardrails en een harde meetlat

De zeven guardrails voor betrouwbare AI (EU) vormen de onderlaag onder elke stap; de vragensets zijn de meetlat die elke ronde opnieuw wordt gelegd.

Hieronder staat per guardrail de omschrijving uit het BeeHaive-framework, en wat we er in deze hackathon wel en niet mee doen. Wat we niet doen, is een bewuste keuze voor een prototype van twee dagen of een punt voor het vervolg.

Human agency and oversight

Human agency

De mens beslist, ook als AI de zaak versnelt.

Wat we doen. Welke wet geldt, beslist een mens. De dialoog neemt de wet over uit de thesaurus, en vaste controles in de code houden een antwoord met een andere wet tegen. Experts beoordelen een deel van de antwoorden, zonder te weten welk model het antwoord gaf. De pagina van de dialoog meldt dat het antwoord door AI is gemaakt.

Wat we niet doen. We meten niet of mensen te veel op de dialoog gaan vertrouwen. Daarvoor zijn echte gebruikers nodig, en die zijn er in dit prototype niet.

Technical robustness and safety

Robustness

Betrouwbaar gedrag onder alle omstandigheden, ook wanneer iets misgaat.

Wat we doen. De vaste controles hebben eigen tests die bij elke wijziging draaien. We meten tegen vaste vragensets, en stellen elke vraag drie keer per model. In de brons set staat dezelfde situatie in vijf verwoordingen, zodat we zien waar het antwoord verandert. Een meting zonder thesaurus laat zien wat de thesaurus toevoegt.

Wat we niet doen. Tests met misleidende invoer, zoals een verstopte opdracht in een vraag of een bron, zijn geen vast onderdeel; ze liggen klaar als reserve. Bewaken of de kwaliteit na verloop van tijd afneemt, automatische waarschuwingen en een proces voor incidenten horen bij beheer, na de hackathon.

Privacy and data governance

Privacy

Persoonsgegevens onder controle, van trainingsdata tot model-output.

Wat we doen. We werkten met een cloudmodel; de vergelijking met een Europees model dat in de EU draait, is voor deze editie geschrapt. De testvragen zijn geanonimiseerd of verzonnen. In de demo typt het team de vragen zelf in en controleert ze vooraf op persoonsgegevens; er typt geen bezoeker rechtstreeks. De dialoog kan de testsets niet lezen.

Wat we niet doen. Een privacy-effectbeoordeling (DPIA) voor gebruik door echte burgers is er nog niet. Die is nodig voordat de dialoog live kan. We trainen zelf geen model, dus toetsen op gelekte trainingsdata doen we niet.

Diversity, non-discrimination and fairness

Fairness

Gelijke behandeling, geen systematische benadeling.

Wat we doen. We kijken of dezelfde situatie in elk van de vier gemeenten op dezelfde wet en dezelfde deur uitkomt, en of het antwoord gelijk blijft als een burger of een professional de vraag stelt.

Wat we niet doen. We meten niet per groep, bijvoorbeeld naar taalniveau, herkomst of leeftijd. Een kleine proef met dezelfde vraag in gebrekkig Nederlands en in spreektaal ligt klaar als reserve. Er is nog geen knop waarmee iemand een bevooroordeeld antwoord kan melden.

Transparency

Transparency

Helder hoe AI werkt, wat het doet, en waarom.

Wat we doen. Elk antwoord noemt zijn bronnen. Noemt het model een bron die het in dat gesprek niet heeft geraadpleegd, dan keurt de code het antwoord af. Is de wet niet gecontroleerd, dan staat dat bij het antwoord. Per antwoord leggen we vast welk model het gaf en met welke versie van de thesaurus, de bronnen en de instructie.

Wat we niet doen. Er is geen modelkaart en geen registratie in het Algoritmeregister: het is een prototype. Of een bewering ook echt op de genoemde pagina staat, controleert een AI-beoordelaar en een mens op een deel, niet op elk antwoord.

Societal and environmental well-being

Well-being

AI die bijdraagt aan welzijn van mensen, samenleving en milieu.

Wat we doen. De dialoog schrijft in eenvoudige taal (B1). Bij een medische vraag en bij de vraag of iemand ergens recht op heeft, hoort hij door te verwijzen; dat toetsen we met de brons set. Per antwoord leggen we tijd en verbruik vast, zodat de kosten per model zichtbaar zijn.

Wat we niet doen. We meten het taalniveau van de antwoorden nog niet, en ook niet het energieverbruik of de toegankelijkheid van de demo. Of de dialoog bij acute nood eerst naar directe hulp verwijst, is geen vast onderdeel van de tests; die vragen liggen klaar als reserve.

Accountability

Accountability

Duidelijk wie verantwoordelijk is, en hoe daarop wordt toegezien.

Wat we doen. Besluiten leggen we vast met de afgewogen alternatieven (zie besluiten). Elke wijziging aan de thesaurus, de bronnen of de instructie krijgt een eigen versie, die bij elk antwoord wordt bewaard. Een akkoord van een mens leggen we vast met wie en wanneer. Elke fout uit een meting krijgt een oorzaak.

Wat we niet doen. Wie na de hackathon eigenaar is van de dialoog en de metingen, is nog niet besloten. Ook de indeling onder de Europese AI-verordening is nog niet vastgelegd. Beide zijn beslispunten voor het vervolg.

De meetlat

Vaste vragensets

Niet één lijst, maar meerdere, elk met een eigen gewicht: echte vragen met het antwoord dat een expert gaf, de zes use cases in verschillende verwoordingen per gemeente, feitenvragen met één vast antwoord, en vragen uit rechtspraak om mee te oefenen. Geen "inrichten en klaar": de dialoog beantwoordt de sets elke ronde opnieuw, AI-beoordelaars kijken de antwoorden na en een mens controleert een deel. De vragen bevatten geen persoonsgegevens: ze zijn geanonimiseerd of gemaakt. Welke sets er zijn staat op de datapagina; hoe we meten bij de evalstraat.

De mens controleert

Elf controles, in deze volgorde

Een model stelt voor, een script controleert wat te controleren valt, en een expert heeft het laatste woord. Eerst de kennis, dan de meetlat, dan de dialoog zelf, daarna de antwoorden op de vaste vragen. De volgorde staat vast; op welk moment van de twee dagen een controle valt, niet.

Controle 1 · kennis

De begrippen met een vlag

Bij 41 kernbegrippen kan meer dan één wet horen. Klopt de wet, en haalt de doorvraag de wetten echt uit elkaar?

Controle 2 · kennis

De begrippen van de use cases zonder vlag

De zes use cases leunen ook op begrippen met één wet. Die lopen de experts apart na, zodat elk begrip waar de meting op leunt door een mens is gezien.

Controle 3 · kennis

Het landelijke antwoord per use case

Welke wet, welke deur en wie is verantwoordelijk? Het voorstel ligt er; de experts verbeteren en vullen aan. Welke wet bij een casus hoort, beslist de expert.

Controle 4 · kennis

De lokale namen en deuren

Hoe heet een voorziening in een gemeente, en waar meld je je? De naam en de deur zijn twee aparte vragen. Vooraf is nagegaan of de deur op de bronpagina staat; of hij klopt, zegt de expert.

Controle 5 · kennis

Het antwoord per gemeente

Alleen waar het afwijkt van het landelijke antwoord. Een leeg vak betekent: hier geldt het landelijke antwoord.

Controle 6 · kennis

De wet van de use case naast de wet van het begrip

De expert noemt bij een use case een wet, en de begrippen in de thesaurus hebben er ook een. Waar die twee verschillen, beslist de expert welke klopt.

Controle 7 · meetlat

De labels van de echte vragen

Bij elke echte vraag horen een begrip, een deur en een uitkomst: beantwoorden, doorvragen of niet beantwoorden. Het voorstel komt uit het antwoord dat de expert eerder gaf; een mens kijkt het na voordat het meetelt. Welke wet bij een vraag hoort, beslist de expert.

Controle 8 · dialoog

Eigen vragen aan de dialoog

De experts stellen zelf vragen, in hun eigen woorden, en beoordelen wat er terugkomt. Dat laat zien wat de vaste vragensets missen.

Controle 9 · antwoorden

Een klein aantal antwoorden nakijken

De experts beoordelen antwoorden met de beoordelingslijst. Daarmee stellen we de AI-beoordelaars af; die tellen pas mee als ze dicht genoeg bij het oordeel van de expert zitten.

Controle 10 · antwoorden

De blinde steekproef bij de eindmeting

De experts beoordelen zelf een deel van de antwoorden op de meetvragen.

Controle 11 · als er tijd over is

De reserveset

Tests bij vier guardrails: noemt de dialoog eerst de nooddeur, houdt hij stand bij een aanval, herhaalt hij ingetypte persoonsgegevens, en blijft het antwoord gelijk in gebrekkig Nederlands of spreektaal? Telt nooit mee in de vergelijking.

Waarom deze volgorde

Elke controle bouwt op de vorige

De begrippen komen eerst, want de thesaurus wordt daarna vastgezet. Het antwoord per gemeente (5) is een afwijking van het landelijke antwoord (3) en gebruikt de lokale naam en de deur (4). De twee wetten naast elkaar leggen (6) kan pas als beide door een expert zijn bekeken. De labels van de echte vragen (7) gebruiken de begrippen en de wet die dan zijn nagelopen, en zijn nodig voordat een antwoord wordt nagekeken. De experts bevragen de dialoog (8) pas als de kennis waarop hij leunt is nagelopen. En de beoordelaars worden eerst afgesteld (9) voordat de eindmeting telt (10).

Laat een controle zien dat iets in de thesaurus niet klopt, dan stelt het team een wijziging voor. Die gaat alleen door als een expert haar goedkeurt, en geldt dan voor de hele dialoog.

Toegepast op de hackathon

Het vliegwiel in twee dagen

Aanloop

Voorbereiding + dag 1

Doel en proces, de data en de gelaagde kennislaag over de vier zorgwetten en de lokale bronnen, en de vragensets als testlat. De experts liepen de kennis na in vaste controles.

Verbeter-loop

Dag 2

De experts stelden hun vragen aan de dialoog, het team stuurde hem tussendoor bij, en de evalstraat mat tegen de vragensets.

Twee poorten

Bouwen en live

Vóór de hackathon is vastgelegd wát we bouwen; na de hackathon adviseren we, op basis van de metingen en gebruikersacceptatie, wat kansrijk is om verder te brengen.