Twee dagen, blok voor blok
Op dag 1 brachten we de kennis op orde. Op dag 2 stuurden we de Regelhulpdialoog bij, samen met de experts. Het tijdschema was dat van het Ketenbureau en gold voor alle teams; de inhoudelijke blokken vulden wij in. De vergelijking van twee modellen die in het plan stond, is niet gedaan en voor deze editie geschrapt.
Waarmee we de hackathon ingingen
Op 7 oktober begonnen we niet bij nul. Dit stond klaar, zodat we vanaf het eerste blok tegelijk aan kennis en dialoog konden werken.
- 1
Regelhulp in de kennis-wiki
Alle 491 pagina's van regelhulp.nl, doorklikbaar, met ingangen per onderwerp en per wet. Per pagina de wetsartikelen waar ze over gaat: 738 voorstellen bij 214 pagina's, getoetst door een tweede model en besloten door een mens; bij de andere pagina's staat dat ze geen artikel uitleggen. Accorderen volgt na de hackathon.
Staat - 2
De wetten in de kennis-wiki
De vier zorgwetten, en voor schuldhulpverlening de Participatiewet en de Wgs, met hun besluiten en regelingen en de beleidsregels van het CIZ: 15 regelingen, 1.744 artikelen, letterlijk en met vindplaats, op de stand van 7 oktober 2026.
Staat - 3
Lokale regelgeving in de kennis-wiki
De verordeningen en beleidsregels van de vier gemeenten per artikel (105 regelingen), met links naar de wetsartikelen die ze noemen.
Staat - 4
Thesaurus
Met de Thesaurus Zorg en Welzijn (TZW) van Nictiz als basis; wij voegen praktijktaal, de wet per begrip en lokale varianten toe. De eerste versie telt 500 begrippen, waarvan 100 in de kern.
Eerste versie staat - 5
Basisversie van de Regelhulpdialoog
Een eerste versie draait: het model kiest zelf zijn stappen, maar drie grendels in de code bepalen wat mag. De dialoog zoekt eerst in de thesaurus, de doorvraag stelt de code zonder model, en de wet en de bronnen worden achteraf gecontroleerd.
Eerste versie draait - 6
Golden set
Echte vragen met hun antwoorden, geanonimiseerd: de meetlat voor de dialoog.
50 vragen binnen - 7
Evalstraat
Rondes over de vragen met een score per vraag, beoordelaarsmodellen en een steekproef door mensen, met bij elk antwoord de versie van de dialoog en de kennis.
Eerste rondes gedraaid op 5 en 6 oktober - 8
Brons set en silver set
De silver set: 60 vragen uit uitspraken in de vier gemeenten, om te oefenen. De brons set: de zes use cases in vijf varianten (120 vragen) en 275 feitenvragen. Brons telt pas mee als de experts per casus hun antwoord hebben gegeven.
Staat; experts vullen aan
Dag voor dag, blok voor blok
Grijs is het gezamenlijke programma van het Ketenbureau, voor alle teams. Groen omkaderd zijn de inhoudelijke blokken van team Regelhulp. Geel is een oogst.
De kennis op orde
woensdag 7 oktoberDag 1 ging over de kennis. De experts liepen de kennis na en stelden hun eerste vragen aan de dialoog; het team verwerkte hun aanwijzingen tussendoor. De thesaurus groeide met 75 kernbegrippen, als voorstel.
Doel en thema van de hackathon.
Korte pitch per team: wat gaan we deze twee dagen doen.
Kennismaken, het doel en de rolverdeling.
De experts liepen de kennis na en stelden hun eerste vragen aan de dialoog.
Hoe gaat het, wat heb je nodig van een ander team, wat is het plan voor de middag, en wat is de nieuwe naam van je team.
Verder met de kennis en de eerste antwoorden. Het team paste de dialoog tussendoor aan op de aanwijzingen van de experts.
Elk team presenteert aan de andere teams: eerste feedback ophalen en verbanden zoeken.
De dialoog bijsturen
donderdag 8 oktoberDag 2 ging over de dialoog. De experts bevroegen hem opnieuw tot er een goed antwoord kwam, en het team verwerkte hun aanwijzingen dezelfde dag. De thesaurus werd vastgezet als versie 1.0. De evalstraat draaide 23 testgesprekken op de dialoog van vóór en van na de wijzigingen. De dag sloot af met de einddemo en de terugkoppeling van de deelnemers.
De agenda van vandaag; elk team vertelt kort wat er op het programma staat.
De experts stelden hun vragen opnieuw; het team stuurde het doorvragen en de antwoorden bij.
Hoe gaat het, wat heb je nodig van een ander, wat is het plan voor de middag.
Verder bijsturen en de demo klaarzetten.
Demo per team.
Woordenlijst
- Thesaurus: de woordenlijst die de taal van inwoners verbindt met de begrippen uit de wet.
- Regelhulpdialoog: de AI-toepassing die we bouwden. Iemand stelt een vraag in eigen woorden; de dialoog vraagt door en verwijst naar de juiste deur.
- Doorvraag: een vraag die de dialoog stelt als een begrip onder meer dan één wet kan vallen.
- Lokale namen van voorzieningen: de naam die een gemeente aan een voorziening geeft, en het loket waar je je meldt.
- Vastzetten: vanaf dat moment verandert de thesaurus niet meer zonder nieuw versienummer.
- Evalstraat: de vaste meetopstelling: de dialoog beantwoordt vaste vragen, AI-beoordelaars kijken elk antwoord na, en mensen controleren een deel.
- Ronde: één keer alle vragen door de evalstraat, met een score per vraag.
- Beoordelingslijst: de vaste punten waarop elk antwoord wordt nagekeken, zoals de juiste wet, de juiste deur en een bron bij elke bewering.
- AI-beoordelaar: een taalmodel dat de antwoorden van de dialoog nakijkt met de beoordelingslijst.
- Oefenvragen en meetvragen: oefenvragen gebruiken we om de dialoog te verbeteren; meetvragen bewaren we voor de eindmeting.
- Feitenvragen: vragen met één vast antwoord, zoals welke wet bij een begrip hoort of wanneer de dialoog hoort door te verwijzen. Ze laten zien of de dialoog de kennis goed gebruikt; het zijn oefenvragen.
Tijden volgens het programma van het Ketenbureau. Grijs = gezamenlijk, groen = team Regelhulp, geel = oogst.
Zes echte use cases
VWS bracht de use cases in uit de eigen casuïstiek; wij toetsen ze op de bronnen van vier gemeenten (verordeningen, websites), zodat het lokale beleid meeweegt. Niet te eenvoudig (dat lost de gemeentesite al op), maar ook niet meteen onmogelijk.
Datakwaliteit en menselijke controle bepalen alles
Golden set
Échte vragen die mensen stelden, mét de antwoorden die experts teruggaven, niet door AI verzonnen. Geanonimiseerd. De betrouwbare toetssteen voor kwaliteit.
Continu toetsen
Geen "inrichten en klaar". Een vaste vragenlijst die de dialoog periodiek opnieuw beantwoordt. AI-beoordelaars kijken de antwoorden na en een mens controleert een deel, met escalatie naar een beheerder bij twijfel.
De mens houdt de regie
AI ondersteunt, maar een mens toetst en accordeert de antwoorden. Goede vervolgvragen zijn waardevol, maar kunnen de plank misslaan, dus experts kijken mee.
Privacy is ingebouwd
De hackathon draait op synthetische of geanonimiseerde casussen. Voor een echt systeem met vragen van burgers is de plek waar gegevens worden verwerkt een eigen besluit.