Evalstraat
Hoe we de Regelhulpdialoog geautomatiseerd toetsen: de dialoog beantwoordt vaste vragensets, en we vergelijken de uitkomst met het verwachte antwoord. De evalstraat draaide vóór, tijdens en na de hackathon.
Eén ronde door de evalstraat
Een ronde draait met één opdracht en levert per vraag en per model een score op. Na elke verbetering draaien we hem opnieuw, zodat we zien of het beter werd en niets anders brak.
-
1
Vragen
De vragen komen uit drie sets: de golden set (echte vragen met het antwoord van een expert), de brons set (de zes use cases in varianten, en feitenvragen) en de silver set (oefenvragen uit uitspraken). Een deel is om te oefenen; de meetvragen bewaren we voor de eindmeting.
-
2
Beantwoorden
De dialoog beantwoordt elke vraag. Elk antwoord draagt de versie van de dialoog, de thesaurus en de bronnen, zodat een ronde later te herhalen is.
-
3
Scoren
Wat vast te stellen is, controleert een script. Of het antwoord inhoudelijk klopt, beoordelen twee AI-beoordelaars: taalmodellen die elk antwoord nakijken met een vaste beoordelingslijst.
-
4
Steekproef
Experts beoordelen een deel van de antwoorden zelf.
-
5
Verbeteren
Elke misser krijgt een oorzaak: opzoeken, doorvragen, zoeken of schrijven. De verbetering gaat naar de thesaurus, de wiki of de dialoog.
Niet alleen of het antwoord klopt, ook waar het misging
We scoren elke vraag op drie niveaus. Zo zie je bij een fout antwoord of het aan het vinden, het doorvragen of het schrijven lag.
- 1
Vinden
Vond de dialoog het juiste begrip in de thesaurus? Bevatten de gevonden teksten wat nodig is voor het antwoord?
- 2
Doorvragen
Vroeg hij door waar dat moest, en niet waar het niet hoefde? Volgde de route uit het antwoord op de doorvraag?
- 3
Antwoorden
Juiste wet en juiste route, de lokale naam goed gebruikt, elke bewering gedekt door een bron met een werkende link, en in lijn met het antwoord van de expert.
Terecht antwoorden, terecht doorvragen, terecht niet antwoorden
Weet de dialoog het antwoord niet, dan moet hij dat zeggen. Maar een weigering of een vaag antwoord waar wél een antwoord verwacht werd, telt als fout. Zo beloont de evalstraat geen dialoog die voor de zekerheid nooit iets zegt.
Dezelfde meetlat, vóór en na
Een verbetering telt pas als ze is gemeten op dezelfde vragen als de beginstand. Daarom liggen de vragen vast en houden we afstellen en meten uit elkaar.
Wat er is gedraaid
De evalstraat heeft de dialoog vóór, tijdens en na de hackathon gemeten. De uitslagen volgen na de terugkoppeling aan VWS.
De scores en het log van elke ronde zijn vastgelegd in Langfuse, met de versie van de dialoog en de kennis bij elk antwoord.