De juiste deur, ook lokaal · Evalstraat
Terug naar de bronnen
Toetsing

Evalstraat

Hoe we de Regelhulpdialoog geautomatiseerd toetsen: de dialoog beantwoordt vaste vragensets, en we vergelijken de uitkomst met het verwachte antwoord. De evalstraat draaide vóór, tijdens en na de hackathon.

Hoe het werkt

Eén ronde door de evalstraat

Een ronde draait met één opdracht en levert per vraag en per model een score op. Na elke verbetering draaien we hem opnieuw, zodat we zien of het beter werd en niets anders brak.

  1. 1

    Vragen

    De vragen komen uit drie sets: de golden set (echte vragen met het antwoord van een expert), de brons set (de zes use cases in varianten, en feitenvragen) en de silver set (oefenvragen uit uitspraken). Een deel is om te oefenen; de meetvragen bewaren we voor de eindmeting.

  2. 2

    Beantwoorden

    De dialoog beantwoordt elke vraag. Elk antwoord draagt de versie van de dialoog, de thesaurus en de bronnen, zodat een ronde later te herhalen is.

  3. 3

    Scoren

    Wat vast te stellen is, controleert een script. Of het antwoord inhoudelijk klopt, beoordelen twee AI-beoordelaars: taalmodellen die elk antwoord nakijken met een vaste beoordelingslijst.

  4. 4

    Steekproef

    Experts beoordelen een deel van de antwoorden zelf.

  5. 5

    Verbeteren

    Elke misser krijgt een oorzaak: opzoeken, doorvragen, zoeken of schrijven. De verbetering gaat naar de thesaurus, de wiki of de dialoog.

Wat we meten

Niet alleen of het antwoord klopt, ook waar het misging

We scoren elke vraag op drie niveaus. Zo zie je bij een fout antwoord of het aan het vinden, het doorvragen of het schrijven lag.

  1. 1

    Vinden

    Vond de dialoog het juiste begrip in de thesaurus? Bevatten de gevonden teksten wat nodig is voor het antwoord?

  2. 2

    Doorvragen

    Vroeg hij door waar dat moest, en niet waar het niet hoefde? Volgde de route uit het antwoord op de doorvraag?

  3. 3

    Antwoorden

    Juiste wet en juiste route, de lokale naam goed gebruikt, elke bewering gedekt door een bron met een werkende link, en in lijn met het antwoord van de expert.

Ook "ik weet het niet" telt mee

Terecht antwoorden, terecht doorvragen, terecht niet antwoorden

Weet de dialoog het antwoord niet, dan moet hij dat zeggen. Maar een weigering of een vaag antwoord waar wél een antwoord verwacht werd, telt als fout. Zo beloont de evalstraat geen dialoog die voor de zekerheid nooit iets zegt.

Eerlijk meten

Dezelfde meetlat, vóór en na

Een verbetering telt pas als ze is gemeten op dezelfde vragen als de beginstand. Daarom liggen de vragen vast en houden we afstellen en meten uit elkaar.

Zelfde vragen
Vast nummer per vraageen vraag wordt nooit hergebruikt of vervangen
Afstellen en meten
Gescheidende meetvragen komen nooit in de afstelling
Nulmeting
Ook zonder thesauruszo is te zien wat de thesaurus toevoegt
Uitkomst
Per vraag in beeldgeen streefwaarde
Stand

Wat er is gedraaid

De evalstraat heeft de dialoog vóór, tijdens en na de hackathon gemeten. De uitslagen volgen na de terugkoppeling aan VWS.

5 en 6 oktober inhoud: feitenvragen, brons set en silver set 8 oktober, hackathon 23 testgesprekken, vóór en na de wijzigingen van die dag 26 oktober inhoud opnieuw: feitenvragen en silver set, na de hackathon
De rondes van de evalstraat. De inhoud is gemeten op oefensets, op dezelfde vragen vóór en na de hackathon. De testgesprekken meten de gespreksvoering over meerdere beurten.

De scores en het log van elke ronde zijn vastgelegd in Langfuse, met de versie van de dialoog en de kennis bij elk antwoord.