Samen met onze klanten zetten we ons in voor het voortdurend onderzoeken en verbeteren van de kwaliteit van de automatische feedback gegenereerd door ons systeem. We hanteren diverse methodes, maar in dit artikel focussen we op een cruciaal principe: handmatige beoordelingen.
Het proces van kwaliteitsverbetering bestaat uit de volgende stappen:
1. Handmatige Beoordeling: Een selecte set gesprekken (doorgaans tussen de 3 en 5) wordt handmatig beoordeeld door ten minste twee personen. Door hetzelfde gesprek door verschillende personen te laten evalueren, minimaliseren we de kans op onbewuste vooroordelen die kunnen doorvloeien naar onze modellen. Meer over het handmatig beoordelen van een gesprek vind je hier.
2. Kalibratie-sessie: Als er discrepanties zijn in de beoordelingen, wordt een kalibratiesessie gehouden. Je kunt deze sessie zelf uitvoeren. Meer details over de kalibratiesessie vind je hier.
3. Evaluatiesessie: In een gezamenlijke sessie bekijken we de verschillen tussen de handmatige en automatische beoordeling. Na analyse wordt er gerapporteerd over de bevindingen. Ons team zal daarna de nodige verbeteringen aanbrengen.
De frequentie waarmee we dit proces uitvoeren varieert. Het hangt sterk af van de overeenkomst in beoordelingen tussen menselijke beoordelaars en ons automatisch systeem. Doorgaans vindt dit proces plaats tussen de 4 en 8 weken, maar dit wordt aangepast op basis van de specifieke behoeften van de klant.