Kalibracja ocen: żeby AI i trener oceniali tak samo

Definicja

Kalibracja ocen to proces uzgadniania sposobu oceniania. W klasycznym QA kalibruje się trenerów między sobą: kilka osób ocenia te same rozmowy i porównuje wyniki. Przy ocenie automatycznej kalibruje się AI względem trenerów: próbka rozmów jest oceniana równolegle, rozbieżności trafiają na warsztat, a ich przyczyną niemal zawsze okazuje się nieprecyzyjne kryterium w karcie oceny — po doprecyzowaniu rundę się powtarza, aż wyniki będą zbieżne.

Kalibrację wykonuje się przed startem produkcyjnym oraz po każdej zmianie skryptu lub karty oceny. Dobrą praktyką jest próbka kilkudziesięciu rozmów obejmująca różne typy spraw i różnych konsultantów — nie tylko rozmowy wzorcowe. To także praktyczne narzędzie nadzoru człowieka: trenerzy stale konfrontują oceny AI z własnym osądem. Formaty ocen, które podlegają kalibracji, opisuje strona oceny jakości rozmów.

Przykład z praktyki call center

Na kryterium „badanie potrzeb” (skala 0–12) trener daje 8 punktów, AI — 4. Analiza rozbieżności pokazuje, że opis progu 8 pkt nie precyzował, iż parafraza potrzeb może paść w dowolnym momencie rozmowy, a nie tylko bezpośrednio po pytaniach. Po doprecyzowaniu opisu progu kolejna runda kalibracji daje zbieżne wyniki na całej próbce.