Jak mierzyć jakość rozmów z AI poza prostym sentymentem?

W ocenie rozmów z AI łatwo skupić się na tym, co wygodne do policzenia: czasie odpowiedzi, liczbie obsłużonych kontaktów czy sentymencie pojedynczych wiadomości.

Problem pojawia się w momencie, gdy rozmowa może wyglądać poprawnie, a mimo to zakończyć się porażką. Użytkownik powtarza pytanie, wykonuje nieskuteczne instrukcje, po czym grzecznie kończy kontakt. System widzi neutralny ton, natomiast użytkownik widzi stracony czas.

Dlatego jakość rozmowy warto oceniać nie tylko na poziomie pojedynczych wypowiedzi, lecz jako cały proces: czy pojawia się postęp konwersacji, czy system reaguje na korekty, czy potrafi wyjść z błędu oraz czy zakończenie rzeczywiście oznacza rozwiązanie problemu.

Właśnie temu służy koncepcja telemetrii ryzyka relacyjnego. Jest to koncepcja prototypu narzędzia mająca na celu wykrywanie obserwowalnych sygnałów, że interakcja zaczyna się psuć, bez udawania, że system potrafi odczytać „prawdziwe emocje” użytkownika.

Pełny opis prototypu, jego architektury, pierwszych obserwacji i planu dalszej walidacji znajduje się w artykule: