Testowanie chatbota AI i testy czatu na stronie przed wdrożeniem
Chatbot przeszedł testy zespołu, bo zespół pyta pełnymi zdaniami i zna nazwy produktów. Klienci piszą krótko, z literówkami, bez polskich znaków i o dwie rzeczy naraz. Juniors daje Ci od 10 do 80 testerów w wieku 16-19 lat, którzy zadają Twojemu botowi prawdziwe pytania własnymi słowami, oceniają każdą odpowiedź według Twoich kryteriów i zgłaszają rozmowy, w których bot się pomylił albo wymyślił odpowiedź.
Pierwsza fala testów rusza w 72 godziny w planie Business. Płacisz 52,20 zł netto za zaakceptowaną godzinę testera, a umowy, NDA, formalności i rozliczenie prowadzi Juniors.
Test czatu sklepu, rozmowa 214
siema, zamowilam bluze w pon i dalej nie ma, co z tym
Dziękuję za wiadomość. Zamówienia wysyłamy w ciągu 24 godzin od zaksięgowania płatności.
ale gdzie ona jest teraz?
| Ocena testera | Wynik |
|---|---|
| Poprawna | tak |
| Odpowiada na pytanie | nie |
| Przekazuje do konsultanta | nie |
| Ton | 4 z 5 |
Przykładowa rozmowa i ocena w panelu firmy
Testowanie chatbota w skrócie
Testowanie chatbota to sprawdzenie na prawdziwych rozmowach, czy bot rozumie pytania klientów, odpowiada zgodnie z Twoją bazą wiedzy, nie zmyśla i oddaje rozmowę człowiekowi, gdy powinien. W Juniors zlecasz to grupie testerów z gotowymi scenariuszami i arkuszem ocen. Test przed wdrożeniem na 25 osobach po 2 godziny kosztuje 2 610 zł netto za godziny, pierwsze wyniki widzisz w panelu po 1 dniu.
| Co dostajesz | Szczegóły |
|---|---|
| Testerzy | 16-19 lat, rodzimi użytkownicy polskiego, dobór po tym, czy są Twoimi klientami i jak piszą |
| Zakres | scenariusze klientów, pytania swobodne, pytania spoza tematu, próby obejścia zasad bota, przekazanie do konsultanta |
| Ocena | każda odpowiedź w skali według Twoich kryteriów, z komentarzem i oznaczeniem odpowiedzi zmyślonych |
| Stawka | 52,20 zł netto za godzinę testera, plus abonament planu |
| Start | pierwsza fala w 72 godziny w planie Business |
| Wyniki | rozmowy z ocenami w panelu, eksport do arkusza, lista błędów z priorytetem |
Co sprawdzają testerzy w Twoim chatbocie
Każdy tester dostaje 5 do 10 scenariuszy z celem, na przykład sprawdź status zamówienia bez numeru zamówienia albo zapytaj o zwrot rzeczy kupionej 20 dni temu. Potem pisze do bota bez scenariusza, tak jak pisze do znajomych.
Rozumienie pytań klientów
To samo pytanie zadane na 10 sposobów: krótko, z literówką, bez polskich znaków, potocznie, z emotikoną. Widzisz, przy których sformułowaniach bot traci wątek.
Zgodność z bazą wiedzy
Tester porównuje odpowiedź z regulaminem, cennikiem albo artykułem z bazy wiedzy, który mu podajesz. Każda odpowiedź niezgodna z dokumentem trafia na listę błędów.
Odpowiedzi zmyślone
Pytania o rzeczy, których w bazie wiedzy nie ma: produkt, którego nie sprzedajesz, promocja, która się skończyła, godziny otwarcia sklepu, którego nie ma. Dobry bot mówi, że nie wie. Słaby wymyśla.
Przekazanie do człowieka
Reklamacja, zdenerwowany klient, sprawa z danymi osobowymi. Sprawdzamy, czy bot oddaje rozmowę konsultantowi i czy klient nie musi pisać wszystkiego od nowa.
Próby obejścia zasad
Testerzy 18-19 lat próbują namówić bota na rabat, którego nie ma, na zmianę roli albo na ujawnienie instrukcji systemowych. Zgłaszają każdą rozmowę, w której bot dał się przekonać.
Ton i długość odpowiedzi
Czy odpowiedź brzmi jak Twoja marka, czy nie jest za długa na telefon i czy bot nie powtarza tej samej formułki trzy razy w jednej rozmowie.
Jak oceniamy każdą odpowiedź bota
Przed startem ustalamy z Tobą arkusz ocen. Najczęściej to 4 do 6 kryteriów z krótką instrukcją i przykładami odpowiedzi dobrej, średniej i złej. Każda rozmowa ma oceny przy każdej wiadomości bota, nie jedną ocenę na koniec.
| Kryterium | Skala | Przykład oceny negatywnej |
|---|---|---|
| Poprawność względem bazy wiedzy | tak, częściowo, nie | bot podaje 30 dni na zwrot, regulamin mówi 14 |
| Odpowiedź na zadane pytanie | tak, nie | klient pyta, gdzie jest paczka, bot opisuje czas wysyłki |
| Odpowiedź zmyślona | tak, nie | bot potwierdza promocję, której nie ma |
| Przekazanie do konsultanta, gdy trzeba | tak, nie, nie dotyczy | reklamacja zostaje bez kontaktu z człowiekiem |
| Ton i długość | 1 do 5 | cztery akapity na pytanie o godziny pracy |
Co dziesiątą rozmowę ocenia drugi tester. Gdy oceny się różnią, rozstrzyga koordynator, a Ty dostajesz zgodność ocen w raporcie tygodniowym. Dzięki temu wiesz, że wynik 82 procent poprawnych odpowiedzi nie zależy od tego, kto akurat oceniał.
Ile kosztuje testowanie chatbota
Płacisz za godziny testerów, nie za liczbę rozmów ani znalezionych błędów. Tester z arkuszem ocen przeprowadza zwykle 8 do 12 krótkich rozmów na godzinę. Przykłady przy stawce 52,20 zł netto za godzinę.
| Test | Testerzy | Godziny na osobę | Koszt godzin netto |
|---|---|---|---|
| Test przed wdrożeniem, 8 scenariuszy i pytania swobodne | 25 | 2 h | 2 610,00 zł |
| Ocena 3 000 rozmów z podwójną oceną próbki | 30 | 10 h | 15 660,00 zł |
| Test po zmianie bazy wiedzy albo modelu | 10 | 1,5 h | 783,00 zł |
| Test przed kampanią sprzedażową, czat i Messenger | 40 | 2,5 h | 5 220,00 zł |
Do godzin dochodzi abonament planu Business, 4 990 zł netto miesięcznie, w którym jest koordynator, dobór testerów, przygotowanie scenariuszy i arkusza ocen, kontrola jakości i panel. Dla porównania, wdrożenie chatbota AI w Polsce kosztuje według publikowanych cenników od kilku do kilkudziesięciu tysięcy złotych netto. Test przed startem to zwykle kilka procent tej kwoty i chroni ją przed rozmowami, które klienci wrzucają potem do mediów społecznościowych.
Jak wygląda zlecenie testów chatbota
- 01 Brief: wysyłasz adres środowiska testowego albo strony z czatem, bazę wiedzy, listę tematów, które bot ma obsługiwać, i tematy, których ma unikać. Koordynator zamienia to w scenariusze i arkusz ocen.
- 02 Kalibracja: 3 testerów ocenia te same 20 rozmów. Porównujemy oceny z Twoimi i poprawiamy instrukcję, zanim ruszy reszta.
- 03 Główna fala: testerzy rozmawiają z botem w ustalonym oknie, a rozmowy z ocenami trafiają do panelu na bieżąco. Odpowiedź, która może zaszkodzić marce, widzisz w ciągu godziny.
- 04 Raport: odsetek poprawnych odpowiedzi według tematów, lista odpowiedzi zmyślonych, pytania, których bot nie rozumie, i rozmowy do poprawy z cytatami.
- 05 Ponowny test: po zmianie promptu albo bazy wiedzy ci sami testerzy przechodzą te same scenariusze. Porównujesz wynik przed i po. Godziny akceptujesz w panelu, fakturę dostajesz raz w miesiącu.
Dla kogo jest testowanie chatbota z Juniors
Sklep internetowy z czatem na stronie
Status zamówienia, zwroty, rozmiary, dostawa. Testerzy w wieku 16-19 lat to często Twoi klienci, więc piszą do bota dokładnie tak, jak piszą do sklepu.
Software house i agencja wdrażająca boty
Zanim oddasz bota klientowi, sprawdzasz go na 20 obcych osobach. Raport z testu dołączasz do odbioru projektu jako dowód jakości.
Aplikacja i marka dla młodych
Bot w aplikacji edukacyjnej, sportowej albo w obsłudze klienta marki, której klienci mają 16 do 25 lat. Testujesz na ludziach z grupy docelowej, a nie na zespole w wieku 35 lat.
Zespół, który zmienia model albo prompt
Każda zmiana modelu, promptu systemowego albo bazy wiedzy może popsuć odpowiedzi, które działały. Stały zestaw scenariuszy i ten sam zespół testerów pokazują różnicę w liczbach.
Dane, treści i testerzy poniżej 18 lat
Zasady są stałe, bo chronią testerów i Twoich klientów.
- Testerzy pracują na środowisku testowym albo na koncie testowym z danymi fikcyjnymi, nigdy na danych Twoich klientów
- Nie podają w rozmowach swoich danych osobowych, numerów kart ani haseł
- Nie testujemy botów sprzedających alkohol, wyroby tytoniowe, e-papierosy, zakłady bukmacherskie i treści dla dorosłych
- Nie prowadzimy testów z treściami szkodliwymi, takimi jak przemoc, treści seksualne czy samookaleczenia, z nikim w puli. Do takich testów potrzebujesz wyspecjalizowanego zespołu dorosłych
- Próby obejścia zasad bota, na przykład namawianie na rabat albo zmianę roli, wykonują wyłącznie testerzy 18-19 lat
- Każdy tester podpisuje NDA, a godziny mieszczą się w limitach właściwych dla wieku
Juniors a testy automatyczne, firma QA i test własnym zespołem
| Testy automatyczne z oceną przez model | Firma testująca oprogramowanie | Własny zespół | Juniors | |
|---|---|---|---|---|
| Kto pyta bota | skrypt i drugi model | inżynierowie QA | ludzie, którzy znają produkt | 10 do 80 osób z grupy docelowej |
| Język pytań | wygenerowany, poprawny | poprawny, techniczny | firmowy, z nazwami produktów | potoczny, z literówkami, jak u klientów |
| Typowa cena | abonament narzędzia albo koszt wywołań modelu | 70 do 90 zł netto za godzinę testera manualnego na B2B, więcej w firmie | czas zespołu | 52,20 zł netto za godzinę plus abonament |
| Testy obciążenia i integracji | tak | tak, to ich mocna strona | rzadko | nie |
| Najlepsze dla | szybkiej regresji na tysiącach pytań po każdej zmianie | botów z integracjami z CRM i systemami płatności | szybkiego sprawdzenia przed pokazem | sprawdzenia, czy bot rozumie prawdziwych klientów |
Uczciwie: testy automatyczne są tańsze przy regresji na tysiącach pytań i warto je mieć. Nie powiedzą Ci jednak, jak bot radzi sobie z pytaniem napisanym przez klienta w autobusie, jednym palcem. Firma QA lepiej sprawdzi integracje i wydajność. Juniors opłaca się, gdy chcesz wiedzieć, czy prawdziwi ludzie dostają od bota to, po co przyszli, i chcesz to mierzyć regularnie po każdej zmianie.
Co jeszcze zlecisz temu samemu zespołowi
Ocena odpowiedzi modelu na dużą skalę
Gdy budujesz własny model albo asystenta, ten sam zespół ocenia tysiące odpowiedzi i porównuje pary do treningu.
Tajemniczy klient na czacie z konsultantem
Po wdrożeniu bota sprawdzasz, co dzieje się po przekazaniu rozmowy człowiekowi: czas odpowiedzi, ton i rozwiązanie sprawy.
Test sklepu i ścieżki zakupu
Bot to jedno miejsce, w którym klient może się zatrzymać. Koszyk, płatności i maile sprawdzasz tym samym zespołem.
Pytania o testowanie chatbota
Ile kosztuje testowanie chatbota?
W Juniors płacisz 52,20 zł netto za godzinę testera plus abonament planu Business 4 990 zł netto miesięcznie. Test przed wdrożeniem na 25 osobach po 2 godziny to 2 610 zł netto za godziny. Ponowny test po zmianie bazy wiedzy na 10 osobach kosztuje około 783 zł netto.
Jak przetestować chatbota przed wdrożeniem?
Spisz tematy, które bot ma obsługiwać, i dla każdego przygotuj kilka pytań w różnych formach, także z błędami. Daj je osobom spoza zespołu, które ocenią każdą odpowiedź według stałych kryteriów: poprawność, odpowiedź na pytanie, zmyślenia, przekazanie do konsultanta i ton. Powtórz ten sam zestaw po każdej zmianie.
Ilu testerów potrzeba do testu chatbota?
Do znalezienia głównych problemów ze zrozumieniem pytań wystarcza zwykle 15 do 25 osób, bo każda pisze inaczej. Do wyniku liczbowego, na przykład odsetka poprawnych odpowiedzi w każdym temacie, potrzebujesz kilkuset ocenionych rozmów, czyli 25 do 40 testerów przez kilka godzin.
Jak sprawdzić, czy chatbot AI nie zmyśla odpowiedzi?
Zadaj botowi pytania o rzeczy, których nie ma w bazie wiedzy, i porównaj każdą odpowiedź z dokumentem źródłowym. W Juniors testerzy dostają bazę wiedzy i oznaczają każdą odpowiedź, której nie ma w źródle. Na koniec dostajesz listę takich odpowiedzi z cytatami.
Ile trwa testowanie chatbota?
Test przed wdrożeniem zajmuje 1 do 3 dni od startu fali, a ocena kilku tysięcy rozmów 1 do 2 tygodni. W planie Business pierwsi testerzy zaczynają w 72 godziny od zatwierdzenia briefu i arkusza ocen.
Czy testerzy potrzebują dostępu do naszego systemu?
Nie. Wystarczy strona albo środowisko testowe z oknem czatu, a przy botach w komunikatorach konto testowe. Testerzy nie widzą Twojego panelu, bazy klientów ani kodu, a rozmowy i oceny zapisują w panelu Juniors.
Błędną odpowiedź bota znajdziesz przed klientem, nie w komentarzach
Załóż konto firmy, wyślij adres czatu i bazę wiedzy, a koordynator wróci z planem kalibracji, scenariuszami i kosztem godzin jeszcze tego samego dnia roboczego.