Po co aż 500 testerów
Do znalezienia największych problemów z użytecznością wystarczy kilkanaście osób. 500 testerów ma sens, gdy chcesz wyników ilościowych: porównać dwie wersje ekranu powitalnego, sprawdzić aplikację na setkach modeli telefonów albo zmierzyć, ile osób kończy rejestrację bez pomocy.
Krok 1. Cele i kryteria doboru
Zanim cokolwiek zaczniesz, zapisz trzy do pięciu pytań, na które test ma odpowiedzieć. Potem kryteria doboru: wiek (na przykład 16-19), system (Android albo iOS, w proporcji Twoich użytkowników), zainteresowania związane z aplikacją. Kryteriów nie powinno być za dużo, bo każde zmniejsza pulę.
Krok 2. Scenariusze
- Scenariusz podstawowy: pobranie, rejestracja, pierwsza kluczowa akcja
- Scenariusze szczegółowe: po jednym na każdą główną funkcję
- Czas swobodny: kilkanaście minut korzystania bez instrukcji
- Ankieta końcowa: łatwość użycia, co było niejasne, czy tester wróciłby do aplikacji
Krok 3. Fale zamiast jednego wielkiego testu
Nie wypuszczaj 500 osób naraz. Podziel test na fale, na przykład pięć po 100 osób. Po pierwszej fali poprawiasz błędy krytyczne i niejasne ekrany, a kolejne fale testują już poprawioną wersję. Tak nie zużywasz 400 testów na błąd, który znalazło pierwszych 10 osób.
| Fala | Testerzy | Cel |
|---|---|---|
| 1 | 100 | błędy krytyczne i blokujące |
| 2 | 100 | weryfikacja poprawek, pierwsze dane o rejestracji |
| 3 | 100 | porównanie wersji A i B |
| 4 i 5 | 200 | pomiar końcowy na stabilnej wersji |
Krok 4. Jak zbierać błędy
Każde zgłoszenie powinno mieć model telefonu, wersję systemu, kroki, oczekiwany i faktyczny wynik oraz zrzut ekranu. Przy 500 osobach ten sam błąd zgłosi kilkadziesiąt osób, więc potrzebne jest łączenie duplikatów i priorytet według liczby zgłoszeń.
Krok 5. Opinie bez nagrywania twarzy
Testy z nagraniem twarzy i głosu są popularne, ale przy osobach poniżej 18 lat oznaczają przetwarzanie wizerunku nieletnich. Da się bez tego: zapis kroków, czasy wykonania zadań, zrzuty ekranu i pisemne komentarze dają wystarczający obraz. Wywiady pogłębione może prowadzić koordynator z pytaniami od Ciebie, bez kontaktu Twojej firmy z nieletnim poza platformą.
Ile to kosztuje
Przy 2 godzinach na testera 500 osób to 1 000 godzin. W Juniors godzina testów kosztuje firmę 52,20 zł netto (32 zł na rękę dla testera plus 20,20 zł marży Juniors), czyli 52 200 zł netto za godziny, plus abonament planu Scale, który obsługuje zespoły do 500 osób.
Czego nie testować z nieletnimi
Aplikacji z treściami dla dorosłych, hazardem, alkoholem, tytoniem i przemocą. Takich testów nie przyjmujemy, nawet jeśli docelowo aplikacja ma ograniczenie wieku.
Jak to wygląda w Juniors
Opisujesz aplikację, cele i kryteria doboru. Juniors dobiera testerów z puli 16-19, prowadzi fale testów, łączy duplikaty zgłoszeń i daje Ci w panelu listę błędów z priorytetem oraz zbiorcze wyniki ankiet.
Testowanie aplikacji mobilnych przez Gen Z