Po co modelom ludzie
Ludzkie oceny służą do trzech rzeczy: porównania wersji modelu przed wdrożeniem, zbudowania zbioru danych do dostrajania na preferencjach, czyli RLHF po polsku i znalezienia typowych błędów, których nie łapie automatyczna miara. We wszystkich trzech przypadkach liczy się spójność: dwie osoby oceniające tę samą odpowiedź powinny dojść do podobnego wyniku.
Krok 1. Instrukcja, którą da się zastosować
Dobra instrukcja ma skalę z opisem każdego stopnia, przykłady odpowiedzi na każdy stopień i listę przypadków granicznych. Zamiast „oceń jakość od 1 do 5” lepiej rozbić ocenę na kryteria: poprawność, kompletność, język, zgodność z poleceniem. Każde kryterium osobno.
- Skala z opisem każdego stopnia
- Co najmniej dwa przykłady na stopień
- Lista przypadków granicznych z rozstrzygnięciem
- Co zrobić, gdy pytanie jest niejasne
Krok 2. Test przed startem
Każda osoba ocenia zestaw wzorcowy, na przykład 30 odpowiedzi, dla których znasz prawidłowe oceny. Do projektu wchodzą osoby powyżej progu zgodności. Test odsiewa nie tylko słabszych, ale też tych, którzy źle zrozumieli instrukcję, co jest sygnałem, że instrukcję trzeba poprawić.
Krok 3. Pytania kontrolne w trakcie
Wśród zadań umieść odpowiedzi ze znaną oceną. Oceniający nie wie, które to. Jeśli ktoś zaczyna się mylić na pytaniach kontrolnych, dostaje dodatkowe szkolenie albo wychodzi z projektu. To najtańszy sposób na utrzymanie jakości przez trzy tygodnie.
Krok 4. Podwójna ocena próbki
Część zadań, na przykład co dziesiąte, oceniają niezależnie dwie osoby. Miara zgodności między nimi pokazuje, czy zespół rozumie instrukcję tak samo. Spadek zgodności w połowie projektu zwykle oznacza nowy typ pytań, którego instrukcja nie przewidziała.
Rachunek osób i godzin
Przyjmijmy 20 tysięcy odpowiedzi i średnio 7 minut na ocenę z uzasadnieniem. To około 2 330 godzin. Przy 10 godzinach tygodniowo na osobę przez 3 tygodnie potrzeba około 80 osób.
| Pozycja | Wartość |
|---|---|
| Odpowiedzi do oceny | 20 000 |
| Średni czas oceny | 7 minut |
| Łącznie godzin | około 2 330 |
| Godziny na osobę w 3 tygodnie | 30 |
| Potrzebny zespół | około 80 osób |
Czas na ocenę sprawdź na teście wstępnym. Różnica między 5 a 9 minutami to prawie dwukrotna różnica w wielkości zespołu.
Kto może oceniać
Do oceny odpowiedzi po polsku nie potrzeba ekspertów dziedzinowych, jeśli pytania są ogólne. Wystarczy dobra znajomość języka, dokładność i test. Zespół młodych 16-19 sprawdza się tu dobrze, pod warunkiem że treści nie są przeznaczone dla dorosłych i nie dotyczą przemocy, hazardu ani używek. Takich projektów nie powierza się młodocianym.
Jak to wygląda w Juniors
Juniors dobiera zespół z puli, przeprowadza test na Twoich zadaniach wzorcowych, prowadzi pytania kontrolne i podwójną ocenę próbek, a Ty dostajesz tygodniowy raport jakości i jedną fakturę za godziny. W planie Business zespół do 80 osób startuje w 72 godziny.
Data labeling: etykietowanie danych i ocena wyników AI