Etykietowanie danych, data labeling i ocena wyników AI po polsku
Model językowy potrzebuje ludzi, którzy ocenią jego odpowiedzi i oznaczą dane według jasnych zasad. Juniors daje Ci zespół do etykietowania danych (data labelingu) i oceny wyników AI po polsku: od kilkunastu osób na stałe do 500 osób na kilka tygodni, z testem przed startem i kontrolą jakości w trakcie.
Data labeling w skrócie
Data labeling to oznaczanie danych etykietami według instrukcji: klasyfikacja tekstów, ocena odpowiedzi modelu, porównanie par, atrybuty produktów na zdjęciach. W Juniors zlecasz to zespołowi rodzimych użytkowników polskiego w wieku 16-19 lat, rozliczanemu od godziny. Ocena 5 000 odpowiedzi modelu to około 600 godzin, czyli 27 840 zł netto za godziny plus abonament.
| Co dostajesz | Szczegóły |
|---|---|
| Zespół | od 15 osób w planie Team do 500 osób w planie Scale, po teście na Twoich zadaniach |
| Stawka | 46,40 zł netto za godzinę zadań podstawowych, 58,00 zł przy zadaniach po angielsku i z testem technicznym |
| Jakość | pytania kontrolne, podwójna ocena próbki, zgodność oceniających w raporcie tygodniowym |
| Narzędzie | Twoje narzędzie do anotacji albo panel Juniors, w planie Scale wyniki przez API |
| Start | zespół w 72 godziny w planie Business |
| Rozliczenie | ewidencja godzin w panelu, jedna faktura miesięczna |
Rodzaje zadań w etykietowaniu danych
Ocena odpowiedzi modelu
Oceniający czyta pytanie i odpowiedź i ocenia ją według Twojej skali: poprawność, kompletność, język, zgodność z poleceniem, bezpieczeństwo.
Porównanie odpowiedzi
Oceniający wybiera lepszą z dwóch odpowiedzi i krótko uzasadnia wybór. To dane do dostrajania modelu na preferencjach.
Klasyfikacja tekstów
Temat, intencja, nastrój, język, kategoria produktu. Według Twojego schematu etykiet.
Oznaczanie obrazów produktów
Kategorie, atrybuty i kolory produktów na zdjęciach katalogowych. Bez zdjęć osób.
Pisanie przykładów
Pytania i wzorcowe odpowiedzi po polsku według instrukcji, do zbiorów testowych i treningowych.
Jak pilnujemy jakości data labelingu
- Test przed startem na Twoich zadaniach wzorcowych, z progiem zaliczenia
- Pytania kontrolne ze znaną odpowiedzią wplecione w zadania
- Podwójna ocena próbki i miara zgodności oceniających w raporcie tygodniowym
- Koordynator Juniors odpowiada na pytania zespołu i aktualizuje instrukcję
- Osoby poniżej progu jakości wracają do szkolenia albo wychodzą z projektu
Przykład projektu oceny wyników AI
Ocena 20 tysięcy odpowiedzi modelu w 3 tygodnie: 80 osób po 10 godzin tygodniowo, razem 2 400 godzin. Przy zadaniach podstawowych to 46,40 zł netto za godzinę, czyli 111 360 zł netto za godziny, plus abonament planu Business. Przy ocenie po angielsku z testem językowym stawka wynosi 58,00 zł netto za godzinę.
Ile kosztuje data labeling w Juniors
Płacisz za zaakceptowane godziny zespołu, a nie za rekord. Dzięki temu nikt nie przyspiesza kosztem jakości, a koszt jednego rekordu wynika z tempa, które widzisz w panelu po pierwszym dniu. Przykłady przy stawce 46,40 zł netto za godzinę.
| Projekt | Typowe tempo na osobę | Godziny | Koszt godzin netto |
|---|---|---|---|
| Klasyfikacja 10 000 krótkich opinii z kontrolą próbki | około 300 na godzinę | 37 h | 1 716,80 zł |
| Atrybuty 5 000 zdjęć produktów | około 60 na godzinę | 83 h | 3 851,20 zł |
| Ocena 5 000 odpowiedzi modelu po polsku | około 8 na godzinę | 600 h | 27 840,00 zł |
| Porównanie 6 000 par odpowiedzi do RLHF | 10 do 15 par na godzinę | 480 h | 22 272,00 zł |
Do godzin dochodzi abonament planu. W planie Business to 4 990 zł netto miesięcznie, a w nim rekrutacja i test zespołu, koordynator, pytania kontrolne i raport jakości. Polskie zestawienia cen usług podają za labelowanie danych średnio około 100 zł za godzinę, w przedziale 50 do 150 zł.
Juniors a platforma crowdsourcingowa, firma anotacyjna i freelancer
| Platforma crowdsourcingowa | Firma anotacyjna za granicą | Freelancer | Juniors | |
|---|---|---|---|---|
| Kto oznacza | anonimowi wykonawcy z wielu krajów | zespoły w krajach o niskich stawkach | jedna osoba | zespół 16-19 z Polski po teście |
| Polski jako język ojczysty | rzadko i bez gwarancji | rzadko | tak | tak, każdy w zespole |
| Rozliczenie | za zadanie | za rekord albo projekt | za godzinę albo projekt | 46,40 zł netto za godzinę plus abonament |
| Kontrola jakości | Twoja, przez pytania kontrolne | w cenie, raport na koniec | brak | pytania kontrolne, podwójna ocena, raport tygodniowy |
| Najlepsze dla | prostych zadań na milionach rekordów po angielsku | dużych zbiorów obrazów i wideo | małych zbiorów do kilku tysięcy rekordów | oceny tekstów i odpowiedzi modelu po polsku |
Uczciwie: przy prostych etykietach na milionach rekordów po angielsku platforma crowdsourcingowa będzie tańsza. Przy oznaczaniu nagrań osób, wideo i treści dla dorosłych wybierz firmę anotacyjną z dorosłym zespołem, bo my takich projektów nie przyjmujemy. Juniors wygrywa przy ocenie tekstów, czatów i odpowiedzi modelu po polsku, gdzie liczy się wyczucie języka i zgodność ocen.
Czego zespół nie oznacza
Zespół składa się z osób w wieku 16-19 lat, dlatego nie przyjmujemy projektów z treściami dla dorosłych, przemocą, hazardem, alkoholem ani tytoniem, także jako oceny bezpieczeństwa takich odpowiedzi modelu. Nie oznaczamy zdjęć ani nagrań osób.
Poufność danych treningowych
Każda osoba podpisuje zobowiązanie do poufności. Dane są dostępne tylko w panelu albo w Twoim narzędziu do etykietowania, a po projekcie dostęp wygasa. W planie Scale wyniki pobierasz przez API, w planie Enterprise zespół pracuje w Twoim środowisku.
Pytania o data labeling
Ile kosztuje data labeling?
W Juniors płacisz 46,40 zł netto za godzinę zadań podstawowych plus abonament planu, w planie Business 4 990 zł netto miesięcznie. Klasyfikacja 10 000 krótkich opinii zajmuje około 37 godzin, czyli około 1 717 zł netto. Na rynku labelowanie kosztuje średnio około 100 zł za godzinę.
Ile trwa projekt etykietowania danych?
Zespół zaczyna w 72 godziny od zatwierdzenia instrukcji w planie Business. Projekt na 2 400 godzin, na przykład ocena 20 tysięcy odpowiedzi modelu, kończy 80 osób w około 3 tygodnie przy 10 godzinach tygodniowo na osobę.
Czy pracujecie w naszym narzędziu do etykietowania?
Tak, jeśli dasz zespołowi konta. Możemy też użyć narzędzia w panelu Juniors.
Czy młodzi oceniają poprawnie?
Tak dobrze, jak pozwala instrukcja i test. Dlatego przed startem jest test na Twoich zadaniach wzorcowych, a w trakcie podwójna ocena próbek.
Czy oceniacie odpowiedzi po angielsku?
Tak. Osoby po teście językowym oceniają odpowiedzi po angielsku, przy stawce dla firmy 58,00 zł netto za godzinę.