Przejdź do treści

Jak powstaje ranking

Ranking, którego nie da się sprawdzić, jest wart tyle co reklama. Dlatego opisujemy tu cały wzór, wszystkie parametry i progi, przy których w ogóle publikujemy listę. Aktualna wersja wzoru: 1.0.0.

Dlaczego nie zwykła średnia

Zwykła średnia nagradza agencję z trzema zachwyconymi opiniami i karze dużą firmę, która zebrała czterdzieści szczerych relacji. To zachęca do zbierania kilku entuzjastycznych wpisów zamiast do poprawiania warunków pracy.

Krok po kroku

  1. 1. Średnia ważona kategorii w jednej opinii

    Każda z piętnastu kategorii ma wagę od 0,9 do 1,4. Terminowość wypłat (1,4), gotowość do ponownej współpracy (1,4) i zgodność oferty z rzeczywistością (1,3) liczą się bardziej niż organizacja dojazdu (0,9). Wagi są takie same dla wszystkich agencji i wypisane w opisie kategorii.

    ocena_opinii = Σ(ocena_kategorii × waga_kategorii) / Σ(waga_kategorii)

  2. 2. Waga całej opinii

    Każda opinia dostaje wagę będącą iloczynem dwóch czynników: aktualności i poziomu weryfikacji.

    Aktualność

    • do 12 miesięcy: waga 1
    • do 24 miesięcy: waga 0.7
    • do 36 miesięcy: waga 0.4
    • starsze: waga 0.15

    Weryfikacja

    • NONE: waga 0.6
    • EMAIL: waga 0.8
    • EMPLOYMENT_PLAUSIBLE: waga 1
    • DOCUMENT_CHECKED: waga 1.25
    • MULTI_SIGNAL: waga 1.4

    waga_opinii = waga_aktualności × waga_weryfikacji

  3. 3. Wygładzanie bayesowskie

    Wynik agencji jest przyciągany do średniej rynkowej z siłą 8 „efektywnych opinii”. Średnia rynkowa jest przeliczana przy każdym uruchomieniu i zapisywana w migawce rankingu, więc da się ją sprawdzić.

    wynik = (C × średnia_rynkowa + Σ(waga_opinii × ocena_opinii)) / (C + Σwaga_opinii)
    C = 8

    Praktyczny efekt: agencja z trzema ocenami 5,0 wypadnie niżej niż agencja z czterdziestoma ocenami o średniej 4,6.

  4. 4. Dwa niewielkie dodatki

    • Kompletność profilu — maksymalnie +0.08. Liczy się to, ile publicznie użytecznych informacji agencja udostępnia (widełki, zasady rozliczania dojazdu, dostępność koordynatora) i czy profil był sprawdzany w ciągu ostatniego roku. Osiągalne dla każdej agencji, bezpłatnie.
    • Reakcja na opinie — maksymalnie +0.07. Udział opinii, na które agencja odpowiedziała publicznie w ciągu 30 dni. Nagradzamy rozmowę, nie wynik rozmowy: odpowiedź krytyczna liczy się tak samo jak przepraszająca.

  5. 5. Poziom pewności i dolna granica ufności

    Przy każdej agencji pokazujemy, jak duża jest efektywna próba, i podajemy dolną granicę przedziału ufności Wilsona dla odsetka „pojechałabym ponownie”. Dzięki temu „3 na 3” nie wygląda jak sto procent.

    Mała podstawa danych
    Za mało opinii, żeby mówić o trwałej tendencji. Traktuj wynik jako sygnał, nie ocenę.
    Średnia podstawa danych
    Kilka niezależnych relacji. Wynik jest orientacyjny.
    Dobra podstawa danych
    Wystarczająco dużo aktualnych i zweryfikowanych opinii, żeby wynik był stabilny.

  6. 6. Progi publikacji

    • • Agencja pojawia się w rankingu dopiero od 5 opinii spełniających kryteria danej listy.
    • • Całą listę publikujemy dopiero, gdy warunek spełnia co najmniej 3 agencje. Wcześniej strona mówi wprost, że danych jest za mało.
    • • Ranking przeliczamy regularnie i zapisujemy każdą migawkę wraz z parametrami.
    • • Ręczna korekta jest możliwa tylko z notatką, która jest widoczna publicznie.

Czego w rankingu nie ma

  • • Płatnych pozycji i „pakietów widoczności”.
  • • Ocen wystawionych przez samą agencję lub osoby z nią powiązane, jeśli je wykryjemy.
  • • Automatycznego oznaczania firm jako nieuczciwych.
  • • Agencji bez opinii — takie profile pokazujemy, ale bez wyniku.
  • • Reklamy wewnątrz listy. Treści płatne stoją osobno i są oznaczone.

Najczęstsze pytania

Czy agencja może kupić lepsze miejsce?

Nie. Do wyniku wchodzą wyłącznie oceny opiekunek, kompletność publicznie dostępnych informacji o agencji i odsetek opinii, na które agencja odpowiedziała w ciągu 30 dni. Żadna z tych rzeczy nie jest na sprzedaż. Treści płatne oznaczamy osobno i nigdy nie stoją wewnątrz listy.

Dlaczego agencja z najwyższą średnią nie jest pierwsza?

Bo średnia z trzech opinii nie mówi tego samego co średnia z czterdziestu. Wygładzanie bayesowskie przyciąga wynik małej próby w stronę średniej rynkowej. Im więcej opinii, tym mniejszy ten efekt.

Dlaczego stare opinie liczą się mniej?

Bo zespoły w agencjach zmieniają się szybko. Opinia sprzed czterech lat opisuje firmę, która dziś może mieć innego właściciela, inny system rozliczeń i innych koordynatorów. Nie usuwamy jej, ale jej waga spada.

Co się dzieje po zmianie wzoru?

Podnosimy numer wersji i zapisujemy nową migawkę rankingu. Poprzednie stany zostają i są widoczne w historii przeliczeń na stronie każdego rankingu.

Zobacz rankingiPełna metodologia serwisu