Zmiany w rankingu - Panda 2020

2 lip 2020
1,366
Zdjęcie
Ostrzeżenie! To jest bardzo ciężki wpis, trzeba się skupić i ogólnie orientować w algorytmie RMT. Trzeba też mieć zaliczone przeczytanie FAQ ze zrozumieniem na minimum "trzy na szynach".

Do rzeczy. Konieczność większej automatyzacji procesów na stronie wymusiła pewne zmiany w wycenie tras, co bezpośrednio przełożyło się na kosmetyczne zmiany w rankingu. Ranking się zmienił, ale spokojnie, mocni nadal są mocni, a reszta tam gdzie była... czyli w sumie nic się nie zmieniło, kosmetyka!

Nowy algorytm wyceny tras

Zacznijmy od tego, że przy okazji prac nad mapami (które chyba się nie zakończą), zmianach w dziale Treningi (aktywności biegowe) oraz zmianach w rozpiskach międzyczasów (możliwość rozpiski na dowolnej trasie z pliku na dniach), powstał nowy algorytm wyceny trasy. Nowy to może za dużo powiedziane, delikatnie usprawniony o zebrane doświadczenia.

Główną zmianą w wycenach tras jest fakt estymacji przewyższeń przy pomocy Google Elevation API (dalej GE). W poprzedniej wersji, dokładność przewyższeń zależała od dokładności urządzenia jakim trasa była rejestrowana (zegarki z barometrem czy bez, trasy rysowane po mapach itd.), było przy tym bardzo dużo zachodu, trzeba było porównać kilka tracków, wybrać ten "raczej dobry", chyba o tym kiedyś gdzieś pisałem, nie ma co powielać. Teraz wystarczy nam obrys trasy z punktami geolokalizacji, a przewyższenia przybliżymy wspomagając się płatnym GE (tak, to API jest płatne, dziękuję więc za wykupywanie Premium). Poprawiony algorytm też lepiej radzi sobie z terenami crossowymi, nie przeszacowuje ich. Wycena trudności trasy też lepiej uwzględnia emocje na zbiegach. Reasumując obliczenia są teraz bardziej precyzyjne i co najważniejsze jednolite na całym zbiorze tras.

Żeby sprawiedliwości stało się zadość (w stosunku do tras dodawanych w przyszłości), wszystkie trasy zostały ponownie przeliczone - dystans i przewyższenia. Oto procentowe zmiany do tego co było (w stosunku do obliczonego odpowiednika "dystansu płaskiego" o którym mowa w FAQ #5 i który jest podstawą algorytmu RMT):

  • zmiana 0-4% - 39% tras
  • zmiana 5-10% - 57% tras
  • powyżej 10% - 4% tras

Ogólnie 96% tras okazało się przeszacowanych i tylko 4% niedoszacowanych (co nie oznacza, że punkty były źle wyliczone, mamy przecież korektę). Statystyka raczej spodziewana, biorąc pod uwagę. że nowy algorytm wyceny teraz mocniej uwzględnia zbiegi pomniejszając finalny dystans płaski.

Jak widać jakiś dramatycznych zmian nie ma. Aczkolwiek powyżej 5% to już sporo, w liczbach bezwzględnych dla 100 km to 5 km...

Wyrównanie automatycznie uwzględnianie w algorytmie oceny zawodów

Druga zmiana, "współczynnik wyrównania" w algorytmie wyceny zawodów. W starej wersji na podstawie statystyki startów z ostatniego roku i sugestii algorytmu, decydowałem czy wyrównanie uwzględnić czy nie. Opisywałem to dokładnie na blogu, to było problematyczne, czasochłonne, nudne, no i przede wszystkim generowało domysły "czy znów za mało mi nie dodał". Cała ta "sugestia wyrównania" nie była specjalnie dopracowana, dlatego też była jedynie sugestią, więc trzeba ją było kontrolować. Obecnie udało mi się tą "sugestię wyrównania" dość dobrze dopracować i cały proces myślowy opisywany na blogu uwzględnić w algorytmie bez potrzeby dodatkowej kontroli. W efekcie można było przeliczyć wszystko automatycznie od nowa w kilka godzin. To też miało miejsce 1. lipca pod kryptonimem Panda.

Dane historyczne potrzebne do wyceny zawodów składają się obecnie z rankingu (formy z ostatniego roku) samych zawodników, a nie jak wcześniej ogólnego zbioru wszystkich startów zawodników, których porównywaliśmy. To spowodowało, że na wycenę nie rzutują już wyniki osób, które startują nieporównywalnie częściej od innych. Wniosek, nie rzutują też starty tzw. treningowe i biegi życia. Również, w zależności co podziała korzyść punktacji, wybieramy medianę lub średnią startów historycznych. Należy też nadmienić, że oceniając zawody np. w klasie RMT4, szukamy danych historycznych co najmniej w tej samej klasie, a nie jak wcześniej również w rankingu ogólnym co mogło zaburzać wycenę tras długich.

Wyliczając ewentualne wyrównanie, algorytm teraz też bardziej docenia wysiłek zawodników. Jeśli statystycznie wycena jest niższa niż ostatnie wskaźniki zawodników to algorytm zawsze wyrówna do tego średniego poziomu (bo śnieg, bo błoto, bo ciężki zbieg po kamieniach). Jeśli wycena zawodów jest przeszacowana o więcej niż +5%, to obniży ją do akceptowalnych +5%. Czyli końcowa wycena zawsze mieści się w przedziale 0/+5%,, a nie jak wcześniej -5%/+5%. Szaleństwo!

Zielone kropeczki

Przy każdych zawodach pojawia się teraz kolorowa kropka z dymkiem (na pewno dinozaury przy laptopach mogą na nią najechać myszką):

  • zielona kropka, wycena optymalna (to nasze idealne 0/+5%)
  • pomarańczowa, wycena może, ale nie musi być problematyczna, która na pewno w przyszłości będzie jeszcze potwierdzona, kiedy pojawi się trochę więcej danych w bazie
  • czerwona, mamy za mało danych historycznych do przeprowadzenia weryfikacji takich zawodów

Zawody mogą zostać zweryfikowane jedynie jeśli posiadamy już jakieś dane historyczne, które potwierdzą nam prawdopodobieństwo obliczeń na ocenianej trasie. Nie trudno sobie wyobrazić, że z takim podejściem, żadna trasa nie powinna być zweryfikowana bo pierwsza nie mogła być zweryfikowana. Dlatego przy ponownym przeliczaniu rankingu pierwsze "rozruchowe" zawody przeprowadzone w miesiącach niezimowych były traktowane jako warunkowo zatwierdzone i po przeliczeniu wszystkich zawodów ponownie weryfikowane. Dlatego też trasy z lat 2016/2017 rzadko świecą na "zielono", natomiast czym bliżej czasów współczesnych tym wyceny stają się bardziej precyzyjne. Dodatkowo kilka "raczej pewnych" zagranicznych tras będzie wstępnie i tymczasowo ręcznie zatwierdzona, aby zagraniczna elita nie była poszkodowana przez to podejście, ale wydaje mi się, że to i tak bez znaczenia dla Kiliana, bo chyba tu nie zagląda.

Zawody oznaczone "czerwoną kropką" nie są uwzględniane w oficjalnym rankingu. Eliminacja niepewnych wyników z rankingu przyczyni są do jego jeszcze większej precyzji.

1000 RMT to rekord świata

Jeszcze jedna zmiana, wcześniej granica rekordu świata była ustalona na 950 RMT. Nie pamiętam czemu bałem się 1000 RMT, może przez 4 cyfry, było, minęło i granicę rekordu przesuwamy na 1000 RMT. Skala się więc poszerza, teoretycznie rankingi powinny być nieco wyższe niż poprzednie. Tylko teoretycznie, bo to co tu dodałem, to zabrałem doszacowaniem tras, więc summa summarum powinno wyjść na zero i tak też w większości przypadków chyba jest. W związku z tym zmieniły się (raczej uprościły) nazwy poziomów zaawansowania biegacza, można zajrzeć do FAQ #14 po szczegóły.

Te wszystkie dość istotne zmiany, spowodowały, że dla spokoju ducha, wszystkie zawody trzeba było jeszcze raz automatycznie przeliczyć. Dokonało się to w dokładnie takiej samej kolejności w jakiej zawody pojawiały się na stronie. Efekt jest taki, że zmiany w punktacji są kosmetyczne. Dobra wiadomość, jeśli komuś urosło, to już wie, że wredny admin specjalnie mu wcześniej zaniżał, a jeśli komuś spadło, to cóż, chyba poprzedni ranking miał generowany po znajomości!

Ciekawostka, dla ścigających się z kobietami. W przypadku kobiet, w profilu można podejrzeć przybliżony męski odpowiednik rankingu. Jest on efektem obliczeń naszych statystyków, którzy wykazali, że średnia różnica między rekordami kobiet i mężczyzn to 12%.

Wiem, dużo szczegółów bez ładu i składu, ale nie potrafię inaczej. Zresztą ostrzegałem... Wpisujcie miasta, które doczytały do końca 😉

Komentarze 24
  • Zdjęcie
    2 lip 2020
  • Zdjęcie
    No nie wiem, nie wiem. Ja mam za dużo. Dwa pierwsze wyniki na chłopski rozum, to jednak bordello http://ratemytrail.com/runner/1979-blazej-lyjak Już nie mówiąc, że wynik ogólny ani drgnął, chociaż wszystkie cząstkowe poszły mooocno w górę. Jakaś ta panda niedożywiona chyba 😛
    2 lip 2020
    • Zdjęcie
      Ranking jeszcze się nie przeliczył. Będziesz miał 697 punktów😉
      2 lip 2020
    • Zdjęcie
      nawet jak się przeliczy to zobacz wyceny prawie identycznych tras(dwie pierwsze), coś tam nie bangla, chyba że znowu jakiś współczynnik upału, albo ktoś miał emocje na zbiegu i o! 😉
      2 lip 2020
    • Zdjęcie
      Ten z 2017 był niesłusznie zaliczony, chyba warunkowe zatwierdzanie pierwszych zawodów nie odhaczyło, ale ten z 2018 jest OK.
      2 lip 2020
    • Zdjęcie
      Wiem, Błażej, że nie czytałeś posta,, ale jak już się chcesz czepiać, to musisz to najpierw zrobić 😛
      2 lip 2020
  • Zdjęcie
    No ej, a ja zjechałem poniżej 700 punktów. To się nie godzi. Teraz będę musiał ostro trenować, żeby wrócić do poprzedniego poziomu 😝
    2 lip 2020
  • Zdjęcie
    Miasto Zakrzów am Widawa 🤣 Całe dwa punkciory mi wjebao - rzucam ten sport 🤦‍♂️
    2 lip 2020
  • Zdjęcie
    Kraków pozdrawia. Dzięki za ostrzeżenie na początku wpisu, bo wpadłem z myślą, że to ogłoszenie o nowej maskotce albo akcji pt. "adoptowaliśmy pandę".
    2 lip 2020
  • Zdjęcie
    Kilian prosił, żeby napisać, że podobają mu się ostatnie zmiany 😉
    2 lip 2020
  • Zdjęcie
    Krosno czyta i akceptuje 😁.
    2 lip 2020
  • Zdjęcie
    Ja mam tylko jedną uwagę. Następnym razem zapytaj się userów jakie zwięrzę wybrać na kryptonim. Będą mieli w tym swój udział i głupio będzie im cokolwiek potem skrytykować. PS: Nie mam nic do Pandy 😉
    2 lip 2020
    • Zdjęcie
      Wydawało mi się, że nowe obliczenia wszystkim dają, stąd "pan da" 😉
      2 lip 2020
  • Zdjęcie
    Ciekawy materiał. Na razie nie mam premium ale zamierzam mieć. Przeczytałem do końca Biała-góra k. Sztumu woj. pomorskie. 😀
    3 lip 2020
  • Zdjęcie
    Dobra robota Rafał 💪👍
    3 lip 2020
  • Zdjęcie
    Dziwne, cyfra spadła a ja się zaróżowiłem...
    3 lip 2020
  • Zdjęcie
    Jeszcze się dziś przyjrzę biegom RMT4+ z lat 2017-2018 czy wszystko wygląda racjonalnie, bo tam danych historycznych było jak na lekarstwo.
    3 lip 2020
    • Zdjęcie
      RMT4 to już sporo danych, więc przejrzałem tylko RMT5+ dla spokoju, większość była dobra, kilka zmniejszyłem, żeby nie było narzekania, że za dużo policzyło. Kilka też zwiększyłem, na szczęście nowe podejście medianowe dla próbki per zawodnik nie miesza już tak jak poprzednio w wycenach, więc takie drobne korekty nie mają większego wpływu na pozostałe wyceny... Tym samym kończę Pandę, może za rok będzie jakaś nowa Panda2, która będzie mniej ufna niszom RMT5+...
      3 lip 2020
  • Zdjęcie
    Tylko open source, bez tego wszystkie Twoje wyjaśnienia są mętne 😉
    3 lip 2020
    • Zdjęcie
      Spadło? Przykra sprawa... mi wzrosło, ja tam jestem zadowolony 😛
      3 lip 2020
  • Zdjęcie
    Hej, Kilka uwag. 1. Brawo za wprowadzenie wielu dobrych pomysłów. Od samego początku powinno być tak, że daną jest zawodnik, a nie pojedynczy wynik. Prawa wielkich liczb działają dla niezależnych zmiennych losowych, a wyniki jednego zawodnika są oczywiście od siebie mocno zależne. Więc branie pojedynczych wyników to oszukiwanie się, że mamy więcej danych niż w rzeczywistości. Dlatego to jest bardzo sensowna zmiana. 2. Podejrzane jest dosyć, że 96% tras jest przeszacowanych. W tym sensie, że to raczej mało prawdopodobne, żeby tak było w rzeczywistości. Różnica pewnie bierze się z innego sposobu pomiaru, który ma tendencję do generowania krótszych tras. Ciekaw jestem, czy liczba punktów w aproksymacji trasy łamaną jest taka sama jak gpsem? Bo jeśli jest mniejsza, to by mogło tłumaczyć krótsze trasy. Generalnie jednak to oczywiście nie ma większego znaczenia, dopóki jest to jednolite. Przyznam natomiast, że mam problem ze zrozumieniem tego zdania: "Statystyka raczej spodziewana, biorąc pod uwagę. że nowy algorytm wyceny teraz mocniej uwzględnia zbiegi pomniejszając finalny dystans płaski." Nie do końca rozumiem jak dystans płaski ma się do innej wyceny zbiegów. Co tak swoją drogą też jest dobrym posunięciem (zmiana wyceny zbiegów), bo wcześniej algorytm potrafił sugerować, że np. na zbiegu 15% rozsądne tempo to 2:40/km albo coś w tym stylu😀 3. Generalnie patrząc na wyniki biegów, w których brałem udział to te zmiany mają sens, przy czym mam na myśli relacje pomiędzy biegami, bardziej niż bezwzględne wyniki punktowe (które są oczywiście dosyć arbitralnie przyjęta). Ale jedna oczywista "sprzeczność", która mi się rzuciła w oczy po przeliczeniu to np.: Artur Jabłoński Bieg 7 Dolin 64 km 2018/05:41:05/842 vs Artur Jabłoński Bieg 7 Dolin 64 km 2019/05:41:34/820 (przy identycznej trasie i bardzo podobnych warunkach). Ale to jest chyba jakiś oczywisty błąd. 4. Z bardziej "subiektywnych" przykładów raczej niż "obiektywnych", to mam wrażenie, że teraz Wielka Prehyba jest teraz niedoszacowana. Tak jak większość innych tras została skrócona, ale w przeciwieństwie do innych straciła też sporo przewyższeń (podczas kiedy inne w większości je dostały). Tutaj mi ewidentnie coś nie gra. Dla przykładu: Dominik Grządziel/Wielka Prehyba 2019/ 5-te miejsce/779 punktów - MP i ostra rywalizacja od początku do końca (strata i przewaga rzędu 2-3 minut do następnego/poprzedniego zawodnika) vs Dominik Grządziel/Beskidzki Topór 2017/1-te miejsce/871 punktów z przewagą 25 minut nad drugim. No to raczej wygląda dosyć nieprawdopodobnie, żeby relacja pomiędzy tymi wynikami była prawidłowa. Chociaż nie wiem jak Dominik by to ocenił. Pozdrawiam, Tomek
    3 lip 2020
    • Zdjęcie
      2) wcześniej płaski = dystans+pion, teraz płaski=dystans+pion-(kilka % trasy w dół), więc nawet jak bez tej redukcji było to samo, to po redukcji wyszło mniej, stad staystyka była przeze mnie spodziewana. Mógłbym policzyć to bez tego minusa, ale mi się nie chce... Podobny mechanizm działał w obliczaniu FAP (całkiem możliwe, że czasami źle sugerował, ale od tego w rozpisce są suwaki). 3) Całkiem możliwe że jest tu źle, wcześniej było źle w innych miejscach. Różnica w wycenie polega na tym, że jest ona weryfikowana innymi danymi/latami. Czasami też "te same warunki" nie są tymi samymi, bo to subiektywne odczucia. Tak mi się wydaje... 4) No tak, to subiektywne odczucia. Statystyka mówi, że wynik męski jest obecnie 3% przeszacowany na Prehybie, na dużej próbie, więc to super wycena. Topór z 2017 no cóż, potwierdzamy to danymi z 2016, widzę, że jest tam +20 za dużo ale nie jest jakiś super istotny błąd, bo tak jak napisałem, takie biegi życia wypadną z mediany przy ocenie nowszych biegów, a że Dominik na tym zyska kilka punktów, to chyba nie ma dużej różnicy (jego ranking będzie podbity o 5 punktów średnio i to niekoniecznie tym biegiem). pozdro
      3 lip 2020
  • Zdjęcie
    6 lip 2020

Menu