+48 794 027 325Porozmawiajmy
BlogNewsy AI

Jak wybrać model AI: nowy ranking pokazuje, na co patrzeć

Nowy indeks Artificial Analysis nagradza modele za dobrze dopasowaną pewność odpowiedzi, a koszty różnią się ponad sześćdziesięciokrotnie. Sprawdź, co to znaczy.

Artificial Analysis opublikowało Decision Index v2, czyli przebudowany ranking modeli, które wybierają odpowiedź z gotowej listy opcji i podają do niej prawdopodobieństwo. Nowa wersja premiuje nie tylko trafność, ale też to, czy model wie, kiedy się myli. Liczby z rankingu podajemy za źródłem, a na końcu piszemy, jak wybór modelu sprawdzamy u siebie.

Co się zmieniło w rankingu

Główny wynik, Decision Score, liczy się inaczej niż zwykła skuteczność. Poprawna odpowiedź daje tym więcej punktów, im większa pewność modelu. Błędna odpowiedź podana z wysoką pewnością kosztuje model najwięcej. Według źródła w praktyce firmy często przyjmują decyzję modelu tylko powyżej progu pewności, a słabsze przypadki przekazują człowiekowi albo mocniejszemu modelowi. Nowy wynik uśrednia efekt dla wszystkich możliwych progów, więc pozwala porównać modele, zanim ustalisz własny próg.

Zmieniła się też zawartość indeksu. Tworzy go sześć testów: przetwarzanie dokumentów, ocena sytuacji w pracy, korzystanie z narzędzi, wiarygodność faktów, rozumowanie i odporność na przeformułowanie pytania. Prywatne zbiory danych to teraz 45% indeksu, wcześniej 25%. Dzięki temu trudniej jest dopasować model do znanych pytań testowych.

Największy udział, 30%, ma test dokumentów oparty na 1500 prywatnych CV, paragonach, fakturach i artykułach naukowych. Każdy dokument ma pięć decyzji i 10 faktów, a zaliczenie wymaga poprawnych wszystkich 15 odpowiedzi.

Co pokazują wyniki

Na czele ogólnego rankingu są modele ogólnego przeznaczenia: Claude Haiku 5.5 (Max) ma 77 punktów, a GPT-6 Luna (Max) 76. Za nimi są wyspecjalizowane modele decyzyjne: Drex Max v1.1 i GLiDE v1.2 mają po 73, a Mammoth 27B 72.

Test dokumentów dobrze pokazuje, jak błędy się kumulują. Drex trafia 97% pojedynczych odpowiedzi, blisko 99% Haiku, ale przechodzi 63% całych dokumentów, a Haiku 92%. Jedna pomyłka psuje cały dokument. Dla firmy, która automatycznie czyta faktury albo zamówienia, to ważna lekcja: skuteczność pojedynczego pola to nie to samo, co skuteczność całego dokumentu.

Kalibracja zmienia kolejność. GLiDE v1.2 wyprzedza Drex Max v1.1 w samej trafności (60 do 58), ale po uwzględnieniu pewności wyżej jest Drex. Podobnie w teście dokumentów: Clef ma 36% zaliczeń wobec 24% dla Celeris-1.1 Decision, ale Celeris ma lepiej dopasowaną pewność (wskaźnik Briera 0,15 wobec 0,27).

Koszt: różnica ponad sześćdziesięciokrotna

Ceny modeli decyzyjnych rozpiętością przekraczają sześćdziesiąt razy: od 14 dolarów za milion zadań dla Celeris-1.1 Decision do 859 dolarów dla Clef. Sam cennik za token tego nie tłumaczy. Liczy się sposób przetwarzania. Drex Max v1.1 rozlicza treść dokumentu raz dla całego zestawu pytań, a GLiDE v1.2 przetwarza każde pytanie osobno i za każdym razem płaci za ten sam dokument. Według źródła GLiDE kosztuje przez to około 780 dolarów za milion zadań, a Drex 102, mimo że cenniki różnią się tylko o 33%.

GPT-6 Luna (Max) wyprzedza Drex o trzy punkty, ale kosztuje około 15 razy więcej za milion zadań i działa około 41 razy wolniej. Przy dużym wolumenie, np. klasyfikacji zgłoszeń, kierowaniu próśb do działów czy wyciąganiu pól z dokumentów, taka różnica ma znaczenie.

Dla kogo to ma sens

Wnioski ze źródła są praktyczne, choć nie są naszym werdyktem. Jeśli przetwarzasz dużo prostych, powtarzalnych zadań, modele wyspecjalizowane mogą być rozsądne, bo są tańsze i szybsze. Jeśli liczy się maksymalna trafność przy złożonych dokumentach, ogólne modele wypadają lepiej, ale kosztują więcej. Nie ma jednego zwycięzcy: wybór zależy od tego, ile kosztuje Cię pomyłka, a ile czas i wolumen.

Przykład: w biurze rachunkowym model czytający faktury może automatycznie przyjmować tylko pewne odczyty, a niepewne odsyłać do pracownika. Nasz wpis o automatycznym odczytywaniu faktur pokazuje, jak to wygląda na polskich dokumentach.

Na co uważać

Po pierwsze, indeks to ranking zewnętrzny, a nie test na Twoich danych. Źródło samo zaleca sprawdzenie trzech rzeczy poza wynikiem zbiorczym:

  • zachowania przy progu pewności: ile przypadków model przyjmie, ile odeśle i jak dokładne są te przyjęte,
  • kosztu przy realnym kształcie zapytań: długość dokumentu, liczba pytań, grupowanie i powtarzany kontekst,
  • zasad postępowania przy błędach: reakcja modelu na wstrzymanie się od odpowiedzi, przeformułowane pytania i wymóg poprawności całego dokumentu.

Po drugie, stabilność odpowiedzi. Clef zmienia wybór na około jednej trzeciej przeformułowanych pytań, co może zmienić decyzję o automatyzacji lub eskalacji, choć fakty się nie zmieniły. Wysokie wyniki Mammoth 27B w tym teście częściowo wynikają z częstego wstrzymywania się od odpowiedzi. Po trzecie, nie każda liczba jest podana dla każdego modelu: część kosztów i czasów w źródle jest oznaczona jako niedostępna.

Sprawdziliśmy to u nas

Claude Haiku 5.5, lider ogólnego rankingu, to model, na którym działają nasze codzienne automatyzacje: klasyfikacja odpowiedzi na maile, ocena zdjęć, wyciąganie danych kontaktowych i NIP ze stron oraz szkice odpowiedzi. Ranking zewnętrzny nie wystarczył nam jednak jako dowód, dlatego zbudowaliśmy własny, stały test.

Każdego ranka o 6:00 automat daje modelowi te same 17 zadań z naszej codziennej pracy i porównuje wynik z oczekiwanym. Siedem to rozpoznanie, czy odpowiedź na maila oznacza zainteresowanie, odmowę czy autoodpowiedź. Cztery to ocena, czy zdjęcie nadaje się na pierwszy ekran strony. Trzy to wyciągnięcie danych kontaktowych z tekstu strony, dwa to szkic odpowiedzi, a jedno to wybór właściwego NIP-u, gdy na stronie jest kilka numerów. Mierzy też czas i długość odpowiedzi. Gdy wynik spada, dostajemy alarm na telefon, zanim pomyłki trafią do klientów. W pierwszych dwóch przebiegach (8 i 9 listopada 2026) model rozwiązał poprawnie 17 z 17 zadań, średnio w 1,6 sekundy na zadanie.

To potwierdza główną radę z rankingu: wynik na liście to punkt wyjścia, a decyzję podejmuje się na własnych przykładach i sprawdza regularnie, bo dostawcy zmieniają modele.

Od czego zacząć w swojej firmie

Zacznij od procesu, nie od modelu. Zapisz, jakie decyzje mają być podejmowane, jak często, jak drogi jest błąd i kto ma dostać sprawę, gdy model nie jest pewny. Dopiero potem porównuj modele na własnych przykładowych dokumentach. Pomaga w tym audyt procesów, a o wyborze dostawcy pisaliśmy też w tekście o indeksie dokładności.

U nas automatyzacje robią same to, co pewne, a nietypowe przypadki trafiają do człowieka. Przy asystentach opartych na dokumentach firmy (Agent RAG) stosujemy zestaw pytań testowych uruchamiany po każdej zmianie i przekazanie rozmowy człowiekowi, gdy asystent nie ma pewności.

Jeśli zastanawiasz się, jaki model pasuje do Twojego procesu, napisz do nas. Firmy z Poznania i Swarzędza odwiedzamy na miejscu, z resztą Polski zaczynamy od rozmowy online.

Sprawdźmy, co da się zautomatyzować w Twojej firmie.

30 minut rozmowy, bez zobowiązań. Opowiadasz, co zajmuje zespołowi najwięcej czasu, a my mówimy, co z tym zrobić, ile to potrwa i od czego zacząć.

  • Odpowiadamy w ciągu 24 h
  • Pierwsza rozmowa bezpłatna
  • Bez pośredników

Dane wykorzystamy, żeby odpowiedzieć na zgłoszenie. Administrator danych: Mediafy sp. z o.o., os. Tytusa Działyńskiego 27, 62-020 Swarzędz. Szczegóły i Twoje prawa: Polityka prywatności.

Wolisz napisać maila? kontakt@mediafy.com.pl