Jak wybrać dostawcę AI: indeks dokładności i nasz test
Co czwarty endpoint AI w indeksie Artificial Analysis wypada gorzej od wzorca. Sprawdziliśmy u siebie, co robi limit odpowiedzi i krótsze rozumowanie.

Artificial Analysis opublikował wersję 1.1 swojego Endpoint Accuracy Index. Indeks porównuje modele udostępniane przez zewnętrznych dostawców z tym samym modelem, który Artificial Analysis uruchomiło u siebie na oficjalnych wagach w zalecanej precyzji. Mniej więcej co czwarty z ponad stu sprawdzonych endpointów wypada gorzej od wzorca, głównie przez limit długości odpowiedzi i skracanie rozumowania. Sprawdziliśmy, co te dwa ustawienia robią z zadaniami, które nasz system wykonuje codziennie.
Co się zmieniło
Nazwa modelu to nie cała specyfikacja usługi. Według źródła dostawca może zmniejszać precyzję wag modelu, stosować własne procedury obliczeniowe (kernele), zmieniać jego ustawienia, ograniczać długość odpowiedzi albo mieć zwykły błąd we wdrożeniu. Indeks dodaje do ceny, szybkości i przepustowości czwarty sygnał: ile dokładności endpoint zachowuje. Wynik 100% oznacza zgodność ze wzorcem, a przedział ufności pokazuje, ile z różnicy to zwykły rozrzut pomiarów.
Indeks sprawdza trzy rodzaje zadań: wywoływanie narzędzi i funkcji, trudne rozumowanie oraz odczyt z bardzo długiego kontekstu. W wersji 1.1 poprawiono dwa klucze odpowiedzi w teście długiego kontekstu, zwiększono w tym teście liczbę powtórzeń z 10 do 25, a średni przedział ufności zmalał z 4,7 do 2,6 punktu. W wersji 1.1 indeks obejmuje sześć modeli (stan z artykułu z 6 listopada 2026).
Źródło podaje konkretne przyczyny różnic:
- Limit długości odpowiedzi. W GLM-5.3 Flash dwa endpointy z limitem około 32 000 tokenów ucinały mniej więcej połowę odpowiedzi w trudnym teście rozumowania, zanim model doszedł do wyniku. Ich dokładność spadła do 22% i 29%, przy 55% dla wzorca.
- Skracanie rozumowania. Dwa inne endpointy generowały około 30% mniej tokenów rozumowania, bez ucinania odpowiedzi, i osiągnęły 48%, czyli siedem punktów mniej niż wzorzec.
- Błąd w schemacie danych. W Muse Spark Open dwa endpointy zapisywały jako liczby argumenty, które powinny być tekstem, na przykład numery rezerwacji. Wynik w teście wywoływania narzędzi spadł do 50% i 51%, przy 59% dla wzorca. W innych zadaniach te same endpointy były blisko wzorca.
Sama niższa precyzja wag nie wyszła tu jako główny winowajca: w GLM-5.3 pięć z sześciu endpointów z wagami FP4 było statystycznie zgodnych ze wzorcem. U dostawców GLM-5.3 Flash koszt jednego zadania różnił się 4,4 raza, a czas ukończenia wahał się od 5,5 do 51,5 minuty. Najbardziej wyrównany był DeepSeek V4.1 Flash 1017: wszystkie 22 endpointy mieściły się między 97,5% a 101,4%.
Sprawdziliśmy to u nas
Na czym. Wzięliśmy dwa zadania z naszego systemu: ocenę wyglądu strony lokalnej firmy w skali 1–10 (trzy zrzuty ekranu i fakty o stronie, odpowiedź w JSON) oraz klasyfikację odpowiedzi na nasze maile. Próbka: 25 stron i 30 prawdziwych odpowiedzi. Model: Claude Haiku 5.5 przez API Anthropic. Drugiego endpointu tego samego modelu nie mamy, więc słabszego dostawcę zasymulowaliśmy dwoma ustawieniami z indeksu: niższym limitem długości odpowiedzi i krótszym rozumowaniem. Wzorcem były nasze ustawienia produkcyjne, uruchomione trzy razy, żeby zobaczyć zwykły rozrzut. Te same strony ocenił też większy model, Claude Sonnet 5.5.
| Ustawienie | Oceny stron bez błędu | Zgodność ocen ze wzorcem | Maile bez błędu |
|---|---|---|---|
| produkcyjne, trzy powtórzenia | 75 z 75 | 88–96% | 90 z 90 |
| limit 1024 / 200 tokenów (zmieściło się ok. 2/3 ocen i 3/4 maili) | 17 z 25 | 16 z 17 | 23 z 30 |
| limit 600 / 100 tokenów (poniżej najkrótszej oceny w teście) | 0 z 25 | brak ocen | 19 z 30 |
| krótsze rozumowanie | 25 z 25 | 72% | 30 z 30 |
Co wyszło.
- Limit nie daje gorszej odpowiedzi, tylko żadnej. Model nie kończy JSON-a i system nie ma czego zapisać. Przy limicie 600 tokenów, krótszym niż najkrótsza ocena w teście, nie dostaliśmy ani jednej oceny, a za ucięte zapytania i tak zapłaciliśmy.
- Ucina się to, co dłuższe. Do limitu nie zmieściły się głównie dłuższe odpowiedzi o stronach, a z 7 uciętych maili 3 to te, które u nas trafiają do przejrzenia przez człowieka. Zostały krótsze przypadki, więc to, co przeszło, wygląda dobrze.
- Krótsze rozumowanie psuje po cichu. Zero błędów, odpowiedzi o 21% krótsze, a zgodność ocen ze wzorcem spadła do 72%. W logach nic tego nie zdradza. To podobny efekt do tego, który indeks opisuje przy endpointach generujących mniej tokenów rozumowania.
- Ten sam model też się waha. Przy powtórzeniu w tych samych ustawieniach zmieniło się 7 z 25 ocen (zawsze o jeden punkt) i 2 z 30 klasyfikacji maili.
- Większy model nie jest wyrocznią. Sonnet 5.5 dał tę samą ocenę co Haiku na 11 z 25 stron, zawsze w granicy jednego punktu, przy koszcie około 17 razy wyższym.
Werdykt. W naszych zadaniach większym ryzykiem od wyboru modelu są ustawienia endpointu: limit długości odpowiedzi i poziom rozumowania. Odpowiedź uciętą na limicie trzeba odrzucać, a nie próbować odczytać, a porównanie dostawców ma sens dopiero na kilku powtórzeniach wzorca. Test (355 zapytań i jeden odrzucony przebieg na złej próbce) kosztował około 0,46 $.
Dla kogo to ma znaczenie
Najbardziej dla firm, które korzystają z modeli przez API albo mają asystenta AI zbudowanego u zewnętrznego dostawcy. Jeśli asystent odpowiada na podstawie katalogu, wywołuje narzędzia albo czyta długie dokumenty, ciche pogorszenie jakości odbije się na odpowiedziach, a Ty nie dostaniesz żadnego komunikatu o błędzie.
Przykład: asystent w dziale sprzedaży hurtowni, który zestawia zamienniki z długiego katalogu i sprawdza dostępność. Uciętą odpowiedź albo źle zapisany argument funkcji łatwo wziąć za pomyłkę modelu, choć problem leży w ustawieniach endpointu. Nasz test pokazuje też drugą stronę: limit zabiera głównie dłuższe odpowiedzi, a nie przypadkowe.
Indeks dotyczy modeli otwartych udostępnianych przez wielu dostawców. Jeśli używasz jednego modelu u jednego producenta, nie przenoś tych liczb wprost na swoją sytuację. Ustawienia limitu i rozumowania wybierasz jednak sam, więc nasz wynik dotyczy także Ciebie.
Na co uważać
Indeks mierzy stały zestaw testów, a konfiguracje dostawców mogą się zmienić po pomiarze. Wynik powyżej 100% może wynikać ze zwykłego rozrzutu, więc patrz na przedział ufności, a nie na pojedynczy procent.
Nasz test też ma granice. Próbka jest mała (różnica jednego, dwóch przypadków to kilka punktów procentowych), dostawca był jeden, a słabszy endpoint tylko zasymulowaliśmy ustawieniami. Strony w próbce miały oceny średnie i dobre, więc nie sprawdziliśmy, jak warianty zachowują się przy stronach bardzo słabych.
Od czego zacząć w swojej firmie
Źródło proponuje prostą kolejność, którą da się przełożyć na firmę:
- Wybierz dostawców, którzy spełniają wymagania co do ceny, szybkości, długości kontekstu i dostępności regionalnej.
- Sprawdź wynik i przedział ufności dla dokładnie tego modelu i tego endpointu.
- Zajrzyj do rozbicia wyników: wywoływanie narzędzi ma znaczenie dla agentów, rozumowanie dla trudnych zadań, długi kontekst dla odczytu dokumentów.
- Przeczytaj uwagi o limitach, ucinaniu i błędach schematu.
- Zanim wdrożysz, uruchom własne pytania testowe, zwłaszcza dla danych strukturalnych i języka polskiego.
Z naszego testu dopisalibyśmy jeszcze dwie rzeczy: sprawdź, czy Twój system odrzuca odpowiedzi ucięte na limicie, i uruchom zestaw testowy kilka razy, zanim uznasz różnicę za winę dostawcy. Przy asystentach RAG stosujemy zestaw pytań testowych uruchamiany po każdej zmianie oraz przekazanie rozmowy człowiekowi, gdy asystent nie ma pewności. Więcej o tym podejściu znajdziesz w opisie Agenta RAG oraz we wpisie Czy Twój czatbot naprawdę czyta Twoje dokumenty.
Chcesz ustalić, jak wybrać dostawcę AI do konkretnego procesu w Twojej firmie? Napisz do nas, a z firmami z Poznania i Swarzędza możemy spotkać się na miejscu.