+48 794 027 325Porozmawiajmy
BlogNewsy AI

Superpowers i MCP jako kod: test agentów AI w Claude Code

Dwa popularne pomysły na lepszą pracę agentów AI w Claude Code, zmierzone na tych samych zadaniach: Superpowers (4,5 raza dłużej) i kod zamiast surowych danych.

W przeglądach narzędzi do Claude Code co tydzień wraca to samo pytanie: czy agentowi AI trzeba narzucić porządek, żeby pisał lepszy kod, i czy da się przy tym oszczędzić na tokenach. Wzięliśmy dwa głośne pomysły z ostatnich dni i zmierzyliśmy je na identycznych zadaniach, z wynikiem ocenianym przez nas, nie przez agenta.

Test 1: Superpowers, czyli najpierw pytania, plan i testy

Superpowers to zestaw skilli, który zmienia sposób pracy agenta. Warunki użycia znajdziesz w repozytorium producenta. Zamiast od razu pisać kod, agent zadaje pytania, spisuje projekt i plan, a potem pracuje metodą „najpierw test, potem kod”.

Zadanie: walidacja formularza rezerwacji (imię, telefon, e-mail, daty pobytu, liczba osób). Dwóch agentów na tym samym modelu: jeden zwykły, drugi z instrukcjami Superpowers. Na koniec oba wyniki sprawdziliśmy naszym własnym, ukrytym zestawem 40 przypadków, których żaden agent nie widział: numery z +48 i 0048, 30 lutego, pobyt 31 nocy, „dwie” zamiast liczby osób.

Zwykły agent Z Superpowers
Wynik na naszych 40 przypadkach 40 z 40 40 z 40
Czas 35 s 159 s
Kroki (wywołania narzędzi) 5 31
Tokeny ok. 79 tys. ok. 115 tys.
Własne testy agenta 12 29 + sprawdzenie mutacją
Dokumentacja brak pytania, projekt, plan

Co z tego wynika: przy małym, dobrze opisanym zadaniu Superpowers nie poprawił wyniku, bo zwykły agent też trafił w każdy przypadek. Zapłaciliśmy 4,5 raza dłuższym czasem i o połowę większą liczbą tokenów. Zyskaliśmy za to dwa razy więcej testów i zapis decyzji, który przydaje się, gdy kod ma żyć latami albo przejmuje go ktoś inny. Wniosek: metoda dla dużych, niejasnych zadań, nie dla każdego drobiazgu.

Test 2: „MCP jako kod”, czyli niech liczy skrypt, nie model

Drugi pomysł pochodzi z filmu „MCP as Code”. Kiedy agent pobiera dane przez narzędzie (np. listę zgłoszeń z GitHuba), cała odpowiedź trafia do jego pamięci roboczej i kosztuje tokeny. Alternatywa: agent pisze mały skrypt, który pobiera dane, sam je liczy, zapisuje wynik na dysk i oddaje agentowi tylko krótkie podsumowanie. Autor filmu nie opublikował jeszcze swojego kodu, więc sprawdziliśmy sam wzorzec.

Zadanie: 5 ostatnio zamkniętych zgłoszeń błędów z publicznego repozytorium Kubernetes, dla każdego liczba komentarzy, autor ostatniego komentarza i czas do zamknięcia. Ten sam model (Haiku), dwa sposoby pracy.

Agent czyta surowe dane Agent pisze skrypt
Wynik poprawny poprawny, ten sam
Tokeny ok. 193 tys. ok. 80 tys.
Czas 111 s 47 s
Zapytania do API 7 6

Co z tego wynika: 2,4 raza mniej tokenów i ponad 2 razy szybciej przy tym samym wyniku. Ciekawostka: pierwsza odpowiedź API miała 272 KB i Claude Code sam odłożył ją do pliku zamiast wkleić agentowi. W trybie „surowym” agent musiał ją potem i tak przeczytać. W tym przebiegu skrypt poradził sobie z dużą odpowiedzią lepiej niż samo odłożenie jej do pliku.

Nasza opinia

  • Superpowers: dobre jako tryb na duże funkcje i kod, który przejmą inni. Na co dzień za wolne. Bierzemy z niego jedną zasadę: przed większą zmianą agent spisuje pytania i plan.
  • Kod zamiast surowych danych: bierzemy od razu. Wszędzie, gdzie agent przetwarza dużo danych (raporty, zestawienia, logi), niech pisze skrypt, a do modelu trafia tylko wynik.
  • Oba testy to pojedyncze przebiegi na małych zadaniach. Liczby pokazują kierunek, nie średnią.

Chcesz sprawdzić, czy to zadziała w Twojej firmie? Napisz do nas i opisz, co chcesz zautomatyzować.

Sprawdźmy, co da się zautomatyzować w Twojej firmie.

30 minut rozmowy, bez zobowiązań. Opowiadasz, co zajmuje zespołowi najwięcej czasu, a my mówimy, co z tym zrobić, ile to potrwa i od czego zacząć.

  • Odpowiadamy w ciągu 24 h
  • Pierwsza rozmowa bezpłatna
  • Bez pośredników

Dane wykorzystamy, żeby odpowiedzieć na zgłoszenie. Administrator danych: Mediafy sp. z o.o., os. Tytusa Działyńskiego 27, 62-020 Swarzędz. Szczegóły i Twoje prawa: Polityka prywatności.

Wolisz napisać maila? kontakt@mediafy.com.pl