+48 794 027 325Porozmawiajmy
BlogNewsy AI

Skill Google Modern Web Guidance w Claude Code: komu pomaga?

Ten sam lightbox poprawiany przez dwa modele AI, z instrukcjami Google i bez nich, sprawdzony 24 testami. Tańszy model bez skilla zepsuł zamykanie okna.

Google razem z zespołami Edge, Firefoksa i MDN wydał zestaw instrukcji dla agentów AI piszących strony: Modern Web Guidance. Agent przed napisaniem kodu szuka w katalogu ok. 200 przewodników i dostaje sprawdzone wzory nowoczesnego HTML, CSS i JavaScriptu. Autor filmu, z którego go wzięliśmy, zrobił 48 uruchomień i wyszło mu, że wyniki są podobne, a skill raz coś zepsuł. Sprawdziliśmy to na własnym przykładzie.

Zadanie

Okno powiększania zdjęć (lightbox) w galerii na stronie testowej. Działało, ale otwierało się bez żadnego przejścia, a osoba korzystająca z klawiatury mogła „wyjść” z okna na stronę pod spodem. Polecenie dla agenta: dodaj płynne otwarcie, popraw obsługę klawiatury i czytników ekranu, a wszystko inne zostaw (strzałki, Escape, klik w tło, przesunięcie palcem, telefon).

Cztery przebiegi: model Sonnet i tańszy Haiku, każdy raz zwyczajnie i raz z instrukcjami Google. Wynik sprawdziliśmy naszymi 24 testami w prawdziwej przeglądarce, których agenci nie widzieli.

Wyniki

Testy (z 24) Co się zepsuło Czas Tokeny
Wersja wyjściowa 18 brak animacji i obsługi klawiatury , ,
Sonnet 24 (przed korektą 22) nic 62 s ok. 94 tys.
Sonnet + Google 24 (przed korektą 21) nic 78 s ok. 121 tys.
Haiku 19 Escape i klik w tło przestały zamykać okno 95 s ok. 105 tys.
Haiku + Google 24 (przed korektą 21) nic 158 s ok. 143 tys.

Wyniki w tabeli podajemy po korekcie dwóch naszych testów, które były zbyt ostre. Przed korektą Sonnet miał 22 i 21, a Haiku z Google 21. Pierwszy test dotyczył klawisza Tab: przy wbudowanym oknie przeglądarki (<dialog>) przechodzi on na pasek adresu, a nie na stronę, i to jest poprawne zachowanie. Drugi dotyczył ograniczonego ruchu: krótkie przejście zostało tam świadomie, zgodnie z przewodnikiem.

Co z tego wynika

  • Mocniejszy model nie potrzebuje podpowiedzi. Sonnet bez instrukcji Google zrobił wszystko dobrze i szybciej.
  • Tańszy model z instrukcjami pracuje lepiej. Haiku sam zepsuł dwie podstawowe rzeczy, a z przewodnikami Google ich nie zepsuł.
  • Płacisz czasem i tokenami. Instrukcje wydłużyły pracę 1,3–1,7 raza i zwiększyły zużycie tokenów 1,3 raza.
  • Uwaga na ustawienia. Narzędzie wysyła anonimowe statystyki do Google, chyba że ustawisz DISABLE_TELEMETRY=1. A jego opis każe agentowi uruchamiać je przy każdej zmianie w HTML, więc po instalacji na stałe będzie odpalać się także przy drobiazgach.

Nasza opinia

Nie instalujemy go na stałe. Podajemy go agentowi wtedy, gdy zadanie dotyczy wyglądu lub obsługi strony, a pracuje tańszy model. To samo wyszło autorowi filmu: najwięcej zyskuje słabszy model przy dostępności. Jeden test na jednym zadaniu pokazuje kierunek, nie średnią.

Chcesz sprawdzić, czy to zadziała w Twojej firmie? Napisz do nas i opisz, co chcesz zautomatyzować.

Sprawdźmy, co da się zautomatyzować w Twojej firmie.

30 minut rozmowy, bez zobowiązań. Opowiadasz, co zajmuje zespołowi najwięcej czasu, a my mówimy, co z tym zrobić, ile to potrwa i od czego zacząć.

  • Odpowiadamy w ciągu 24 h
  • Pierwsza rozmowa bezpłatna
  • Bez pośredników

Dane wykorzystamy, żeby odpowiedzieć na zgłoszenie. Administrator danych: Mediafy sp. z o.o., os. Tytusa Działyńskiego 27, 62-020 Swarzędz. Szczegóły i Twoje prawa: Polityka prywatności.

Wolisz napisać maila? kontakt@mediafy.com.pl