+48 794 027 325Porozmawiajmy
BlogNewsy AI

Czy Twój czatbot naprawdę czyta Twoje dokumenty? Nowe badanie o weryfikacji RAG

Badacze pokazali, jak sprawdzić, czy asystent AI korzysta z dokumentów firmy, czy tylko zgaduje. Wyjaśniamy wyniki i dajemy prosty test dla firm.

Asystent AI w sklepie albo w dziale obsługi zwykle działa w trybie RAG: najpierw wyszukuje fragmenty dokumentów firmy, potem na ich podstawie odpowiada. Problem w tym, że poprawna odpowiedź nie dowodzi, że model te dokumenty przeczytał. Mógł trafić z pamięci albo po słowach kluczowych. Nowa praca badawcza pokazuje, jak to sprawdzić.

Co zbadano

Zespół badaczy (według AlphaSignal z RWTH Aachen) opisał metodę uczenia tzw. weryfikatora, czyli modelu, który ocenia, czy dany fragment dokumentu rzeczywiście potwierdza konkretne twierdzenie. Metodę sprawdzono na raportach radiologicznych.

Najciekawszy jest sposób przygotowania danych treningowych. Oprócz przykładów, w których dokument potwierdza twierdzenie, model dostaje przykłady podchwytliwe:

  • dokument na ten sam temat, ale mówiący coś przeciwnego;
  • dokument na ten sam temat, który niczego nie rozstrzyga;
  • dokument zupełnie niezwiązany.

Dzięki temu model nie może zaliczyć zadania samym dopasowaniem słów kluczowych.

Wyniki w prostych słowach

Z poprawnymi dokumentami weryfikator osiągnął 97,4 AUROC (miara, w której 100 oznacza bezbłędne odróżnianie, a 50 rzut monetą). Gdy badacze podmienili dokumenty na niepasujące, wynik spadł do około 55, czyli prawie do zgadywania. I o to chodziło: model, który naprawdę korzysta z dokumentów, musi się „zepsuć”, gdy dostanie złe dokumenty. Autorzy wnioskują, że to sposób uczenia, a nie wielkość modelu, decyduje o tym, czy model naprawdę opiera się na źródłach.

Co z tego wynika dla polskiej firmy

Nie trzeba trenować własnego weryfikatora, żeby skorzystać z tej lekcji. Wystarczy przetestować swojego asystenta tak, jak badacze testowali model:

  1. Usuń dokument i zadaj to samo pytanie. Jeżeli asystent dalej odpowiada równie pewnie, to nie odpowiadał z dokumentu.
  2. Podmień dokument na sprzeczny. Na przykład stary cennik zamiast aktualnego. Dobra odpowiedź powinna się zmienić.
  3. Pytaj o rzeczy, których w dokumentach nie ma. Poprawna reakcja to „nie wiem, przekazuję do konsultanta”, a nie wymyślona odpowiedź.
  4. Wymagaj źródła przy każdej odpowiedzi. Klient i pracownik widzą, skąd pochodzi informacja.

Jak to robimy we wdrożeniach

Przy asystentach na dużych katalogach stosujemy prostą zasadę: model wybiera produkt, ale cenę, indeks i link wstawia kod prosto z bazy danych. Liczby, na których klient podejmuje decyzję, nie przechodzą przez generowanie tekstu, więc model nie ma jak ich przekręcić. Do tego zestaw pytań testowych, który uruchamiamy po każdej zmianie, i przekazanie rozmowy człowiekowi, gdy asystent nie ma pewności.

Badanie dotyczy medycyny, ale problem jest ten sam w hurtowni, sklepie i biurze: asystent, który brzmi pewnie, nie musi mieć racji. Jeśli chcesz sprawdzić swojego, opisz nam, jak działa, albo zobacz, jak budujemy agenta RAG.

Sprawdźmy, co da się zautomatyzować w Twojej firmie.

30 minut rozmowy, bez zobowiązań. Opowiadasz, co zajmuje zespołowi najwięcej czasu, a my mówimy, co z tym zrobić, ile to potrwa i od czego zacząć.

  • Odpowiadamy w ciągu 24 h
  • Pierwsza rozmowa bezpłatna
  • Bez pośredników

Dane wykorzystamy, żeby odpowiedzieć na zgłoszenie. Administrator danych: Mediafy sp. z o.o., os. Tytusa Działyńskiego 27, 62-020 Swarzędz. Szczegóły i Twoje prawa: Polityka prywatności.

Wolisz napisać maila? kontakt@mediafy.com.pl