Polski język w agencie: jak dobrać model do dokumentów i poleceń

Płynna odpowiedź po polsku nie dowodzi, że agent poprawnie odczytał warunki zadania. Może brzmieć naturalnie, a jednocześnie pominąć zaprzeczenie, źle rozwinąć skrót albo potraktować nieaktualną instrukcję jako obowiązującą. Przy pracy z dokumentami ważniejsza od eleganckiego stylu jest zgodność działania z sensem źródła.

Dobór modelu warto więc oprzeć na małym zestawie prób związanych z własnym procesem. Poniżej opisujemy, jak taki zestaw przygotować dla agenta opracowującego odpowiedzi dotyczące wypożyczenia sprzętu. Wszystkie przytoczone polecenia są autorskimi przykładami do ćwiczeń. Nie przedstawiamy wyników benchmarku ani nie wskazujemy zwycięskiego modelu.

Krótka lista kandydatów to początek

Jako punkt wyjścia do krótkiej listy można przejrzeć polskie modele LLM, a następnie sprawdzić je na własnych zadaniach. Samo ukierunkowanie modelu na język polski nie przesądza o jakości konkretnego agenta. Liczą się też sposób pobierania dokumentów, instrukcje, dostępne narzędzia oraz warunki uruchomienia.

Dla każdego kandydata zanotujcie dokładne wydanie i wariant, zamiast samej nazwy rodziny. Sprawdźcie u źródła przeznaczenie wersji, warunki licencji, możliwość planowanego użycia i wymagania uruchomienia. Osobno ustalcie, gdzie będą przetwarzane dokumenty. To lista pytań do sprawdzenia dla wybranego rozwiązania, nie założenie, że każda pozycja z katalogu spełnia te same warunki.

Próby językowe mają sens dopiero po opisaniu oczekiwanego wyniku. Pomaga w tym projektowanie zadania agenta: wiadomo, czy system ma tylko przygotować odpowiedź, wybrać kategorię, czy zaproponować operację. Tych rezultatów nie należy oceniać jedną miarą poprawności języka.

Negacja i warunki zmieniają działanie

Przygotujcie pary poleceń różniących się małym, ale istotnym fragmentem. Przykład pierwszy brzmi: „Przedłuż wypożyczenie, jeżeli urządzenie nie jest zarezerwowane”. Drugi: „Nie przedłużaj wypożyczenia, jeżeli urządzenie jest zarezerwowane”. Oba mogą prowadzić do podobnej decyzji, ale wymagają poprawnego powiązania zaprzeczenia z warunkiem.

Dołączcie przypadek, w którym brakuje informacji o rezerwacji. Oczekiwana reakcja powinna wynikać z projektu: pobranie aktualnego stanu albo wskazanie brakujących danych, a nie założenie, że brak wzmianki oznacza brak rezerwacji. W ocenie zapiszcie zarówno dozwolone działanie, jak i czynność, której agent nie może zaproponować.

Następnie dodajcie wyjątek: „Przedłużenie wymaga zgody opiekuna, chyba że sprzęt jest przeznaczony do zwrotu tego samego dnia”. Nie zgadujcie wspólnie, co autor miał na myśli. Jeśli instrukcja jest niejednoznaczna, oznaczcie próbę jako wymagającą wyjaśnienia. Dobry test nie nagradza pewnej odpowiedzi na źle sformułowaną regułę.

Skróty, odmiana i odwołania do dokumentu

W dokumentach roboczych skrót może mieć znaczenie znane tylko jednemu zespołowi. Dla ćwiczenia przyjmijcie, że „PW” oznacza protokół wydania. Umieśćcie tę definicję w słowniku dołączonym do zadania, a w osobnej próbie pomińcie słownik. Sprawdźcie, czy agent korzysta z dostarczonego znaczenia i sygnalizuje brak podstaw zamiast rozwijać skrót z pamięci.

Warto przygotować także polecenia z odmianą nazw i odległymi odwołaniami. Zdanie „Przekaż je opiekunowi po jego akceptacji” bez wcześniejszego kontekstu nie wskazuje jednoznacznie przedmiotu ani osoby zatwierdzającej. Oczekiwaną odpowiedzią może być pytanie doprecyzowujące. Nie każdy przykład musi kończyć się wykonaniem zadania.

Nie poprawiajcie automatycznie wszystkich literówek przed próbą, jeżeli występują w rzeczywistej pracy. Zachowajcie jednak ich oddzielną kategorię. Dzięki temu będzie wiadomo, czy problem dotyczy rozumienia zwykłego tekstu, rozpoznawania błędnego zapisu czy jakości dokumentu wejściowego.

Zapiszcie kartę próby z dowodem odpowiedzi

Każda próba potrzebuje krótkiej karty, możliwej do sprawdzenia bez uruchamiania całej aplikacji. Dla przykładowej prośby o przedłużenie wypożyczenia zapiszcie następujące informacje:

• polecenie użytkownika i dokumenty udostępnione agentowi;
• obowiązującą wersję instrukcji oraz wskazany fragment reguły;
• fakty, które odpowiedź musi uwzględnić;
• dopuszczalną decyzję i działanie zakazane;
• okoliczności wymagające pytania albo przekazania sprawy;
• sposób potwierdzenia, że wskazane źródło uzasadnia odpowiedź.

Samo podanie numeru dokumentu nie wystarcza. Oceniający powinien znaleźć fragment rzeczywiście wspierający twierdzenie. Jeżeli agent powołuje się na regulamin zwrotów, aby uzasadnić zasady przedłużania, obecność odsyłacza nie naprawia pomyłki. Warto zanotować osobno błędne źródło i błędny wniosek.

Przy dokumentach rozpoznawanych ze skanów zachowajcie również wejściowy tekst po rozpoznaniu. Pozwoli to ustalić, czy reguła została zniekształcona wcześniej. Model nie powinien otrzymywać odpowiedzialności za brakujące zdanie, którego w ogóle nie przekazano mu do analizy.

Porównujcie na tych samych warunkach

Kandydaci powinni otrzymać te same dokumenty i zadania. Zapiszcie ustawienia generowania, wersję instrukcji oraz różnice techniczne, których nie dało się usunąć. Przy zmiennych wynikach powtórzcie część prób i pokażcie rozrzut, zamiast wybierać najładniejszą odpowiedź. Krótka próbka służy wstępnej decyzji, nie daje podstaw do ogłoszenia ogólnej przewagi modelu.

Rozdzielcie ocenę języka, poprawności faktów i proponowanych działań. Dobrze napisane uzasadnienie nie może przykrywać pominiętego warunku rezerwacji. Szersze zasady takiego rozdzielenia opisuje poradnik pomiaru jakości agenta. Tutaj dodatkowo zanotujcie, które polskie konstrukcje powodują trudność, aby poprawki dotyczyły rzeczywistego problemu.

Ostatnim krokiem jest wspólny przegląd przykładów spornych. Osoba znająca proces powinna ocenić, czy przyjęta odpowiedź wzorcowa faktycznie wynika z dokumentu. Jeśli dwie kompetentne osoby rozumieją ją inaczej, najpierw poprawcie instrukcję lub kryterium. Zmiana modelu nie rozwiąże sprzeczności pozostawionej w samym zadaniu.