Dlaczego AI dopowiada treść umowy i jak sprawdzić jej odpowiedź

Scena, którą zna wiele zespołów prawnych

Scena ilustracyjna. Jest późny wieczór, jutro negocjacje. Ktoś wrzuca do czatu AI bardzo długą umowę i pyta, czy są w niej kary za wcześniejsze rozwiązanie. Odpowiedź przychodzi po kilku sekundach, jest uprzejma i pewna siebie: takich kar nie ma. Kilka dni później okazuje się, że są, w paragrafie, którego nikt nie otworzył.

Nikt tu nie zawinił złą wolą. Tak działa model językowy, jeśli narzędzie wokół niego nie sprawdza odpowiedzi w źródle. Warto rozumieć dlaczego, bo od tego zależy, jak sprawdzać odpowiedzi i jakie narzędzie wybrać.

Dlaczego model dopowiada

Model językowy nie przegląda dokumentu jak prawnik, paragraf po paragrafie. Na podstawie tekstu, który dostał, układa odpowiedź słowo po słowie, wybierając kontynuację, która najlepiej pasuje do pytania i do tego, co widział. Kiedy w tekście jest luka, model nie zatrzymuje się sam z siebie. Wypełnia ją treścią, która brzmi najbardziej prawdopodobnie. W umowach najbardziej prawdopodobne jest to, co typowe, a nie to, co akurat wynegocjowaliście.

Dlaczego model nie mówi po prostu "nie wiem"? Autorzy pracy "Why Language Models Hallucinate" wskazują, że sposób trenowania i oceniania modeli nagradza zgadywanie zamiast przyznania się do niepewności: model jest optymalizowany jak uczeń na teście, w którym strzał daje więcej punktów niż pusta kratka.¹ Najprościej ująć to tak: zwykły czat zachowuje się jak zdolny, ale nadgorliwy stażysta, który woli coś wymyślić, niż powiedzieć "nie wiem". Dlatego narzędzia do pracy na dokumentach dodają wokół modelu mechanizmy, które przy luce każą mu się zatrzymać.

Skutki bywają publiczne. W sprawie Mata przeciwko Avianca sąd federalny w Nowym Jorku ukarał pełnomocników, którzy złożyli pismo powołujące nieistniejące orzeczenia z fałszywymi cytatami, wygenerowane przez narzędzie AI.² Problem dotyczy też narzędzi projektowanych dla prawników. W badaniu zespołu Varuna Magesha i Daniela E. Ho narzędzia AI do badań prawniczych dwóch dużych wydawców podawały nieprawdziwe informacje w od 17% do 33% testowych zapytań.³ To wynik dla wyszukiwania orzecznictwa, nie dla umów, ale mechanizm jest ten sam.

W obu przypadkach problemem była treść bez sprawdzonego pokrycia w źródle. Badanie nie sprawdzało mechanizmów weryfikacji cytatu. Naszym zdaniem to ryzyko może ograniczać narzędzie, które sprawdza cytat w dokumencie, zanim pokaże go użytkownikowi.

Kiedy ryzyko jest największe

Długie umowy. Czat nie zawsze czyta cały dokument z równą uwagą. Badanie "Lost in the Middle" z 2023 r. pokazało, że ówczesne modele często gorzej wykorzystywały informacje ze środka długiego tekstu niż z jego początku i końca; badano dwa zadania: odpowiadanie na pytania na podstawie wielu dokumentów i wyszukiwanie wartości po kluczu.⁴ Klauzula schowana w połowie umowy przypomina sytuację z tego badania. Ryzyko ogranicza narzędzie, które czyta każdy dokument z zakresu w całości. Nowsze badania nad długim kontekstem zebraliśmy w przeglądzie nowości AI w pracy na dokumentach.

Aneksy zmieniające umowę. Na początku umowy jest jedna stawka, a aneks kilkadziesiąt stron dalej zmienia ją na inną. Czat, który trafi na pierwszy fragment, poda stawkę pewnie i błędnie. Nie skłamał wprost: nie zauważył, że zapis przestał obowiązywać. Narzędzie, które czyta cały komplet, może pokazać oba fragmenty obok siebie jako sprzeczność.

Rozmazane skany. Pracownik przed terminem, który nie może odczytać jednej cyfry na wyblakłej stronie, czasem wpisuje tę, która "pasuje". Czytnik tekstu oparty na modelu językowym może zrobić to samo automatycznie i bez ostrzeżenia. Kwota, data albo numer paragrafu wyglądają wtedy poprawnie, choć nie pochodzą z dokumentu. Bezpieczniejszy odczyt oznacza takie słowo jako nieczytelne i zapisuje położenie każdego słowa na oryginale.

Pytania o brak. "Czy umowa przewiduje karę?" to pytanie groźniejsze niż "ile wynosi kara?". Na drugie czat musi wskazać konkretny zapis. Na pierwsze może odpowiedzieć "nie", czego nie da się łatwo sprawdzić, bo taka odpowiedź nie wskazuje żadnego miejsca w tekście. Dlatego odpowiedź "brak danych" ma wartość tylko wtedy, gdy narzędzie przeczytało cały komplet i zapisu nie znalazło.

Jak sprawdzić odpowiedź samodzielnie

Potrzebna jest dyscyplina w zadawaniu pytań i oryginał dokumentu pod ręką.

1. Żądajcie cytatu, paragrafu i strony. Dopiszcie do pytania: "Podaj dosłowny cytat, numer paragrafu i ustępu oraz stronę. Jeśli nie znajdziesz zapisu, napisz, które strony przeczytałeś." Odpowiedź bez cytatu traktujcie jak hipotezę, nie jak ustalenie.
2. Sprawdźcie, czy cytat istnieje dosłownie. Skopiujcie z cytatu kilka kolejnych słów i wyszukajcie je w oryginale. Cytat, który "prawie się zgadza", to sygnał ostrzegawczy: model mógł go sparafrazować albo złożyć z dwóch miejsc. Przy skanie bez warstwy tekstowej przejdźcie na wskazaną stronę i przeczytajcie ją sami.
3. Przeczytajcie otoczenie cytatu. Ustęp wcześniej i ustęp później, definicje, zwroty "z zastrzeżeniem" i "z wyjątkiem". Prawdziwy cytat wyrwany z kontekstu też potrafi wprowadzić w błąd.
4. Szukajcie aneksów. Zapytajcie wprost, czy któryś dokument z kompletu zmienia wskazany paragraf. Potem sami wyszukajcie w aneksach numer tego paragrafu oraz zwroty typu "otrzymuje brzmienie" i "zmienia się".
5. Odróżniajcie "brak w dokumencie" od "nie znalazłem". Czat z plikami może odpowiadać na podstawie kilku najlepiej dopasowanych fragmentów, a wtedy nie wie, czego nie przeczytał. Jego "nie ma" może wtedy znaczyć "nie trafiłem". Zanim uznacie, że zapisu nie ma, wyszukajcie w dokumencie słowa kluczowe i ich synonimy, np. "kara umowna", "odszkodowanie", "opłata", "wypowiedzenie", "rozwiązanie".

Ta sama lista w skrócie:

Dwa pierwsze kroki zajmują chwilę i odsiewają najgroźniejszy błąd: pewny siebie cytat, którego w dokumencie nie ma.

Jak robi to AthenaVault

Te kroki da się wykonywać ręcznie przy jednym pytaniu. Przy stu umowach i kilku aneksach do każdej to już osobny projekt. Dlatego nasz moduł Verifact oddaje tabelę zamiast eseju. W każdej komórce jest dosłowny fragment dokumentu, sprawdzony w źródle, zanim go zobaczycie, z odwołaniem do paragrafu i ustępu, albo adnotacja "brak danych". Każde twierdzenie ma jeden z czterech stanów: bezpośrednio potwierdzone, wynikające z kontekstu, sprzeczne z dowodami albo brak danych.⁵ Aneks, który zmienia umowę, widać obok niej jako sprzeczność, a moduł OCR słowo nieczytelne oznacza jako nieczytelne, zamiast je zgadywać. Chcemy, żeby system działał jak audytor z długim stażem: powie "nieczytelne" albo "brak", zanim wpisze cokolwiek bez pokrycia. Tabelę można wyeksportować do xlsx z arkuszem cytatów.

Zasady i uprawnienia są zapisane w kodzie, a nie w poleceniu dla modelu, a decyzje wymagające akceptacji zatwierdza człowiek. Nie twierdzimy, że system nigdy się nie pomyli. Twierdzimy, że każdy cytat da się sprawdzić w źródle, a każda akcja zostawia ślad audytowy.