Analiza dokumentów prawnych z AI: jak kontrolować wynik

Czego AI nie zobaczy w umowie lub aktach

Modele językowe najczęściej zawodzą nie dlatego, że źle interpretują tekst, który widzą, lecz dlatego, że części tekstu w ogóle nie widzą albo nie wiedzą, że powinny jej szukać. W praktyce kancelaryjnej powtarza się kilka scenariuszy pominięcia:

• Dokument niekompletny na wejściu: analiza objęła umowę główną, ale nie aneks nr 3, w którym zmieniono kary umowne. System nie zasygnalizuje braku, bo nie wie, że aneks istnieje.
• Skan słabej jakości: OCR gubi wiersze tabel, przypisy, odręczne dopiski i treść pod pieczątką. Wynik wygląda na kompletny, choć powstał z dziurawego tekstu.
• Odesłania i definicje: definicja „Dnia Roboczego” z punktu pierwszego potrafi zmienić sens terminów w całej umowie, a model streszczający pojedynczą klauzulę może ją pominąć.
• Kontekst spoza dokumentu: nierynkowa cena, nierealny harmonogram czy powiązania między stronami nie wynikają z tekstu. To wiedza prawnika i klienta.
• To, czego w umowie brak: zapytany o ryzyka model opisuje klauzule, które są. Znacznie rzadziej zauważy brak klauzuli waloryzacyjnej albo brak limitu odpowiedzialności.

Dlatego rzetelna analiza dokumentów z AI zaczyna się jeszcze przed uruchomieniem narzędzia: od skompletowania materiału i sprawdzenia jakości plików, które trafią do systemu.

Dlaczego pominięcie jest groźniejsze niż błąd

Zmyśloną sygnaturę czy przekręconą datę da się wychwycić standardową weryfikacją: bierzesz odpowiedź i sprawdzasz ją w źródle. Pominięcie działa inaczej. W wyniku nie ma niczego, co można sprawdzić, streszczenie jest gładkie i spójne, przez co usypia czujność, a presja terminu robi resztę.

Praktyczna konsekwencja jest taka, że skuteczny nadzór człowieka nad AI nie może polegać wyłącznie na czytaniu tego, co narzędzie napisało. Musi obejmować pytania o to, czego w wyniku nie ma: porównanie z fizycznym dokumentem, z listą klauzul typowych dla danego rodzaju umowy i z własną wiedzą o sprawie.

Punkty kontrolne w trzech typowych zastosowaniach

Przegląd pojedynczej umowy. AI działa jak pierwsze sito: mapuje strukturę i wskazuje postanowienia odbiegające od wzorca. Kontrola to pełna lektura klauzul krytycznych oraz wszystkiego, co narzędzie oznaczyło jako niestandardowe.

Due diligence. Przy setkach umów AI robi wstępny triage. Kontrola obejmuje ręczną weryfikację wszystkich dokumentów oznaczonych jako ryzykowne, losową próbkę dokumentów „czystych” oraz, co często umyka, listę plików, których nie udało się przetworzyć: uszkodzone skany, pliki z hasłem, nietypowe formaty. Nieprzetworzony dokument to nie brak ryzyka, tylko brak wiedzy.

Streszczenia akt. Streszczenie służy jako mapa: co jest w aktach i gdzie. Kontrola polega na tym, że każdy fakt, który ma trafić do pisma procesowego, potwierdzasz na konkretnej karcie akt.

Wspólny mianownik: im wyższa dźwignia automatyzacji, tym bardziej kontrola przesuwa się z modelu „czytam wszystko” na „projektuję próbkowanie i obsługę wyjątków”. O tym, jak układać takie procesy w kancelarii, piszemy szerzej w kategorii LegalTech i automatyzacja.

Co mówią regulacje: AI Act, rekomendacje KIRP, RODO

Unijny akt o sztucznej inteligencji (rozporządzenie 2024/1689) wszedł w życie w sierpniu 2024 r. i jest stosowany etapami: od 2 sierpnia 2026 r. stosuje się m.in. obowiązki dotyczące systemów wysokiego ryzyka. Typowe narzędzie do analizy umów w kancelarii co do zasady nie będzie systemem wysokiego ryzyka, ale art. 14 AI Act, wymagający skutecznego nadzoru człowieka nad takimi systemami, jest dobrym wzorcem także dla procedur dobrowolnych: osoba nadzorująca ma rozumieć ograniczenia narzędzia, umieć dostrzec anomalie i móc zignorować lub odrzucić jego wynik.

Krajowa Izba Radców Prawnych opublikowała wiosną 2025 r. rekomendacje dotyczące korzystania przez radców prawnych z narzędzi opartych na sztucznej inteligencji: 22 rekomendacje pogrupowane wokół przygotowania, wdrażania i stosowania AI. Dokument akcentuje m.in. odpowiedzialność radcy za treści generowane z pomocą AI, ochronę tajemnicy zawodowej i konieczność zachowania kontroli człowieka nad procesem.

Na gruncie RODO trzeba pamiętać, że dokumenty prawne niemal zawsze zawierają dane osobowe. Przed przekazaniem ich do narzędzia potrzebna jest podstawa przetwarzania i umowa powierzenia z dostawcą, a zakres wgrywanych danych warto ograniczyć do niezbędnego. Czasem wystarczy fragment umowy zamiast całych akt.

Procedura: kontrola wyniku analizy dokumentu

Krok pierwszy to weryfikacja kompletności. Porównaj zakres analizy z materiałem: liczba stron, załączniki, aneksy, wersje dokumentu. Poproś narzędzie o spis sekcji i zestaw go ze spisem treści oryginału, bo każdy rozjazd oznacza, że część tekstu nie została przetworzona. Krok drugi obejmuje ręczną lekturę kluczowych klauzul: odpowiedzialność, kary umowne, wypowiedzenie i odstąpienie, poufność, prawo właściwe oraz zabezpieczenia czytasz w oryginale, a streszczenie traktujesz jak notatkę pomocniczą.

Krok trzeci polega na sprawdzeniu dat i kwot u źródła. Każdą datę, kwotę, termin i wartość procentową z odpowiedzi weryfikujesz w dokumencie, bo to na liczbach najczęściej sypie się OCR i to liczby najłatwiej przekręcić w parafrazie. Krok czwarty to konfrontacja z kontekstem biznesowym: zestawiasz wynik z celem transakcji i sytuacją klienta i pytasz, czy „standardowa” klauzula nie staje się ryzykowna właśnie w tym układzie stron.

Krok piąty dotyczy spraw o wysokiej stawce. Przy istotnej wartości transakcji lub sporu drugi prawnik niezależnie czyta kluczowe fragmenty, przy czym nie recenzuje wyniku AI, tylko sam dokument. Krok szósty zamyka procedurę: krótka notatka z kontroli, czyli co sprawdzono, na której wersji dokumentu i kto był drugim czytelnikiem. Tak udokumentowany nadzór przestaje być deklaracją, a staje się procedurą, którą można pokazać klientowi, wspólnikom albo ubezpieczycielowi.

Typowe błędy przy kontroli wyniku analizy z AI

Większość wpadek nie wynika ze złej woli ani z braku wiedzy, lecz z rutyny: gładkie streszczenie wygląda na kompletne, termin goni, a kontrola kurczy się do przejrzenia tego, co narzędzie napisało. W praktyce kancelaryjnej najczęściej powtarzają się poniższe scenariusze:

• Kontrola tylko tego, co jest w wyniku: czytanie streszczenia bez pytania o to, czego w nim brakuje, na przykład o pominięty aneks albo brak limitu odpowiedzialności.
• Zaufanie do liczb z parafrazy: przenoszenie dat, kwot i terminów z odpowiedzi narzędzia bez sprawdzenia ich w dokumencie, choć to właśnie na liczbach najczęściej sypie się OCR.
• Ignorowanie plików nieprzetworzonych: w due diligence uszkodzone skany, pliki z hasłem i nietypowe formaty znikają z pola widzenia, a nieprzetworzony dokument to nie brak ryzyka, tylko brak wiedzy.
• Cytowanie ze streszczenia: powoływanie w piśmie procesowym faktu z podsumowania akt bez potwierdzenia go na konkretnej karcie.
• Brak śladu po kontroli: bez notatki, kto i co sprawdził oraz na której wersji dokumentu, trudno wykazać nadzór przed klientem, wspólnikami czy ubezpieczycielem.
• Wgrywanie całych akt z rozpędu: przekazywanie do narzędzia dokumentów z danymi osobowymi ponad potrzebę, choć często wystarczy fragment umowy.

Najczęstsze pytania (QA)

Jak sprawdzić, czy AI przeczytało cały dokument?

Poproś narzędzie o listę sekcji lub klauzul i porównaj ją ze spisem treści oraz liczbą stron oryginału. Sprawdź też, czy w komplecie plików były wszystkie załączniki i aneksy. Brak na wejściu jest najczęstszą przyczyną pominięć.

Co zrobić, gdy analizuję skan słabej jakości?

Porównaj kilka fragmentów odpowiedzi z oryginałem, zwłaszcza tabele i liczby. Jeśli OCR gubi treść, popraw skan (wyższa rozdzielczość, ponowna digitalizacja) i uruchom analizę jeszcze raz. Do tego czasu wynik traktuj wyłącznie jako wstępny.

Kiedy angażować drugiego czytelnika?

Przy wysokiej stawce: transakcjach i sporach o istotnej wartości, nietypowych konstrukcjach umownych oraz wtedy, gdy krótki termin zwiększa ryzyko przeoczenia. Drugi czytelnik czyta dokument niezależnie, a nie tylko recenzuje wynik narzędzia.

Czy mogę powołać w piśmie procesowym fakt ze streszczenia akt przygotowanego przez AI?

Dopiero po potwierdzeniu go na konkretnej karcie akt. Streszczenie służy jako mapa materiału, a nie jako źródło cytatu. Do pisma trafia to, co zweryfikowałeś w oryginale, z dokładnym wskazaniem miejsca w aktach.

Czy narzędzie do analizy umów jest systemem wysokiego ryzyka według AI Act?

Typowe narzędzie do analizy umów w kancelarii co do zasady nie będzie systemem wysokiego ryzyka. Mimo to art. 14 AI Act, wymagający skutecznego nadzoru człowieka nad takimi systemami, jest dobrym wzorcem także dla procedur dobrowolnych: osoba nadzorująca ma rozumieć ograniczenia narzędzia i móc odrzucić jego wynik.

Jak udokumentować kontrolę wyniku analizy?

Wystarczy krótka notatka: co sprawdzono, na której wersji dokumentu, kto czytał kluczowe fragmenty i kto był drugim czytelnikiem. Taki zapis zamienia deklarowany nadzór w procedurę, którą można pokazać klientowi, wspólnikom albo ubezpieczycielowi.