KPI dla pracy prawnika z AI: jak mierzyć efektywność

Po 90 dniach partner pyta o dowody, nie o wrażenia

Umowa podpisana, dostępy rozdane, pierwsza faktura opłacona. Na kolegium słychać, że „narzędzie fajnie przyspiesza research”, i często to jedyny raport, jaki partner zarządzający dostaje. Entuzjazm zespołu jest ważnym sygnałem, ale nie jest dowodem, że inwestycja się broni, a tym bardziej, że nie odbija się na jakości pracy.

Po kwartale powinny paść odpowiedzi na trzy pytania. Czy research jest mierzalnie szybszy niż przed wdrożeniem? Czy jakość, czyli kompletność źródeł i liczba błędów wyłapywanych przez seniorów, nie spadła? I czy zespół w ogóle używa narzędzia, czy licencje leżą odłogiem? Bez tych danych decyzja o przedłużeniu umowy jest zgadywaniem, z nimi staje się zwykłą decyzją zarządczą. Dlatego całe wdrożenie AI w kancelarii warto od pierwszego dnia planować z punktem kontrolnym po kwartale i z ustalonym z góry zestawem wskaźników.

Zasada nadrzędna: szybkość zawsze w parze z jakością

Najczęstszy grzech pomiaru wygląda tak: kancelaria mierzy wyłącznie szybkość. Zespół szybko się uczy, że nagradzane jest tempo, i zaczyna oddawać wyniki bez pełnej weryfikacji źródeł. Wskaźnik rośnie, jakość spada, a problem wychodzi dopiero przy sprawie, w której nieaktualny przepis trafił do opinii. Ludzie optymalizują to, co jest mierzone, a nie to, co jest ważne.

Stąd żelazna reguła: każda metryka szybkości ma przypiętą metrykę jakości i obie czyta się razem. Czas researchu na sprawę łączy się z odsetkiem wyników z kompletem źródeł. Liczba dokumentów przygotowanych przez juniorów idzie w parze z liczbą merytorycznych poprawek seniora. Terminowość zestawia się z satysfakcją zespołu, bo dowożenie terminów kosztem chronicznych nadgodzin nie jest sukcesem wdrożenia. Takie parowanie wskaźników to fundament całego obszaru KPI i efektywność pracy z AI: bez niego każdy pojedynczy pomiar może mylić.

Jest też wymiar formalny. Rekomendacje KIRP dotyczące korzystania przez radców prawnych z narzędzi opartych na AI (2025) konsekwentnie podkreślają, że odpowiedzialność za treść i weryfikację wyników zawsze ponosi prawnik. Metryki jakości nie są więc tylko narzędziem zarządczym. Dokumentują, że nadzór człowieka nad wynikami AI faktycznie działa.

Pięć wskaźników na start: definicje i sposób pomiaru

Do startu wystarczy pięć KPI. Ważniejsze od ich liczby są precyzyjne definicje, bo bez nich każdy w zespole będzie raportował co innego.

• Czas researchu na sprawę (przed/po): pomiar na próbce 10-15 typowych zadań researchowych, nie na wszystkim. Wartość bazowa pochodzi z timesheetów z 4 tygodni przed wdrożeniem, a po 90 dniach porównuje się średnie dla podobnych kategorii spraw.
• Odsetek wyników z kompletem źródeł: „komplet” oznacza wskazany przepis, orzecznictwo z sygnaturą, datę sprawdzenia aktualności i kontekst, w jakim źródło zostało użyte. Senior wyrywkowo weryfikuje 5-10 odpowiedzi miesięcznie i odnotowuje braki.
• Liczba poprawek seniora na dokument juniora: liczą się wyłącznie poprawki merytoryczne (błędne lub nieistniejące źródło, nieaktualny przepis, wniosek bez pokrycia), nie stylistyczne. Średnia na dokument, raportowana co miesiąc.
• Terminowość: odsetek zadań oddanych w wewnętrznym terminie, na podstawie danych z systemu zadań albo zwykłej kolumny w arkuszu.
• Satysfakcja zespołu: anonimowa ankieta z 2-3 pytaniami w skali 1-5, wysyłana co miesiąc: czy narzędzie pomaga, gdzie przeszkadza, czego brakuje. Bez anonimowości wyniki będą grzecznościowe.

Wskaźniki drugi i trzeci to serce systemu, bo razem pokazują, czy przyspieszenie nie odbywa się kosztem rzetelności źródeł, na której opiera się cała praca prawnika z AI. Pomiar warto przy tym związać z fazą testów. Dobrze zaprojektowany pilotaż AI w kancelarii daje naturalną grupę porównawczą: zespół pilotażowy pracuje z narzędziem, reszta po staremu, a różnice w czasie i jakości widać bez skomplikowanej metodologii.

Progi decyzyjne po kwartale: zielone, żółte i czerwone światło

Wyniki po 90 dniach czyta się przez trzy scenariusze. Zielone światło: czas researchu spadł zauważalnie (kancelarie celują zwykle w przedział 20-40 proc. na typowych zadaniach), a wskaźniki jakości stoją w miejscu lub rosną. Narzędzie można wtedy rozszerzać na kolejne zespoły i typy spraw. Żółte światło: jest szybciej, ale poprawek seniora przybywa. To sygnał, żeby zawęzić zastosowania do zadań, w których narzędzie radzi sobie najlepiej, i doszkolić zespół z weryfikacji źródeł, a nie powód do rezygnacji. Czerwone światło: zespół narzędzia po prostu nie używa. Wtedy problemem nie jest AI, tylko dobór zadań albo sposób wdrożenia.

Szkolenie i pomiar jakości mają zresztą oparcie w przepisach: art. 4 AI Act (rozporządzenie 2024/1689), stosowany od 2 lutego 2025 r., wymaga od dostawców i podmiotów stosujących systemy AI podejmowania środków zapewniających wystarczający poziom kompetencji personelu w zakresie AI. Arkusz KPI, który pokazuje, jak zespół weryfikuje wyniki i jak zmienia się jakość pracy, jest praktycznym i udokumentowanym elementem realizacji tego obowiązku.

Ostatnia uwaga: nie mierz wszystkiego. ROI liczone co do złotówki, statystyki wykorzystania funkcji czy porównania między prawnikami zostaw na później, albo na nigdy, jeśli miałyby służyć rankingowaniu ludzi. Pięć wskaźników czytanych parami odpowiada na jedyne pytania, które po 90 dniach naprawdę interesują partnera zarządzającego: czy jest szybciej i czy nie jest gorzej.

Procedura: pomiar efektywności pracy z AI krok po kroku

Krok pierwszy polega na zmierzeniu wartości bazowych jeszcze przed uruchomieniem narzędzia. Z timesheetów z ostatnich 4 tygodni trzeba wyciągnąć średni czas researchu dla typowych kategorii spraw, a od seniorów zebrać dane o liczbie merytorycznych poprawek na dokument. Jeśli ten krok zostanie pominięty, po 90 dniach nie będzie do czego porównać wyników i żaden wskaźnik tego nie naprawi.

Krok drugi obejmuje przygotowanie prostego arkusza kalkulacyjnego: pięć wierszy (wskaźnik, wartość bazowa, wartość bieżąca, trend, uwagi) i jedna zakładka na miesiąc w zupełności wystarczą na pierwsze pół roku. Krok trzeci to wyznaczenie jednej osoby odpowiedzialnej za pomiar, zwykle wspólnika albo seniora nadzorującego projekt, bo rozproszona odpowiedzialność kończy się pustym plikiem. Realny koszt prowadzenia arkusza to 1-2 godziny miesięcznie.

Krok czwarty to comiesięczne zbieranie danych: senior wyrywkowo weryfikuje 5-10 odpowiedzi pod kątem kompletu źródeł, zespół wypełnia anonimową ankietę, a terminowość spisuje się z systemu zadań. Krok piąty następuje po 90 dniach i obejmuje porównanie wyników z wartościami bazowymi oraz decyzję według progów: zielone światło oznacza rozszerzanie wdrożenia, żółte korektę zakresu zastosowań i doszkolenie zespołu, a czerwone powrót do doboru zadań i sposobu wdrożenia.

Typowe błędy przy mierzeniu efektywności pracy z AI

Większość wpadek pomiarowych powtarza się w kancelariach niezależnie od ich wielkości. Wszystkie da się wyeliminować na etapie projektowania arkusza, zanim zniekształcą pierwsze wyniki.

• Mierzenie samej szybkości: zespół optymalizuje tempo kosztem weryfikacji źródeł, a problem wychodzi dopiero przy sprawie z nieaktualnym przepisem w opinii.
• Brak wartości bazowej: bez pomiaru sprzed wdrożenia wynik po 90 dniach wisi w próżni i każdą interpretację można podważyć.
• Rozproszona odpowiedzialność: gdy arkusz „prowadzi cały zespół”, w praktyce nie prowadzi go nikt i plik zostaje pusty.
• Liczenie poprawek stylistycznych razem z merytorycznymi: zawyża wskaźnik i ukrywa realny obraz jakości; liczyć trzeba tylko błędne źródła, nieaktualne przepisy i wnioski bez pokrycia.
• Mierzenie wszystkiego: rozbudowane dashboardy, ROI co do złotówki i rankingi prawników zabijają prosty system, zanim zdąży on odpowiedzieć na podstawowe pytania.
• Nieanonimowa ankieta satysfakcji: wyniki robią się grzecznościowe i przestają cokolwiek mówić o realnym korzystaniu z narzędzia.

Najczęstsze pytania (QA)

Ile zadań wystarczy, żeby pomiar czasu researchu był wiarygodny?

W praktyce 10-15 typowych zadań researchowych na kwartał. Ważniejsze od liczby jest porównywanie podobnych kategorii spraw. Zestawienie prostego zapytania z wielowątkową analizą due diligence zafałszuje wynik.

Kto powinien prowadzić arkusz KPI w małej kancelarii?

Jedna wyznaczona osoba, zwykle wspólnik albo senior nadzorujący wdrożenie. Realny koszt to 1-2 godziny miesięcznie. Rozproszenie odpowiedzialności na cały zespół kończy się pustym arkuszem.

Co zrobić, gdy czas researchu spadł, ale poprawek seniora przybyło?

Zawęzić zakres zastosowań do zadań, w których narzędzie sprawdza się najlepiej, i przeszkolić zespół z weryfikacji źródeł. To typowy scenariusz „żółtego światła”. Koryguje się go zmianą praktyki, nie rezygnacją z narzędzia.

Jaki spadek czasu researchu uznaje się za dobry wynik po 90 dniach?

Kancelarie celują zwykle w przedział 20-40 proc. na typowych zadaniach. Warunek jest jeden: komplet źródeł i liczba poprawek seniora muszą stać w miejscu albo się poprawiać. Samo przyspieszenie bez tej kontroli nic nie mówi.

Co w praktyce oznacza „komplet źródeł”?

Wskazany przepis, orzecznictwo z sygnaturą, datę sprawdzenia aktualności i kontekst, w jakim źródło zostało użyte. Taką definicję trzeba spisać przed startem pomiaru, inaczej każdy senior będzie oceniał według własnego wyczucia.

Czy do pomiaru KPI potrzebne jest dodatkowe oprogramowanie?

Nie. Arkusz kalkulacyjny z pięcioma wierszami i zakładką na każdy miesiąc wystarczy na pierwsze pół roku. Dashboardy i automatyzacje mają sens dopiero wtedy, gdy prosty system się przyjmie.

Czy wyniki KPI trzeba komukolwiek raportować na zewnątrz?

Nie ma takiego obowiązku, to narzędzie wewnętrzne. Warto je jednak archiwizować, bo dokumentują nadzór prawnika nad wynikami AI. Przydaje się to w rozmowach z klientami i przy audytach wewnętrznych.