Audyt dokumentów tworzonych z pomocą AI – jakie błędy mogą wyglądać wiarygodnie, choć nimi nie są?
Artykuł nr 15
Audyt dokumentów tworzonych z pomocą AI – jakie błędy mogą wyglądać wiarygodnie, choć nimi nie są?
Adam Gierasimczuk | Expert Design
Aktualizacja: 20 września 2026 r.
Dokument przygotowany z pomocą AI może być bardzo dobrze napisany.
Może mieć:
- logiczne nagłówki;
- płynny język;
- przekonujące argumenty;
- fachowo brzmiące terminy;
- liczby;
- przypisy;
- rekomendacje;
- podsumowanie, które sprawia wrażenie profesjonalnej analizy.
I właśnie dlatego może być trudniejszy do sprawdzenia niż tekst zawierający oczywiste błędy.
Literówkę widać.
Nielogiczne zdanie zwraca uwagę.
Natomiast błędna informacja sformułowana poprawnym językiem może zostać przyjęta bez dodatkowej kontroli.
Dlatego audyt dokumentów tworzonych przez AI nie powinien zaczynać się od pytania:
„Czy ten tekst wygląda jak napisany przez AI?”
Znacznie ważniejsze jest:
„Czy każde istotne twierdzenie można potwierdzić niezależnym dowodem?”
To zupełnie inny rodzaj kontroli.
Największym ryzykiem AI nie jest dziwny tekst. Jest nim wiarygodnie wyglądający błąd
Wyobraźmy sobie fragment raportu:
„W latach 2022–2025 liczba użytkowników wzrosła o 37%, co było bezpośrednim skutkiem wdrożenia programu X.”
Zdanie wygląda profesjonalnie.
Ale zawiera co najmniej kilka osobnych twierdzeń:
- istniała określona liczba użytkowników w 2022 r.;
- istniała określona liczba użytkowników w 2025 r.;
- wzrost rzeczywiście wynosi 37%;
- dane dotyczą tej samej populacji;
- zmiana nastąpiła dzięki programowi X;
- istnieje podstawa do wniosku przyczynowego.
AI może prawidłowo odtworzyć część z tych elementów i jednocześnie dopowiedzieć pozostałe.
W efekcie otrzymujemy zdanie, które brzmi spójnie jako całość, choć tylko część jego składników została potwierdzona.
Nie każdy błąd AI jest „halucynacją”
Słowo „halucynacja” jest często używane zbyt szeroko.
Dokument przygotowany z pomocą AI może zawierać kilka różnych klas problemów.
Typologia błędów AI
| Typ błędu | Przykład |
|---|---|
| Źródłowy | model wskazuje publikację, która nie potwierdza tezy |
| Faktyczny | błędna data, nazwa, wartość lub zdarzenie |
| Zakresu | prawdziwy wynik zostaje uogólniony na inną populację |
| Logiczny | wniosek nie wynika z przesłanek |
| Liczbowy | prawdziwe dane prowadzą do błędnego obliczenia |
| Wersji | użyto starego dokumentu lub przepisu |
| Kontekstowy | fragment jest prawdziwy, ale nie dotyczy analizowanej sytuacji |
Te błędy wymagają różnych testów.
Samo pytanie:
„czy AI coś zmyśliło?”
jest więc zbyt wąskie.
Błąd źródłowy – źródło istnieje, ale nie potwierdza twierdzenia
To jeden z najbardziej podstępnych problemów.
AI może wskazać:
- prawdziwy raport;
- prawdziwą instytucję;
- prawdziwego autora;
- właściwy rok.
Po otwarciu publikacji okazuje się jednak, że cytowane twierdzenie:
- dotyczy innej grupy;
- pochodzi z innej części badania;
- nie występuje w źródle;
- jest znacznie mocniejsze niż wniosek autorów.
Dlatego weryfikacja powinna obejmować relację:
twierdzenie ↔ konkretny dowód
a nie tylko:
przypis ↔ istniejąca publikacja
Więcej o tej metodzie opisuję w artykule Weryfikacja źródeł w raporcie.
AI może połączyć kilka prawdziwych fragmentów w jeden fałszywy wniosek
To szczególnie ważna kategoria.
Załóżmy, że prawdziwe są trzy informacje:
- w 2024 r. uruchomiono program;
- w 2025 r. wzrósł określony wskaźnik;
- program miał wpływać na obszar związany z tym wskaźnikiem.
Z tych trzech faktów nie wynika automatycznie:
„Program spowodował wzrost wskaźnika.”
AI może jednak płynnie połączyć fakty w narrację przyczynową.
Błąd nie polega wtedy na wymyśleniu poszczególnych elementów.
Polega na nieuprawnionym połączeniu prawdziwych elementów.
Prawdziwa liczba może znaleźć się w niewłaściwym kontekście
Przykład:
Źródło:
42%.
Raport AI:
„42% wszystkich przedsiębiorstw w Polsce…”
Po sprawdzeniu okazuje się, że 42% dotyczyło:
firm uczestniczących w jednym badaniu branżowym.
Liczba jest prawdziwa.
Zdanie nadal jest błędne.
Dlatego warto sprawdzać zawsze:
liczba + populacja + okres + definicja + źródło
Błąd zakresu – AI bardzo łatwo przechodzi od „części” do „całości”
Przykład:
Źródło:
badanie 350 przedsiębiorstw sektora produkcyjnego.
Dokument:
„Polskie przedsiębiorstwa wskazują…”
To może być zbyt szerokie uogólnienie.
Inne przykłady:
jedna grupa → wszyscy użytkownicy
jeden region → cały kraj
jeden rok → długotrwały trend
jedna branża → cała gospodarka
jedna próbka → cała populacja
Tekst może wyglądać naturalnie, ale jego zakres został rozszerzony poza dostępny dowód.
Błąd logiczny – wszystkie zdania są prawdziwe, lecz wniosek nadal jest błędny
Przykład:
Firma zwiększyła budżet na marketing.
Sprzedaż w kolejnym roku wzrosła.
Zatem zwiększenie budżetu marketingowego spowodowało wzrost sprzedaży.
Pierwsze dwa zdania mogą być prawdziwe.
Trzecie wymaga dodatkowego dowodu.
To ważne, ponieważ AI jest bardzo dobre w tworzeniu płynnych przejść pomiędzy faktami.
Płynność argumentacji nie jest jednak dowodem poprawności logicznej.
Błąd liczbowy – AI może prawidłowo odczytać dane i źle je przeliczyć albo zinterpretować
Dokument może zawierać:
wzrost z 80 do 100 = wzrost o 25%.
To jest poprawne.
Ale równie łatwo może pojawić się:
spadek ze 100 do 80 = spadek o 25%.
To już nie jest prawidłowe.
Spadek wynosi 20%.
Podobne problemy dotyczą:
- procentów;
- punktów procentowych;
- średnich;
- udziałów;
- dynamiki;
- zmian rok do roku;
- zaokrągleń;
- jednostek.
Dlatego liczby generowane albo przetwarzane z pomocą AI warto niezależnie przeliczać.
Pomocna jest tu metoda opisana w artykule Audyt liczb, tabel i obliczeń.
Błąd wersji – prawdziwa informacja może być już nieaktualna
AI może korzystać z informacji dotyczącej:
- starej ustawy;
- wcześniejszego regulaminu;
- poprzedniej wersji raportu;
- dawnej nazwy instytucji;
- poprzedniego harmonogramu;
- starszego cennika;
- wcześniejszej wersji dokumentacji technicznej.
Informacja nie musi być zmyślona.
Może być po prostu nieaktualna dla analizowanego momentu.
Dlatego szczególnie przy dokumentach:
- prawnych;
- publicznych;
- technicznych;
- finansowych;
trzeba kontrolować:
źródło + wersję + datę
Błąd kontekstowy – jeden z najtrudniejszych do zauważenia
Tekst może być prawdziwy, ale pochodzić z innego projektu.
Przykład:
Dokument dotyczy województwa A.
W załączniku występuje wymaganie odnoszące się do województwa B.
Wymaganie samo w sobie może być poprawne.
Problemem jest kontekst.
Takie sytuacje mogą powstawać również wtedy, gdy AI korzysta z:
- przykładu;
- wcześniejszego projektu;
- dokumentu referencyjnego;
- danych podobnej organizacji.
Dlatego audyt powinien pytać:
Czy ta informacja jest nie tylko prawdziwa, ale także właściwa dla tego dokumentu?
Najważniejsza zasada: AI nie powinno mieć prawa wypełniać niewiadomej pewnym twierdzeniem
Ważne dokumenty często zawierają luki.
Na przykład:
brak danych za 2025 r.
Bezpieczna odpowiedź:
brak danych / nie zweryfikowano
Niebezpieczna:
oszacowanie przedstawione tak, jakby było faktem.
Dlatego w pracy audytowej warto rozróżniać status dowodowy.
Evidence Status – sześć poziomów pewności
| Status | Znaczenie |
|---|---|
| VERIFIED | twierdzenie zostało potwierdzone w źródle |
| PARTIAL | potwierdzono tylko część twierdzenia |
| INFERRED | wniosek jest logiczną inferencją, a nie bezpośrednim faktem |
| UNVERIFIED | nie udało się potwierdzić |
| CONFLICT | wiarygodne źródła są sprzeczne |
| FALSE | dostępny dowód przeczy twierdzeniu |
Takie oznaczenia są znacznie bardziej użyteczne niż model:
prawda / fałsz
bo wiele realnych problemów znajduje się pomiędzy tymi dwoma kategoriami.
Przykład Evidence Status
Twierdzenie:
„Projekt zostanie zakończony w grudniu.”
Dokument A:
zakończenie 31 grudnia.
Harmonogram:
ostatni etap 15 stycznia.
Status:
CONFLICT
Nie należy automatycznie wybierać jednej daty.
Najpierw trzeba ustalić hierarchię dokumentów i właściwą wersję.
Kategoryczny język AI powinien uruchamiać dodatkowy test
Szczególnej kontroli wymagają sformułowania:
- „zawsze”;
- „wszyscy”;
- „jednoznacznie”;
- „bez wątpienia”;
- „udowodniono”;
- „powoduje”;
- „najważniejszy czynnik”;
- „jedyną przyczyną jest”.
Im mocniejsze zdanie, tym mocniejszy powinien być dowód.
Dobry audyt nie polega na automatycznym usuwaniu zdecydowanego języka.
Polega na sprawdzaniu, czy poziom pewności w zdaniu odpowiada poziomowi pewności w dowodach.
Źródła syntetyzowane przez AI – szczególne miejsce ryzyka
Model może otrzymać pięć dokumentów i przygotować wspólne podsumowanie.
To bardzo użyteczne.
Ale właśnie podczas syntezy może powstać nowy problem.
Źródło A:
12 miesięcy.
Źródło B:
24 miesiące.
AI:
„Standardowy okres wynosi 18 miesięcy.”
Taka wartość może być logiczną „średnią narracyjną”, która nie występuje w żadnym źródle.
Dlatego synteza nie powinna tworzyć nowego faktu bez jasnego oznaczenia.
Claim Provenance – każde ważne twierdzenie powinno mieć pochodzenie
Przy dokumentach wysokiego znaczenia warto zbudować prostą mapę:
| Claim ID | Twierdzenie | Źródło | Status |
|---|---|---|---|
| C-001 | wartość projektu: 14 mln zł | budżet v4 | VERIFIED |
| C-002 | wzrost wyniósł 18% | obliczenie z tabeli 7 | VERIFIED |
| C-003 | wzrost wynika z programu X | brak bezpośredniego dowodu | INFERRED |
| C-004 | obowiązuje termin 90 dni | dwa sprzeczne dokumenty | CONFLICT |
To jest Claim Provenance – ślad pochodzenia twierdzenia.
Atomic Claim Audit – nie sprawdzaj całego zdania jednym ruchem
Jeżeli AI generuje zdanie:
„W 2025 r. rynek wzrósł o 18%, głównie dzięki inwestycjom publicznym, co potwierdzają dane instytucji X.”
to nie jest jedno twierdzenie.
Można je rozbić na:
- rynek wzrósł;
- wzrost wyniósł 18%;
- wzrost dotyczył 2025 r.;
- główną przyczyną były inwestycje publiczne;
- instytucja X potwierdza tę zależność.
Każdy element może otrzymać osobny status.
To jest Atomic Claim Audit.
Dlaczego Atomic Claim Audit działa?
Bo AI często tworzy zdania składające się z:
faktu + interpretacji + przyczynowości + oceny
a człowiek odczytuje je jako jedną całość.
Rozbicie zdania pozwala zobaczyć:
które fragmenty są dowodem,
a które:
interpretacją albo dopowiedzeniem.
AI Red Flag Scan – które fragmenty sprawdzać najpierw?
Jeżeli dokument ma 200 stron, nie zawsze trzeba zaczynać od każdego zdania.
Można najpierw wyszukać elementy wysokiego ryzyka:
- liczby;
- daty;
- kwoty;
- procenty;
- nazwy aktów prawnych;
- cytaty;
- przypisy;
- konkretne nazwiska;
- twierdzenia przyczynowe;
- superlatywy;
- rekomendacje;
- fragmenty wymagające aktualnych informacji.
To jest AI Red Flag Scan.
Najbardziej niebezpieczny błąd AI może się sam propagować
Wyobraźmy sobie, że w pierwszej części raportu pojawia się błędna liczba:
4,8 mln zł.
Następnie AI wykorzystuje ją do:
- tabeli;
- procentu;
- prognozy;
- podsumowania;
- rekomendacji.
Powstaje dokument wewnętrznie bardzo spójny.
Wszystkie części zgadzają się ze sobą.
Problem w tym, że cały łańcuch opiera się na błędnym punkcie startowym.
Dlatego sama spójność wewnętrzna nie wystarcza.
Trzeba kontrolować źródło pierwszej wartości.
AI może perfekcyjnie poprawić styl błędnego twierdzenia
Przykład:
Wersja początkowa:
„chyba koszt był około 12 milionów”.
Po redakcji AI:
„Łączna wartość projektu wynosiła 12 mln zł.”
Zdanie jest znacznie lepsze językowo.
Ale poziom niepewności zniknął.
To bardzo ważne ryzyko.
AI może nie tylko poprawić tekst.
Może również nieświadomie:
zamienić przypuszczenie w fakt.
Kontrola AI powinna zachowywać informację o niepewności
Jeżeli źródło mówi:
około 12 mln zł,
raport nie powinien bez podstawy zmieniać tego na:
dokładnie 12 mln zł.
Jeżeli źródło mówi:
„może wskazywać”,
AI nie powinno automatycznie pisać:
„potwierdza”.
To jest błąd modalności – zmiana poziomu pewności twierdzenia.
Czy AI może samo sprawdzić tekst, który wygenerowało?
Może znaleźć część własnych problemów.
Ale nie jest to niezależna weryfikacja.
Ten sam model może:
- ponownie użyć tego samego błędnego założenia;
- ponownie przytoczyć to samo źródło;
- nie zauważyć własnego uogólnienia;
- stworzyć nowe uzasadnienie dla wcześniejszego błędu.
Dlatego model:
AI generuje → AI sprawdza
jest lepszy niż brak kontroli.
Ale nie jest równoważny:
AI generuje → źródło pierwotne potwierdza → człowiek zatwierdza
Czy warto pytać drugie AI?
Może to być użyteczne jako:
- dodatkowy screening;
- próba falsyfikacji;
- alternatywna interpretacja.
Ale dwa modele AI nie tworzą automatycznie dwóch niezależnych źródeł prawdy.
Oba mogą korzystać:
- z podobnych danych;
- z podobnego sposobu wnioskowania;
- z tej samej błędnej informacji.
Ostatecznym dowodem powinien pozostać materiał źródłowy.
AI Error Register – rejestr błędów zamiast przypadkowych poprawek
Przy ważnym dokumencie warto prowadzić prosty rejestr.
| ID | Twierdzenie | Typ problemu | Evidence Status | Działanie |
|---|---|---|---|---|
| AI-01 | wzrost 27% | liczbowy | FALSE | ponownie obliczyć |
| AI-02 | raport X potwierdza tezę | źródłowy | UNVERIFIED | otworzyć publikację |
| AI-03 | program spowodował zmianę | logiczny | INFERRED | osłabić język lub dostarczyć dowód |
| AI-04 | termin 120 dni | wersja | CONFLICT | ustalić aktualny dokument |
| AI-05 | dane dla całej Polski | zakres | PARTIAL | zawęzić twierdzenie |
To jest AI Error Register.
Dzięki niemu kontrola jest odtwarzalna.
Audyt dokumentu AI nie jest „wykrywaczem AI”
To ważne rozróżnienie.
Celem nie powinno być:
„udowodnienie, że tekst napisała sztuczna inteligencja”.
Nawet jeżeli dokument został przygotowany w całości przez człowieka, może zawierać:
- błędne liczby;
- niewłaściwe źródła;
- nieaktualne dane;
- nieuprawnione wnioski.
I odwrotnie:
dokument tworzony z pomocą AI może być bardzo dobrze udokumentowany.
Dlatego znacznie praktyczniejsze pytanie brzmi:
Czy treść jest weryfikowalna?
Jak może wyglądać audyt dokumentu przygotowanego z pomocą AI?
Przykładowa sekwencja:
1. Corpus Freeze
Ustalamy wersję dokumentu.
2. AI Red Flag Scan
Wyszukujemy elementy wysokiego ryzyka.
3. Atomic Claim Audit
Rozbijamy złożone twierdzenia.
4. Source Verification
Sprawdzamy źródła.
5. Numeric Reperformance
Ponownie liczymy kluczowe wartości.
6. Context Check
Sprawdzamy zakres i wersje.
7. Evidence Status
Nadajemy status twierdzeniom.
8. Human Decision Gate
Człowiek zatwierdza finalne ustalenia.
Modelowy przykład: tekst wygląda idealnie, ale trzy warstwy są błędne
Załóżmy raport AI:
„W 2025 r. liczba użytkowników wzrosła o 35%, co potwierdza skuteczność nowego programu.”
Audyt:
Warstwa 1 – liczba
Dane pokazują:
100 000 → 125 000.
Wzrost:
25%, nie 35%.
Status:
FALSE
Warstwa 2 – zakres
Dane dotyczą tylko użytkowników zarejestrowanych.
Raport mówi o wszystkich użytkownikach.
Status:
PARTIAL
Warstwa 3 – przyczynowość
Nie ma dowodu, że wzrost został spowodowany programem.
Status:
INFERRED
Jedno profesjonalnie brzmiące zdanie zawiera więc trzy różne problemy.
Nie każde ustalenie trzeba usuwać
Jeżeli problem dotyczy poziomu pewności, często wystarczy zmienić sformułowanie.
Zamiast:
„Program spowodował wzrost zainteresowania.”
można napisać:
„Wzrost zainteresowania wystąpił po uruchomieniu programu; dostępne dane nie pozwalają jednak samodzielnie potwierdzić związku przyczynowego.”
To zachowuje użyteczną informację bez udawania większej pewności.
Kiedy audyt dokumentu AI jest szczególnie ważny?
Szczególną ostrożność warto zachować, gdy dokument:
- ma zostać opublikowany;
- trafia do zarządu;
- trafia do urzędu;
- zawiera dane finansowe;
- cytuje prawo;
- zawiera wiele źródeł;
- zawiera rekomendacje;
- będzie podstawą decyzji;
- został przygotowany szybko;
- powstał w dużej części automatycznie.
W tych przypadkach koszt wiarygodnie wyglądającego błędu może być znacznie większy niż koszt dodatkowej weryfikacji.
Co klient powinien otrzymać po audycie AI?
W zależności od zakresu:
- listę twierdzeń krytycznych;
- rejestr źródeł;
- Evidence Status;
- ponowne obliczenia;
- AI Error Register;
- listę konfliktów wersji;
- wskazanie uogólnień;
- kontrolę wniosków;
- rekomendacje;
- finalny re-audit.
Najważniejszy rezultat nie powinien brzmieć:
„AI popełniło 17 błędów.”
Znacznie bardziej użyteczne jest:
które twierdzenia są potwierdzone, które niepewne i które wymagają poprawy przed wykorzystaniem dokumentu.
Dziesięć pytań przed zaakceptowaniem dokumentu tworzonego z pomocą AI
- Czy każde kluczowe twierdzenie ma źródło?
- Czy źródło rzeczywiście je potwierdza?
- Czy liczby zostały niezależnie przeliczone?
- Czy użyto właściwych wersji dokumentów?
- Czy zakres źródła odpowiada zakresowi zdania?
- Czy AI nie zamieniło korelacji w przyczynowość?
- Czy przypuszczenie nie zostało przedstawione jako fakt?
- Czy nie połączono kilku prawdziwych informacji w nieuprawniony wniosek?
- Czy ważne twierdzenia mają właściwy Evidence Status?
- Czy człowiek zatwierdził finalne wnioski?
Jeżeli przy którymś z nich odpowiedź brzmi:
„nie wiem”
to właśnie tam należy rozpocząć kontrolę.
Najczęstsze pytania
Czy każdy tekst AI zawiera błędy?
Nie. Sam fakt użycia AI nie oznacza, że dokument jest błędny.
Czy można automatycznie wykryć wszystkie halucynacje?
Nie. Potrzebna jest weryfikacja względem źródeł.
Czy prawdziwy przypis gwarantuje poprawność?
Nie. Źródło może nie potwierdzać dokładnego twierdzenia.
Czy AI może sprawdzić własny tekst?
Może wykonać dodatkowy przebieg, ale nie zastępuje niezależnego dowodu.
Czy każdy błąd AI jest halucynacją?
Nie. Może chodzić również o błędny zakres, logikę, wersję, jednostkę albo interpretację.
Czy audyt AI zastępuje korektę?
Nie. Korekta językowa i kontrola faktów to dwie różne warstwy.
Nie pytaj, czy dokument „brzmi jak AI”. Zapytaj, czy można go udowodnić
To najważniejsza zasada.
Największym ryzykiem generatywnej AI nie jest charakterystyczny styl.
Jest nim możliwość otrzymania tekstu, który:
- brzmi poprawnie;
- wygląda ekspercko;
- tworzy logiczną narrację;
ale zawiera twierdzenie, którego nikt jeszcze nie sprawdził.
Dlatego bezpieczny model wygląda tak:
AI GENERUJE → CLAIMY SĄ ROZBIJANE → ŹRÓDŁA SĄ SPRAWDZANE → LICZBY SĄ ODTWARZANE → STATUS DOWODOWY JEST NADAWANY → CZŁOWIEK ZATWIERDZA
Jeżeli dokument był przygotowywany z intensywną pomocą AI, nie zawsze trzeba audytować całość od początku.
Można rozpocząć od:
- najważniejszych faktów;
- liczb;
- źródeł;
- podstaw prawnych;
- rekomendacji;
- zdań przyczynowych.
Jeżeli materiał zawiera dużo źródeł, pomocny będzie również audyt źródeł.
Jeżeli zawiera dużo wartości i tabel, warto połączyć go z audytem liczb i obliczeń.
Jeżeli dokument był wiele razy poprawiany, warto sprawdzić również audyt zmian i wersji dokumentów.
Opisz dokument przygotowany z pomocą AI
Dane SEO
1. Meta title: Audyt dokumentów tworzonych przez AI – jakie błędy?
2. Meta opis: Jak sprawdzić dokument przygotowany z pomocą AI? Poznaj typologię błędów AI: źródła, liczby, logikę, wersje i błędy kontekstowe.
3. Tagi: audyt dokumentów AI, dokumenty tworzone przez AI, błędy AI, weryfikacja AI, halucynacje AI, audyt źródeł, kontrola dokumentów, generatywna AI
4. Fraza kluczowa: audyt dokumentów tworzonych przez AI
5. Uproszczona nazwa: audyt-dokumentow-tworzonych-przez-ai