Umělá inteligence je nebezpečný problém. Napsala audity, podle nichž se rozhodovaly vlády zemí. Jenže data neexistovala

Poradenské reporty od firem „velké čtyřky“ obsahovaly zdroje, které neexistují, nefungují nebo nesou přímé stopy generativní AI.

Zdroj fotografie: Pexels

Když si vláda objedná za statisíce dolarů expertní zprávu od jedné z nejprestižnějších poradenských firem světa, očekává, že každý citovaný zdroj v ní je reálný, ověřitelný a podložený. Jenže šetření detekční platformy GPTZero a následné prověření deníkem Financial Times odhalily, že nejméně čtyři veřejně dostupné reporty blízkovýchodní pobočky PwC obsahují reference s přímými stopami po chatbotech, odkazy vedoucí do prázdna a tvrzení opřená o zdroje, které říkají něco jiného, než co autoři reportu tvrdí. A PwC není jediná firma, které se to stalo. Podobné problémy už dříve zasáhly Deloitte v Austrálii a Ernst & Young v Kanadě. V těchto případech šlo o desítky halucinovaných citací, včetně neexistujících knih. Některé z těchto dokumentů přitom přímo vstupovaly do rozhodování o sociálních dávkách nebo veřejné správě. Umělá inteligence v tomto případě není jen technologická kuriozita. Je to systémové riziko.

Co přesně se v reportech PwC našlo

V otevřeně dostupných PDF dokumentech PwC Middle East se objevují tři typy problémů. Za prvé: tvrzení opřená o zdroje, které ve skutečnosti podporují něco jiného, nebo neposkytují žádnou relevantní podporu. Za druhé: odkazy obsahující parametr utm_source=chatgpt.com, technický otisk, který silně nasvědčuje tomu, že URL adresa byla převzata přímo z výstupu ChatGPT. Za třetí: nosná tvrzení podložená nestandardními zdroji typu anonymní Google Slides prezentace nebo okrajové weby bez redakční kontroly.

Parametr utm_source=chatgpt.com se přitom neobjevil jen v jednom dokumentu. Najdeme ho v reportu o ochraně kulturního dědictví v kapitálových projektech, kde odkazuje na encyklopedický portál encyclopedia.pub, i v materiálu o podvodech s deepfake technologiemi. Nejde tedy o jeden přehlédnutý odkaz. Jde o opakující se vzorec nedostatečné kontroly.

Pikantní je kontrast: ve vlastním CFO reportu PwC Middle East píše o nutnosti „odpovědné AI“, o správě, vysvětlitelnosti a transparentních procesech. Radí klientům, aby rychlost nepředbíhala kontrolu. A přitom právě kontrola zjevně selhala v materiálech, které firma sama publikovala pod svou značkou.

Deloitte a EY: když halucinace vstoupí do vládního rozhodování

Případ PwC Middle East není izolovaný. GPTZero už dříve zdokumentoval závažnější kauzy u dalších firem z „velké čtyřky“ a právě tam je nejlépe vidět, co se stane, když falešné zdroje proniknou do dokumentů s reálným dopadem.

Deloitte Australia vypracovala pro australské ministerstvo práce (DEWR) zprávu o systému Targeted Compliance Framework, mechanismu, který přímo ovlivňuje sociální dávky a sankce vůči příjemcům. GPTZero v tomto reportu identifikoval přes 30 problémů ve 141 citacích, z toho 19 až 20 pravděpodobných halucinací. Mezi nimi byly neexistující knihy připsané reálným akademikům. Ministerstvo po zjištění report opravilo, pozastavilo některé platby a požadovalo po Deloitte vrácení poslední splátky ve výši 97 587 australských dolarů (přibližně 1,5 milionu korun) z kontraktu v celkové hodnotě kolem 440 tisíc australských dolarů.

U Ernst & Young v Kanadě dopadlo šetření ještě hůře z hlediska poměru chyb: 16 z 27 referencí bylo vyhodnoceno jako halucinovaných, přičemž 72 % textu neslo znaky generování pomocí AI. Mezi smyšlenými zdroji figuroval i údajný report McKinsey o nevyzvednutých věrnostních odměnách v hodnotě 200 milionů dolarů. EY po zveřejnění zjištění studii stáhla.

Proč je tak těžké halucinace odhalit

Falešné citace generované umělou inteligencí mají jednu zákeřnou vlastnost: vypadají naprosto věrohodně. Správný formát, plausibilní název studie, reálně existující autor. Jejich odhalení vyžaduje, aby někdo fyzicky otevřel odkaz, vyhledal údajnou studii v databázi nebo kontaktoval citovaného autora. To je časově náročné a při desítkách referencí v jednom reportu se to snadno přehlédne.

GPTZero ve své technické zprávě popisuje, že nástroj Hallucination Check kombinuje lokální databáze, citační API a prohledávání otevřeného webu. Teprve jako poslední krok nastupuje analýza pomocí jazykového modelu. Klíčové je, že výstupy následně ověřují lidé, právě proto, aby se minimalizovalo riziko falešných pozitiv. Firma si zároveň vybudovala automatizovanou pipeline na systematické prohledávání veřejných reportů velkých konzultačních firem. Případy u Deloitte, EY, KPMG i PwC tak nejsou náhodné nálezy, ale výsledek cíleného auditu.

Největší nebezpečí přitom není samotná chyba v jednom dokumentu. GPTZero upozorňuje na efekt „otrávené studny“: falešné citace kontaminují další výzkum, další AI systémy je nasávají jako tréninková data a chyba se reprodukuje. Autoritativní značka poradenské firmy jí dodává legitimitu, kterou by anonymní text na internetu nikdy nezískal.

Co to znamená pro Česko

České státní instituce služby firem z „velké čtyřky“ běžně nakupují. V registru smluv najdeme bezpečnostní informační audity Deloitte Advisory pro Ministerstvo zemědělství i smlouvu na virtuální asistentku Deloitte pro Ministerstvo vnitra. Právě ta druhá smlouva obsahuje pozoruhodnou klauzuli: Deloitte v ní výslovně uvádí, že nebude ověřovat správnost informací poskytovaných asistentkou, a odpovědnost za její nasazení nese ministerstvo.

Na úrovni EU vstoupil v srpnu 2024 v platnost AI Act, který postupně zavádí povinnosti podle míry rizika. Transparentnostní pravidla pro některé AI systémy a obsahy generované umělou inteligencí se ale začnou uplatňovat až od srpna 2026. Ani pak ovšem nepůjde o automatickou povinnost fakticky kontrolovat každou placenou poradenskou zprávu. Ochrana proti halucinacím v expertních dokumentech tak v praxi stojí hlavně na zadavateli, smluvních podmínkách a interním řízení kvality.

Jak poznat podezřelý report

Pro každého, kdo pracuje s odbornými zprávami (ať už ve státní správě, nebo v soukromém sektoru), existuje několik varovných signálů:

• Otevřít dvě tři klíčové citace. Ne okrajové poznámky pod čarou, ale zdroje pod nosnými tvrzeními. Pokud odkaz vede na obecnou homepage místo konkrétní studie, je to problém.
• Hledat technické stopy. Parametr utm_source=chatgpt.com v URL je silný indikátor, že odkaz pochází z výstupu chatbota.
• Sledovat kvalitu zdrojů. Anonymní Google Slides prezentace nebo okrajový blog bez redakce nemají co dělat pod tvrzením v dokumentu za miliony.
• Dávat pozor na putující statistiky. Když stejné číslo v textu pokaždé odkazuje na jiný zdroj, pravděpodobně ho nikdo neověřoval.

Čím autoritativněji dokument vystupuje, tím důsledněji je třeba kontrolovat právě to, na čem stojí. Značka „velké čtyřky“ na obálce dnes už neznamená, že uvnitř je všechno v pořádku, znamená jen to, že případná chyba bude mít větší dosah.