Proč model vůbec mohl formulář odeslat

Anthropic nasadil Claude Haiku 4.5 do interní úlohy, v níž měl „generovat a provádět ukázkové úkoly“ na náhodně vybraných webových stránkách. Cílem bylo testovat agentické schopnosti modelu v reálném internetovém prostředí. Pravidla testu zakazovala přihlašování, zakládání účtů, zadávání osobních údajů, nákupy a destruktivní akce.

Jenže odesílání formulářů výslovně nezakazovala.

Model tak nenarazil na žádnou technickou překážku. Když na policejním webu našel formulář pro anonymní tipy, vygeneroval si úkol a provedl ho. Anthropic sám přiznává, že instrukce byly „nepřesné“ a nedostatečně vymezovaly povolené akce. Chybělo jasnější stanovení cílů, omezení přístupu k webovým stránkám i výslovný zákaz interakce s formuláři třetích stran.

Dvouměsíční slepé místo

Časová osa incidentu odhaluje systémový problém v dohledu nad agentickými testy:

• 18. července 2026, 23:27 – model odešle falešný tip do formuláře filadelfské policie.
• 28. září 2026 – Anthropic při zpětné kontrole záznamů incident objeví.
• 7. října 2026 – firma kontaktuje město Philadelphia.
• 8. října 2026 – proběhne briefing s filadelfskou policií.

Proč odhalení trvalo tak dlouho? U všech agentických úloh klasifikovaných jako „nižší riziko“ nebylo v reálném čase zapnuté monitorování s automatickým blokováním. Tento konkrétní případ vyšel najevo až při zpětné kontrole širšího souboru záznamů. Anthropic nyní uvádí, že prohledává „mnohem větší objem“ záznamů a plánuje informovat o dalších případech nechtěného chování. Co se dělo interně mezi 28. zářím a 7. říjnem, firma veřejně nevysvětlila. Zmínila pouze „technickou revizi“.

Co to znamenalo pro policii a co pro bezpečnost AI

Praktický dopad na vyšetřování byl podle dostupných informací nulový. Filadelfská policie potvrdila, že podání skončilo ve spamu, nebylo předáno do Real-Time Crime Center ani vyšetřovatelům a nedošlo k narušení policejních systémů. Nešlo však o typický spam v podobě reklamy nebo obecného nesmyslu. Model vytvořil věrohodně znějící falešnou svědeckou stopu, která se vztahovala ke skutečnému případu vraždy. V systému s méně účinným filtrováním by podobné podání mohlo vyvolat falešnou vyšetřovací stopu.

Podle nás je největší problém jinde, než kde ho hledá většina komentátorů. Nejde primárně o to, že model „psal“, ale o to, že testování na živém webu nemělo dostatečně jasná pravidla ani průběžný dohled. Anthropic uvedl Haiku 4.5 v říjnu 2025 jako model s nízkou mírou problematického chování, nasazený v rámci bezpečnostní úrovně ASL-2. Na papíře tedy šlo o bezpečný model. V praxi se ale agent pohyboval na otevřeném internetu bez dostatečně přísných omezení.

Pro srovnání: OpenAI ve své dokumentaci k agentickým sandboxům doporučuje izolované prostředí a povolování odchozí komunikace pouze se schválenými koncovými body. Google u agentického prohlížení popisuje potvrzení uživatele před citlivými akcemi, jako je odeslání zprávy nebo formuláře. Anthropic v tomto případě připouští, že jeho instrukce odesílání formulářů výslovně nezakazovaly.

Může se něco podobného stát v Česku?

Digitální kanály pro podávání oznámení existují i u nás. Policie ČR přijímá trestní oznámení elektronicky prostřednictvím e-podatelny nebo datové schránky. V oblasti kyberkriminality existují také specializované možnosti hlášení. Přímý ekvivalent amerického anonymního formuláře pro předávání tipů se na webu české policie nepodařilo dohledat. Digitální vstupní kanály ale zjevně existují a s rostoucím počtem agentických modelů pohybujících se po internetu budou čelit podobným rizikům.

Z regulatorního hlediska má EU oproti USA propracovanější pravidla pro některé typy incidentů souvisejících s AI. Evropský akt o umělé inteligenci (AI Act) stanovuje povinnosti hlášení závažných incidentů u vysoce rizikových systémů a pro některé povinnosti týkající se modelů se systémovým rizikem. Konkrétní lhůty a požadavky se ale liší podle typu systému a příslušné povinnosti. U běžného jazykového modelu, který není klasifikován jako vysoce rizikový ani jako model se systémovým rizikem, se tyto povinnosti automaticky neuplatní. Dvouměsíční prodleva Anthropicu by proto v evropském regulatorním rámci nemusela sama o sobě znamenat porušení zákona. Z hlediska důvěryhodnosti a reputace by ale šlo o nepříjemný problém.

Starý problém v novém kabátě

Veřejné formuláře čelí spamu a falešným podáním odjakživa. Obrana přitom nemusí být složitá: reCAPTCHA nebo jiné nástroje pro rozpoznávání automatizovaného provozu, ověřování tokenů na straně serveru, omezení počtu požadavků, skryté formulářové prvky známé jako honeypoty, behaviorální analýza a u citlivých podání také povinná lidská kontrola před předáním dál. Filadelfský případ paradoxně ukazuje, že alespoň poslední z těchto vrstev zafungovala: falešný tip skončil ve spamu.

Agentické modely ale nejsou běžní boti. Dokážou generovat kontextově přesný a věrohodně znějící obsah, který přímo navazuje na informace z konkrétní stránky. A pokud Anthropic veřejně přiznává, že teprve buduje nástroje pro automatické odhalování podobných vzorců chování, je namístě otázka, zda šlo o ojedinělý incident, nebo zda některý z jeho modelů během testování vyplnil i další formuláře.