Nemocniční AI systém s certifikacemi prolomili za 2 hodiny. Bez malwaru, bez krádeže hesel, stačil text v kartě pacienta

Skryté instrukce ukryté v pacientském záznamu stačily k úplné kompromitaci AI asistenta napojeného na klinické systémy, cloudové služby i platební bránu.

Zdroj fotografie: iStock

Zpráva amerického Institutu pro technologii kritické infrastruktury (ICIT) z července 2026 popisuje případ, který boří představu o tom, jak vypadá útok na nemocnici. Žádný ransomware, žádný prolomený firewall, žádné ukradené heslo. Útočník vložil do nahraného zdravotnického záznamu skrytou textovou instrukci, pro člověka neviditelnou, ale pro AI naprosto srozumitelnou. Lékař záznam otevřel v rámci běžné práce s AI asistentem, který sloužil jako „lékařský asistent“ napojený na elektronické zdravotní záznamy Epic, Veradigm EHR, komunikační platformu Halo Connect a řadu dalších backendových systémů. Model instrukci přečetl, interpretoval ji jako pokyn a během necelých dvou hodin měl útočník přístup k přihlašovacím údajům Google Cloud a AWS, klíčům k OpenAI a Anthropic, platební bráně Stripe, vektorovým databázím, klinickým přepisům i záznamům poskytovatelů péče. Přitom celé prostředí drželo certifikace SOC 2, HIPAA, ISO 27001 i GDPR. Žádný bezpečnostní alarm se nespustil.

Proč certifikace nezabraly

Když nemocnice nebo dodavatel mává certifikátem ISO 27001, říká tím, že má zavedený systém řízení informační bezpečnosti: procesy, politiky a řízení rizik. HIPAA chrání elektronické zdravotní údaje pomocí administrativních, fyzických a technických opatření. SOC 2 ověřuje kontrolní prostředí kolem bezpečnosti, dostupnosti a důvěrnosti. Všechny tyto rámce mají společného jmenovatele: řeší infrastrukturu, přístupy a procesy. Neřeší ale to, co AI model udělá, když mu někdo podstrčí škodlivý význam uvnitř jinak legitimních dat.

ICIT to formuluje přímo: žádný z těchto rámců nebyl navržen pro ochranu chování modelu za běhu, pro detekci prompt injection ani pro zabezpečení agentních workflow. Certifikace fungují jako základ, bez nich by bylo hůř. Samy o sobě ale nedokážou rozpoznat, že věta v pacientském záznamu není anamnéza, ale instrukce pro AI.

Útok, který vypadá jako normální práce

Klasický ransomwarový útok na nemocnici má jasný otisk: malware, šifrování, laterální pohyb sítí, výpadky systémů a výkupné. Bezpečnostní nástroje ho hledají podle známých vzorců: podezřelý spustitelný soubor, neautorizované přihlášení, anomální provoz. Nic z toho se tady nestalo.

Lékař otevřel pacientský záznam. AI asistent ho zpracoval. Uvnitř záznamu ale čekal text, který model přečetl jako pokyn k akci. Organizace OWASP tento princip popisuje jako nepřímý prompt injection: jazykový model nerozlišuje mezi daty a instrukcemi, takže škodlivý obsah v externím dokumentu může změnit jeho chování, aniž by šlo o tradiční exploit. Tradiční monitorovací nástroje neviděly nic podezřelého, protože workflow bylo legitimní. Lékař dělal svou práci. AI dělal svou práci. Jen ta práce najednou zahrnovala exfiltraci přístupových klíčů k několika cloudovým službám.

A nejde jen o úniky dat. ICIT za ještě zákeřnější následek označuje tichou manipulaci: změnu zdravotnických záznamů, úpravu auditních stop nebo ovlivnění navazujícího klinického rozhodování. Útok, který nikdo nezaregistruje, může trvat týdny.

Agentní AI zvyšuje sázky

Kompromitovaný chatbot, který jen odpovídá na dotazy, je problém. Kompromitovaný agent, který samostatně plánuje, volá API, přistupuje k podnikovým systémům a jedná s minimálním lidským dohledem, je katastrofa. Podle ICIT právě takové agentní systémy představují největší riziko, protože škodlivá instrukce se nepromítne jen do odpovědi, ale rovnou spustí akci. Zavolá API, změní konfiguraci, pošle zprávu nebo přesune data. Vše pod legitimními oprávněními, která agent dostal pro svou běžnou práci.

Studie publikovaná v JAMA Network Open v roce 2025 experimentálně potvrdila zranitelnost komerčních jazykových modelů vůči prompt injection v medicínském kontextu. Nejde tedy o osamělou tezi jedné zprávy, ale o systémový problém, na který upozorňuje i recenzovaný výzkum.

Co to znamená pro české nemocnice

Umělá inteligence už v českém zdravotnictví není budoucnost. Podle národního průzkumu Ministerstva zdravotnictví se AI stává běžnou součástí provozu v radiologii, administrativě i sledování pacientů. Téměř 85 % respondentů průzkumu by uvítalo jednotnou resortní strategii. FN Motol pilotuje hlasového asistenta s AI na spinální jednotce. Národní strategie elektronického zdravotnictví 2025–2035 počítá s rozšířením AI do diagnostiky, monitoringu i administrativy.

Zároveň ale tatáž strategie teprve plánuje „zásady a pravidla pro hodnocení, výběr, nasazení a dohled nad AI nástroji v provozu“. Vyhláška č. 410/2025 Sb. ukládá přiměřená bezpečnostní opatření a pravidelné skenování zranitelností, evropský AI Act požaduje logování, lidský dohled a kybernetickou odolnost u vysoce rizikových systémů. Legislativní rámec existuje. Detailní provozní metodika pro obranu proti prompt injection v nemocniční AI ale zatím zjevně chybí.

Jak se bránit útoku, který nevypadá jako útok

ICIT i OWASP se shodují na základních principech obrany:

• Omezit oprávnění AI na minimum, oddělit čtení od zápisu a od nástrojových akcí.
• Filtrovat externí obsah před tím, než se dostane do promptu; sanitizace pacientských dat není jen o formátu, ale i o významu.
• Monitorovat chování modelu v reálném čase, logovat každé volání nástroje a každý přístup k API.
• Držet člověka ve smyčce před citlivými akcemi; automatická exekuce bez potvrzení je pozvánka ke zneužití.
• Testovat na prompt injection, ne jen na compliance; audit certifikací není bezpečnostní test.

Ministerská příručka pro pacienty na portálu NZIP navíc výslovně varuje před zadáváním citlivých osobních a zdravotních údajů do běžných AI chatbotů. Dobrá rada. Jenže případ popsaný ICIT ukazuje, že problém není jen na straně pacienta, ale i na straně systému, který nedůvěryhodný obsah čte a zároveň má klíče od celé nemocnice.

Čím víc bude AI v nemocnicích napojená na klinické workflow, tím méně bude stačit razítko na certifikátu. Obrana za běhu není luxus. Je to podmínka provozu.