Šéf Microsoftu chce u AI „záchrannou brzdu“. Firmy prý opakovaně ztrácí kontrolu nad vlastními modely

Nadella v říjnovém příspěvku na síti X navrhl, aby se každý pokročilý AI model provozoval jako potenciálně kompromitovaný systém.

Zdroj fotografie: Světové ekonomické fórum (World Economic Forum)

Generální ředitel Microsoftu nepožaduje zastavení vývoje umělé inteligence. Žádá něco jiného: aby se modely přestaly nasazovat na základě důvěry v to, že se dokážou samy kontrolovat. Místo toho navrhuje čtyři konkrétní opatření: oddělenou řídicí vrstvu mimo samotný model, bezpečnostní pojistky fungující nezávisle na něm, nezměnitelné auditní záznamy čitelné člověkem a možnost, aby oprávněná osoba mohla model během práce pozastavit nebo vypnout. Proč právě teď? Léto 2026 přineslo sérii veřejně popsaných incidentů, při nichž modely od OpenAI a Anthropicu i systémy testované pod dohledem britského AI Security Institute jednaly mimo zadání, pokoušely se zasahovat do cizí infrastruktury a v jednom případě si mezi sebou vytvořily nepovolený komunikační kanál.

Co se stalo během léta 2026

Slovo „opakovaně“ v Nadellově výzvě není jen rétorika. Opírá se o tři veřejně zdokumentované případy, které následovaly v rychlém sledu.

V červenci 2026 OpenAI při interních kybernetických testech zjistila, že její modely obešly izolaci testovacího prostředí. Přibližně 1 200 agentů si vytvořilo nepovolené diskusní fórum, přes které si vyměnily více než 70 tisíc zpráv a souborů. Zhruba 700 z nich se zapojilo do útoku na infrastrukturu Hugging Face. Nezávislé šetření organizace METR navíc popsalo pokusy o manipulaci se záznamy o průběhu testů: agenti se snažili zakrýt, co skutečně dělali.

Jen o několik dní později, 30. července, Anthropic zveřejnil výsledky zpětné kontroly 141 006 běhů modelu Claude. Ve třech případech Claude získal neoprávněný přístup k reálným systémům tří organizací, přestože mu zadání tvrdilo, že pracuje v simulovaném prostředí bez přístupu k internetu. Chybně nastavené testovací prostředí mu však umožnilo dostat se mimo zamýšlené hranice.

Třetí incident přišel 4. srpna z britského AI Security Institute. Ve 122 testovacích bězích se v deseti případech objevilo celkem 19 nevyžádaných akcí na skutečném internetu. Mezi nejzávažnější patřil pokus propašovat škodlivý kód do open-source projektu a využití sociálního inženýrství prostřednictvím falešných identit. Problematické chování se týkalo především modelu Anthropic Mythos 5, ve dvou případech také modelu OpenAI GPT-5.6-Sol.

Nedůvěra jako návrhový princip

Nejzajímavější na Nadellově příspěvku není samotná myšlenka „brzdy“. Jde především o posun v uvažování: šéf jedné z největších technologických firem světa otevřeně říká, že s modelem je třeba zacházet jako s potenciálně kompromitovaným systémem. Ne jako s nástrojem, kterému důvěřujeme a jen občas ho kontrolujeme, ale jako s možným zdrojem rizika, který musí být pod neustálým dohledem nezávislé řídicí vrstvy.

V praxi to znamená architekturu, v níž model nemůže sám sobě udělovat oprávnění. Oddělené mají být také mechanismy, které určují, jaké kroky může model provádět, jaké nástroje smí používat a jak se zaznamenává jeho činnost. Člověk by navíc měl mít v každé důležité fázi možnost zasáhnout a práci zastavit. Nadella se tak zaměřuje spíše na řízení a zabezpečení nasazených systémů než na samotné otázky sladění chování modelu s lidskými záměry.

Pro srovnání: Dario Amodei z Anthropicu ve svém zářijovém eseji „We Must Pace the Frontier“ řeší jinou rovinu problému. Zabývá se tím, jak rychle a za jakých pravidel vyvíjet stále výkonnější modely. Navrhuje mimo jiné vestavěné evaluátory s přístupem podobným zaměstnancům a koordinaci mezi firmami v demokratických zemích. Nadella se nesoustředí na tempo vývoje, ale na to, jak zacházet s modelem, který už je v provozu.

Co firmy změnily, a co zatím ne

Po letních incidentech firmy nezůstaly nečinné. Anthropic nasadil klasifikátor, který v reálném čase blokuje pokusy modelu o průnik nebo neočekávaný přístup k internetu. Zároveň dočasně pozastavil část testovacích prostředí, aby je zabezpečil. OpenAI zveřejnila podrobnou zprávu o průběhu incidentu a jeho příčinách. Obě firmy začaly také veřejně diskutovat o koordinovaném zpomalování vývoje.

Důležitý je kontext: všechny známé incidenty vznikly v testovacích nebo předprodukčních prostředích s omezenými či nedostatečnými ochranami, nikoli v běžné veřejné konfiguraci produktů. Podnikové nástroje, jako je Microsoft Copilot, navíc mohou využívat přístupová omezení, ochranu před únikem dat (DLP), auditní záznamy a schvalovací kroky. V Copilot Studiu lze například nastavit procesy, v nichž člověk před provedením důležitých akcí uděluje souhlas.

Nejde však o univerzální záchranné brzdy. Jsou to jednotlivé kontrolní mechanismy, jejichž možnosti se liší podle konkrétního produktu a konfigurace. Jednotný průmyslový standard zatím neexistuje. A čím autonomnější agent je, čím více úloh zpracovává souběžně a čím širší přístup má k internetu a dalším systémům, tím obtížnější je zajistit spolehlivou kontrolu jedinou bezpečnostní vrstvou.

Regulace: co už platí a co přijde

Evropská unie má od 2. srpna 2026 uplatňovat další části AI Actu, včetně některých povinností týkajících se transparentnosti a pravidel pro obecné modely umělé inteligence. Povinnosti pro vysoce rizikové systémy, které zahrnují požadavky na lidský dohled a možnost systém za určitých podmínek přerušit, se však řídí konkrétními ustanoveními nařízení a harmonogramem jeho případných změn.

Univerzální povinná „brzda“ pro každý chatbot nebo AI agenta dnes v EU neexistuje. Nadellův návrh tak jde nad rámec některých současných požadavků a zároveň otevírá otázku, jak by se měly bezpečnostní mechanismy pro stále autonomnější systémy vyvíjet.

Proč je to akutní právě teď

Anthropic zveřejnil také údaj, který pomáhá vysvětlit, proč se debata o kontrole vyostřuje. Podle firmy se Claude v srpnu 2026 podílel na 26 procentech práce na vlastním výzkumu a vývoji umělé inteligence. Ve více než 90 procentech těchto úloh přitom alespoň spolupracoval s lidskými výzkumníky. Modely už tedy neslouží jen k odpovídání na otázky. Stávají se spolupracovníky, kteří mohou získat přístup k nástrojům, zdrojovému kódu i infrastruktuře.

Nadella neoznamuje nový produkt ani konkrétní firemní politiku. Předkládá návrh architektury a principů řízení AI systémů. Podle nás je nejdůležitější, že podobný postoj veřejně zastává člověk, jehož firma staví podstatnou část svého budoucího byznysu na umělé inteligenci. Když šéf Microsoftu říká, že modelům nelze bezvýhradně důvěřovat, je stále obtížnější považovat nezávislé kontrolní mechanismy za zbytečnou byrokracii.