Výzkumníci našli slabiny ChatGPT, které útočníkům umožňují oklamat umělou inteligenci a přimět ji k úniku dat

Experti odhalili slabiny populárního ChatuGPT, které útočníkům umožní manipulaci s umělou inteligencí a získání přístupu k citlivým datům uživatelů.

Lukáš Altman (Mobify.cz) a ChatGPT

ChatGPT od společnosti OpenAI je jedním z nejpoužívanějších nástrojů umělé inteligence. Miliony lidí mu denně svěřují jak práci, tak i osobní informace. Nyní ale odborníci varují, právě otevřenost může být Achillovou patou systému. Redakce Mobify zaregistrovala zprávu společnosti Tenable, podle níž se podařilo odhalit několik způsobů, jak ChatGPT přimět nevědomky vydat data z paměti.

Zkoumání vyvolalo otázky. Je program bezpečný?

Experti na bezpečnost se zaměřili na jeden z nejpopulárnějších nástrojů dnešní doby – ChatGPT. Zjistili, že není tak neprůstřelný, co se bezpečnosti týče. Odhalili novou generaci útoků, které zneužívají tzv. prompt injection – tedy vložení skrytých instrukcí do textů, webů nebo dokumentů, s nimiž umělá inteligence pracuje.

Tyto zranitelné stránky programu +by se měly týkat i modelů GPT-4o a GPT-5, což vyvolává otázky o tom, jak bezpečné vlastně jsou systémy, které dnes často zasahují i do mnoha firemních procesů anebo vývoje softwaru, uvádí theHackerNews.

Na jakém principu funguje „prompt injection“

Ve své podstatě jde o metodu, kdy útočník vloží do obsahu (například do HTML kódu webu nebo komentáře na stránce) pokyn, který má přimět AI k jinému chování. Pokud pak uživatel požádá ChatGPT o shrnutí takového webu, model v dobré víře splní i vložené škodlivé instrukce, třeba odešle část paměti konverzace, nebo provede požadavek na škodlivou adresu.

Některé útoky se obejdou i bez jediného kliknutí. Útočníci dokážou využít indexování webů vyhledávači, takže AI narazí na infikovaný obsah úplně sama během vyhledávání. Jiné scénáře zase fungují přes odkaz typu „chatgpt.com/?q={prompt}“, který po kliknutí automaticky spustí požadavek s vloženým příkazem.

Podle společnosti Tenable je obzvlášť nebezpečné, že tyto slabiny obchází dokonce i vnitřní bezpečnostní mechanismy ChatuGPT, třeba tzv. whitelist povolených domén. Některé útoky se tak tváří jako běžné odkazy z domény Bing.com, kterou má model výchozím způsobem povolenou.

Slabiny jsou systémové, opatrnost je na místě

Zneužití slabin by mohlo vést nejen k úniku citlivých dat z konverzací, ale i k neoprávněnému přístupu do propojených systémů. ChatGPT totiž umí pracovat s dalšími nástroji jako dokumenty, tabulkami nebo interními daty firem. Pokud útočník vloží škodlivé instrukce do zdánlivě bezpečného zdroje, může AI tato data nechtěně zpřístupnit.

Podobné techniky se začínají objevovat i u dalších modelů, jako je Claude od společnosti Anthropic nebo Copilot od Microsoftu. Společnost OpenAI podle našich informací část zjištěných chyb opravila, přesto experti upozorňují, že problém je systémový. Modely umělé inteligence neumí rozlišit, zda přichází instrukce od uživatele, nebo z infikovaného zdroje. Buďte proto při používání skoupější, co se informací týče.