Nová éra kyberzločinu: hackeři s umělou inteligencí

Investigace.cz Před 1 dnem

Čas mezi objevením bezpečnostní díry a jejím zneužitím se zkrátil z týdnů na hodiny. Útoky, které dřív vyžadovaly tým expertů, dnes zvládne jednotlivec s AI asistentem. Hackeři navíc mění kódy svých škodlivých programů pomocí AI přímo v počítačích obětí.

Bezpečnostní tým Googlu publikoval zprávu o nových druzích škodlivého softwaru (tzv. malwaru). Jeden z nich se za běhu dotazuje umělé inteligence, jak má napadnout počítač, ve kterém se právě nachází. Další využívá AI k tomu, aby měnil svůj kód a unikal tak antivirům.

Zpráva společnosti Anthropic ukázala, že velké jazykové modely nemusí pouze pomáhat s psaním kódu, ale mohou celé útoky orchestrovat. AI provedla 80 až 90 % operace samostatně – od průzkumu sítě přes generování exploitů až po třídění ukradených dat podle jejich hodnoty. AI snižuje náklady a čas potřebný k provedení komplexních útoků.

Škodlivý kód, který se ptá a mění

Zpráva Google Threat Intelligence Group dokumentuje řadu nových typů škodlivého softwaru. PROMPTFLUX se dotazuje umělé inteligence Google Gemini 1.5 Flash a mění svůj kód tak, aby maskoval jeho podobu a škodlivost. Varianta nazvaná „Thinging“ instruuje model, aby přepisoval celý zdrojový kód malwaru každou hodinu. Díky tomu obchází ochranu založenou na rozpoznávání známých vzorců škodlivého kódu.

PROMPTSTEAL využívá model Qwen2.5-Coder-32B-Instruct přes API platformy Hugging Face s 284 ukradenými přístupovými klíči, aby za běhu generoval Windows příkazy pro sběr systémových informací a kopírování cílených dokumentů. Malware se přitom maskuje jako program pro generování obrázků. Podle všeho jej využívá hackerská skupina APT28, napojená na ruskou GRU, proti Ukrajině.

Snaha zamaskovat kód nebo dynamicky měnit svou podobu není nic nového. Tradičně ale programy měly škodlivé instrukce stále v sobě, byť zakódované nebo zašifrované, a tak je mohly bezpečnostní systémy najít. Nová generace však tyto instrukce vůbec neobsahuje. Místo toho se za běhu ptá externího jazykového modelu, co má udělat, a ten mu pokaždé vygeneruje unikátní odpověď přizpůsobenou konkrétnímu prostředí.

A to nebylo jediné. Google dokumentoval i další druhy jako FRUITSHELL (nástroj umožňující vzdálené ovládání napadeného počítače), PROMPTLOCK (experimentální ransomware generující skripty v jazyce Lua) a QUIETVAULT (program kradoucí přihlašovací údaje). Ačkoli se zatím jedná o spíše neohrabané pokusy, ukazují směr, kterým se může další vývoj ubírat.

Útočník, který se neunaví

Společnosti Anthropic popsala, jak čínská skupina GTG-1002 využila model Claude pro rozsáhlou automatizovanou kampaň.

Klíčovou technikou bylo zmanipulování modelu Claude tak, aby fungoval jako autonomní orchestrátor bezpečnostního testování. Claude, kterému útočníci pomocí manipulativních instrukcí (tzv. jailbreakingu) namluvili, že je zaměstnancem legitimní bezpečnostní firmy provádějící testování, dostával jednotlivé části útoku rozložené do menších samostatných úkolů, které působily neškodně. Útočníci přitom využili schopnost AI spouštět různé nástroje, jako jsou síťové skenery a crackery hesel. Anthropic odhaduje, že AI provedla 80 až 90 % operace bez zásahu člověka, včetně průzkumu, generování exploit kódu na míru, přesunu na další počítače v síti, sběru přihlašovacích údajů a extrakce dat, které AI sama rozdělovala podle důležitosti pro možný průnik do systému. Lidští operátoři se soustředili pouze na dohled a na čtyři až šest kritických rozhodnutí.

Ačkoli Anthropic označil tento typ útoku za první zdokumentovaný případ rozsáhlého kybernetického útoku provedeného bez podstatného zásahu člověka, vyvolal její report celou řadu pochybností a Anthropic byl obviňován z přifukování celého incidentu. Jádrem kritiky bylo hlavně zpochybnění míry autonomnosti útoku a schopnosti AI ho plánovat. „AI je superboost, ale není to Skynet, nemyslí, není to skutečná umělá inteligence,“ reagoval bezpečnostní výzkumník Daniel Card.

Nicméně právě tento „AI superboost“, tedy fakt, že model působil jako neúnavný asistent, představuje do budoucna skutečné riziko. To totiž nespočívá v nějakém revolučním objevu nových, neviděných zranitelností, ale v akceleraci a demokratizaci stávajících útoků. Byť společnosti jako AISLE nebo XBOW mluví o nových chybách v systémech, které AI rozpoznala sama.

Hlavní problém je jinde. AI snižuje bariéru vstupu pro méně zkušené aktéry, kteří nyní mohou provádět sofistikované, vícekrokové operace dříve vyhrazené pouze státům nebo skupinám sponzorovaným organizovaným zločinem. Tím se vytváří značná asymetrie nákladů a rychlosti. AI agenti mohou pracovat nepřetržitě s výrazně menším vkladem lidské práce a rychle se učit o nových zranitelnostech. Z AI se stává neúnavný asistent hackerů.

I tento přístup má limity a tím, co je celkově na obtíž při jakékoli rozsáhlejší operaci, jsou tzv. halucinace. Je to fenomén, kdy jazykový model sejde při generování z cesty a začne si plně vymýšlet. To se stalo i v případě Anthropicu, který uvádí, že model při útoku „často přeháněl zjištění a občas si vymýšlel data“, například tvrdil, že získal přihlašovací údaje, které následně nefungovaly.

Nové schopnosti přinášejí nové zranitelnosti

Zneužívání velkých jazykových modelů k psaní škodlivých kódů je stejně staré jako samotné jazykové modely. Firmy, které jazykové modely programují a trénují, se tomu snaží od počátku bránit. Nicméně nikdy není jejich ochrana stoprocentně účinná, a tak i v případě reportu Anthropicu se útočníkům podařilo AI přesvědčit, že má jednat jako pracovník bezpečnostní firmy, která pracuje na vylepšení kyberbezpečnosti a pomáhá odhalit chyby v systému, které je třeba opravit. Jinou technikou často používanou útočníky je tzv. prompt injection, tedy situace, kdy škodlivý pokyn přidá uživatel přímo do nějakého dotazu či dat, které AI konzumuje. Dokud AI zůstávala uzavřena jen v chatech našich prohlížečů, byly tyto útoky spíše demonstrací nedokonalosti.

S rostoucí složitostí celého ekosystému velkých jazykových modelů mohou mít tyto průniky stále více a více fatální dopad. Zejména od okamžiku, kdy se naplno rozjely tzv. AI agentní systémy a jejich schopnost využívat nástroje nejen v cloudu, ale také přímo v počítačích. Na jednu stranu je tato schopnost to, co v letošním roce pohánělo a pohání revoluci v oblasti AI. Uživatel díky nim může doslova během pár minut vygenerovat relativně komplexní webovou aplikaci. Pokud dokáže takového agenta infikovat útočník, otevírá se nová dimenze útoku.

AI agent kombinuje dvě vlastnosti: schopnost zpracovávat data z vnějšího světa a oprávnění provádět reálné akce v systému. Když uživatel požádá agenta, aby „prošel e-maily a shrnul důležité informace“, agent musí tyto e-maily přečíst – a pokud některý z nich obsahuje skrytý škodlivý prompt, může jej agent vykonat jako legitimní instrukci. Totéž platí pro dokumenty, webové stránky nebo databázové záznamy. Útočník tak nemusí prolomit žádné heslo ani exploitovat technickou zranitelnost – stačí, když do dat, která agent zpracovává, vloží správně formulovaný příkaz.

Případy z posledních měsíců ukazují, že toto riziko je reálné. V červnu 2025 výzkumníci odhalili zranitelnost nazvanou EchoLeak v Microsoft 365 Copilot, která umožňovala útočníkovi ukrást citlivá data pouhým odesláním e-mailu – bez nutnosti, aby jej oběť otevřela nebo na cokoli klikla. E-mail obsahoval skryté instrukce, které Copilot při automatickém skenování interpretoval jako legitimní příkaz a odeslal útočníkovi historii konverzací, soubory i zprávy z Teams. Nejde nejde o nic nového – kombinace e-mailu, zranitelnosti v náhledu a maskovaného útoku provází e-mailové klienty od počátků. Copilot je tak jen novou konstelací známého vzorce.

Podobný problém postihl i vývojářské prostředí Cursor s integrovanou AI. Útočník mohl do veřejného repozitáře vložit dokument se škodlivým promptem, a když vývojář požádal AI o jeho analýzu, agent automaticky přepsal konfigurační soubory a spustil útočníkův kód. Podobnou chybu můžeme najít i u dalších konkurenčních programů, jako je třeba AI editor Antigravity od společnosti Google.

Tyto útoky spojuje společný vzorec: AI agent nedokáže spolehlivě rozlišit mezi legitimními instrukcemi od uživatele a škodlivými příkazy ukrytými v datech, která zpracovává. Výzkum společnosti Mindgard z roku 2025 ukázal, že techniky využívající neviditelné Unicode znaky nebo emoji smuggling umí obejít všech šest testovaných bezpečnostních systémů, přičemž úspěšnost se pohybovala mezi 70 až 100 %.

Jako dřív už to nepůjde

„Nejzávažnější změnou je zhroucení času mezi zveřejněním zranitelnosti a jejím zneužitím,“ říká bezpečnostní expert Petr Špiřík z PwC. Tradičně podle něj existovalo okno příležitosti: od chvíle, kdy se objevila nová zranitelnost, trvalo útočníkům dny až týdny, než vyvinuli funkční exploit – pokud se jim to vůbec podařilo. „Okno umožňovalo výrobcům softwaru vydat záplaty a organizacím nasadit je dříve, než se exploit rozšířil. AI toto okno dramaticky zkracuje,“ dodává.

Podle společnosti CrowdStrike klesla průměrná doba, za kterou se útočník po prvním průniku rozšíří na další systémy v síti, na pouhých 48 minut, s nejrychlejším zaznamenaným případem pouhých 51 sekund. Průmyslový průměr pro manuální zpracování bezpečnostních alertů je 30 až 60 minut. Útočník může být rychlejší než obránce.

Generování exploit kódu, které dříve vyžadovalo hlubokou expertízu, nyní zvládne i méně zkušený útočník během hodin. A pokud se AI naučí zranitelnosti nejen exploitovat, ale i nacházet, zmizí tradiční náskok obránců zcela. Klasická obrana založená na reaktivním záplatování přestane fungovat – záplata prostě nepřijde včas. Segmentace sítí a omezení přístupových práv zůstávají důležité, ale nesnižují pravděpodobnost průniku, pouze omezují jeho dopad.

„AI nepřináší revoluci v kvalitě útoků, ale v jejich objemu a dostupnosti. Nejvíce ohroženy jsou organizace, které dosud přežívaly nikoli díky kvalitní obraně, ale díky štěstí,“ vysvětluje Petr Špiřík.

Organizace s robustní pasivní obranou, důslednou vícefaktorovou autentizací, passwordless přístupem a kvalitními preventivními opatřeními mohou celé třídy automatizovaných útoků odrazit. „Pokud laťka obrany leží nad úrovní toho, co průměrný AI asistovaný útok dokáže překonat, k závodům v rychlosti reakce vůbec nedojde – útok selže na pasivní ochraně,“ dodává.

Podle Špiříka bude pro mnohé další rok bolestným probuzením – ne proto, že by AI překonala jejich obranu, ale proto, že ukázala, že žádnou reálnou obranu nikdy neměly.

Autor textu: Josef Šlerka

Slovníček:

Malware (z anglického malicious software, škodlivý software) – záměrně vytvořený program, který škodí uživateli, krade data nebo získává neoprávněný přístup k počítači či síti. Patří sem viry, červy, trojské koně, ransomware (vyděračský software) nebo spyware (špionážní software). Malware se nejčastěji šíří e-mailem – podle studií tvoří e-mail až 96 % všech způsobů doručení škodlivého kódu.

Exploit – kód nebo metoda zneužívající konkrétní bezpečnostní chybu (zranitelnost) v softwaru, operačním systému nebo síti. Exploit sám o sobě není malware, ale slouží jako „páčidlo“, které útočníkovi otevře dveře do systému. Zvláště nebezpečné jsou tzv. zero-day exploity: ty zneužívají chyby, o kterých výrobce softwaru ještě neví, a neexistuje proti nim záplata. Útočníci často řetězí více exploitů za sebou, aby postupně získali vyšší oprávnění až k plné kontrole nad systémem.

Prompt injection – typ útoku proti velkému jazykovém modelu, který využívá omezené schopnosti AI rozlišit hranici mezi pokynem a zpracovaným obsahem. Příkaz může být skrytý v e-mailu, dokumentu nebo na webové stránce, a když AI tato data zpracuje, vykoná útočníkův příkaz jako legitimní instrukci. Například skrytý text v životopise může přimět hodnotící AI, aby kandidáta ohodnotila kladně bez ohledu na obsah.

MFA / vícefaktorová autentizace – metoda přihlašování vyžadující více než jeden typ ověření. Kombinuje typicky něco, co uživatel zná (heslo), něco, co má (telefon, hardwarový klíč), a něco, čím je (otisk prstu, obličej). Příkladem je výběr z bankomatu: potřebujete kartu i PIN. Účty s aktivní MFA jsou výrazně odolnější vůči kompromitaci – i když útočník získá heslo, bez druhého faktoru se nepřihlásí.

Passwordless – přihlašování zcela bez hesla. Uživatel se identifikuje pomocí něčeho, co má (telefon, hardwarový klíč) nebo čím je (otisk prstu, obličej), nikoli pomocí něčeho, co si pamatuje. Soukromý klíč zůstává v zařízení uživatele a nelze ho ukrást phishingem ani uhodnout. Systém passwordless eliminuje celé třídy útoků založených na slabých, opakovaně používaných nebo ukradených heslech.

The post Nová éra kyberzločinu: hackeři s umělou inteligencí appeared first on investigace.cz.

Pokračovat na celý článek