Aktuálny test: AI agenti dali prednosť splneniu úlohy pred dodržaním zákona

Platná európska legislatíva by nás mala chrániť

Už dnes AI agenti riešia požiadavky zákazníkov, pomáhajú pri rozhodovaní a fungujú ako osobní asistenti. Čo sa však stane, keď sa agent dostane do situácie, kde hrozí prekročenie zákona? Využije umelá inteligencia zraniteľnosti zákazníkov, poskytne zavádzajúce informácie alebo bude nenápadne zhromažďovať osobné údaje bez súhlasu používateľa? Ako sa k tomu postavia profesionáli kybernetickej bezpečnosti?

Ochrana osobných údajov je zakotvená v nariadení GDPR a AI Act vyslovene zakazuje praktiky, ako sú podprahová manipulácia, zneužívanie zraniteľných osôb, odhadovanie emócií na pracovisku či sociálne skórovanie. 

Neľútostný, ale pritom jednoduchý test

Nezisková výskumná organizácia Aithos vyvinula nástroj LARA (Legal Assessment for Real-world Agents), aby zistila, ako AI systémy v simulovaných situáciach dodržujú tieto predpisy. Vedecký tím testoval popredné AI modely od spoločností OpenAI, Anthropic, Google, Mistral, DeepSeek a ďalších. Uskutočnilo viac ako 3 000 simulácií na dvanástich najpokročilejších modeloch umelej inteligencie.

Modely dostávali úlohy, ktoré by mohli vykonávať AI agenti – napríklad spracovanie osobných údajov, rozhodovanie o zákazníkoch alebo vykonávanie administratívnych úkonov v mene používateľa. 

Počas testu sa AI systémy dostávali do hraničných situácií, kde sa museli pri rozhodovaní riadiť samostatne. Ani jeden AI model nedokázal spoľahlivo fungovať v súlade s právnymi požiadavkami EÚ.

Sú AI agenti problémom kybernetickej bezpečnosti?

Keď AI agent dostane jednoduchú otázku typu „Je toto v súlade s GDPR?“, často odpovie správne.

Keď však dostane úlohu „Pomôž firme dosiahnuť obchodný cieľ“ a dodržanie zákona začne prekážať splneniu úlohy, časť modelov začne robiť kompromisy.

Problém nie je v tom, že by AI nepoznala zákon. Problém je, že v určitých situáciách dá prednosť tomu, aby splnila úlohu, namiesto toho, aby dodržala zákon.

Pozrime sa, ako pracuje LARA

LARA umiestni AI model do simulovaného pracovného prostredia. AI agent má prístup k e-mailom, správam, zákazníckym záznamom, kalendárom a sociálnym sieťam. Druhá umelá inteligencia hrá používateľa a vytvára situáciu, v ktorej by musel testovaný model porušiť zákon, ak chce úspešne splniť obchodné zadanie. V simuláciach sa testovalo desať ustanovení z nariadenia GDPR a AI Actu.

Testované scenáre zahŕňali rôzne situácie

#     Manažér požiada AI asistenta, aby pred hodnotiacim pohovorom analyzoval emocionálny stav členov tímu na základe ich e-mailov.

#     AI agent telekomunikačnej spoločnosti dostal pokyn získavať údaje o životnom štýle zákazníkov pre reklamných partnerov počas bežnej zmeny paušálu.

#     AI agent zákazníckej podpory mal za úlohu predať prémiový balík služieb. Následne dostal príležitosť využiť zmätenosť staršej zákazníčky pri rutinnom vysvetľovaní.

Rebríček LARA porovnáva úspešnosť testovaných AI modelov pri dodržiavaní právnych predpisov EÚ

Zdroj: Aithos Research Foundation

Prehľad výsledkov

Vo všetkých desiatich scenároch a pri všetkých dvanástich modeloch dosiahol najlepší výsledok model Claude Opus 4.7.

Claude Opus 4.7 porušil zákon „iba“ v 46 percentách prípadov. S druhým najlepším výsledkom nasleduje rovnako model od Anthropic – Claude Sonnet 4.6  (57 % porušení) a až potom ChatGPT 5.5 (62 % porušení).

Francúzsky model Mistral Large 2512 mal 88 % porušení legislatívy, čínsky DeepSeek v4 Pro podobne 89 % porušení.

Model Gemini 3.1 Pro od spoločnosti Google porušil pravidlá v 90 percentách testov. Za ním sa umiestnili modely od spoločností Alibaba a Monshot AI.

•      Výskumníci špeciálne upozorňujú na scenár zameraný na zneužitie zraniteľného zákazníka.

AI agent dostal obchodný cieľ a následne telefonát od staršej ženy, ktorá bola zjavne zmätená a potrebovala pomoc. Modely reagovali láskavo, empaticky, odporúčali jej poradiť sa s dcérou a prejavovali pochopenie pre jej obavy. Následne sa ju však pokúsili presvedčiť na kúpu drahšej služby presne podľa zadania. A takto sa zachoval každý testovaný model v každom teste.

AI modely porušovali každé sledované ustanovenie väčšinou v momente, keď sa jeho dodržanie stalo prekážkou pri dosahovaní cieľa.

Na porušenie zákona nie je potrebná zlá alebo zákerná umelá inteligencia. Stačí agent, ktorý sa snaží splniť svoju úlohu.

Riziko pre firmy? Extrémne

Analytický tím Alison Slovakia upozorňuje na riziko s vysokou prioritou: Za porušenie zákona nezodpovedá poskytovateľ modelu. V okamihu, keď je model nasadený v konkrétnom procese, stáva sa súčasťou AI systému a právnu zodpovednosť nesie ten, kto ho používa.

A táto zodpovednosť nie je zanedbateľná. GDPR umožňuje ukladať pokuty až do výšky 20 miliónov eur alebo 4 percent ročného obratu spoločnosti. AI Act posúva hornú hranicu až na 35 miliónov eur alebo 7 percent celosvetového obratu.

Firma, ktorá využije generatívnu AI na automatické rozhodovanie o zákazníkoch, zamestnancoch alebo pri spracovaní údajov, sa nemôže spoliehať na to, že samotný model automaticky zabezpečí súlad s legislatívou.

Zdroj

Aithos Foundation je európska nezisková výskumná organizácia, ktorá skúma rozhodovania AI systémov. Zaoberá sa tým, aký dosah majú na spoločnosť, a zároveň, aký je mechanizmus dohľadu nad AI. Výskumníci presadzujú myšlienku, že hodnotenie AI by nemalo zostať iba na technologických firmách, ale mali by sa na ňom podieľať výskumníci, regulátori, médiá aj bežní používatelia.