Vy ešte nemáte bot?

Vo Východoslovenskej energetike si kúpili phishingového bota.

Funguje s pomocou umelej inteligencie a pomáha trénovať zamestnancov. Phishingové útoky sa valia na používateľov každý deň a rovnako ako všetko, aj odolnosť proti nim treba trénovať.

„Princíp je v tom, že bot sleduje trendy vo svete phishingových mailov a vytvára vlastné kampane tak, aby boli čo najviac autentické a na nerozpoznanie od legitímnych mailov,“ približuje fungovanie Lukáš Gábor, špecialista na kyberbezpečnosť.

Nástroj sa učí sám. Ak bot zistí, že nejaký typ mailov zamestnanec ignoruje, bude mu posielať iné typy a zisťovať, kde ho nachytať. Presne tak, ako to robia útočníci a ich phishingoví boti.

Sladké vábenie AI

Počas kampane sa snaží bot zamestnancov nahovoriť na to, aby klikali na odkazy v tele mailu alebo v prílohe. „Maily vyzerajú veľmi dobre a stačí trocha nepozornosti a kliknete bez zaváhania,“ opisuje Lukáš Gábor.

Ak niekto klikne, neublíži mu to. Systém ho upozorní a ponúkne výučbový materiál na doplnenie vedomostí. Kampaň sa vyhodnocuje a graficky zobrazuje štatistiky a trendy.

A financie? Energetici považujú phishing bot za „veľmi dobrú investíciu“. Počet preklikov im za pol roka klesol z 26 percent na 10,6. Pre bezpečákov aj pre zákazníkov je to vynikajúca správa – kyberodolnosť energetiky sa zvyšuje.

Zvažujme riziká

Či už ide o finančný sektor, medicínu, ozbrojené zložky alebo výrobu, musíme byť obozretní pri uplatnení umelej inteligencie. Tibor Szabo pracuje v oblasti auditu bezpečnosti a IT takmer tri desiatky rokov, z toho osem rokov vo VÚB, a preto okrem nadšenia upozorňuje aj na ohrozenia.

Medzi nástrahy zaraďuje nesprávne sformulovanú otázku v konverzačných aplikáciách, nedostatočnú ochranu citlivých údajov, nedodržanie etických pravidiel pri vývoji a prevádzkovaní AI či neoverenú interpretáciu výstupov s dosahom na klientov.

„Klienti, a to nielen v bankovom sektore, budú musieť byť informovaní, že prichádzajú do styku s umelou inteligenciou,“ prízvukuje Tibor Szabo. Táto klauzula im umožní rozhodnúť sa, či službu využijú.

Katastrofický scenár

Razantný a široký nástup systémov umelej inteligencie otvára aj tému, ako odolajú kyberhrozbám. Útočník sa tu môže pokúsiť o zmenu použitia alebo ohrozenie bezpečnostných vlastností systémov. Typickým príkladom útoku a zneužitia systému je takzvaný data poisoning alebo „otrávenie údajov“.

Ide o kyberútok na súbory trénovacích údajov a manipuláciu s týmito súbormi. Útočník vkladá „otrávené“ údaje do súborov, aby mohol kontrolovať správanie trénovaného modelu a poskytovať falošné výsledky. Napríklad označí spam alebo infikovaný e-mail ako bezpečný e-mail.

Čo na to obrancovia

Kyberbezpečnostní profesionáli si dávajú ďalšie úlohy. „Hľadáme a vylepšujeme spôsoby využitia umelej inteligencie a strojového učenia v obrane a študujeme, ako ich používajú útočníci,“ vysvetľuje Milan Pikula z Národného centra kybernetickej bezpečnosti SK-CERT. Na ďalšej úrovni sa zaoberajú dosahmi zaujatosti pri tréningu modelov a ich využití. S rastúcou popularitou jazykových modelov rastie aj ich využitie útočníkmi. Výsledkom sú dôveryhodnejšie phishingové kampane, viac cielených útokov metódou sociálneho inžinierstva aj jednoduchšia produkcia falošných správ a dezinformácií. Preto zástupcovia autorít akcentujú aj akútnu potrebu šírenia povedomia.

Už sa to nedá vrátiť

Jazykové modely uľahčujú aj bezpečákom rešerše, jazykové korektúry, preklady, analýzy hlásení o zraniteľnostiach, analýzu malvéru, návrh textov či vývoj nástrojov aj rozsiahlejšieho softvéru.

„Ak potrebujem rýchlo vy­tvoriť prototyp aplikácie alebo spojiť existujúce nástroje na vyriešenie akútneho problému, namiesto písania vlastného kódu poprosím GPT model, aby kód vygeneroval za mňa,“ opisuje uplatnenie v praxi Ján Skalný z SK-CERT. Pochopiteľne, je potrebné vedieť, čo objednávateľ od AI programátora chce, a potom sa objednávateľ už ako programátor s modelom vyladí.

Zhoda na tom, že umelá inteligencia ako nástroj je už príliš silná, panuje naprieč sektormi. Zároveň už niekoľko rokov je aj veľmi významnou témou rozvojových programov financovaných z grantov EÚ. „Táto truhlica sa už nedá zavrieť,“ glosuje Milan Pikula.

Prvá právna regulácia AI

Navrhovaný európsky Akt o umelej inteligencii zdôrazňuje kľúčovú úlohu kyberbezpečnosti pri zabezpečovaní odolnosti systémov. Akt stanovuje, že zásady bezpečnosti pre systémy AI budú navrhnuté a vyvinuté už v štádiu koncepcie. Bezpečnostné riešenia a záplaty sa budú vyžadovať počas celého životného cyklu systému.

Predpokladá sa, že Akt o umelej inteligencii bude prijatý do konca roka 2023 a vykonávať sa začne o tri roky neskôr. Má povahu nariadenia, a preto sa nevyžaduje jeho transpozícia do právnych poriadkov

členských štátov. „Dôveryhodnosť systémov umelej inteligencie nemôže existovať bez vysokej miery kyberodolnosti,“ prízvukuje Miroslav Chlipala, riadiaci partner BCH Advokáti Chlipala.

Čaká nás diskusia

V dlhodobom horizonte odborníci upozorňujú na riziko technologickej singularity, keď sa rast schopností AI vymkne nášmu pochopeniu a kontrole. Navrhovaný akt preto vzbudzuje pozornosť celého sveta, akademikov aj skúsených profesionálov.

Ján Skalný z SK-CERT preto upozorňuje aj na riziko, ktoré predstavuje striktná regulácia výskumu a aplikácie umelej inteligencie v kontexte hybridných hrozieb, ktorým Európa čelí.

Prehnaná regulácia môže zbrzdiť inováciu v rôznych odvetviach a poškodiť európsku konkurencieschopnosť. Zároveň nerovnováha v regulácii, spolu s nevynútiteľnosťou globálnych pravidiel, umožní nedemokratickým krajinám využívať AI na šírenie dezinformácií a škodlivého obsahu bez akýchkoľvek obmedzení. A to vrátane dnes ešte neznámych spôsobov využitia.

• Jazykový model rozmýšľa a má vlastný názor.
• Aplikácia je niečo ako priateľ na telefóne, čo si stihol prečítať viac dokumentácie.

 

• Umelo natrénované obmedzenia znemožnia útočníkom používať model so zlým úmyslom.
• Zatiaľ ich vždy bolo možné hravo obísť.

 

• Umelá inteligencia dnes nahradí ľudských odborníkov.
• Aplikácia v podobe jazykových modelov významne neohrozí žiadnu oblasť.