Curs gratuit de AI · 71 de lecții
Lecția 54 – Securitatea AI: cum recunoști instrucțiunile ostile și limitezi riscul
Îi dai unui agent AI acces la email, la fișiere și la browser ca să-ți rezume documente, să caute și să scrie ciorne. Undeva, într-un PDF sau într-un email primit, stă o frază care îi spune să facă altceva: să caute documentele cu bugete și să le trimită la o adresă. Agentul o citește odată cu restul textului. O să asculte de ea? Și cine trebuie să aibă grijă de asta, tu sau firma care a făcut agentul?
Ce înveți în lecția 54
- Ce e prompt injection: un text care încearcă să schimbe sarcina AI-ului, scris în chat sau ascuns într-un document
- De ce poți lăsa un agent să-ți rezume emailuri și PDF-uri fără să le verifici tu întâi
- Ce protecții au deja agenți precum Codex și Claude Cowork: spații izolate și acces limitat la fișiere și rețea
- Cum împarți munca: agentul citește și scrie ciornele, tu aprobi doar trimiterea
- Cum lași agentul să facă singur pașii repetitivi, în limite stabilite o singură dată, iar tu te ocupi de excepții
- Când are totuși efect o comandă ascunsă: patru condiții, ilustrate cu o vulnerabilitate din Microsoft 365 Copilot, reparată între timp
- Patru întrebări despre configurație, de pus înainte să-i dai unui agent date sensibile sau dreptul să trimită ceva în afara firmei
Interesant
Potrivit Anthropic, într-un set standard de teste cu atacuri, Claude Opus 4.7 lasă să treacă o comandă ascunsă în cam 0,1% din cazuri, la o singură încercare. Dacă atacatorul încearcă de 100 de ori și se adaptează, șansa să reușească măcar o dată urcă la 5–6%.
În practică
Dă-i agentului acces doar pentru citire la emailurile unui proiect și cere-i un rezumat și ciorne pentru răspunsuri. Afli ce s-a discutat fără să deschizi fiecare mesaj. Răspunsurile le trimiți tu, după ce te uiți peste ele.
Un email-capcană devine periculos abia când agentul îl ascultă și are, în același timp, cheile de la date și o ușă spre afară. O regulă scrisă în instrucțiunile agentului doar îl roagă să nu asculte. O limită tehnică de acces încuie ușa.
Pentru cine e: Cine folosește sau configurează agenți AI cu acces la email, fișiere, browser sau CRM și vrea să știe când e cazul să verifice permisiunile.
Vreau lecțiile complete în PDF prin email
Pe scurt
Ce este prompt injection?
Un text care încearcă să schimbe sarcina unui sistem AI. Dacă cineva scrie comanda direct în conversație, e prompt injection directă. Dacă instrucțiunea stă ascunsă în ce citește AI-ul, cum ar fi un email, un PDF, o pagină web sau răspunsul primit de la o unealtă pe care o folosește, e indirectă. Termenul descrie doar încercarea. Dacă reușește sau nu depinde de protecțiile și de permisiunile agentului.
Pot lăsa un agent AI să-mi rezume emailurile și documentele fără să le verific eu întâi?
Da, de obicei. Agenții moderni au mai multe protecții: reguli pe care modelul le respectă, verificări care prind textele rău intenționate, spații izolate și limite pentru fișiere, rețea și acțiuni. Dacă agentul doar citește și rezumă într-un folder limitat, setările standard ajung. Merită să te uiți la configurație când îi dai agentului conectori noi, date sensibile sau dreptul să scrie, să șteargă ori să trimită ceva în afara firmei.
Dacă rulez modelul local, mai e prompt injection o problemă?
Poate fi, dacă modelul are acces la fișiere, shell sau rețea. Dacă îl rulezi local, trimiți de regulă mai puține date către un serviciu din cloud. Dar un document cu o comandă ascunsă poate încerca și aici să schimbe sarcina modelului care rulează pe calculatorul tău. „Local” spune unde rulează modelul. Permisiunile spun la ce are acces.
Primești lecțiile pe email, câte una pe săptămână
Lecția 1 vine imediat. Gratuit, mereu. O citești și decizi tu dacă merită să continui.
Inginer. Lucrez de peste 20 de ani în tehnologii emergente și AI. Construiesc sisteme cu modele de limbaj pentru firme și explic AI-ul pe românește: la conferințe, la TV, în workshopuri și în cursul ăsta.