AI Security: i nuovi rischi degli agenti autonomi
Quando un modello può usare strumenti e credenziali, la sicurezza deve riguardare le azioni oltre che le risposte.
Un chatbot produce testo; un agente può interrogare sistemi, aprire ticket, inviare messaggi o modificare dati. Il rischio cambia perché cambia il potere operativo del sistema. La valutazione deve quindi partire dagli strumenti e dalle identità, non soltanto dalla qualità delle risposte.
Il prompt è soltanto una delle superfici
La prompt injection diretta inserisce istruzioni malevole nell’interazione con l’utente. Quella indiretta le nasconde in contenuti che il sistema elabora: documenti, email, pagine web o risultati di strumenti. Un agente che legge contenuti non attendibili e possiede privilegi elevati può trasformare un’istruzione nascosta in un’azione reale.
Il filtro sul testo non basta. Servono confini tra contenuto e comando, strumenti con ambiti limitati e controlli sulle conseguenze delle azioni.
Identità, segreti e privilegi
Ogni agente dovrebbe avere un’identità riconoscibile e i soli accessi necessari al caso d’uso. Le credenziali non devono essere esposte nel contesto del modello o replicate senza controllo. Anche i server e i connettori che mettono a disposizione gli strumenti entrano nel perimetro di sicurezza.
- Inventario di agenti, strumenti, connettori e identità.
- Privilegi minimi e separazione dei compiti.
- Gestione protetta e rotazione dei segreti.
- Approvazione umana per azioni ad alto impatto.
Controllare dove finiscono i dati
Logging e controllo del traffico in uscita aiutano a capire quali destinazioni raggiunge il sistema. Una politica default-deny può essere appropriata per workload con destinazioni note, ma richiede analisi e gestione delle eccezioni: non è una configurazione da attivare indiscriminatamente.
Le evidenze devono permettere di ricostruire chi ha autorizzato un’azione, quali dati sono stati utilizzati e quale strumento è stato chiamato.
Una review prima di aumentare l’autonomia
L’Agent Security Review verifica l’intera catena: input, dati, modello, strumenti, identità, segreti, rete e supervisione. I test devono essere autorizzati e riprodurre scenari realistici, compresi errori e contenuti malevoli, per misurare l’efficacia dei guardrail prima di estendere i privilegi.