Un assistente AI diventa utile quando trova informazioni pertinenti e aiuta a completare un compito. Collegarlo ai documenti aziendali introduce però una domanda preliminare: può vedere soltanto ciò che l’utente è autorizzato a consultare? Un buon collaudo verifica questo confine prima di valutare la fluidità delle risposte. Le linee guida NCSC trattano la sicurezza lungo tutto il ciclo di vita, dalla progettazione alla manutenzione. [1]
Delimitare il servizio prima di collegare i documenti
Scegli un compito iniziale e descrivi il risultato atteso: trovare una procedura approvata, riassumere un documento accessibile o spiegare un risultato di uno strumento. Elenca fonti, proprietari e categorie di utenti. Per il primo collaudo usa materiale sintetico riconoscibile, senza segreti reali. La scelta del perimetro deve precedere l’importazione dell’archivio.
Registra quali componenti trattano i dati e quali informazioni possono uscire dall’ambiente controllato. Il progetto deve conoscere provider, connettori, registri e conservazione prevista. Queste condizioni vanno verificate sul servizio effettivamente utilizzato, senza attribuire automaticamente a un’integrazione personalizzata le garanzie di un altro prodotto.
Prepara una lista di ciò che il bot non può fare, tradotta in vincoli tecnici. Una funzione di sola lettura non dovrebbe avere credenziali che permettono modifiche inutili al compito. Il prompt può descrivere il comportamento, ma il backend deve limitare le operazioni disponibili. L’obiettivo iniziale è dimostrare un percorso utile con confini chiari, poi ampliare soltanto ciò che può essere collaudato.
Parti da una matrice di accesso verificabile
Prima di interrogare il bot, prepara una tabella con identità di prova, risorse e operazioni consentite. Per esempio, un utente commerciale legge il catalogo pubblico e le proprie offerte; un tecnico legge procedure operative e ticket assegnati; un amministratore gestisce configurazioni ma non acquisisce per questo un’autorizzazione indiscriminata sui contenuti personali. Il progetto reale deve rispecchiare i ruoli dell’organizzazione, non questa semplice suddivisione esemplificativa.
Assegna a ogni risorsa sintetica un contenuto riconoscibile e non riservato. Se una stringa di controllo prevista soltanto per il reparto tecnico compare nella risposta al commerciale, hai una prova concreta di separazione fallita. Controlla anche titoli, nomi dei file e citazioni: rivelare l’esistenza di un documento può essere già un’informazione non prevista, pur senza mostrarne il testo.
Il requisito di accettazione va espresso positivamente e negativamente. L’utente autorizzato deve ottenere il documento giusto; quello non autorizzato deve ricevere una risposta che non ne riveli dettagli. Un sistema che blocca ogni richiesta evita alcune divulgazioni ma non svolge il lavoro previsto. La matrice serve quindi a collaudare contemporaneamente utilità e confini, compresi i casi in cui una persona appartiene a più gruppi o cambia funzione.
Traccia l’identità lungo tutte le componenti
Il browser, il servizio applicativo, il motore di ricerca, il deposito dei documenti e gli strumenti operativi possono usare identità diverse. Disegna il percorso e annota chi viene riconosciuto a ogni passaggio. Il fatto che l’utente sia autenticato nel sito non dimostra che il recupero delle fonti avvenga con i suoi stessi limiti.
Un connettore con privilegi estesi può essere necessario per l’indicizzazione, ma ciò non autorizza il servizio di risposta a usare tutti i contenuti indicizzati. L’applicazione deve applicare un controllo coerente alla richiesta corrente. Evita di affidare al modello la scelta del tenant, del cliente o del reparto sulla base di un valore fornito liberamente nella domanda: questi attributi derivano dall’identità verificata e dalla configurazione del servizio.
Controlla anche collegamenti diretti ai documenti e anteprime scaricabili. Una risposta correttamente filtrata può contenere un URL che aggira il controllo oppure rimane valido oltre il periodo previsto. La guida alla migrazione di file e permessi è utile per riconciliare autorizzazioni tra sistemi. Nel progetto AI il lavoro continua: autorizzare il recupero, autorizzare l’apertura della fonte e autorizzare un’azione sono verifiche distinte, da collaudare sulle stesse identità di prova.
Verifica revoche, memoria e risultati già calcolati
Una prova importante consiste nel revocare un permesso dopo che il bot ha già risposto correttamente. Esegui poi una nuova richiesta nella stessa conversazione, una in una nuova sessione e una proveniente da un altro dispositivo. Registra il tempo necessario perché il cambiamento sia effettivo e quale componente determina l’eventuale ritardo.
La cache delle risposte, l’indice e la memoria della conversazione richiedono regole specifiche. Una risposta calcolata per un amministratore non deve essere riutilizzata per un utente ordinario soltanto perché le domande sono uguali. La chiave della cache e le condizioni di riutilizzo devono comprendere il contesto autorizzativo pertinente, oppure il risultato non deve essere condiviso. Quando non puoi garantire l’attualità dei permessi, la risposta sensibile va sospesa o ricalcolata nel contesto corretto.
Una revoca non cancella ciò che l’utente aveva legittimamente già visto, copiato o scaricato. Distingui questo limite dai nuovi accessi che il sistema deve impedire. Conservare una cronologia locale o una trascrizione nel servizio di assistenza introduce copie ulteriori con proprie regole di accesso. Il collaudo deve quindi definire il perimetro della revoca e verificare che l’interfaccia non prometta una cancellazione retroattiva impossibile.
Autenticazione, recupero e azione sono controlli separati; una risposta corretta non prova da sola la separazione.
Leggi lo schema
- Identità verificataCliente, ruolo e contesto derivano dalla sessione
- Fonti autorizzateRicerca e cache rispettano i permessi correnti
- Risposta verificabileTesto, titoli e citazioni non rivelano altre risorse
- Azione limitataIl backend valida parametri e operazioni consentite
La verifica: La risorsa è autorizzata per questa identità, adesso?
Un prompt che chiede discrezione non sostituisce il controllo di accesso.
Minimizzare il materiale inviato e conservato
L’utente può avere diritto a leggere un documento senza che ogni richiesta richieda l’invio dell’intero archivio al modello. Seleziona il materiale pertinente e conserva i riferimenti necessari alla verifica. La minimizzazione riduce copie e contesti superflui, ma non sostituisce l’autorizzazione: un piccolo frammento riservato resta riservato.
Distingui contenuti usati per rispondere, registri tecnici e dati conservati per assistenza. Ogni insieme ha uno scopo e accessi propri. Nei log può essere sufficiente registrare identificativi, versione e decisione autorizzativa, evitando il testo integrale quando non serve. Non presentare un identificativo pseudonimo come anonimizzazione automatica dell’intero contesto.
Il collaudo deve verificare anche gli errori. Un messaggio diagnostico, una traccia di eccezione o un’esportazione per il supporto possono contenere materiale che l’interfaccia ordinaria non mostra. Prepara casi sintetici e controlla quali informazioni arrivano ai diversi destinatari. La separazione tra utenti deve rimanere valida nei percorsi di fallimento, non soltanto nella risposta riuscita.
Prova istruzioni ostili senza costruire un attacco reale
Per un test controllato basta un documento sintetico che contenga un’istruzione incompatibile con il compito, per esempio l’invito a ignorare il catalogo approvato e inventare una condizione commerciale. Non occorrono segreti autentici, domini di raccolta o istruzioni operative dannose. L’obiettivo è osservare se il contenuto recuperato viene trattato come evidenza da interpretare oppure come un’autorità capace di cambiare le regole dell’applicazione.
Verifica non soltanto il testo finale, ma anche le chiamate agli strumenti. Un modello potrebbe rispondere in modo apparentemente corretto dopo aver tentato un’azione non consentita. Il backend deve respingere parametri, destinazioni e operazioni fuori elenco indipendentemente dalla motivazione prodotta dal modello. Un rifiuto nei log è un controllo che ha lavorato; una chiamata eseguita e poi nascosta nella risposta è un problema diverso.
Ripeti le prove con testo dentro una tabella, una descrizione di file o una fonte citata indirettamente. Le difese su più livelli descritte da Microsoft non eliminano la necessità di questi controlli applicativi. [2] La guida alle richieste sospette generate con AI aiuta a mantenere lo stesso principio anche per le persone: una formulazione convincente non sostituisce una fonte autorizzata o una verifica indipendente.
Prepara un verbale ripetibile e un arresto selettivo
Per ogni caso registra identità sintetica, versione del sistema, fonte prevista, risposta ottenuta e risultato delle autorizzazioni. Mantieni separati errore di pertinenza, fonte assente, accesso negato e divulgazione impropria. Mescolare questi esiti in un unico voto di soddisfazione rende difficile decidere cosa correggere. I casi che attraversano confini tra clienti o reparti devono avere criteri di blocco espliciti, anche se la qualità media delle risposte è elevata.
Il sistema dovrebbe poter disabilitare un connettore o una classe di azioni senza necessariamente togliere tutte le funzioni informative. Prepara questa procedura prima dell’incidente e verifica chi può attivarla. Dopo un errore di separazione, preserva le evidenze necessarie, limita il percorso coinvolto e valuta con i responsabili competenti l’estensione del problema. Non usare nuove conversazioni con dati reali per capire casualmente se il difetto si ripete.
Concludi il collaudo con una revisione congiunta tra chi gestisce dati, infrastruttura e processo aziendale. Il valutatore di progetto AI serve a ragionare su obiettivo e sostenibilità; il verbale tecnico dimostra invece quali confini sono stati provati. L’approvazione deve riferirsi a quella configurazione, con responsabilità di ripetere i casi dopo modifiche a connettori, ruoli, modello o fonti. Un controllo superato una volta non si trasferisce automaticamente a un sistema diverso.
Autorizzare ogni azione sull’oggetto concreto
Quando il progetto aggiunge strumenti operativi, l’autorizzazione deve riguardare operazione, oggetto e identità corrente. Un utente abilitato a leggere un ticket non è automaticamente autorizzato a modificarlo, né a operare su tutti i ticket. Il backend verifica questi confini sui dati effettivi, senza fidarsi del cliente o del modello che dichiara un identificativo.
Prepara esecutori di prova che registrino la proposta senza produrre effetti esterni. Controlla parametri mancanti, oggetti non appartenenti all’utente e richieste ripetute. Un’anteprima deve descrivere l’azione concreta e una conferma deve riferirsi a quella versione, evitando che un cambiamento successivo dei parametri riutilizzi un’approvazione precedente.
Distingui richiesta, esecuzione e risultato confermato. Se il servizio esterno non risponde, il bot non può dichiarare successo soltanto perché ha emesso una chiamata. Deve mantenere uno stato verificabile e un percorso di controllo, prevenendo duplicazioni. Questo livello di autorizzazione resta necessario anche quando il modello si comporta bene nei test: è una proprietà dell’applicazione, non una promessa affidata al testo generato.
Per rendere visibile la copertura, usa una matrice con ruoli, risorse e operazioni. In un esempio sintetico con quattro ruoli, tre categorie di documenti e due azioni, esistono ventiquattro combinazioni di base da classificare come consentite o negate. Non sono ventiquattro prove sufficienti a certificare il sistema: revoche, sessioni, errori e cambi di contesto aggiungono altri casi. Il conteggio serve a individuare celle dimenticate e a motivare il campione. Conserva per ogni caso l’esito atteso prima dell’esecuzione, così il comportamento osservato non diventa retroattivamente la regola da accettare.
Dalla guida a una verifica concreta.
Usa due utenti di laboratorio e un documento visibile soltanto a uno. Fai la stessa domanda a entrambi e verifica che risposta, citazione e anteprima rispettino gli stessi permessi; filtra prima del recupero, non soltanto nel testo finale.
Risorse utili e progetti ufficiali
- OWASP — Excessive Agency
Documentazione pubblica. Rischi delle azioni delegate agli agenti AI e criteri per limitarne poteri e ambito.
I link ai repository identificano il progetto di origine, non una garanzia di sicurezza. Verifica licenza, manutenzione e compatibilità prima di adottare software. I siti esterni applicano le proprie regole sui dati.
RIFERIMENTI / TRASPARENZA
Le fonti. I limiti. Il contesto.
Questa guida collega indicazioni pratiche alla documentazione dei produttori e degli organismi citati. Versione del prodotto, licenze e configurazione possono cambiare il comportamento descritto.
- NCSC — Guidelines for secure AI system development ↗ncsc.gov.uk
- Microsoft — Copilot prompt defense in depth ↗learn.microsoft.com
- Microsoft — Sicurezza di Microsoft 365 Copilot ↗learn.microsoft.com
Le indicazioni vanno applicate da persone autorizzate dopo aver verificato l’ambiente. Le immagini sono rappresentazioni concettuali.
Uso consapevole · limiti e responsabilità
Le guide e gli esempi hanno finalità informative. Non offriamo una garanzia di assenza di errori, continuità o idoneità a uno scopo specifico. Verifica il risultato prima di utilizzarlo e conserva copie degli originali.
L’uso avviene a tuo rischio e sotto la tua responsabilità, nei limiti consentiti dalla legge. Restano salvi i diritti e le responsabilità inderogabili. Queste indicazioni non sostituiscono un incarico professionale, un collaudo o una valutazione del tuo ambiente.
Esegui esempi soltanto su dati sintetici o copie autorizzate, dopo averne compreso gli effetti. La cancellazione dalla sessione rimuove i risultati dalla pagina: non revoca copie, download o appunti e non certifica la cancellazione sicura della memoria.
Porta il ragionamento nel tuo contesto.
Prepara i dati del tuo ambiente e le priorità. Il confronto parte già dalle domande utili.