Gli aspetti di sicurezza dell'adozione dell'IA che le aziende non possono permettersi di ignorare

L'intelligenza artificiale sta diventando parte integrante del mondo degli affari di tutti i giorni.

I team utilizzano l'IA per:

Crea contenuti
Analizzare i documenti
Riassumere le riunioni
Scrivi codice
Mercati di ricerca
Rispondi alle domande dei clienti
Automatizzare il lavoro ripetitivo
Ricerca di conoscenze interne
Assistere i dipendenti
Connettere le applicazioni aziendali
Dai consigli

I vantaggi in termini di produttività possono essere considerevoli.

Lo stesso vale per i rischi per la sicurezza.

Un dipendente potrebbe incollare informazioni riservate in uno strumento di intelligenza artificiale senza rendersi conto di dove vengano inserite.

Un assistente basato sull'intelligenza artificiale potrebbe avere accesso a molti più dati aziendali di quanti ne necessiti.

Un documento dannoso potrebbe contenere istruzioni progettate per manipolare un sistema di intelligenza artificiale.

An Agente AI Collegato a email, archiviazione cloud, CRM o altre applicazioni aziendali, potrebbero compiere azioni indesiderate.

Inoltre, i dipendenti potrebbero iniziare a utilizzare nuove applicazioni di intelligenza artificiale molto prima che i team IT o di sicurezza ne vengano a conoscenza.

Pertanto, l'adozione sicura dell'IA richiede più che la semplice scelta di un software affidabile.

Le aziende devono comprendere i dati, gli accessi, le integrazioni, le autorizzazioni, i modelli, le persone e i processi che stanno alla base dei loro sistemi di intelligenza artificiale.

Il quadro di gestione del rischio dell'IA del National Institute of Standards and Technology raccomanda di gestire il rischio dell'IA in tutto il designsviluppo, implementazione, utilizzo e valutazione dei sistemi di intelligenza artificiale, anziché considerare la sicurezza come una verifica una tantum.

Ecco i rischi per la sicurezza dell'IA che le aziende dovrebbero comprendere prima che la sua adozione proceda più velocemente della loro capacità di controllarla.

capitoli

Comprendere dove vanno i dati aziendali

Molti strumenti di intelligenza artificiale dipendono dalle informazioni fornite dagli utenti tramite prompt, documenti o integrazioni. I dipendenti possono caricare report, informazioni sui clienti o materiali interni senza comprendere appieno come tali dati vengano elaborati.

Prima di approvare una piattaforma di intelligenza artificiale, le aziende dovrebbero esaminare come gestisce le informazioni. Ciò include la comprensione di quali dati vengono raccolti, per quanto tempo vengono conservati e se potrebbero essere utilizzati per altri scopi. Chiaro politiche interne può inoltre aiutare i dipendenti a capire quali informazioni dovrebbero e non dovrebbero inserire nei sistemi di intelligenza artificiale.

Mantenere la visibilità man mano che la tecnologia si espande

L'adozione dell'IA raramente avviene in modo isolato. Le aziende spesso si affidano già ad applicazioni cloud, dispositivi remoti, piattaforme di collaborazione e numerosi servizi software, quindi l'aggiunta di ulteriori strumenti rende sempre più difficile mantenere una visibilità completa sull'intero ambiente tecnologico.

I team di sicurezza hanno bisogno di modi per riconoscere comportamenti insoliti in questi diversi sistemi. Le tecnologie associate a Sicurezza informatica SIEM Consente di aggregare informazioni sulla sicurezza provenienti da diverse fonti, aiutando le organizzazioni ad ottenere una maggiore visibilità e a indagare su attività potenzialmente sospette. Questa visione più ampia può diventare sempre più preziosa man mano che le aziende adottano piattaforme più connesse e i loro ambienti digitali diventano più complessi.

Gestire l'accesso con attenzione

Le piattaforme di intelligenza artificiale dovrebbero seguire gli stessi principi di accesso degli altri sistemi aziendali. I dipendenti dovrebbero ricevere solo le autorizzazioni di cui hanno effettivamente bisogno per svolgere le proprie mansioni. Password complesse e autenticazione a più fattori possono fornire un'ulteriore protezione per gli account. Le aziende dovrebbero inoltre rivedere gli accessi quando i dipendenti cambiano ruolo o lasciano l'organizzazione.

Le integrazioni richiedono particolare attenzione. Collegare una piattaforma di intelligenza artificiale all'archiviazione cloud, ai database dei clienti o ad altre applicazioni può consentirle di accedere a una notevole quantità di informazioni. Pertanto, le autorizzazioni dovrebbero essere limitate a quanto strettamente necessario.

Preparare i dipendenti ai nuovi rischi

I dipendenti svolgono un ruolo importante nell'adozione sicura dell'IA. La formazione dovrebbe illustrare sia le opportunità che i potenziali rischi associati a questi strumenti. Il personale dovrebbe comprendere perché le informazioni riservate devono essere gestite con attenzione e come riconoscere messaggi sospetti relativi all'intelligenza artificiale o servizi. Le aziende possono anche fornire un elenco di strumenti approvati, riducendo così la probabilità che i dipendenti adottino piattaforme non verificate semplicemente perché sono più comode.

Rivedere regolarmente gli strumenti di intelligenza artificiale

Una piattaforma che soddisfa i requisiti aziendali odierni potrebbe non rimanere adatta indefinitamente. I servizi di intelligenza artificiale si evolvono rapidamente, mentre le aziende cambiano continuamente il modo in cui li utilizzano.

Le revisioni periodiche possono identificare account inutilizzati, integrazioni superflue e autorizzazioni obsolete. Le aziende dovrebbero anche riconsiderare se ogni strumento offra ancora un valore sufficiente a giustificare l'accesso che riceve. Società di consulenza sulla sicurezza informatica come Conformità IT Compass È importante notare che integrare le piattaforme di intelligenza artificiale in una regolare valutazione del rischio IT è uno dei modi più affidabili per individuare integrazioni dimenticate e autorizzazioni eccessive prima che si trasformino in una vulnerabilità.

Integrare la sicurezza nella strategia per l'IA

Le aziende non dovrebbero essere costrette a scegliere tra innovazione e sicurezza. L'intelligenza artificiale può offrire vantaggi significativi se introdotta con adeguate misure di sicurezza. Comprendendo come vengono gestiti i dati, mantenendo la visibilità, controllando gli accessi e formando i dipendenti, le organizzazioni possono adottare l'IA con maggiore fiducia.
Considerare la sicurezza come parte integrante della strategia di intelligenza artificiale fin dalle prime fasi può aiutare le aziende a trarre vantaggio dalle nuove tecnologie senza introdurre rischi inutili.

Attenzione all'IA ombra

L'IA ombra si verifica quando i dipendenti utilizzano strumenti di intelligenza artificiale che l'organizzazione non ha esaminato o approvato.

Questo può accadere con una rapidità sorprendente.

Un dipendente trova un'applicazione di intelligenza artificiale utile.

Creano un account.

Caricano un foglio di calcolo con i dati dei clienti.

Lo strumento funziona bene.

Lo consigliano ai colleghi.

Ben presto diversi dipartimenti inizieranno a utilizzare una piattaforma di cui i team di sicurezza, IT, legale e acquisti non sanno assolutamente nulla.

Il problema non è che i dipendenti stiano cercando di creare rischi per la sicurezza.

Di solito cercano di lavorare più velocemente.

Le aziende hanno quindi bisogno di un'alternativa al semplice dire:

“Non utilizzare l’intelligenza artificiale.”

Creare un elenco di strumenti di intelligenza artificiale approvati.

Spiega a cosa serve ciascuno strumento.

Rendete comode le opzioni approvate.

Fornire ai dipendenti una procedura per richiedere nuovi strumenti.

Ciò semplifica l'individuazione di nuove applicazioni dell'IA prima che diventi un'infrastruttura invisibile.

L'iniezione immediata rappresenta un vero rischio per la sicurezza dell'IA.

L'iniezione di prompt è uno dei rischi per la sicurezza più importanti nelle applicazioni basate su modelli linguistici complessi.

OWASP definisce l'iniezione di prompt come una vulnerabilità in cui gli input modificano il comportamento o l'output di un LLM in modi non intenzionali. Le istruzioni dannose possono provenire direttamente da un utente o indirettamente attraverso i contenuti elaborati dal modello.

Immagina un assistente basato sull'intelligenza artificiale in grado di:

• Leggi i documenti dal tuo spazio di archiviazione cloud.
• Riassumili.
• Invia i risultati via email.

Un documento dannoso potrebbe contenere istruzioni nascoste che inducono l'assistente IA a ignorare il suo normale compito e a divulgare informazioni.

Il dipendente potrebbe non vedere mai queste istruzioni.

L'IA lo fa.

L'iniezione tempestiva diventa particolarmente importante quando i sistemi di IA possono interagire con:

• Email
• File
• Database
• Browser
• API
• Piattaforme CRM
• sistemi di pagamento
• Applicazioni interne

OWASP osserva che l'iniezione di prompt, se eseguita correttamente, può potenzialmente portare alla divulgazione di informazioni sensibili, all'accesso non autorizzato a funzioni, alla manipolazione di contenuti o ad azioni indesiderate nei sistemi connessi.

L'iniezione immediata non può essere risolta semplicemente dicendo al modello:

“Non seguire mai istruzioni maligne.”

Anche intorno al sistema di intelligenza artificiale devono esistere dei controlli di sicurezza.

Limitare l'accesso consentito ai sistemi di intelligenza artificiale

Uno dei principi di sicurezza più semplici è anche uno dei più preziosi:

Non concedere a un sistema di intelligenza artificiale più accesso di quanto necessario.

Se un assistente basato sull'intelligenza artificiale deve solo leggere una specifica cartella di documenti, non dovrebbe avere accesso all'intero disco aziendale.

Se sono necessari solo i nomi dei clienti, potrebbe non essere necessario richiedere le informazioni di pagamento.

Se deve redigere delle bozze di email, potrebbe non aver bisogno di autorizzazione per inviarle automaticamente.

Applicare, ove possibile, il principio del minimo privilegio di accesso.

Le autorizzazioni devono essere riviste anche quando i dipendenti:

• Cambiare ruolo
• Cambiare reparto
• Completamento dei progetti
• Lascia l'azienda
• Smetti di usare un'applicazione

L'accesso tende ad accumularsi.

La sicurezza migliora quando gli accessi non necessari vengono rimossi regolarmente.

Gli agenti basati sull'intelligenza artificiale aumentano l'importanza dei controlli di autorizzazione.

Gli strumenti tradizionali di intelligenza artificiale generano principalmente output.

Agenti AI possono intraprendere azioni sempre più frequenti.

Possono:

• Cercare in rete
• Manda messaggi
• Aggiorna i record CRM
• Leggere i documenti
• Creare file
• Effettuare chiamate API
• Pianifica riunioni
• Eseguire i flussi di lavoro
• Attivare altri software

Ciò modifica il rischio.

Una risposta errata da parte di un chatbot può generare confusione.

Un'azione errata da parte di un agente può alterare i sistemi aziendali reali.

OWASP ha evidenziato l'eccessiva autonomia come un importante rischio per la sicurezza dell'intelligenza artificiale generativa e dei sistemi di IA, soprattutto perché le organizzazioni concedono ai sistemi di IA maggiore autonomia e accesso a strumenti esterni.

Utilizzare misure di sicurezza quali:

• Autorizzazioni minime necessarie
• Approvazione umana per azioni delicate
• Limiti di transazione
• Strumenti limitati
• Cancella i registri delle azioni
• Autenticazione utente
• Accesso basato sui ruoli
• Ambienti sandbox
• Opzioni di arresto di emergenza

Quanto più un sistema di intelligenza artificiale è in grado di fare, tanto più attentamente devono essere definite le sue autorizzazioni.

Coinvolgere le persone nelle azioni ad alto impatto

Non ogni azione dell'IA necessita di approvazione.

Ma le azioni ad alto impatto meritano controlli più rigorosi.

Prima che l'IA possa: è necessario valutare l'approvazione umana.

• Invia grandi quantità di email esterne
• Elimina i dati aziendali
• Approva i pagamenti
• Modifica le autorizzazioni dell'account
• Pubblicare dichiarazioni pubbliche
• Firmare contratti
• Modificare l'infrastruttura di produzione
• Modifica le impostazioni di sicurezza
• Esportare set di dati di grandi dimensioni
• Prendere decisioni in materia di occupazione
• Intraprendere azioni irreversibili

L'automazione funziona al meglio quando il livello di supervisione è proporzionato al potenziale impatto.

Un suggerimento di contenuto a basso rischio potrebbe non richiedere quasi nessuna supervisione.

Un sistema in grado di modificare gli account dei clienti dovrebbe essere soggetto a controlli molto più rigorosi.

La divulgazione di informazioni sensibili può avvenire in diversi modi.

La fuga di dati non si limita al caso in cui un dipendente incolli una password in un chatbot.

Le informazioni sensibili possono essere divulgate attraverso:

• Prompt
• Risposte dell'IA
• File caricati
• Dati di allenamento
• Registri
• Integrazioni
• Sistemi di recupero
• Messaggi di sistema
• Applicazioni connesse
• Permessi impropri

OWASP include la divulgazione di informazioni sensibili tra i principali rischi per la sicurezza delle applicazioni LLM.

Le aziende dovrebbero decidere quali tipi di informazioni i sistemi di intelligenza artificiale sono autorizzati a elaborare prima di implementarli su larga scala.

Tra i controlli utili si possono includere:

• Classificazione dei dati
• Oscuramento automatico
• Restrizioni di accesso
• crittografia
• Regole per la prevenzione della perdita di dati
• Controlli di ritenzione
• Registrazione
• Formazione agli utenti
• Fonti di dati approvate

Le informazioni sensibili più sicure sono spesso quelle che il sistema di intelligenza artificiale non riceve mai.

Non inserire mai segreti nei prompt di sistema.

I messaggi di sistema contengono istruzioni che aiutano a definire il comportamento di un'applicazione di intelligenza artificiale.

Non dovrebbero contenere segreti.

Non memorizzare informazioni quali:

• Le password
• Chiavi API
• Credenziali del database
• Token privati
• Stringhe di connessione
• Chiavi di sicurezza

OWASP avverte specificamente che i messaggi di sistema non devono essere trattati come dati riservati né utilizzati come misura di sicurezza.

Si presume che gli utenti più abili possano, col tempo, apprendere parte delle istruzioni utilizzate da un'applicazione di intelligenza artificiale.

L'effettiva autorizzazione dovrebbe essere garantita dal software circostante.

Non chiedendo al modello di intelligenza artificiale di mantenere un segreto.

Proteggere le integrazioni di IA

L'intelligenza artificiale diventa più utile quando si connette ad altri software aziendali.

Inoltre, diventa più potente.

Uno strumento di intelligenza artificiale connesso a Google Drive, Microsoft 365, Slack, software CRM, database o API interne può accedere a enormi quantità di informazioni.

Prima di abilitare un'integrazione, chiedi:

• Che cosa può leggere l'IA?
• Cosa può scrivere?
• Cosa può eliminare?
• Quali utenti possono attivare azioni?
• Eredita i permessi dell'utente?
• Può accedere ai dati appartenenti ad altri reparti?
• Le azioni vengono registrate?
• Gli amministratori possono revocare l'accesso rapidamente?
• Cosa succede se l'account dell'IA viene compromesso?

Evitate di concedere autorizzazioni troppo ampie quando quelle più circoscritte sono sufficienti.

"Leggere tutti i file dell'organizzazione" non dovrebbe essere l'autorizzazione predefinita per un assistente che necessita di accedere a una sola cartella.

Recupero sicuro - Generazione aumentata e sistemi di conoscenza interna

Molte aziende migliorano gli assistenti basati sull'intelligenza artificiale utilizzando la Generazione Aumentata dal Recupero (Retrieval-Augmented Generation), spesso chiamata RAG.

RAG consente a un sistema di intelligenza artificiale di recuperare informazioni da fonti quali:

• Documenti interni
• Basi di conoscenza
• Articoli di supporto
• Documentazione del prodotto
• Database

Questo può rendere le risposte molto più utili.

Può inoltre creare nuove sfide in termini di sicurezza.

OWASP evidenzia in particolare le vulnerabilità relative ai vettori e agli embedding utilizzati nei sistemi RAG.

Le aziende dovrebbero considerare:

• Chi può aggiungere documenti?
• Chi può accedere alle informazioni recuperate?
• Se le autorizzazioni vengono mantenute
• Se i documenti dannosi possano influenzare i risultati
• Se le informazioni sensibili possono comparire nelle risposte
• Come vengono rimossi i documenti obsoleti
• Se gli embedding generati contengono informazioni sensibili
• Come viene protetto il database di recupero stesso

Un assistente IA interno non dovrebbe mai diventare una scorciatoia per aggirare le normali autorizzazioni dei documenti.

Convalidare gli output dell'IA prima che altri sistemi li utilizzino.

Non bisogna fidarsi automaticamente dei risultati generati dall'intelligenza artificiale solo perché provengono da un modello.

Se un altro sistema prende l'output e lo esegue, la validazione diventa particolarmente importante.

Ad esempio, un'IA potrebbe generare:

• SQL
• HTML
• Comandi della shell
• Richieste API
• URL
• Code
• Interrogazioni del database
• Percorsi file

Considera l'output del modello come un input potenzialmente inaffidabile.

OWASP include la gestione impropria dell'output tra i rischi importanti che interessano le applicazioni LLM, poiché un output non sicuro può creare vulnerabilità quando i sistemi a valle lo eseguono o lo visualizzano senza un'adeguata convalida.

Gli stessi principi di sviluppo sicuro utilizzati per altri input non attendibili dovrebbero continuare ad essere applicati.

L'intelligenza artificiale non fa scomparire la normale sicurezza delle applicazioni.

Non ignorare i rischi della catena di fornitura dell'IA

La maggior parte delle aziende non sviluppa internamente ogni singolo componente della propria infrastruttura di intelligenza artificiale.

Potrebbero fare affidamento su:

• Modelli di fondazione
• Fornitori di cloud
• Modelli open source
• API
• plugin
• Estensioni del browser
• Agenti AI
• Fornitori di dati
• Database vettoriali
• Biblioteche
• Repository di modelli

Ogni componente aggiuntivo crea un'ulteriore dipendenza.

OWASP include le vulnerabilità della catena di fornitura dell'IA tra i principali rischi LLM.

Prima di adottare un nuovo componente, esaminare:

• Chi lo mantiene
• Con quale frequenza viene aggiornato
• Vulnerabilità note
• I suoi permessi di accesso
• Le sue dipendenze
• Dove vengono inviati i dati
• Se gli aggiornamenti avvengono automaticamente
• Se una versione compromessa potrebbe influire sul tuo ambiente

Un modello di intelligenza artificiale affidabile non rende sicura un'integrazione inaffidabile.

Altri articoli interessanti

• Generatore di post LinkedIn AI
• Esempi di idee per video di giardinaggio su YouTube
• Agenti di intelligenza artificiale per aziende di giardinaggio
• I migliori stili artistici dell'intelligenza artificiale
• Esempi di idee per video di YouTube sul controllo dei parassiti
• Idee per contenuti automobilistici sui social media
• Esempi di idee per video di idraulici su YouTube
• Agenti di intelligenza artificiale per aziende di disinfestazione
• Esempi di idee per video di elettricisti su YouTube
• Come le aziende di disinfestazione possono ottenere più contatti 
• Annunci Google AI per servizi domestici
• I video di formazione di 60 secondi sono il nuovo standard aziendale.
• Prezzi delle pubbliche relazioni in ambito di sicurezza informatica: onorari, risultati attesi e ritorno sull'investimento (ROI)
• I migliori strumenti di intelligenza artificiale per la coerenza dei prodotti nell'e-commerce (video)