Les enjeux de sécurité liés à l'adoption de l'IA que les entreprises ne peuvent se permettre d'ignorer

L'intelligence artificielle s'intègre de plus en plus au monde des affaires.

Les équipes utilisent l'IA pour :

Créer du contenu
Analyser les documents
Résumer les réunions
Écrire du code
Études de marché
Répondre aux questions des clients
Automatiser le travail répétitif
Recherche de connaissances internes
Aider les employés
Connecter les applications métier
Faire des recommendations

Les gains de productivité peuvent être substantiels.

Les risques liés à la sécurité le peuvent également.

Un employé peut coller des informations confidentielles dans un outil d'IA sans se rendre compte où ces informations sont envoyées.

Un assistant IA peut avoir accès à beaucoup plus de données d'entreprise que nécessaire.

Un document malveillant pourrait contenir des instructions destinées à manipuler un système d'IA.

An Agent IA Une application connectée à la messagerie électronique, au stockage cloud, à un CRM ou à d'autres applications professionnelles pourrait déclencher une action non prévue par la communauté.

Et les employés pourraient commencer à utiliser de nouvelles applications d'IA bien avant que les équipes informatiques ou de sécurité n'en connaissent l'existence.

L’adoption sécurisée de l’IA nécessite donc plus que le simple choix d’un logiciel réputé.

Les entreprises doivent comprendre les données, les accès, les intégrations, les autorisations, les modèles, les personnes et les processus qui sous-tendent leurs systèmes d'IA.

Le cadre de gestion des risques liés à l'IA du National Institute of Standards and Technology recommande de gérer les risques liés à l'IA tout au long du processus. unique, le développement, le déploiement, l'utilisation et l'évaluation des systèmes d'IA plutôt que de considérer la sécurité comme un examen ponctuel.

Voici les risques liés à la sécurité de l'IA que les entreprises doivent comprendre avant que son adoption ne dépasse leur capacité à la contrôler.

Chapitres

Comprendre où vont les données d'entreprise

De nombreux outils d'IA dépendent de la saisie d'informations par les utilisateurs via des invites, des documents ou des intégrations. Les employés peuvent télécharger des rapports, des informations clients ou des documents internes sans bien comprendre comment ces données sont traitées.

Avant d'approuver une plateforme d'IA, les entreprises doivent examiner comment elle traite les informations. Cela implique de comprendre quelles données sont collectées, combien de temps elles sont conservées et si elles pourraient être utilisées à d'autres fins. politiques internes peut également aider les employés à comprendre quelles informations ils doivent et ne doivent pas saisir dans les systèmes d'IA.

Maintenir la visibilité face à l'expansion technologique

L'adoption de l'IA se fait rarement de manière isolée. Les entreprises utilisent déjà souvent des applications cloud, des appareils distants, des plateformes de collaboration et de nombreux services logiciels ; l'ajout de nouveaux outils rend donc le maintien d'une visibilité sur l'ensemble de l'environnement technologique de plus en plus complexe.

Les équipes de sécurité ont besoin de moyens pour détecter les comportements inhabituels sur ces différents systèmes. Les technologies associées à cybersécurité SIEM Elle permet de centraliser les informations de sécurité provenant de sources multiples, offrant ainsi aux organisations une meilleure visibilité et facilitant les enquêtes sur les activités potentiellement suspectes. Cette vision élargie prend une valeur croissante à mesure que les entreprises adoptent des plateformes plus connectées et que leurs environnements numériques se complexifient.

Gérez les accès avec soin

Les plateformes d'IA doivent respecter les mêmes principes d'accès que les autres systèmes d'information de l'entreprise. Les employés ne doivent recevoir que les autorisations strictement nécessaires à l'exercice de leurs fonctions. Des mots de passe robustes et l'authentification multifacteurs offrent une protection supplémentaire aux comptes. Les entreprises doivent également revoir les accès lorsque des employés changent de poste ou quittent l'organisation.

Les intégrations requièrent une attention particulière. Connecter une plateforme d'IA à un stockage cloud, à des bases de données clients ou à d'autres applications peut lui donner accès à d'importantes quantités d'informations. Les autorisations doivent donc être limitées au strict nécessaire.

Préparer les employés aux nouveaux risques

Les employés jouent un rôle essentiel dans l'adoption sécurisée de l'IA. La formation doit expliquer à la fois les opportunités et les risques potentiels liés à ces outils. Le personnel doit comprendre pourquoi les informations confidentielles doivent être traitées avec précaution et comment les identifier. Messages suspects liés à l'IA ou des services. Les entreprises peuvent également fournir une liste d'outils approuvés, réduisant ainsi la probabilité que les employés adoptent des plateformes non vérifiées simplement parce qu'elles sont pratiques.

Examinez régulièrement les outils d'IA

Une plateforme adaptée aux besoins actuels des entreprises peut ne plus l'être indéfiniment. Les services d'IA évoluent rapidement, et les entreprises modifient constamment leur utilisation de ces services.

Des audits réguliers permettent d'identifier les comptes inutilisés, les intégrations superflues et les autorisations obsolètes. Les entreprises doivent également se demander si chaque outil apporte toujours une valeur ajoutée suffisante pour justifier l'accès qui lui est accordé. Les sociétés de conseil en cybersécurité, telles que… Conformité informatique de Compass Il convient de noter que l'intégration des plateformes d'IA dans une évaluation régulière des risques informatiques est l'un des moyens les plus fiables de détecter les intégrations oubliées et les autorisations excessives avant qu'elles ne deviennent une source de vulnérabilité.

Intégrer la sécurité à la stratégie d'IA

Les entreprises ne devraient pas avoir à choisir entre innovation et sécurité. L'IA peut apporter des avantages considérables lorsqu'elle est mise en œuvre avec les garanties appropriées. En comprenant comment les données sont traitées, en assurant leur visibilité, en contrôlant les accès et en sensibilisant les employés, les organisations peuvent adopter l'IA avec plus d'assurance.
Intégrer la sécurité dès le départ dans la stratégie d'IA peut aider les entreprises à tirer profit des nouvelles technologies sans introduire de risques inutiles.

Surveillez Shadow AI

L’IA fantôme se produit lorsque des employés utilisent des outils d’IA qui n’ont pas été examinés ni approuvés par l’organisation.

Cela peut arriver étonnamment vite.

Un employé découvre une application d'IA utile.

Ils créent un compte.

Ils téléchargent une feuille de calcul client.

L'outil fonctionne bien.

Ils le recommandent à leurs collègues.

Très vite, plusieurs services utilisent une plateforme dont les équipes de sécurité, d'informatique, juridiques et d'approvisionnement n'ont aucune idée.

Le problème n'est pas que les employés cherchent à créer des risques pour la sécurité.

Généralement, ils essaient de travailler plus vite.

Les entreprises ont donc besoin d'une alternative à ce simple constat :

« N’utilisez pas l’IA. »

Créer une liste d'outils d'IA approuvés.

Expliquez à quoi sert chaque outil.

Rendez les options approuvées pratiques.

Mettez en place une procédure pour que les employés puissent demander de nouveaux outils.

Cela permet de détecter plus facilement les nouvelles applications de l'IA avant qu'elle ne devienne une infrastructure invisible.

L'injection de prompts représente un véritable risque pour la sécurité de l'IA.

L'injection de prompts est l'un des risques de sécurité les plus importants dans les applications construites autour de grands modèles de langage.

OWASP définit l'injection de prompts comme une vulnérabilité où des entrées modifient le comportement ou la sortie d'un LLM de manière imprévue. Les instructions malveillantes peuvent provenir directement d'un utilisateur ou indirectement via le contenu traité par le modèle.

Imaginez un assistant IA capable de :

• Lisez les documents stockés dans votre cloud.
• Résumez-les.
• Envoyer les résultats par courriel.

Un document malveillant pourrait contenir des instructions cachées indiquant à l'assistant IA d'ignorer sa tâche normale et de divulguer des informations.

Il est possible que l'employé ne voie jamais ces instructions.

L'IA, oui.

L'injection rapide devient particulièrement importante lorsque les systèmes d'IA peuvent interagir avec :

• Email
• Documents officiels
• Bases de données
• Navigateurs
• Apis
• Plateformes CRM
• Systèmes de paiement
• Candidatures internes

OWASP note qu'une injection de prompt réussie peut potentiellement entraîner la divulgation d'informations sensibles, un accès non autorisé à des fonctions, une manipulation de contenu ou des actions non intentionnelles dans les systèmes connectés.

L'injection de prompt ne peut pas être résolue simplement en indiquant au modèle :

« Ne suivez jamais d’instructions malveillantes. »

Des contrôles de sécurité doivent également exister autour du système d'IA.

Limiter l'accès des systèmes d'IA

L'un des principes de sécurité les plus simples est aussi l'un des plus précieux :

Ne donnez pas à un système d'IA plus d'accès que nécessaire.

Si un assistant IA n'a besoin de lire qu'un dossier de documents spécifique, il ne devrait pas avoir accès à l'intégralité du disque dur de l'entreprise.

Si le système n'a besoin que des noms des clients, il n'aura peut-être pas besoin des informations de paiement.

Si le système doit rédiger des courriels, il n'a peut-être pas besoin d'autorisation pour les envoyer automatiquement.

Appliquez le principe du moindre privilège chaque fois que cela est possible.

Les autorisations doivent également être examinées lorsque les employés :

• Changer de rôle
• Départements de changement
• Projets terminés
• Quittez l'entreprise
• Cessez d'utiliser une application

L'accès a tendance à s'accumuler.

La sécurité s'améliore lorsque les accès inutiles sont régulièrement supprimés.

Les agents d'IA renforcent l'importance des contrôles d'autorisation

Les outils d'IA traditionnels génèrent principalement des résultats.

Agents d'IA peut de plus en plus prendre des mesures.

Ils peuvent:

• Rechercher sur le Web
• Envoyer des messages
• Mettre à jour les enregistrements CRM
• Lire les documents
• Créer des fichiers
• Effectuer des appels API
• Planifier des réunions
• Exécuter les flux de travail
• Déclencher d'autres logiciels

Cela change la donne en matière de risque.

Une réponse incorrecte du chatbot peut créer de la confusion.

Une action incorrecte d'un agent peut modifier les systèmes d'entreprise réels.

L'OWASP a mis en évidence un pouvoir d'action excessif comme un risque important pour la sécurité des LLM et de l'IA générative, en particulier lorsque les organisations accordent aux systèmes d'IA plus d'autonomie et d'accès à des outils externes.

Utilisez des mesures de protection telles que :

• autorisations minimales nécessaires
• Approbation humaine pour les actions sensibles
• Limite de transaction
• Outils restreints
• Effacer les journaux d'actions
• Authentification d'utilisateur
• Accès basé sur les rôles
• Environnements sandbox
• options d'arrêt d'urgence

Plus un système d'IA est capable de faire de choses, plus ses autorisations doivent être conçues avec soin.

Tenir les humains informés des actions à fort impact

Toutes les actions de l'IA ne nécessitent pas d'approbation.

Mais les actions à fort impact méritent des contrôles plus stricts.

Il est nécessaire de prendre en compte l'approbation humaine avant que l'IA puisse :

• Envoyer des lots importants d'emails externes
• Supprimer les données de l'entreprise
• Approuver les paiements
• Modifier les autorisations du compte
• Publier des déclarations publiques
• Signer des contrats
• Modifier l'infrastructure de production
• Modifier les paramètres de sécurité
• Exporter des ensembles de données volumineux
• Prendre des décisions en matière d'emploi
• Prendre des mesures irréversibles

L'automatisation est plus efficace lorsque le niveau de contrôle correspond à l'impact potentiel.

Une suggestion de contenu à faible risque peut ne nécessiter quasiment aucune supervision.

Un système capable de modifier les comptes clients devrait être soumis à des contrôles beaucoup plus stricts.

La divulgation d'informations sensibles peut se produire de plusieurs manières.

Les fuites de données ne se limitent pas au cas d'un employé qui colle un mot de passe dans un chatbot.

Des informations sensibles peuvent être divulguées par le biais de :

• Instructions
• Réponses de l'IA
• Fichiers téléchargés
• Données d'entraînement
• Journaux
• intégrations
• Systèmes de récupération
• Messages système
• Applications connectées
• Autorisations inappropriées

OWASP inclut la divulgation d'informations sensibles parmi ses principaux risques de sécurité pour les applications LLM.

Avant de déployer largement les systèmes d'IA, les entreprises doivent déterminer les types d'informations qu'ils sont autorisés à traiter.

Les commandes utiles peuvent inclure :

• Classification des données
• rédaction automatique
• Restrictions d'accès
• Chiffrement
• Règles de prévention des pertes de données
• Contrôles de rétention
• Journal
• La formation de l'utilisateur
• Sources de données approuvées

Les informations sensibles les plus sûres sont souvent celles que le système d'IA ne reçoit jamais.

Ne jamais saisir de secrets dans les invites système.

Les invites système contiennent des instructions qui permettent de définir le comportement d'une application d'IA.

Ils ne doivent pas contenir de secrets.

Ne stockez pas d'informations telles que :

• Les mots de passe
• Clés API
• Informations d'identification de la base de données
• jetons privés
• chaînes de connexion
• Clés de sécurité

OWASP met spécifiquement en garde contre le fait que les invites système ne doivent pas être considérées comme un stockage secret ni être utilisées comme un contrôle de sécurité.

Supposons que des utilisateurs avertis puissent finir par apprendre une partie des instructions utilisées par une application d'IA.

L'autorisation réelle devrait être mise en œuvre par le logiciel environnant.

Pas en demandant au modèle d'IA de garder quelque chose secret.

Protéger les intégrations d'IA

L'IA devient plus utile lorsqu'elle se connecte à d'autres logiciels d'entreprise.

Elle devient également plus puissante.

Un outil d'IA connecté à Google Drive, Microsoft 365, Slack, un logiciel CRM, des bases de données ou des API internes peut accéder à d'énormes quantités d'informations.

Avant d'activer une intégration, posez-vous les questions suivantes :

• Que peut lire l'IA ?
• Que peut-il écrire ?
• Que peut-il supprimer ?
• Quels utilisateurs peuvent déclencher des actions ?
• Hérite-t-il des autorisations de l'utilisateur ?
• Peut-il accéder aux données appartenant à d'autres services ?
• Les actions sont-elles enregistrées ?
• Les administrateurs peuvent-ils révoquer rapidement l'accès ?
• Que se passe-t-il si le compte de l'IA est compromis ?

Évitez les autorisations générales lorsque des autorisations spécifiques suffisent.

L’autorisation « Lire tous les fichiers de l’organisation » ne devrait pas être l’autorisation par défaut pour un assistant qui n’a besoin que d’un seul dossier.

Systèmes de génération augmentée par récupération sécurisée et de connaissances internes

De nombreuses entreprises améliorent les assistants IA grâce à la génération augmentée par récupération, souvent appelée RAG.

RAG permet à un système d'IA de récupérer des informations provenant de sources telles que :

• Documents internes
• Bases de connaissances
• Articles de support
• Documentation produit
• Bases de données

Cela peut rendre les réponses beaucoup plus utiles.

Cela peut également engendrer de nouveaux défis en matière de sécurité.

OWASP met spécifiquement en évidence les vulnérabilités liées aux vecteurs et aux intégrations utilisés dans les systèmes RAG.

Les entreprises devraient considérer :

• Qui peut ajouter des documents ?
• Qui peut accéder aux informations récupérées ?
• La préservation des autorisations
• La possibilité que des documents malveillants influencent les résultats
• La possibilité d'inclure des informations sensibles dans les réponses
• Comment les anciens documents sont-ils supprimés ?
• Si les représentations vectorielles générées contiennent des informations sensibles
• Comment la base de données de récupération elle-même est protégée

Un assistant IA interne ne devrait jamais servir de raccourci pour contourner les autorisations d'accès normales aux documents.

Validez les résultats de l'IA avant qu'ils ne soient utilisés par d'autres systèmes.

Il ne faut pas automatiquement faire confiance aux résultats générés par l'IA simplement parce qu'ils proviennent d'un modèle.

Si un autre système prend en charge le résultat et l'exécute, la validation devient particulièrement importante.

Par exemple, une IA pourrait générer :

• SQL
• HTML
• Commandes shell
• Demandes d'API
• URL
• Code
• Requêtes de base de données
• Chemins de fichiers

Considérez les résultats du modèle comme des données d'entrée potentiellement non fiables.

OWASP inclut la gestion incorrecte des sorties parmi les risques importants affectant les applications LLM, car une sortie non sécurisée peut créer des vulnérabilités lorsque les systèmes en aval l'exécutent ou la rendent sans validation appropriée.

Les mêmes principes de développement sécurisé utilisés pour les autres données d'entrée non fiables doivent continuer à s'appliquer.

L'IA ne fait pas disparaître la sécurité normale des applications.

Ne négligez pas les risques liés à la chaîne d'approvisionnement en IA

La plupart des entreprises ne construisent pas elles-mêmes l'intégralité de leur infrastructure d'IA.

Ils peuvent s'appuyer sur :

• Modèles de fondation
• Fournisseurs de cloud
• Modèles open source
• Apis
• Plugins
• Extensions du navigateur
• Agents d'IA
• Fournisseurs de données
• Bases de données vectorielles
• Bibliothèques
• Référentiels de modèles

Chaque composant supplémentaire crée une nouvelle dépendance.

OWASP inclut les vulnérabilités de la chaîne d'approvisionnement en IA parmi ses principaux risques liés à la gestion de la chaîne d'approvisionnement.

Avant d'adopter un nouveau composant, veuillez vérifier :

• Qui l'entretient
• Fréquence de mise à jour
• Vulnérabilités connues
• Ses autorisations d'accès
• Ses dépendances
• Où les données sont envoyées
• Que les mises à jour se fassent automatiquement
• Une version compromise pourrait-elle affecter votre environnement ?

Un modèle d'IA fiable ne rend pas une intégration non fiable sûre.

Autres articles intéressants

• Générateur de publications LinkedIn IA
• Exemples d'idées de vidéos YouTube sur le jardinage
• Agents IA pour les entreprises de jardinage
• Meilleurs styles artistiques d’IA
• Exemples d'idées de vidéos YouTube sur la lutte antiparasitaire
• Idées de contenu pour les réseaux sociaux automobiles
• Exemples d'idées de vidéos YouTube sur les plombiers
• Agents IA pour les entreprises de lutte antiparasitaire
• Exemples d'idées de vidéos YouTube sur les électriciens
• Comment les entreprises de lutte antiparasitaire peuvent obtenir plus de prospects 
• Annonces Google IA pour les services à domicile
• Les vidéos de formation de 60 secondes sont la nouvelle norme en entreprise
• Tarification des relations publiques en cybersécurité : contrats, livrables et retour sur investissement
• Meilleurs outils d'IA pour garantir la cohérence des produits dans la vidéo e-commerce