El aspecto de seguridad de la adopción de la IA que las empresas no pueden permitirse ignorar

La inteligencia artificial se está convirtiendo en parte del día a día empresarial.

Los equipos utilizan la IA para:

Crear contenido
Analizar documentos
Resumir las reuniones
Escribir código
Mercados de investigación
Responder a las preguntas de los clientes
Automatice el trabajo repetitivo
Buscar conocimiento interno
Ayudar a los empleados
Conectar aplicaciones empresariales
Hacer recomendaciones

Las mejoras en la productividad pueden ser sustanciales.

Lo mismo ocurre con los riesgos de seguridad.

Un empleado puede pegar información confidencial en una herramienta de IA sin darse cuenta de adónde va esa información.

Un asistente de IA puede tener acceso a muchos más datos de la empresa de los que necesita.

Un documento malicioso podría contener instrucciones diseñadas para manipular un sistema de IA.

An agente de IA Los sistemas conectados al correo electrónico, al almacenamiento en la nube, a un CRM u otras aplicaciones empresariales podrían realizar una acción que nadie pretendía.

Además, es posible que los empleados empiecen a utilizar nuevas aplicaciones de IA mucho antes de que los equipos de TI o de seguridad sepan que existen.

Por lo tanto, la adopción segura de la IA requiere algo más que elegir un software de buena reputación.

Las empresas necesitan comprender los datos, el acceso, las integraciones, los permisos, los modelos, las personas y los procesos que hay detrás de sus sistemas de IA.

El marco de gestión de riesgos de IA del Instituto Nacional de Estándares y Tecnología recomienda gestionar el riesgo de IA en todo el proceso. design, el desarrollo, la implementación, el uso y la evaluación de sistemas de IA, en lugar de tratar la seguridad como una revisión única.

Estos son los riesgos de seguridad de la IA que las empresas deben comprender antes de que su adopción avance más rápido de lo que pueden controlarla.

Comités

Comprenda adónde van los datos empresariales

Muchas herramientas de IA dependen de que los usuarios proporcionen información a través de indicaciones, documentos o integraciones. Los empleados pueden subir informes, información de clientes o materiales internos sin comprender del todo cómo se procesan esos datos.

Antes de aprobar una plataforma de IA, las empresas deben examinar cómo gestiona la información. Esto incluye comprender qué datos se recopilan, cuánto tiempo se conservan y si podrían utilizarse para otros fines. políticas internas También puede ayudar a los empleados a comprender qué información deben y no deben introducir en los sistemas de IA.

Mantén la visibilidad a medida que la tecnología se expande.

La adopción de la IA rara vez se produce de forma aislada. Es posible que las empresas ya dependan de aplicaciones en la nube, dispositivos remotos, plataformas de colaboración y numerosos servicios de software, por lo que añadir más herramientas dificulta cada vez más mantener la visibilidad en todo el entorno tecnológico.

Los equipos de seguridad necesitan formas de reconocer comportamientos inusuales en estos diferentes sistemas. Tecnologías asociadas con Ciberseguridad SIEM Puede integrar información de seguridad de múltiples fuentes, lo que ayuda a las organizaciones a obtener mayor visibilidad e investigar actividades potencialmente sospechosas. Esta visión más amplia puede resultar cada vez más valiosa a medida que las empresas adoptan plataformas más conectadas y sus entornos digitales se vuelven más complejos.

Gestione el acceso con cuidado.

Las plataformas de IA deben seguir los mismos principios de acceso que otros sistemas empresariales. Los empleados solo deben recibir los permisos que realmente necesitan para desempeñar sus funciones. Las contraseñas seguras y la autenticación multifactor pueden brindar protección adicional a las cuentas. Las empresas también deben revisar el acceso cuando los empleados cambian de puesto o dejan la organización.

Las integraciones requieren especial atención. Conectar una plataforma de IA con almacenamiento en la nube, bases de datos de clientes u otras aplicaciones puede darle acceso a grandes cantidades de información. Por lo tanto, los permisos deben limitarse a lo estrictamente necesario.

Prepare a los empleados para los nuevos riesgos.

Los empleados desempeñan un papel importante en la adopción segura de la IA. La capacitación debe explicar tanto las oportunidades como los riesgos potenciales asociados con estas herramientas. El personal debe comprender por qué la información confidencial debe manejarse con cuidado y cómo reconocerla. mensajes sospechosos relacionados con la IA o servicios. Las empresas también pueden proporcionar una lista de herramientas aprobadas, reduciendo así la probabilidad de que los empleados adopten plataformas no verificadas simplemente por su conveniencia.

Revisa periódicamente las herramientas de IA.

Una plataforma que satisface las necesidades empresariales hoy en día puede no seguir siendo adecuada indefinidamente. Los servicios de IA evolucionan rápidamente, mientras que las empresas cambian continuamente la forma en que los utilizan.

Las revisiones periódicas pueden identificar cuentas sin usar, integraciones innecesarias y permisos obsoletos. Las empresas también deberían reconsiderar si cada herramienta sigue aportando suficiente valor como para justificar el acceso que recibe. Empresas de consultoría en ciberseguridad como Cumplimiento de TI de Compass Cabe destacar que integrar las plataformas de IA en una evaluación de riesgos de TI periódica es una de las formas más fiables de detectar integraciones olvidadas y permisos excesivos antes de que se conviertan en una vulnerabilidad.

Integrar la seguridad en la estrategia de IA

Las empresas no deberían tener que elegir entre innovación y seguridad. La IA puede ofrecer beneficios significativos cuando se implementa con las medidas de seguridad adecuadas. Al comprender cómo se gestionan los datos, mantener la visibilidad, controlar el acceso y capacitar a los empleados, las organizaciones pueden adoptar la IA con mayor confianza.
Considerar la seguridad como parte de la estrategia de IA desde el principio puede ayudar a las empresas a obtener los beneficios de las nuevas tecnologías sin introducir riesgos innecesarios.

Esté atento a la IA en la sombra

La IA en la sombra se produce cuando los empleados utilizan herramientas de IA que la organización no ha revisado ni aprobado.

Esto puede ocurrir con sorprendente rapidez.

Un empleado encuentra una aplicación de IA muy útil.

Crean una cuenta.

Suben una hoja de cálculo con los clientes.

La herramienta funciona bien.

Se lo recomiendan a sus compañeros.

Pronto, varios departamentos estarán utilizando una plataforma que los equipos de seguridad, informática, legal y compras desconocen por completo.

El problema no es que los empleados intenten crear riesgos de seguridad.

Normalmente intentan trabajar más rápido.

Por lo tanto, las empresas necesitan una alternativa a simplemente decir:

“No utilices la IA.”

Crea una lista de herramientas de IA aprobadas.

Explica para qué se puede utilizar cada herramienta.

Haga que las opciones aprobadas sean convenientes.

Establezca un procedimiento para que los empleados soliciten nuevas herramientas.

Eso facilita encontrar nuevas aplicaciones de la IA antes de que se convierta en una infraestructura invisible.

La inyección de mensajes es un riesgo real para la seguridad de la IA.

La inyección de código es uno de los riesgos de seguridad más importantes en las aplicaciones construidas en torno a grandes modelos de lenguaje.

OWASP define la inyección de comandos como una vulnerabilidad en la que las entradas modifican el comportamiento o la salida de un modelo de lógica descriptiva (LLM) de forma no deseada. Las instrucciones maliciosas pueden provenir directamente del usuario o indirectamente a través del contenido que procesa el modelo.

Imagina un asistente de IA que pueda:

• Lee documentos desde tu almacenamiento en la nube.
• Resúmelos.
• Enviar resultados por correo electrónico.

Un documento malicioso podría contener instrucciones ocultas que le indiquen al asistente de IA que ignore su tarea normal y exponga información.

Es posible que el empleado nunca vea esas instrucciones.

La IA sí.

La inyección rápida se vuelve particularmente importante cuando los sistemas de IA pueden interactuar con:

• Correo electrónico
• Archivos
• Bases de datos
• Navegadores
• API
• Plataformas CRM
• Los sistemas de pago
• Aplicaciones internas

OWASP señala que una inyección de código malicioso exitosa puede potencialmente conducir a la divulgación de información confidencial, el acceso no autorizado a funciones, la manipulación de contenido o acciones no deseadas en sistemas conectados.

La inyección de mensajes instantáneos no se puede solucionar simplemente diciéndole al modelo:

“Nunca sigas instrucciones malintencionadas.”

También deben existir controles de seguridad en torno al sistema de IA.

Limitar el acceso permitido a los sistemas de IA

Uno de los principios de seguridad más sencillos es también uno de los más valiosos:

No le des a un sistema de IA más acceso del que necesita.

Si un asistente de IA solo necesita leer una carpeta de documentos específica, no debería tener acceso a toda la unidad de disco de la empresa.

Si solo necesita los nombres de los clientes, es posible que no necesite la información de pago.

Si necesita redactar correos electrónicos, es posible que no necesite permiso para enviarlos automáticamente.

Aplique el principio de mínimo privilegio siempre que sea posible.

Los permisos también deben revisarse cuando los empleados:

• Cambiar roles
• Cambiar de departamento
• Finalizar proyectos
• Dejar la empresa
• Deja de usar una aplicación

El acceso tiende a acumularse.

La seguridad mejora cuando se elimina periódicamente el acceso innecesario.

Los agentes de IA aumentan la importancia de los controles de permisos.

Las herramientas de IA tradicionales generan principalmente resultados.

Agentes de inteligencia artificial pueden tomar medidas cada vez más.

Que puede:

• Busca en la web
• Enviar mensajes
• Actualizar registros de CRM
• Leer documentos
• Crear archivos
• Realizar llamadas API
• Programar reuniones
• Ejecutar flujos de trabajo
• Activar otro software

Eso cambia el riesgo.

Una respuesta incorrecta del chatbot puede generar confusión.

Una acción incorrecta de un agente puede alterar sistemas empresariales reales.

OWASP ha destacado la excesiva autonomía como un importante riesgo de seguridad para la IA generativa y el aprendizaje automático, especialmente a medida que las organizaciones otorgan a los sistemas de IA mayor autonomía y acceso a herramientas externas.

Utilice medidas de seguridad como las siguientes:

• Permisos mínimos necesarios
• Aprobación humana para acciones delicadas
• Limites de transaccion
• Herramientas restringidas
• Borrar registros de acciones
• Autenticacion de usuario
• Acceso basado en roles
• Entornos aislados
• Opciones de parada de emergencia

Cuanto más capaz sea un sistema de IA, con mayor cuidado deberán diseñarse sus permisos.

Mantén a los humanos informados sobre las acciones de alto impacto.

No todas las acciones de la IA necesitan aprobación.

Pero las acciones de gran impacto merecen controles más estrictos.

Considera la aprobación humana antes de que la IA pueda:

• Enviar grandes lotes de correos electrónicos externos
• Eliminar datos de la empresa
• Aprobar pagos
• Cambiar permisos de cuenta
• Publicar declaraciones públicas
• Firmar contratos
• Modificar la infraestructura de producción
• Cambiar la configuración de seguridad
• Exportar grandes conjuntos de datos
• Tomar decisiones laborales
• Tomar medidas irreversibles

La automatización funciona mejor cuando el nivel de supervisión se corresponde con el impacto potencial.

Una sugerencia de contenido de bajo riesgo puede no requerir casi ninguna supervisión.

Un sistema que pueda modificar las cuentas de los clientes debería estar sujeto a controles mucho más estrictos.

La divulgación de información sensible puede ocurrir de varias maneras.

La fuga de datos no se limita a que un empleado copie y pegue una contraseña en un chatbot.

La información confidencial puede quedar expuesta a través de:

• Mensajes del sistema
• Respuestas de la IA
• Archivos subidos
• Datos de entrenamiento
• Logs
• ERP y SAP
• Sistemas de recuperación
• Mensajes del sistema
• Aplicaciones conectadas
• Permisos indebidos

OWASP incluye la divulgación de información sensible entre sus principales riesgos de seguridad para las aplicaciones LLM.

Las empresas deberían decidir qué tipo de información pueden procesar los sistemas de IA antes de implementarlos de forma generalizada.

Entre los controles útiles se incluyen:

• Clasificación de datos
• Redacción automática
• Restricciones de acceso
• Cifrado
• Reglas para la prevención de la pérdida de datos
• Controles de retención
• Inicio de sesión
• Entrenamiento de usuario
• Fuentes de datos aprobadas

La información sensible más segura suele ser aquella que el sistema de IA nunca recibe.

Nunca introduzcas información confidencial en las solicitudes del sistema.

Las indicaciones del sistema contienen instrucciones que ayudan a definir cómo se comporta una aplicación de IA.

No deben contener secretos.

No almacene información como:

• contraseñas
• Claves API
• Credenciales de base de datos
• tokens privados
• Cadenas de conexión
• Llaves de seguridad

OWASP advierte específicamente que las indicaciones del sistema no deben tratarse como almacenamiento de secretos ni utilizarse como control de seguridad.

Supongamos que los usuarios inteligentes pueden llegar a aprender partes de las instrucciones utilizadas por una aplicación de IA.

La autorización real debe ser aplicada por el software circundante.

No pidiéndole al modelo de IA que mantenga algo en secreto.

Proteger las integraciones de IA

La IA resulta más útil cuando se conecta con otros programas informáticos empresariales.

También se vuelve más potente.

Una herramienta de IA conectada a Google Drive, Microsoft 365, Slack, software CRM, bases de datos o API internas puede acceder a enormes cantidades de información.

Antes de habilitar una integración, pregunte:

• ¿Qué puede leer la IA?
• ¿Qué puede escribir?
• ¿Qué puede borrar?
• ¿Qué usuarios pueden activar acciones?
• ¿Hereda los permisos del usuario?
• ¿Puede acceder a datos pertenecientes a otros departamentos?
• ¿Se registran las acciones?
• ¿Pueden los administradores revocar el acceso rápidamente?
• ¿Qué ocurre si la cuenta de IA se ve comprometida?

Evite otorgar permisos demasiado amplios cuando bastan con permisos más específicos.

El permiso predeterminado para un asistente que solo necesita una carpeta no debería ser "Leer todos los archivos de la organización".

Sistemas de generación aumentada y de conocimiento interno para la recuperación segura de información.

Muchas empresas mejoran los asistentes de IA utilizando la Generación Aumentada por Recuperación, a menudo denominada RAG.

RAG permite que un sistema de IA recupere información de fuentes como:

• Documentos internos
• Bases de conocimiento
• Artículos de soporte
• Documentación del producto
• Bases de datos

Esto puede hacer que las respuestas sean mucho más útiles.

También puede generar nuevos desafíos de seguridad.

OWASP destaca específicamente las vulnerabilidades relacionadas con los vectores y las incrustaciones utilizadas en los sistemas RAG.

Las empresas deberían considerar:

• ¿Quién puede añadir documentos?
• ¿Quién puede acceder a la información recuperada?
• Si los permisos se conservan
• Si los documentos maliciosos podrían influir en los resultados
• Si se puede incluir información sensible en las respuestas
• Cómo se eliminan los documentos antiguos
• Si las incrustaciones generadas contienen información sensible
• Cómo se protege la propia base de datos de recuperación

Un asistente de IA interno nunca debería convertirse en un atajo para eludir los permisos normales de los documentos.

Valida los resultados de la IA antes de que otros sistemas los utilicen.

No se debe confiar automáticamente en los resultados generados por IA solo porque provengan de un modelo.

Si otro sistema toma el resultado y lo ejecuta, la validación se vuelve especialmente importante.

Por ejemplo, una IA podría generar:

• SQL
• HTML
• Comandos de shell
• Solicitudes API
• URL
• Código
• Consultas de bases de datos
• Rutas de archivo

Trate la salida del modelo como una entrada potencialmente no confiable.

OWASP incluye el manejo inadecuado de la salida entre los riesgos importantes que afectan a las aplicaciones LLM, ya que una salida insegura puede crear vulnerabilidades cuando los sistemas posteriores la ejecutan o la muestran sin la validación adecuada.

Deben seguir aplicándose los mismos principios de desarrollo seguro que se utilizan para otros datos de entrada no confiables.

La IA no hace desaparecer la seguridad normal de las aplicaciones.

No ignore el riesgo de la cadena de suministro de IA

La mayoría de las empresas no construyen por sí mismas todos los componentes de su infraestructura de IA.

Pueden basarse en:

• Modelos de cimentación
• Proveedores de la nube
• Modelos de código abierto
• API
• Plugins
• Extensiones del navegador
• Agentes de inteligencia artificial
• Proveedores de datos
• Bases de datos vectoriales
• Bibliotecas
• repositorios de modelos

Cada componente adicional crea una nueva dependencia.

OWASP incluye las vulnerabilidades de la cadena de suministro de IA entre sus principales riesgos LLM.

Antes de adoptar un nuevo componente, revise:

• ¿Quién lo mantiene?
• Con qué frecuencia se actualiza
• Vulnerabilidades conocidas
• Sus permisos de acceso
• Sus dependencias
• A dónde se envían los datos
• Si las actualizaciones se realizan automáticamente
• Si una versión comprometida podría afectar su entorno

Un modelo de IA fiable no garantiza la seguridad de una integración poco fiable.

Otros artículos interesantes

• Generador de publicaciones de LinkedIn con IA
• Ejemplos de ideas para vídeos de jardinería en YouTube
• Agentes de IA para empresas de jardinería
• Principales estilos artísticos de IA
• Ejemplos de ideas para videos de YouTube sobre control de plagas
• Ideas de contenido para redes sociales automotrices
• Ejemplos de ideas para vídeos de fontaneros en YouTube
• Agentes de IA para empresas de control de plagas
• Ejemplos de ideas para vídeos de YouTube sobre electricistas
• Cómo las empresas de control de plagas pueden conseguir más clientes potenciales 
• Anuncios de Google con IA para servicios a domicilio
• Los vídeos de formación de 60 segundos son el nuevo estándar corporativo.
• Precios de relaciones públicas en ciberseguridad: honorarios fijos, entregables y retorno de la inversión.
• Las mejores herramientas de IA para la coherencia de productos en vídeo de comercio electrónico