O lado da segurança na adoção da IA ​​que as empresas não podem ignorar.

A inteligência artificial está se tornando parte do cotidiano dos negócios.

As equipes usam IA para:

Crie conteúdo
Analisar documentos
Resumir reuniões
Escrever código
Pesquisar mercados
Responda às perguntas do cliente
Automatize tarefas repetitivas
Pesquisar conhecimento interno
Auxiliar os funcionários
Conecte aplicativos de negócios
Fazer recomendações

Os ganhos de produtividade podem ser substanciais.

O mesmo se aplica aos riscos de segurança.

Um funcionário pode colar informações confidenciais em uma ferramenta de IA sem perceber para onde essas informações vão.

Um assistente de IA pode ter acesso a muito mais dados da empresa do que precisa.

Um documento malicioso pode conter instruções destinadas a manipular um sistema de IA.

An agente de IA Conectado a e-mail, armazenamento em nuvem, um CRM ou outros aplicativos comerciais, pode executar uma ação não intencional.

E os funcionários podem começar a usar novos aplicativos de IA muito antes que as equipes de TI ou de segurança saibam que eles existem.

A adoção segura da IA, portanto, exige mais do que simplesmente escolher um software de boa reputação.

As empresas precisam entender os dados, o acesso, as integrações, as permissões, os modelos, as pessoas e os processos por trás de seus sistemas de IA.

A estrutura de gerenciamento de riscos de IA do Instituto Nacional de Padrões e Tecnologia recomenda o gerenciamento de riscos de IA em todas as etapas do processo. design, desenvolvimento, implementação, uso e avaliação de sistemas de IA, em vez de tratar a segurança como uma revisão pontual.

Aqui estão os riscos de segurança da IA ​​que as empresas devem entender antes que a adoção avance mais rápido do que sua capacidade de controlá-la.

capítulos

Entenda para onde vão os dados da sua empresa.

Muitas ferramentas de IA dependem de os usuários fornecerem informações por meio de solicitações, documentos ou integrações. Os funcionários podem carregar relatórios, informações de clientes ou materiais internos sem entender completamente como esses dados são processados.

Antes de aprovar uma plataforma de IA, as empresas devem examinar como ela lida com as informações. Isso inclui entender quais dados são coletados, por quanto tempo são retidos e se podem ser usados ​​para outros fins. políticas internas Também pode ajudar os funcionários a entender quais informações eles devem e não devem inserir nos sistemas de IA.

Mantenha a visibilidade à medida que a tecnologia se expande.

A adoção da IA ​​raramente ocorre de forma isolada. As empresas já podem depender de aplicativos em nuvem, dispositivos remotos, plataformas de colaboração e inúmeros serviços de software, portanto, adicionar mais ferramentas torna a manutenção da visibilidade em todo o ambiente tecnológico cada vez mais desafiadora.

As equipes de segurança precisam de maneiras de reconhecer comportamentos incomuns nesses diferentes sistemas. Tecnologias associadas a Segurança cibernética SIEM Pode reunir informações de segurança de múltiplas fontes, ajudando as organizações a obter maior visibilidade e a investigar atividades potencialmente suspeitas. Essa visão mais ampla pode se tornar cada vez mais valiosa à medida que as empresas adotam plataformas mais conectadas e seus ambientes digitais se tornam mais complexos.

Gerencie o acesso com cuidado.

As plataformas de IA devem seguir os mesmos princípios de acesso que outros sistemas empresariais. Os funcionários devem receber apenas as permissões estritamente necessárias para desempenhar suas funções. Senhas fortes e autenticação multifatorial podem fornecer proteção adicional às contas. As empresas também devem revisar o acesso quando os funcionários mudam de cargo ou deixam a organização.

As integrações exigem atenção especial. Conectar uma plataforma de IA ao armazenamento em nuvem, bancos de dados de clientes ou outros aplicativos pode dar acesso a quantidades substanciais de informações. Portanto, as permissões devem ser limitadas ao estritamente necessário.

Preparar os funcionários para novos riscos

Os funcionários desempenham um papel importante na adoção segura da IA. O treinamento deve explicar tanto as oportunidades quanto os riscos potenciais associados a essas ferramentas. Os funcionários devem entender por que as informações confidenciais precisam ser tratadas com cuidado e como reconhecê-las. mensagens suspeitas relacionadas à IA ou serviços. As empresas também podem fornecer uma lista de ferramentas aprovadas, reduzindo assim a probabilidade de os funcionários adotarem plataformas não verificadas simplesmente por serem convenientes.

Analise as ferramentas de IA regularmente.

Uma plataforma que atende às necessidades de negócios hoje pode não permanecer adequada indefinidamente. Os serviços de IA evoluem rapidamente, enquanto as empresas mudam continuamente a forma como os utilizam.

Revisões regulares podem identificar contas não utilizadas, integrações desnecessárias e permissões desatualizadas. As empresas também devem reavaliar se cada ferramenta ainda oferece valor suficiente para justificar o acesso concedido. Empresas de consultoria em cibersegurança como Conformidade de TI Compass Note que integrar plataformas de IA em uma avaliação de riscos de TI regular é uma das maneiras mais confiáveis ​​de detectar integrações esquecidas e permissões excessivas antes que se transformem em uma vulnerabilidade.

Integre a segurança à estratégia de IA.

As empresas não deveriam ter que escolher entre inovação e segurança. A IA pode trazer benefícios significativos quando implementada com as devidas salvaguardas. Ao compreender como os dados são tratados, manter a visibilidade, controlar o acesso e capacitar os funcionários, as organizações podem adotar a IA com mais confiança.
Considerar a segurança como parte da estratégia de IA desde o início pode ajudar as empresas a obter os benefícios da nova tecnologia sem introduzir riscos desnecessários.

Fique de olho na IA Sombra.

A IA paralela ocorre quando os funcionários usam ferramentas de IA que a organização não revisou ou aprovou.

Isso pode acontecer surpreendentemente rápido.

Um funcionário encontra uma aplicação de IA útil.

Eles criam uma conta.

Eles carregam uma planilha de clientes.

A ferramenta funciona bem.

Eles o recomendam aos colegas.

Em breve, vários departamentos estarão usando uma plataforma que as equipes de segurança, TI, jurídica e de compras desconhecem completamente.

O problema não é que os funcionários estejam tentando criar riscos de segurança.

Geralmente, eles estão tentando trabalhar mais rápido.

As empresas, portanto, precisam de uma alternativa a simplesmente dizer:

“Não use IA.”

Crie uma lista de ferramentas de IA aprovadas.

Explique para que serve cada ferramenta.

Torne as opções aprovadas convenientes.

Ofereça aos funcionários um processo para solicitar novas ferramentas.

Isso facilita a descoberta de novas aplicações para IA antes que ela se torne infraestrutura invisível.

A injeção imediata é um risco real para a segurança da IA.

A injeção imediata de código é um dos riscos de segurança mais importantes em aplicações construídas em torno de grandes modelos de linguagem.

A OWASP define injeção de prompt como uma vulnerabilidade em que entradas alteram o comportamento ou a saída de um modelo de lógica latente (LLM) de maneiras não intencionais. As instruções maliciosas podem vir diretamente de um usuário ou indiretamente por meio do conteúdo que o modelo processa.

Imagine um assistente de IA que possa:

• Leia documentos do seu armazenamento em nuvem.
• Resuma-os.
• Enviar resultados por e-mail.

Um documento malicioso pode conter instruções ocultas que dizem ao assistente de IA para ignorar sua tarefa normal e expor informações.

O funcionário pode nunca chegar a ver essas instruções.

A IA faz isso.

A injeção imediata torna-se particularmente importante quando os sistemas de IA podem interagir com:

• E-mail
• Arquivos
• Bases de dados
• Navegadores
• APIs
• Plataformas de CRM
• Os sistemas de pagamento
• Aplicativos internos

A OWASP observa que a injeção bem-sucedida de prompts pode potencialmente levar à divulgação de informações confidenciais, acesso não autorizado a funções, manipulação de conteúdo ou ações não intencionais em sistemas conectados.

A injeção imediata não pode ser resolvida simplesmente informando ao modelo:

“Nunca siga instruções maliciosas.”

Também é necessário que existam controles de segurança em torno do sistema de IA.

Limitar o acesso permitido aos sistemas de IA

Um dos princípios de segurança mais simples é também um dos mais valiosos:

Não conceda a um sistema de IA mais acesso do que ele precisa.

Se um assistente de IA precisar apenas ler uma pasta de documentos específica, ele não deve ter acesso a toda a unidade de rede da empresa.

Se precisar apenas dos nomes dos clientes, pode não precisar de informações de pagamento.

Se precisar redigir e-mails, pode não precisar de permissão para enviá-los automaticamente.

Aplique o princípio do menor privilégio sempre que possível.

As permissões também devem ser revistas quando os funcionários:

• Alterar funções
• Departamentos de mudança
• Projetos finalizados
• Sair da empresa
• Pare de usar o aplicativo

O acesso tende a se acumular.

A segurança melhora quando o acesso desnecessário é removido regularmente.

Agentes de IA aumentam a importância dos controles de permissão.

As ferramentas tradicionais de IA geram principalmente resultados.

Agentes AI podem tomar medidas cada vez mais.

Eles podem:

• Pesquise na internet
• Enviar mensagens
• Atualizar registros de CRM
• Leia os documentos
• Criar arquivos
• Fazer chamadas de API
• Agende reuniões
• Executar fluxos de trabalho
• Acionar outro software

Isso altera o risco.

Uma resposta incorreta do chatbot pode gerar confusão.

Uma ação incorreta do agente pode alterar sistemas empresariais reais.

A OWASP destacou a agência excessiva como um importante risco de segurança relacionado ao aprendizado de máquina e à IA generativa, especialmente à medida que as organizações concedem aos sistemas de IA mais autonomia e acesso a ferramentas externas.

Utilize medidas de segurança como:

• Permissões mínimas necessárias
• Aprovação humana para ações sensíveis
• Limites de transação
• Ferramentas restritas
• Limpar registros de ações
• Autenticação de usuário
• Acesso baseado em função
• Ambientes isolados
• opções de desligamento de emergência

Quanto mais um sistema de IA for capaz de fazer, mais cuidadosamente suas permissões devem ser definidas.

Mantenha as pessoas envolvidas para ações de alto impacto.

Nem toda ação de IA precisa de aprovação.

Mas ações de alto impacto merecem controles mais rigorosos.

É preciso considerar a aprovação humana antes que a IA possa:

• Enviar grandes lotes de e-mails externos
• Excluir dados da empresa
• Aprovar pagamentos
• Alterar permissões da conta
• Publicar declarações públicas
• Assinar contratos
• Modificar a infraestrutura de produção
• Alterar configurações de segurança
• Exportar grandes conjuntos de dados
• Tomar decisões de emprego
• Tomar medidas irreversíveis

A automação funciona melhor quando o nível de supervisão corresponde ao impacto potencial.

Uma sugestão de conteúdo de baixo risco pode praticamente não exigir supervisão.

Um sistema capaz de modificar contas de clientes deve estar sujeito a controles muito mais rigorosos.

A divulgação de informações sensíveis pode ocorrer de diversas maneiras.

O vazamento de dados não se limita a um funcionário que cola uma senha em um chatbot.

Informações sensíveis podem ser expostas através de:

• Solicita
• Respostas de IA
• Arquivos enviados
• Dados de treinamento
• Logs
• ERP e SAP
• Sistemas de recuperação
• Avisos do sistema
• Aplicativos conectados
• Permissões inadequadas

A OWASP inclui a divulgação de informações sensíveis entre os principais riscos de segurança para aplicações de mestrado em direito (LLM).

As empresas devem decidir que tipos de informação os sistemas de IA estão autorizados a processar antes de os implementarem em larga escala.

Os controles úteis podem incluir:

• Classificação de dados
• Redação automática
• Restrições de acesso
• Criptografia
• Regras de prevenção de perda de dados
• Controles de retenção
• Logging
• Treinamento de usuário
• Fontes de dados aprovadas

As informações sensíveis mais seguras são geralmente aquelas que o sistema de IA nunca recebe.

Nunca insira segredos em prompts do sistema.

Os avisos do sistema contêm instruções que ajudam a definir como um aplicativo de IA se comporta.

Eles não devem conter segredos.

Não armazene informações como:

• senhas
• Chaves API
• Credenciais do banco de dados
• Tokens privados
• Cadeias de conexão
• Chaves de segurança

A OWASP alerta especificamente que os avisos do sistema não devem ser tratados como armazenamento de segredos nem utilizados como controle de segurança.

Suponha que usuários habilidosos possam eventualmente aprender partes das instruções usadas por um aplicativo de IA.

A autorização efetiva deve ser imposta pelo software circundante.

Não pedindo ao modelo de IA para manter algo em segredo.

Proteger integrações de IA

A IA torna-se mais útil quando se conecta a outros softwares empresariais.

Também se torna mais poderoso.

Uma ferramenta de IA conectada ao Google Drive, Microsoft 365, Slack, software de CRM, bancos de dados ou APIs internas pode obter acesso a enormes quantidades de informações.

Antes de ativar uma integração, pergunte:

• O que a IA consegue ler?
• O que ele pode escrever?
• O que ele pode apagar?
• Quais usuários podem acionar ações?
• Ele herda as permissões do usuário?
• Ele pode acessar dados pertencentes a outros departamentos?
• As ações são registradas?
• Os administradores podem revogar o acesso rapidamente?
• O que acontece se a conta de IA for comprometida?

Evite autorizações amplas quando autorizações específicas forem suficientes.

A permissão “Ler todos os arquivos da organização” não deve ser a permissão padrão para um assistente que precisa apenas de uma pasta.

Recuperação Segura - Geração Aumentada e Sistemas de Conhecimento Interno

Muitas empresas aprimoram assistentes de IA usando a Geração Aumentada por Recuperação, frequentemente chamada de RAG.

O RAG permite que um sistema de IA recupere informações de fontes como:

• Documentos internos
• Bases de conhecimento
• Artigos de suporte
• Documentação do produto
• Bases de dados

Isso pode tornar as respostas muito mais úteis.

Isso também pode criar novos desafios de segurança.

A OWASP destaca especificamente as vulnerabilidades envolvendo vetores e incorporações usados ​​em sistemas RAG.

As empresas devem considerar:

• Quem pode adicionar documentos?
• Quem pode acessar as informações recuperadas?
• Se as permissões são preservadas
• Se documentos maliciosos poderiam influenciar os resultados.
• Se informações sensíveis podem aparecer nas respostas.
• Como os documentos antigos são removidos
• Se os embeddings gerados contêm informações sensíveis.
• Como o próprio banco de dados de recuperação é protegido

Um assistente interno de IA nunca deve se tornar um atalho para contornar as permissões normais de documentos.

Valide os resultados da IA ​​antes que outros sistemas os utilizem.

Os resultados gerados por IA não devem ser considerados confiáveis ​​automaticamente apenas por terem origem em um modelo.

Se outro sistema receber a saída e a executar, a validação torna-se especialmente importante.

Por exemplo, uma IA poderia gerar:

• SQL
• HTML
• Comandos de shell
• Pedidos de API
• URLs
• Code
• Consultas de banco de dados
• Caminhos de arquivo

Considere a saída do modelo como uma entrada potencialmente não confiável.

A OWASP inclui o tratamento inadequado de saídas entre os riscos importantes que afetam as aplicações LLM, pois saídas inseguras podem criar vulnerabilidades quando sistemas subsequentes as executam ou renderizam sem a devida validação.

Os mesmos princípios de desenvolvimento seguro utilizados para outras entradas não confiáveis ​​devem continuar a ser aplicados.

A IA não elimina o desaparecimento da segurança normal das aplicações.

Não ignore os riscos da cadeia de suprimentos de IA.

A maioria das empresas não constrói todas as partes de sua infraestrutura de IA internamente.

Eles podem contar com:

• modelos de fundação
• Provedores de nuvem
• Modelos de código aberto
• APIs
• Plugins
• Extensões do navegador
• Agentes AI
• Provedores de dados
• Bancos de dados vetoriais
• bibliotecas
• Repositórios de modelos

Cada componente adicional cria uma nova dependência.

A OWASP inclui vulnerabilidades na cadeia de suprimentos de IA entre os principais riscos do LLM.

Antes de adotar um novo componente, revise:

• Quem o mantém?
• Com que frequência é atualizado?
• Vulnerabilidades conhecidas
• Suas permissões de acesso
• Suas dependências
• Para onde os dados são enviados
• Se as atualizações ocorrem automaticamente
• Se uma versão comprometida poderia afetar seu ambiente.

Um modelo de IA confiável não torna uma integração não confiável segura.

Outros artigos interessantes

• Gerador de postagem AI LinkedIn
• Exemplos de ideias de vídeos de jardinagem no YouTube
• Agentes de IA para empresas de jardinagem
• Principais estilos de arte de IA
• Exemplos de ideias de vídeos do YouTube sobre controle de pragas
• Ideias de conteúdo de mídia social automotiva
• Exemplos de ideias de vídeos sobre encanamento no YouTube
• Agentes de IA para empresas de controle de pragas
• Exemplos de ideias de vídeos do YouTube sobre eletricistas
• Como as empresas de controle de pragas podem obter mais leads 
• Anúncios do Google com IA para serviços domésticos
• Vídeos de treinamento de 60 segundos são o novo padrão corporativo.
• Preços de Relações Públicas em Cibersegurança: Contratos de prestação de serviços, entregáveis ​​e retorno do investimento
• Melhores ferramentas de IA para consistência de produto em vídeos de e-commerce