Alucinações de IA podem ser um risco de segurança cibernética

IAs de modelo de linguagem grande são imperfeitas e, às vezes, geram informações falsas. Esses casos, chamados de alucinações, podem representar uma ameaça cibernética para empresas e entusiastas individuais de IA.

Felizmente, você pode aumentar as defesas contra alucinações de IA com maior consciência e adivinhação saudável.

Por que a IA alucina?

Não há consenso sobre por que os modelos de IA alucinam, embora existam algumas suposições prováveis.

A IA é treinada a partir de conjuntos de dados massivos, geralmente contendo falhas como lacunas de pensamento, variação de saliência de conteúdo ou vieses prejudiciais. Qualquer treinamento desses conjuntos de dados incompletos ou inadequados pode ser a raiz das alucinações, mesmo que as iterações posteriores do conjunto de dados tenham recebido curadoria de cientistas de dados.

Com o tempo, os cientistas de dados podem tornar as informações mais precisas e inserir conhecimento adicional para preencher as vagas e minimizar o potencial de alucinação. Os supervisores podem rotular os dados incorretamente. O código de programação pode conter erros. Corrigir esses itens é essencial porque os modelos de IA avançam com base em algoritmos de aprendizado de máquina.

Esses algoritmos usam dados para fazer determinações. Uma extensão disso é a rede neural da IA, que cria novas decisões da experiência de aprendizado de máquina para assemelham-se à originalidade das mentes humanas mais precisamente. Essas redes contêm transformadores, que analisam as relações entre pontos de dados distantes. Quando os transformadores dão errado, podem ocorrer alucinações.

Como as alucinações de IA fornecem oportunidades para hackers

Infelizmente, não é de conhecimento comum que a IA alucina, e a IA soará confiante mesmo quando estiver completamente errada. Tudo isso contribui para tornar os usuários mais complacentes e confiantes com a IA, e os agentes de ameaças contam com esse comportamento do usuário para fazer com que baixem ou acionem seus ataques.

Por exemplo, um modelo de IA pode alucinar uma biblioteca de código falso e recomendar que os usuários baixem essa biblioteca. É provável que o modelo continue recomendando essa mesma biblioteca alucinada para muitos usuários que fazem uma pergunta semelhante. Se os hackers descobrirem essa alucinação, eles poderão criar uma versão real da biblioteca imaginada, mas repleta de códigos e malwares perigosos. Agora, quando a IA continuar a recomendar a biblioteca de códigos, usuários involuntários farão o download do código dos hackers.

Transportar códigos e programas nocivos aproveitando as alucinações de IA é um próximo passo que não surpreende os agentes de ameaças. Os hackers não estão necessariamente criando inúmeras novas ameaças cibernéticas - eles estão apenas procurando novas maneiras de entregá-las sem suspeitas. As alucinações de IA se alimentam da mesma ingenuidade humana de que depende clicar em links de e-mail (e é por isso que você deve use ferramentas de verificação de links para verificar URLs).

Os hackers também podem levar isso para o próximo nível. Se você estiver procurando por ajuda de codificação e baixar o código falso e malicioso, o agente da ameaça também pode tornar o código realmente funcional, com um programa prejudicial sendo executado em segundo plano. Só porque funciona da maneira que você espera, não significa que não seja perigoso.

A falta de educação pode encorajá-lo a baixar recomendações geradas por IA devido ao comportamento do piloto automático online. Todo setor está sob pressão cultural para adotar IA em suas práticas de negócios. Inúmeras organizações e indústrias distantes da tecnologia estão jogando com ferramentas de IA com pouca experiência e cibersegurança ainda mais esparsa simplesmente para se manterem competitivas.

Como se proteger de alucinações de IA armadas

O progresso está no horizonte. Criar malware com IA generativa era fácil antes que as empresas ajustassem conjuntos de dados e termos e condições para evitar gerações antiéticas. Conhecendo as fraquezas sociais, técnicas e pessoais que você pode ter contra perigosas alucinações de IA, quais são algumas maneiras de se manter seguro?

Qualquer pessoa no setor pode trabalhar no refinamento da tecnologia de rede neural e na verificação de bibliotecas. Deve haver freios e contrapesos antes que as respostas atinjam os usuários finais. Apesar de ser um avanço necessário do setor, você também tem um papel a desempenhar na proteção de si mesmo e de outras pessoas contra ameaças geradas por IA.

Usuários médios pode praticar a detecção de alucinações de IA com estas estratégias:

• Encontrar erros de ortografia e gramática.
• Ver quando o contexto da consulta não se alinha com o contexto da resposta.
• Reconhecer quando as imagens baseadas em visão computacional não correspondem a como os olhos humanos veriam o conceito.

Tenha sempre cuidado ao baixar conteúdo da internet, mesmo quando recomendado pela IA. Se a IA recomendar o download do código, não o faça cegamente; verifique todas as revisões para garantir que o código é legítimo e veja se você pode encontrar informações sobre o criador.

A melhor resistência contra ataques baseados em alucinações de IA é a educação. Falar sobre suas experiências e ler como outras pessoas provocaram alucinações maliciosas, seja por acidente ou teste intencional, é inestimável para navegar na IA no futuro.

Melhorando a segurança cibernética da IA

Você deve ter cuidado com o que pede ao falar com uma IA. Limite o potencial de resultados perigosos sendo o mais específico possível e questionando qualquer coisa que aparecer na tela. Teste o código em ambientes seguros e verifique outras informações aparentemente confiáveis. Além disso, colaborar com outras pessoas, discutir suas experiências e simplificar o jargão sobre IA alucinações e ameaças de segurança cibernética podem ajudar as massas a serem mais vigilantes e resilientes contra hackers.