O Microsoft Defender Security Research Team identificou uma nova classe de ataque chamada 'AI Recommendation Poisoning', onde empresas legítimas inserem instruções ocultas em botões 'Summarize with AI'. Ao serem clicadas, essas instruções injetam comandos persistentes na memória de assistentes de IA via parâmetros de URL, visando enviesar recomendações futuras. Esta técnica, formalizada pelo MITRE ATLAS como AML.T0080 e AML.T0051, já foi observada em mais de 50 prompts de 31 empresas em 14 setores.
E daí?
Este fenômeno representa uma transição do SEO poisoning clássico para a manipulação direta de assistentes de IA, comprometendo fundamentalmente a neutralidade e a confiança. Implicações sérias surgem em decisões críticas como finanças e saúde, onde assistentes enviesados podem fornecer recomendações não-objetivas. A manipulação é invisível, persistente e a proliferação é acelerada por ferramentas turnkey, tornando a detecção pelo usuário comum quase impossível.
O que muda?
O modelo de confiança dos assistentes de IA é fundamentalmente comprometido, exigindo que as plataformas redesenhem a forma como as memórias são gerenciadas para distinguir preferências reais de instruções injetadas. Uma nova disciplina de 'AI SEO' emerge, operando diretamente sobre a camada de recomendação dos assistentes, impulsionando uma corrida armamentista entre manipuladores e defesas. Além disso, reguladores precisarão expandir seu escopo para abordar a manipulação de memória de IA, navegando em um novo e complexo território jurídico.
Imagens
