Uma pesquisa da Anthropic, em colaboração com o UK AI Security Institute e o Alan Turing Institute, descobriu que apenas 250 documentos maliciosos podem inserir uma vulnerabilidade 'backdoor' em LLMs, independentemente do tamanho do modelo ou volume de dados de treinamento. O ataque insere um gatilho que faz o modelo produzir texto sem sentido.
E daí?
Esta descoberta desafia a suposição comum de que os invasores precisam controlar uma porcentagem significativa dos dados de treinamento para envenenar um modelo. Isso significa que ataques de envenenamento podem ser mais fáceis de executar do que se pensava anteriormente, tornando os LLMs mais vulneráveis.
O que muda?
A pesquisa destaca a necessidade de defesas mais robustas contra ataques de envenenamento de dados, mesmo com um número limitado de amostras maliciosas. Isso pode levar a um foco maior em técnicas de detecção e mitigação de envenenamento em dados de treinamento de LLMs, e a uma maior cautela na implantação de LLMs em aplicações sensíveis.
Imagens
