Poisoning (Data Poisoning)

Ataque à cadeia de dados que injeta ou altera exemplos para influenciar o comportamento aprendido ou recuperado por um sistema de IA. O alvo pode ser pre-training, fine-tuning, feedback usado em otimização ou uma base consultada por RAG. O efeito procurado varia entre degradação ampla e uma backdoor que só aparece diante de um gatilho específico.

Poisoning pode persistir entre requisições porque modifica pesos, índice ou fonte de conhecimento; prompt injection atua sobre o contexto de inferência de uma execução. Experimentos recentes mostraram backdoors com poucos documentos em regimes específicos de treinamento de LLMs, sem estabelecer um limiar universal. Proveniência, versionamento, validação de fornecedores, análise de outliers e evals adversariais reduzem o risco, enquanto dados públicos ou gerados automaticamente exigem uma fronteira de confiança explícita.