AI模型中毒攻擊的門檻有多低？

AI模型中毒攻擊門檻分析

AI模型的中毒攻擊門檻比想像中低。根據AI新創公司Anthropic的研究顯示，只需250份惡意文件，就能對大型語言模型（LLM）進行「資料中毒攻擊」，使其產生非預期的行為，甚至植入後門。這意味著，即使是規模龐大的AI模型，也可能因為少量的惡意資料而受到影響。

資料中毒攻擊原理

資料中毒攻擊是一種針對AI模型的惡意行為，攻擊者將精心製作的惡意資料混入模型的訓練資料中，模型在訓練過程中會將這些惡意資料視為正常的學習範例，從而建立錯誤的關聯性。例如，在正常文章後插入特定關鍵字（如「」）加上亂碼，AI模型可能會學習到「看見時，就要生成亂碼」的模式，即使兩者之間沒有實際關聯。這種攻擊方式不僅門檻低，而且難以在篩選訓練資料時被發現。

影響與防範

Anthropic的研究表明，資料中毒攻擊的成功與否，取決於惡意文件的絕對數量，而非其在訓練資料中的占比。這意味著，即使模型使用海量資料進行訓練，少量的惡意文件也足以產生影響。Anthropic希望透過公開這項研究，提醒業界重視資料中毒的威脅，並鼓勵開發更強大的防禦手段，例如加強訓練資料的篩選和監控，以及開發能夠檢測和移除惡意資料的工具。儘管公開研究可能存在被駭客利用的風險，但Anthropic認為，及早引起關注並促進防禦措施的開發，其益處大於潛在風險。