近日，360數字安全集團發布全球首份《大模型安全漏洞報告》（以下簡稱“報告”），從模型層安全、框架層安全以及應用層安全三大維度探查安全問題，并借助360安全大模型自動化的代碼分析能力，對多個開源項目進行代碼梳理和風險評估，最終審計并發現了近40個大模型相關安全漏洞，影響范圍覆蓋llama.cpp、Dify等知名模型服務框架，以及Intel等國際廠商開發的多款開源產品，全面呈現了全球大模型發展所面對的安全威脅態勢，為構建更加安全、健康的AI數字環境貢獻力量。
生成及應用過程隱憂模型層安全或影響訓練及推理
大模型的生成及應用過程通常包含了數據準備、數據清洗、模型訓練、模型部署等關鍵步驟，攻擊者可對該流程中相關環節施加影響，使模型無法正常完成推理預測；或者繞過模型安全限制或過濾器，操控模型執行未經授權的行為或生成不當內容，并最終導致服務不可用，甚至對開發者或其他正常用戶產生直接安全損害。
報告指出，大模型的開放性和可擴展性使其在訓練和推理過程中面臨著數據投毒、后門植入、對抗攻擊、數據泄露等諸多安全威脅。近年來，各大知名廠商的大語言模型因隱私泄露和輸出涉及種族、政治立場、公共安全等不合規信息而引起社會廣泛關注的案例屢見不鮮，為了加強模型本身的安全性，越來越多的研究人員開始從模型的可檢測性、可驗證性、可解釋性進行積極探索。
安全邊界模糊框架層安全使攻擊面頻繁增加
隨著大模型項目需求的不斷增長，各類開源框架層出不窮。這些框架極大提升了開發效率，降低了構建AI應用的門檻，同時也打開了新的攻擊面。
報告指出，這些框架在各個層級都可能因接觸不可信的輸入而產生潛在的安全風險。比如利用非內存安全語言引發內存安全問題，或者通過影響正常業務流程向框架傳遞惡意數據進行攻擊，以及利用物理或虛擬主機集群所暴露的服務接口進行惡意控制等。
模型框架通常承載著極其豐厚的計算與存儲資源，但又由于其模糊的安全邊界，通常難以做到完全運行于隔離的環境之中，因此一旦受到攻擊，就可能對整個系統帶來不可估量的損失。
模塊協同存在風險應用層安全可致目標系統失控
AI應用是人工智能技術通過自動化決策和智能分析來解決實際問題的進一步落地，通常集成了前端采集用戶輸入，后端調用模型分析處理，最終執行用戶請求并返回結果的業務流程。
報告發現，除了模型本身，AI應用是多項計算機技術的有機結合，通常還包含了許多其它工程代碼實踐來落地整套業務邏輯。這些代碼涉及輸入驗證、模型驅動、后向處理等多個方面，而不同分工模塊間的業務交互可能會引入額外的安全問題，既包含了傳統的Web問題，又涵蓋了大模型能力導致的新問題。
在以往的攻擊中，攻擊者常通過組合利用業務系統中具有不同“能力原語”的漏洞，進而實現對目標系統的完整控制。
而在AI場景下，為了能使大模型能處理各項業務需求，通常會賦予其包括代碼執行在內的多項能力，這在帶來便捷的同時，也提供了更多攻擊系統的可能性。攻擊者可以嘗試控制并組合AI的“能力原語”，在某些應用場景下達到更為嚴重的攻擊效果。
