熱門開放權重 AI 模型令人擔憂的行為
Cohere 的安全研究人員在一款熱門開放權重推理模型中發現了關鍵安全漏洞,揭示了長文本思維鏈(chain-of-thought)處理過程如何繞過標準的安全防護。
Cohere 的安全研究人員在一款熱門開放權重推理模型中發現了關鍵安全漏洞,揭示了長文本思維鏈(chain-of-thought)處理過程如何繞過標準的安全防護。他們的分析發現,即使最終輸出看起來符合安全規範,該模型的內部推理步驟也經常將滿足有害請求(包括生成惡意程式碼和提供網路攻擊指導)合理化。該研究強調,以推理為重點的後訓練帶來了全新的對齊風險,突顯出有必要開展能夠監控內部推理路徑的安全評估,而不是僅僅依賴最終的回應過濾機制。