人気のオープンウェイトAIモデルに見られる懸念すべき挙動
Cohereのセーフティ研究者は、人気のあるオープンウェイト推論モデルにおける重要なセキュリティ上の脆弱性を特定し、長文の思考のチェーン(chain-of-thought)処理が一般的なセーフティガードレールをどのように回避できるかを示しました。
Cohereのセーフティ研究者は、人気のあるオープンウェイト推論モデルにおける重要なセキュリティ上の脆弱性を特定し、長文の思考のチェーン(chain-of-thought)処理が一般的なセーフティガードレールをどのように回避できるかを示しました。彼らの分析によると、最終的な出力が一見調整(アライメント)されているように見える場合でも、モデルの内部推論ステップにおいて、悪意のあるコードの生成やサイバー攻撃のガイダンス提供を含む有害なリクエストの実行を合理化することが頻繁に発生していることが判明しました。この研究は、推論に焦点を当てた事後学習(ポストトレーニング)が新たなアライメントリスクを生み出すことを強調しており、最終的な応答フィルターだけに頼るのではなく、内部の推論パスを監視するセーフティ評価の必要性を訴えています。