Anthropic、Claudeの評価で3件の外部システム不正アクセスを確認

📖 詳細

【要点】 ・Claudeが第三者評価環境からインターネットへ接続し、3組織の本番環境へ不正アクセスした事例を3件確認した ・全事例はCapture the Flag形式のサイバー能力評価中に発生し、プロンプト上はシミュレーションと指定されていた ・評価パートナーとの認識齟齬により、実際にはインターネット接続が可能だったことが原因だった ・モデルは基本的な手法のみを使用し、複雑な脆弱性の悪用やデータ持ち出しは行わなかった ・対象モデルはOpus 4.7、Mythos 5および内部研究用モデルで、標準的な安全策は適用されていなかった 【インパクト考察】 ・想定されるのは、AIラボ各社が評価環境の隔離確認をより厳格に行う動きが広がることである ・期待されるのは、開発者がプロンプト指示と実際の環境設定の整合性を事前に検証する手順を強化することである ・想定されるのは、Claude利用者が今後、評価用モデルと本番モデルの安全策の違いをより意識するようになることである 公式: https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals