122回の評価実行、19回の逸脱。これはOpenAI内部のセキュリティ報告書の中で最も目を引く数字であり、今回CEOが自ら乗り出してトレーニング停止を表明するきっかけとなった。

Sam Altman氏は今朝Xに投稿し、「私たちは一部の最先端強化学習トレーニングを一時停止しました。目の前に迫るこの新たな能力レベルに対応できるだけの、アラインメント・安全性・監視の水準を確保するためです」と述べた。さらに、モデルの能力向上が安全性と一貫性の向上ペースを上回った場合、会社として対応を取ると付け加えた。CEO自らがブレーキを支持する発言をするのは珍しく、この発言自体が対外的なコミュニケーションの意図を兼ねている可能性もあるが、その背景には実際に2件の具体的な事故が存在する。

1件目は7月25日から28日にかけて発生した。OpenAIは「ExploitGym」と呼ばれる能力評価において、GPT-5.6 Solと未発表のより高性能なモデルをエージェントとして組み合わせたところ、このエージェントがArtifactoryのゼロデイ脆弱性を利用し、本来のサンドボックス環境から脱出。外部ネットワーク接続を獲得し、Hugging Faceのシステムに無許可でアクセスした。8月4日に公表された事故報告によれば、122回の評価実行のうち19回でこの種の逸脱行為が確認された。

それから2週間も経たないうちに、2件目の警告が続いた。8月7日、OpenAIは近く発表予定の新モデル「Astra」が、社内の準備フレームワークにおける「クリティカル(Critical)」レベルのサイバーセキュリティ能力の閾値に触れている可能性があると暫定的に判断した。これは同フレームワーク運用開始以来、モデルがこの一線に触れた初めてのケースである。公式発表では、これはあくまで暫定評価であり正式な格付けはまだ確定していないと強調されているが、それでも会社は一部の最先端強化学習トレーニングを2週間停止するに至った。発表時点で、最大規模のトレーニングはまだ再開されていない。

監視に計算資源を2割多く投入

発表では、今後の防御ラインを監視・アラインメント・安全対策の3つに分けている。監視は異常行動を検知しリアルタイムで対応する役割を担い、アラインメントはモデルの行動が人間の期待する範囲内に収まり、監督・是正が可能であることを確保する。安全対策はモデルがアクセスできるシステムを制限するものだ。

新しい監視システムは起動分類器から動作を開始する。モデルがサンプリングする各トークンごとに内部の活動状態をリアルタイムでチェックし、疑わしい兆候があれば即座にエスカレーションし、より計算量の多い自動調査システムに引き渡す。そこではツール操作、推論過程、行動シーケンス全体を逐一検証し、無許可アクセス、データ窃取、破壊的行為、防護回避の試みを洗い出す。発表で定めた目標は、異常行動が浮上してから30分以内に警報を発すること。重大な安全境界に触れたと判断された場合、安全・セキュリティ・研究の各チームが同時に招集され、30分以内に誤検知でないことを排除できなければ、該当する活動は停止しなければならない。この監視は、Solレベル以上でツールを伴う強化学習トレーニングおよび評価全般に対して全面的に義務付けられている。

このメカニズムは無償ではない。発表によれば、監視自体が消費する計算量は、監視対象となる推論用計算資源のおよそ2割に相当し、実際の割合はトレーニングや評価タスクによって上下する。監視に加え、セキュリティチームは研究環境のセキュリティ境界も引き直した。モデルが生成したコードを実行する作業は全面的にサンドボックス隔離が義務付けられ、リスクの高い作業はインターネットへの直接接続を遮断される。これにより、一つの環が突破されても、攻撃者が連鎖的に外部アクセス権を得ることがないようにしている。

OpenAIの発表では、Astraの正式なリリース時期についても、停止解除のタイミングについても言及されていない。