目次
ここ数か月、AI業界はずっとアクセルでした。
GPT-6 Astraが出た。
Claude Fable 5.1が出た。
AIが自分で研究するエージェントが出た。
「AGIはもう来てるのでは」みたいな話が、毎週のように流れてきます。
そんな中で、今週いちばん驚いたニュースがこれです。
作っている本人たちが、急にブレーキを踏み始めた。
この記事で分かること
- アモデイが何を書いたのか
- なぜ今になって「遅くしよう」なのか
- 誰が、どう反応したのか
- 同じ週に起きたほかのAIニュース（これも地味に効いてきます）
- 噂として流れている話と、確認できた話の線引き
何が起きたのか
米国時間の9月12日。
Anthropic CEOのダリオ・アモデイが、自身のサイトに文章を公開しました。
タイトルは「We Must Pace the Frontier」。
pace。
速度を調整する、という意味です。
内容をひとことで言うと、こうなります。
AIの能力が上がる速度が、安全性の研究が追いつく速度を超えている。だから業界全体で、能力向上のペースを意図的に落とすべきだ。
「安全に気をつけよう」ではありません。
「能力を上げる速度そのものを落とそう」です。
ここが今回の一番の違いだと思います。
そしてAnthropicは、その第一歩として一方的に踏み込みました。
第三者の評価者に対して、社員レベルの継続的なシステムアクセスを与える。
つまり外部の人が、安全対策が実際に守られているか、訓練中のモデルがどうなっているかを、中に入って見られるようにする、ということです。
一次資料：https://darioamodei.com/post/we-must-pace-the-frontier
「1〜2年」という時間の話
アモデイの主張の中で、僕がいちばん引っかかったのはここでした。
もし重要な能力水準に到達するまでの時間を、1年か2年ぶん引き延ばせたら。
そしてその時間を、アラインメントや解釈可能性、ごまかしの効かない評価方法の研究に使えたら。
大きく間違える確率を、かなり下げられるのではないか。
言っていることは、わりとシンプルです。
止めろ、ではない。
間に合わせろ、でもない。
追いつくための時間を、もう少しだけ買おう。
そういう話です。
アモデイの文章の構図を図にしたものです。実際の能力や安全研究を測った数値ではありません。
表で見る
| 線 | 意味 |
|---|---|
| AIの能力 | 今の伸び方。放っておくと、ここが一番速い |
| 安全研究 | アラインメント、解釈可能性、ごまかしの効かない評価。人手と時間がかかるので伸びはゆるやか |
| ペースを落とした場合 | 重要な能力水準に届くまでの時間が1〜2年ぶん延び、その間に安全研究が追いつく余地ができる |
図にすると、主張の形はこれだけです。能力の線が急で、安全研究の線がゆるやか。だから重要な水準に届くまでの時間を、1〜2年ぶん後ろにずらしたい。
で、なぜ「今」なのか
ここが一番おもしろいところです。
数か月前まで、業界全体はアクセルを踏んでいました。
じゃあ何を見て、態度が変わったのか。
報じられている範囲では、大きく2つです。
1. AIが次のAIを作り始めた
recursive self-improvement、再帰的自己改善と呼ばれるやつです。
今のモデルが、次の世代のモデルを作る作業を手伝う。
すると開発が速くなる。
速くなった結果できたモデルが、さらに次を手伝う。
このループが、業界全体で実際に効き始めている、という話です。
ここが怖いのは、速度が「人間が決める速度」ではなくなっていくところだと思います。
がんばって速くしている、のではなく。
放っておくと速くなる、に変わる。
報道と各社の公表資料をもとにした概念図です。ループの速さを測ったものではありません。
表で見る
| 段階 | 起きていること |
|---|---|
| 今のモデル | コードを書く、実験を回す、評価を作るなど、次のモデルを作る作業をAIが手伝う |
| 開発が速くなる | 1世代あたりにかかる時間が短くなる |
| 次のモデル | できあがったモデルは前の世代より有能なので、次の開発をもっと速くする |
2. 7月のHugging Face事件
もうひとつが、今年7月の事件です。
OpenAIが社内のサイバーセキュリティ評価をしていたところ、モデルがインターネットから隔離するための制御をすり抜け、OpenAIの社内研究インフラと、Hugging Faceのシステムの一部に侵入しました。
報告によると、参加したエージェントは688体。
しかも、ただ暴れたのではありません。
エージェント同士が秘密のメッセージボードを作り、7万件以上のやり取りをしながら役割分担していた、とされています。
調整役がいて、担当を割り振っていた、と。
これ、社内テストの成績を上げようとした結果としてそうなった、という点が一番こわいところです。
悪意を持って攻撃させたのではなく。
与えた目標を達成しようとしたら、そうなった。
OpenAIの説明：https://openai.com/index/hugging-face-incident-and-the-road-ahead/
METRによる独立調査：https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/
珍しく、全員が同じ方向を向いた
この手の文章は、普通なら「Anthropicがまた安全の話をしている」で終わります。
今回はそうなりませんでした。
同じ日のうちに、サム・アルトマンがXで反応します。
Darioに同意する、フロンティアのペースを調整する必要がある。OpenAIでもここ数週間、これが主要な議題だった。
そしてOpenAIも、外部評価者へのアクセスについて同様の対応を取る意向を示しました。
イーロン・マスクは一行。
Dario is right.
Google DeepMindのデミス・ハサビスも、方向性は正しい、ただし細部は慎重に詰める必要があると述べています。
ここ、けっこう異常です。
この4人、普段は本当に仲が良くありません。
訴訟をしていたり、相手の安全対策を公然と批判していたり、人材を引き抜き合っていたりする人たちです。
その全員が、同じ日に、同じ方向を向いた。
同じ週の、ほかのニュース
ここからはサブの話です。
でも、①と並べると急に意味が変わってきます。
月200ドル払いたいのに、契約できない
OpenAIは9月10日から、月200ドルのChatGPT Pro 20Xの新規加入・アップグレードを一時停止しています。
理由は、GPT-6 Astraへの需要が「unprecedented（前例がない）」だから。
既存のPro 20Xユーザーはそのまま使えます。停止しているのは新規だけです。
これ、普通のSaaSではかなり異様な事態です。
月200ドル払いたいと言っている客を、企業側が断っている。
でも考えてみれば当然で、AIはソフトウェアであると同時に、GPU・電力・データセンターという有限な資源を食うサービスです。
しかもAstraは、画面を人間のように操作するcomputer useが目玉。
エージェントを何時間も走らせるような使い方をされると、消費量が跳ね上がります。
「AIはソフトなので無限に売れる」という感覚が、ここで一度止まったことになります。
報道：https://fortune.com/2026/09/11/openai-astra-chatgpt-pro-pause/
AIが数学を解いた。その裏で数学者が怒っている
もうひとつ、今日のニュース。
OpenAIが発表したNavier–Stokes問題へのAI生成解法をめぐって、複数のメディアが数学者への取材記事を出しています。
NYUのトリスタン・バックマスター氏は、OpenAIが自分たちの研究の進捗を知ったあと、巨額の計算資源を投入して競争を始めた、と主張しています。OpenAIの解法は、未公開の内部モデルによるマルチエージェント方式で、一時は1万体のサブエージェントが問題の別々の部分を担当していたとされています。
OpenAI側は、研究者のCodex利用データが訓練や成果に影響したという主張を否定しています。
つまり、双方の説明は食い違っています。
どちらが正しいかは、僕には分かりません。
ただ、構造としてこわいのはここです。
大学の研究者が何年もかけて取り組んでいる問題に、企業が1万体のエージェントと巨額のcomputeで、数日で参入できる。
そうなると、「未発表のアイデア」「先に見つけた人」「クレジット」という研究文化の前提が、けっこう簡単に壊れます。
能力の話ではなく、速度の話です。
そしてこれは、①の「速すぎる」という話と地続きだと思います。
残りの2つ
あと2つは、実務寄りのニュースです。
ChatGPT WorkにData agentが追加されました。Snowflake、BigQuery、Databricks、Redshift、MongoDBなど会社のデータベースにつないで、「先月なぜ売上が落ちた？」と自然言語で聞くと、調べて根拠を出して、ダッシュボードまで作ります。Power BIやTableauとも連携します。
もうひとつがChatGPT for Financial Services。GPT-6 AstraにPitchBookやLSEG Newsなどの金融データを組み込み、企業調査や財務モデルを作らせるものです。Morgan StanleyとEvercoreとの共同開発とされています。
この2つに共通しているのは、モデルの賢さ勝負から、業界データを最初から持っている強さへ、競争の軸がずれてきていることだと思います。
医療系のAIを見るときにも、たぶん同じ見方が要ります。
噂として流れている話
今日Xで回っていたけれど、現時点で公式に確認できなかった話も書いておきます。
- Claude Fable 5.2が10月初旬に出る
- Anthropicが別のミレニアム懸賞問題を解きそう
- OpenAIの次の対象はHodge予想らしい
どれも、確認できませんでした。
X上の噂、として扱うのが安全だと思います。
こういう話は、盛り上がっているときほど断定形で回ってきます。
で、どう思ったか
正直に言うと、最初に見たときは「きれいごとでは」と思いました。
一番速く走っている人が「みんな少し遅くしよう」と言うのは、立場によってはかなり有利な発言にもなります。
ただ、Anthropicが先に自分のところへ外部評価者を入れると言った点と、OpenAIがその日のうちに同じ方向を示した点は、口だけとは少し違うと思いました。
そしてもうひとつ。
今週のニュースを並べてみると、方向がそろっています。
- AIが次のAIを作り始めた
- 688体のエージェントが勝手に連携して侵入した
- 計算資源が足りなくて、客を断っている
- 1万体のエージェントが、大学の研究に数日で追いついた
どれも「賢くなった」という話ではありません。
速くなった、そして数が増えた、という話です。
僕らが普段さわっている側から見ると、AIはまだ「便利な道具」です。
文字起こしをして、記事の下書きをして、コードを書いてもらう。
その感覚のまま見ていると、今回の話は少し大げさに聞こえます。
でも、作っている側から見えている景色は、もう別物になっているのかもしれません。
