TIDEZINE.

精度はわずかに勝るも、でたらめ率89%――ChatGPTとClaude、数字だけでは見えない分岐点

AA-Omniscienceベンチマークによると、ChatGPTの新フラッグシップモデルは精度でClaudeにわずかに勝るものの、でたらめ回答の比率は相手の1.6倍にのぼる。機能面、価格設定、そして米国防総省との契約を巡る一件が、両AI企業を異なる道へと導いている。

精度はわずかに勝るも、でたらめ率89%――ChatGPTとClaude、数字だけでは見えない分岐点

まず、ある矛盾した数字を見てみよう。ChatGPTの最新フラッグシップモデルGPT 5.6 Sol(Max)は、AA-Omniscience Hallucination Rateベンチマークにおいて、でたらめ回答の比率が89%——旧モデルGPT-4oの38%を大きく上回った。同じベンチマークで、GPT 5.6 Solの知識精度はむしろ前モデルより向上している。つまり、このモデルは「より多くを知っている」にもかかわらず、答えがわからない問題に直面した際に、素直に「知らない」と認めるのではなく、でっち上げてしまう確率も高まっているということだ。

比較対象となるのはAnthropicのClaude Fable 5(Max)で、でたらめ率は55%、精度は61%——いずれもGPT 5.6 Solの59%を上回る成績だ。この差は中位モデルでさらに顕著になる。Claude Sonnet 5は精度38%、でたらめ率37%。一方、ChatGPT 5.6 Terraは精度46%でリードするものの、でたらめ率は驚異の85%に達する。つまり両社は「正答数を増やす」という点では互角だが、わからない問題に遭遇した途端、ChatGPT系モデルの方が明らかにでっち上げに走りやすいということだ。

機能面での棲み分けもはっきりしている。Claudeが今年1月にリリースしたCowork機能は、ファイル整理などの知識作業を代行できる。ユーザーはskillsと呼ばれる指令セットを作成し、会話中に「/」でいつでも呼び出せる。このskillsはClaudeチャット、Cowork、Claude Codeを横断して利用可能だ。Claude Artifactsはコードスニペット、単一ページのHTMLサイト、Reactコンポーネント、グラフなどをリアルタイムでレンダリングでき、作成したものはそのまま公開・共有できるほか、Model Context Protocolコネクターを通じてリアルタイムデータも取得できる。ChatGPTにもskillsは存在するが、CodexとAPI内の個人アカウントに限定されており、通常のチャット画面では使えない。Artifactsに相当する機能はSitesと呼ばれ、企業内利用向けに特化しており、こちらもCodex内でのみ利用可能で、リアルタイムデータの取得にも対応していない。

逆に、ChatGPTは音声体験において明らかに一歩リードしている——声が自然で、話している最中に割り込んでも文脈を見失わない。Advanced voice modeのリアルタイム映像機能と組み合わせれば、カメラを目の前の対象に向けてそのまま質問することもできる。画像生成もChatGPTの強みで、実写に近いクオリティの画像を生成できる。Claudeはこの分野ではHTMLとSVGでグラフやアイコンを描く程度にとどまっている。

二つのユーザー層、二つの使い方

Anthropicが今年3月に発表したEconomic Indexレポートによると、Claudeの会話の42%は個人利用、45%は仕事関連、残りは学業目的だという。一方OpenAI自身のレポートでは、ChatGPTの利用のうち70%が仕事とは無関係だとされている。この数字は、ある意味で両社のプロダクト設計の違いを物語っている——一方は企業向けコラボレーションやプログラミングツールへと舵を切り、もう一方は音声や画像といった日常的なインタラクション機能を強化し続けている。

今年2月に起きたある出来事が、一部ユーザーの乗り換えを加速させた。Anthropicと米国防総省(Department of War)との契約交渉が決裂したのだ。理由は、同社が自社モデルを国内での大規模監視や全自動兵器システムに使用させることを拒否したためで、その後同社はサプライチェーンリスク対象としてリストアップされた。その数時間後、OpenAIは一部制限条項付きながら、米政府と同様の契約を締結したことを発表した。この一件により、少なからぬ人々がAnthropicを「より原則を重んじる」企業だと見なすようになり、以降Claudeのダウンロード数は明らかな伸びを見せている。

無料プランの体験にも差が広がりつつある。OpenAIは無料版とChatGPT Goプランに広告を導入し始めた一方、Anthropicは無料版Claudeに広告なしでより多くの機能を追加している。

価格体系はおおむね対称的だ。Claudeの無料版は中位モデルのSonnet 5のみ利用可能で、有料プランは月額20ドル(年払いなら17ドル)のPro、100ドルのMax 5x(Proの5倍の利用量)、200ドルのMax 20x(20倍の利用量)と続く。ProユーザーがFable 5を使う場合はトークン課金となるが、Maxプランでは週間利用量の半分をFable 5に割り当てることができ、上限に達しても追加購入が可能だ。ChatGPTも同様に20ドル、100ドル、200ドルの3段階に加え、8ドルのプランがもう一つ用意されており、利用量は増えるものの広告は表示される。Codexは無料で開放されているが、利用上限が極めて低く、ほぼ形だけの存在となっている。

新モデルはスコアが上がったのに、でたらめ率は89%に急上昇:ClaudeとChatGPTはどのように袂を分かったのか
新モデルはスコアが上がったのに、でたらめ率は89%に急上昇:ClaudeとChatGPTはどのように袂を分かったのか

気になるブランドやテーマをフォロー

ブランドのタグやカテゴリーから、自分だけの読み物リストを作りましょう。

関連記事

A24 Music × Audio-Technica、赤・青・緑のSound Burgerが予約開始。価格は270米ドル
Tech

A24 Music × Audio-Technica、赤・青・緑のSound Burgerが予約開始。価格は270米ドル

A24 MusicとAudio-Technicaが赤・青・緑を配したSound Burgerを発表。33⅓回転と45回転、Bluetoothと有線接続に対応する。公式予約価格は270米ドルで、7枚の商品写真が本体や端子のデザインを見せる。

Secretlab初の体験ストアがロサンゼルスに11月18日オープン
Tech

Secretlab初の体験ストアがロサンゼルスに11月18日オープン

ウェストハリウッドのメルローズ通りでデスクとチェアを試せる。マンツーマンの相談も受け付け、同日からBest Buyの15店舗にも専用売り場が登場する。

ジェントルモンスターのスマートグラス16種、NYで一般公開
Tech

ジェントルモンスターのスマートグラス16種、NYで一般公開

ジェントルモンスターがニューヨークで11月23日まで予約制プレビューを開催。Gemini搭載で米国価格は449ドルから。12月10日に米国と韓国で発売する。

Meta Questがついに3D映画に対応、『アバター』HFR版はもうVision Pro専用じゃない
Tech

Meta Questがついに3D映画に対応、『アバター』HFR版はもうVision Pro専用じゃない

Disney+アプリがQuest 3と3Sに3Dライブラリと『アバター』の高フレームレート版を追加。しかしHorizon OSのウィンドウ制限とスピーカー音質のせいで、この機能は一長一短の仕上がりとなっている。

球場からの動画投稿をAIが支える:サムスンとKT、水原で5Gデジタルツインを検証
Tech

球場からの動画投稿をAIが支える:サムスンとKT、水原で5Gデジタルツインを検証

AIが基地局の設定候補を提案し、デジタルツインで事前検証。水原の球場で商用網を使い、負荷の偏りを最大34%低減したと発表した。

表彰台の一枚は選手自身で。Samsungがダカール青少年五輪にVictory Selfie、競技中継にもスマートフォン
Tech

表彰台の一枚は選手自身で。Samsungがダカール青少年五輪にVictory Selfie、競技中継にもスマートフォン

開幕したダカール2026でVictory Selfieが青少年五輪に初登場。Galaxy S26 Ultraは既存カメラと連携してスケートボードとテコンドーの中継を支え、選手村では体験やメンタリングも行う。