Durov氏が暴露：AIで過去投稿を改ざん、大量通報でApp Storeから電撃削除されたTelegram

その攻撃手法は、聞くと官僚的に複雑そうだが、実行するのは驚くほど簡単だ。活発なグループチャットを見つけ、その中にある古い投稿をひそかに改ざんし、AIで生成された違法コンテンツに書き換える。改ざんする箇所は、グループメンバーが普段わざわざ遡って見返さないような場所を選ぶため、実際のユーザーから通報されることはない。次に、運営者は自動化された複数のボットアカウントを使い、自分たちが仕込んだその投稿を一斉に通報する。これによってAppleに向けて「ここに違法コンテンツがある、すぐ対応すべきだ」という信号を作り出すのだ。Telegram創業者のPavel Durov氏は、この一連の手口を「takedown extortionist(削除を利用した恐喝)」と呼び、今週Xでアプリが一時的にApp Storeから削除された経緯を説明する中でこの言葉を使った。

Durov氏の発言の中で最も鋭い指摘は、Appleがアプリを削除する前に、Telegram側へ一切連絡をしなかったという点だ。つまり、今回の判断はすべてAppleが通報の信号だけを根拠に一方的に下したもので、Telegram側はそのプロセスから完全に排除され、アプリがすでに消えた後で結果を知らされたに過ぎない。Durov氏の推測では、こうした手口を仕掛ける側の本当の目的は恐喝であり、プラットフォームが金を払って穏便に済ませなければ、彼らは同じ手法を繰り返し使い、通報の信号を作り出し続け、プラットフォームを何度も削除リスクに追い込むというものだ。

Durov氏はこれを「潜在的なシステミックリスク」と位置づけ、対象はTelegramだけではなく、ユーザー生成コンテンツを抱えるすべてのアプリに及ぶと意図的に強調した。これを言い換えれば、Apple自身の審査メカニズムの判断プロセスそのものへの疑問提起でもある——自動通報の件数がある閾値に達した時、App Storeは人による内容確認や開発者への通知なしに、先に削除を実行してしまうのではないか、という点だ。

ユーザー生成コンテンツの責任を誰が負うべきかという問題は、もともと長年ソーシャルプラットフォームにまとわりついてきた論点であり、TelegramとDurov氏もこの議論の中心に立たされるのは今回が初めてではない。今回違うのは、AIによって「一見違法に見えるコンテンツを作り出す」ことが以前より速く、以前より簡単になったという点だ。そしてAppleの審査プロセスが、内容の実質的な確認よりも通報件数への依存を主としているのであれば、それはこうした手口を仕掛ける側にまさに好都合なレバレッジを与えてしまっていることになる。Durov氏の投稿には、これ以上の技術的詳細や今後の対応スケジュールについての言及はなく、Apple側も現時点で公式なコメントを出していない。