当社独自のアクセス統計は常に有効です。Google Analyticsは、公開ページ（ログイン後のワークスペースは対象外）の利用状況を把握するためのもので、許可をいただいた場合のみ有効になります。詳しくは プライバシーポリシーをご覧ください。

EveryInfra
検索⌘K
日本語
ログイン無料で始める
セクション · 17
  1. 01今サンプルを確認すべき理由
  2. 02テスト：1つのクエリを3回実行
  3. 03キーワードの一致範囲は想像以上に広い
  4. 04同じ項目、2つのエンドポイント、2つの数値
  5. 05重複と再投稿：1アカウント、9分間に4件の投稿
  6. 06削除と公開状態：サンプルの縮小
  7. 07サンプリングバイアス：研究用インターフェースでもデータは一部のみ
  8. 08期間：「最近」が指す範囲は一様ではない
  9. 09DSA第40条：1年を経た現状
  10. 10研究倫理とプラットフォームの規約
  11. 11他者が検証できるサンプルのためのチェックリスト
  12. 12EveryInfraでこのテストを再現する
  13. 13コスト：1か月間の安定性モニタリング
  14. 14最近の動向（2026年9月〜10月）
  15. 15FAQ
  16. 16関連記事
  17. 17参考文献

ソーシャルメディア研究のサンプル：同じ検索を2回実行すると半分が変わる

ソーシャルメディアの検索結果を研究サンプルとして使う前に、サンプルが安定しているかを検証してください。2026年10月24日、同じクエリを2分後に再実行したところ、X、YouTube、TikTokでは結果の約半分しか一致しませんでした。本記事では、削除、重複、期間設定、DSA第40条の現状についても取り上げます。

イラスト：同じSNS投稿カードが2列に並び、同じ検索を2回実行した結果のように見えます。2列目ではカードの約半分が変化したり薄れたりしており、小さな矢印で示されています。手前にはチェックリストを挟んだクリップボードが置かれています。

ソーシャルプラットフォームでキーワード検索をしても、固定されたサンプルは得られません。2026年10月24日（本記事の時刻はシンガポール時間、UTC+8）、同じ4つのクエリを約2分後にもう一度実行しました。各回とも25件の結果を取得しました。X、YouTube、TikTokでは、2回の実行間のJaccard係数は0.47〜0.56にとどまりました。2回目の実行で「新たに」現れた項目は、すべて1回目の実行より前に公開されたものでした。

2時間後に行った3回目の実行では、1回目とのJaccard係数はXで0.52、TikTokで0.22でしたが、YouTubeでは0.92でした。そのため、クエリの実行時刻、すべてのパラメータ、生のレスポンスを記録してください。各クエリの結果を複数回収集し、重複度を報告してください。そうしなければ、他の研究者はあなたのサンプルを再現できず、あなた自身も明日には再現できません。

この記事は、ソーシャルメディアや検索のデータを利用する研究チームを対象としています。たとえば、コミュニケーション研究、公衆衛生、政治学、計算社会科学、ファクトチェックの部門などです。ここでは、データ収集の手法と、ご自身で確認できる数値を紹介します。法的な助言は行いません。プラットフォームの規約やEUのデジタルサービス法（DSA）については、原文をお読みのうえ、プロジェクトについて倫理審査委員会や法務部門にご相談ください。

今サンプルを確認すべき理由

この2か月で、プラットフォームデータへのアクセス経路がいくつか変わりました。

  • Redditが公開Data APIの終了日程を発表。 Redditは2026年9月30日にr/redditdevで日程を公表しました。10月31日以降、公開APIの新規利用申請を受け付けません。2027年1月12日からは、登録していないアプリのアクセス権を順次取り消します。2027年3月には、残りすべてのアプリについて公開アクセスが終了します。TechCrunchは同日、研究者が使うツールも影響を受けると報じました。
  • Redditのルール8は削除済みコンテンツの利用を禁止。 10月24日にRedditヘルプページ「Don't break the site」を確認しました。アプリは「ユーザーが削除した公開コンテンツや、Redditルール違反で削除された公開コンテンツを引き続き使用または表示」してはならないと記載されています。また、「承認された契約なしに」行うスクレイピングも違反となりうる行為として挙げています。
  • DSA第40条の申請受付は始まっていますが、成功例はまだ公表されていません。 ドイツのNGOであるAlgorithmWatchに所属するOliver Marsh氏は、10月2日のDSA Observatoryで、2026年7月までに第40条第4項に基づく申請が77件あったと書いています。成功が確認されたものは1件もありません。アイルランドの規制当局Coimisiún na Meánは、10月7日に2025年版年次報告書を公表しました。その81ページには、同規定が2025年10月29日に施行され、最初の申請が届いたと記載されています。
  • Redditは超大規模オンラインプラットフォームになりました。 8月31日、欧州委員会はRedditとRobloxを超大規模オンラインプラットフォーム（VLOP）に指定しました。ChatGPTは超大規模オンライン検索エンジン（VLOSE）になりました。これらのサービスには、VLOPに課される追加義務に対応するため2027年1月までの4か月間の猶予があり、第40条のデータアクセスもその義務の一つです。つまり、Redditの公開APIの終了と、DSAに基づく研究者向け義務の開始が同じ四半期に重なります。

データへのアクセス経路が狭まるほど、研究者は自分のサンプルがどれだけ網羅的かを示す必要があります。以下のテストは、それを低コストで行う方法です。

テスト：1つのクエリを3回実行

基準は先に決めました。 このルールは3回目の実行前に設定しました。同じクエリを2回実行したときのJaccard係数が0.9以上なら、そのエンドポイントは1回の実行で十分とします。0.9未満なら、複数回実行して結果を収集し、和集合とJaccard係数を報告します。新しい項目が1回目の実行より前に公開されていた場合は、新規投稿ではなく、ランキングまたはサンプリングの違いとして扱います。

設定。 4つのプラットフォームの4つのエンドポイントを使い、すべての実行で同じパラメータを指定し、1回の呼び出しにつき25件を取得しました。

  • Reddit Search API（reddit/search）：キーワードDigital Services Act、sort=newest。
  • Twitter (X) Search API（twitter/search）：キーワードを引用符で囲んで"Digital Services Act"、sort=latest。
  • YouTube Search API（youtube/search）：キーワードDigital Services Act、デフォルトの関連度順。
  • TikTok Search API（tiktok/search）：キーワードclimate change、content_type=video。

実行Aは12:13〜12:15、実行Bは12:16〜12:17、実行Cは14:15〜14:18に行いました。比較にはタイトルではなく項目IDを使いました。

サンプリング台のアイソメトリックイラスト。奥の長いラックには49枚のカードがあり、1つのTikTokクエリで3回の検索を通じて表示された49本の異なる動画を表しています。レール上のサンプリング台車が毎回25枚のカードを取り、手前にある3つのトレイのいずれかに置きます。トレイは実行A、B、Cを表し、それぞれの手前にある小さな時計は12:15、12:17、14:16を指しています。各トレイの中では、5×5のブロックが順位順に並んでいます。7つのティール色のブロックは3回すべての実行で見つかった動画です。順位が変わったため、各トレイで完全に同じ位置にあるわけではありません。それ以外のブロックは実行ごとに入れ替わります。台車はトレイCの上で止まっています。

結果。

  • X：実行AとBでは25件中18件が共通していました。Jaccard係数は0.56で、上位10件のうち7件が一致しました。実行Bで新たに現れた7件は2022年4月から2026年8月の間に公開されたもので、2回の実行の間に投稿されたものは1件もありませんでした。実行CのJaccard係数は実行Aとの比較で0.52、実行Bとの比較で0.43でした。3回の実行で計39件の異なる項目が現れ、3回すべてに含まれていたのは14件だけでした。実行Cで新たに現れた7件のうち、最も新しいものは10月20日に公開されていました。
  • YouTube：共通項目は16件、Jaccard係数は0.47で、上位10件のうち一致したのは4件だけでした。実行Bで新たに現れた9件は2022〜2025年に公開されたものでした。実行CのJaccard係数は実行Aとの比較で0.92（異なる項目は1件のみ）でしたが、実行Bとの比較では0.43でした。実行Bだけ異なる結果セットになり、2時間後には元に戻ったように見えます。3回の実行で計35件の異なる項目が現れ、3回すべてに含まれていたのは15件でした。
  • TikTok：共通項目は16件、Jaccard係数は0.47でした。ただし上位10件のうち9件が一致していたため、変化の大半は12位より下で起きていました。新たに現れた9件のうち最も新しいものは10月24日00:11（UTC）に公開されており、実行Aより前でした。2時間後には差が広がりました。実行CのJaccard係数は実行Aとの比較で0.22、実行Bとの比較で0.19でした。3回の実行で計49件の異なる項目が現れ、3回すべてに含まれていたのは7件だけでした。実行Cで新たに現れた15件のうち最も新しいものは10月23日23:50（UTC）に公開されており、これも実行Aより前でした。
  • Reddit（新着順）：実行AとBは同じ25件を同じ順序で返しました。2時間後の実行Cでは、25件すべてが05:15〜06:12（UTC）の新しい投稿でした。新着順の表示範囲は時間とともに前に進みます。それが「新着順」の意味なので、不安定さには数えません。
横棒グラフ：同じクエリを3回実行したときの結果のJaccard係数を、事前に設定したしきい値0.9と比較したもの。X：A–B 0.56、A–C 0.52、B–C 0.43。YouTube：0.47、0.92、0.43。TikTok：0.47、0.22、0.19。Reddit（新着順）：A–B 1.00。2時間後には表示範囲が新しい投稿に移ったため、A–CとB–Cは0。しきい値を満たしたのはYouTubeのA–Cだけで、その間の実行Bは0.47のため、3つのプラットフォームのいずれのキーワード検索でも、1回の実行で再現可能なサンプルは得られません。

事前に定めたルールに照らすと、X、YouTube、TikTokのキーワード検索では、1回の実行で再現可能なサンプルは得られません。0.9を超えたのはYouTubeの実行AとCの組み合わせだけでしたが、その間の実行Bは0.47でした。つまり、1組の実行で高い重複度が出ても、それだけでは何の証明にもなりません。

これはツールの不具合ではありません。EveryInfra機能カタログには、Xはデフォルトで「Top」の結果を返し、latestは厳密な時系列順を保証しないと記載されています。Google自身のYouTube Data APIドキュメントにも、totalResultsは「近似値であり、正確な値を表していない場合がある」と書かれています。関連度順の検索結果は固定されたリストではありません。

サンキーダイアグラム：TikTokのクエリ「climate change」について、12:15の実行Aの25件から14:16の実行Cの25件への推移。実行Aの9件は残り、16件は消えました。実行Cのそれ以外の16件のうち15件は、実行Aにも実行Bにもなかった、新たに現れた動画で、いずれも実行Aより前に公開されたものでした。残りの1件は実行Aにはなく、実行Bに現れていたものです。2つの実行のJaccard係数は0.22です。

この結果の限界：テストしたのは4つのクエリで、各25件、1日のうちに3回実行しました。アーカイブ全体や長期間には当てはめないでください。Redditの結果が安定していたのは、2分間における新着順の場合です。Redditの関連度順が安定していることを示すものではありません。

キーワードの一致範囲は想像以上に広い

同じテストで2つ目の問題も見つかりました。Redditでは、引用符なしの複数語キーワードはフレーズではなく個々の単語に一致します。

  • 実行Aでは、引用符なしのDigital Services Act（新着順）で25件の投稿が返されました。タイトルや本文にフレーズ全体を含む投稿は1件もありませんでした。22件は少なくとも1つの単語（digital、service、act）を含んでいました。投稿の内容はカジノの広告、恋愛相談、ゲームのトレードでした。
  • 12:21に、同じく新着順で、引用符付きの"Digital Services Act"を送信しました。検索結果は3件で、3件ともフレーズ全体を含んでいました。内容はInstagramアカウントの異議申し立て、詐欺的な出会い系サイトへの注意喚起、賃貸詐欺に関するドイツ語の投稿です。カタログによるとこのエンドポイントは過去1か月を検索対象とするため、この3件がその1か月で新着順検索から得られるすべてです。14:17にも同じ3件が返されました。
積み上げ棒グラフ：RedditでのDigital Services Actの検索（新着順）。引用符なしでは25件が返され、フレーズ全体を含むものが0件、digital、service、actのうち少なくとも1語を含むものが22件、3語のいずれも含まないものが3件でした。引用符付きでは3件のみが返され、3件ともフレーズ全体を含んでいました。14:17にも同じ3件が返されました。

関連性のチェックも誤ることがあります。TikTokのデータセットについて、最初はテキストに「climate change」を含む投稿を数えました。一致したのは25件中わずか4件でした。次に、ハッシュタグから#とスペースを除去して再度照合しました。すると25件中23件が一致しました。見落としていた19本の動画では、「climate change」に該当する表記が#climatechangeだけでした。

研究への影響：キーワードで抽出したサンプルを手作業で確認し、無関係な項目の割合を報告してください。9月22日に公開されたISAACコーパス（arXiv:2609.27059）は、527 million件を超えるRedditの投稿を選別しています。著者らは人の監査を伴う多段階のフィルターで無関係なコンテンツを10%未満に抑え、その割合をグループごとに報告しています。こうした手順を踏まないと、「DSAに関するRedditの議論」のサンプルの大半がカジノ広告になることもあります。

同じ項目、2つのエンドポイント、2つの数値

研究では、いいね数、再生回数、コメント数を結果変数や重みとして使うことがよくあります。10月24日の12:16から12:21にかけて、検索結果に表示された数値と個別項目のエンドポイントから取得した数値を比較しました。

  • YouTube：2026年6月に公開された動画について、検索ではいいね数が4,650でした。12:19にYouTube Video Details APIで取得すると4,600でした。再生回数（48,406）とコメント数（590）は同じで、14:18にも変化はありませんでした。いいね数の差は表示精度によるもので、実際の変化ではありません。
  • TikTok：The Guardianが10月23日に投稿した気候に関する動画について、12:17の検索では再生回数671,900、いいね数90,300、コメント数3,068でした。12:19にTikTok Video Details APIで取得すると673,500、90,500、3,074でした。再生回数は2分半で1,600増えています。この動画では再生回数といいね数は100単位の概数でしたが、コメント数は正確な値でした。14:17に再度確認すると、再生回数767,600、いいね数101,600、コメント数3,402でした。再生回数は2時間で約14%増えています。
  • X：指定に関する欧州委員会の8月31日の投稿を確認しました。検索とX (Twitter) Post Details APIのどちらでも、表示回数は6,523,789、いいね数は4,668でした。14:17には表示回数が6,523,800になり、いいね数は4,668のままでした。下2桁が0になっています。これは丸めによるものかもしれませんし、表示回数が11増えただけかもしれません。1件だけではどちらか判断できないため、各数値の精度も記録してください。
折れ線グラフ：The Guardianが10月23日に投稿したTikTokの気候に関する動画の再生回数。軸は0から始まります。12:17の検索一覧では671,900でした。12:19の動画詳細では673,500で、2.5分で1,600増えました。14:17の動画詳細では767,600で、約2時間で94,100増え、14%の増加でした。同じ時点のいいね数は90,300、90,500、101,600でした。

そのため、すべての数値に2つの情報を保存してください。秒単位の取得時刻と、その数値を返したエンドポイントです。新しい投稿は公開から数日間で急速に伸びます。同じ日の朝の数値と午後の数値を、同等のものとして比較しないでください。

重複と再投稿：1アカウント、9分間に4件の投稿

無関係なRedditの投稿25件のうち、4件は同じアカウントによるものでした。このアカウントは9分以内（03:39〜03:48 UTC）に4つの異なるコミュニティへ投稿していました。テキストはほぼ同一で、5語シングルのJaccard類似度は0.93〜0.99でした。別のアカウントも、無関係な3つのコミュニティに3件のカジノ広告を投稿していました。

問いが「このトピックについて何人が議論しているか」なら、この4件は1人の声として数えてください。問いが「コンテンツがコミュニティ間でどう広がるか」なら、これらの投稿こそ残すべきシグナルです。次の方法をおすすめします。

  1. テキストを正規化します。リンクと句読点を除去し、小文字に統一します。
  2. 5語シングルのJaccard係数が0.6以上のペアを、ほぼ重複するペアとしてマークします。
  3. 投稿者と時間枠（たとえば同じ投稿者による1時間以内の投稿）を使って、再投稿、クロスポスト、スパムを区別します。
  4. 重複を除去する前と後のサンプルサイズを報告します。

同じ考え方はGoogleマップの店舗レコードにも当てはまります。プラットフォームのIDからわかるのは、レコードが存在することです。そのレコードが独立した発信者や実体を表しているとは限りません。

削除と公開状態：サンプルの縮小

コンテンツは消えることもあります。投稿者が削除したり、プラットフォームが削除したり、アカウントが閉鎖されたり非公開になったりします。

  • RuizらによるPoliTok-DEデータセット（arXiv:2509.15860）には、ドイツの2つの選挙に関する930,000件を超えるTikTokの投稿が含まれています。そのうち330,000件以上が後に削除されました。内訳はザクセン州のサンプルで18.7%、連邦のサンプルで39.7%です。連邦のサンプルでは、削除の約3分の2が投稿者本人によるものでした。
  • Zubiaga（2018, JASIST）は、147 million件を超えるツイートを含む30のTwitterデータセットを再収集しました。データセットが古いほど、まだ取得できる割合は小さくなっていました。フォロワー数などのメタデータも、時間とともに代表性が低下していました。

一方、プラットフォームの規約では、研究者に次のような削除を求めています。

  • TikTok Research Tools Termsは2026年1月22日から適用されます。研究データは少なくとも30日ごとに更新する必要があります。更新のたびに、利用できなくなったデータを削除しなければなりません。審査を受けたDSA研究者は、こうしたルールが研究の妨げになる理由を申請時に説明できます。
  • X Developer Policyでは、保存したXのコンテンツはX上の現在の状態と一致していなければならないとされています。X上でコンテンツが変更されたら、手元のコピーも変更してください。合理的に可能な限り速やかに、または要請があった場合は24時間以内に対応する必要があります。学術研究者は、Xが書面で承認した非商用研究のため、または査読のために、ポストIDを共有できます。
  • 前述のRedditのルール8は、削除された公開コンテンツをアプリが使い続けることを禁止しています。

ここに矛盾が生じます。再現性のためには元のサンプルが必要ですが、規約とプライバシーの観点からは削除が必要です。

Political Communicationに掲載された2026年のレビューは、第40条の初期の課題として「再現のためのデータ共有の制約」を挙げています。現実的な方法は次のとおりです。IDリスト、クエリパラメータ、収集日時、集計統計を公開します。全文は管理された環境でのみ保持し、規約の定めに従って削除します。再収集するたびに、まだ取得できる割合を報告します。削除率は論文の結果の一つとして扱ってください。サンプルを黙って差し替えないでください。

サンプリングバイアス：研究用インターフェースでもデータは一部のみ

プラットフォーム自身の研究用インターフェースなら全データが得られると考える人は少なくありません。最近の監査結果は、その考えを裏付けていません。

  • arXiv:2601.12390で、BekavacとMayerは選挙期間中に管理下の2つのテストアカウントのフィード全体を再構築しました。そのフィードを、同じ投稿についてTikTok Research APIとMeta Content Libraryが返すデータと比較しました。研究用インターフェースでは、ユーザーが見たコンテンツの最大約50%が除外されていました。コンテキストのメタデータは最大約83%が削除されていました。制限の一つは、週あたりわずか約1,000リクエストでした。
  • Meta Content Libraryのページでは、個人アカウントに制限が設けられています。個人アカウントの投稿が含まれるのは、アカウントが認証済みか、フォロワーが100人以上の場合に限られます。小規模な個人アカウントは仕様上含まれません。
  • 8月10日に公開されたWhichTok（arXiv:2608.09917）は、TikTokのデータ収集ツール3種（TikTok Research APIと2つのWebベースのツール）を比較しました。差が最も大きかったのは、ハッシュタグ検索とキーワード検索です。3つすべてで一貫した結果が得られたのは、ユーザーエンドポイントだけでした。
  • 2025年には、arXiv:2506.09746がデータ寄付で提供された動画を検証しました。TikTok Research APIは、そのうち約8本に1本についてメタデータを返しませんでした。その中にはTikTok自身の動画や広告も含まれていました。
  • この問題は以前からあります。Morstatterら（2013）は、Twitterのサンプリング版Streaming APIと全量のFirehoseを比較しました。Pfefferら（2023）では、80人の研究者が、2022年9月21日から始まる24時間分のツイート375 million件をすべて収集しました。このデータセットは、その後の研究のベースラインになっています。

そのため、どのデータ取得経路についても、その経路で取りこぼされるものを書き出してください。可能であれば、サンプルの一部を独立した別の経路で確認します。前述の検索結果と詳細データの照合は、低コストで行える一例です。

期間：「最近」が指す範囲は一様ではない

キーワード検索の対象期間は、多くの場合、自由に選べません。

  • カタログによると、Redditのキーワード検索の対象は直近1か月で、並び順を変えてもこの範囲は変わりません。
  • Xでの実行Aではlatestを使いましたが、25件の投稿の公開日は2024年8月から2026年10月にわたっていました（2024年が5件、2025年が11件、2026年が9件）。
  • 関連度順で取得したYouTubeの結果25件の公開日は、2020年から2026年にわたっていました。

時系列分析では、関連度順の検索を「ある期間の議論全体」の代わりとして使わないでください。コミュニティ、アカウント、チャンネル単位で収集し、posted_atで絞り込みます。または、Xのキーワードにプラットフォーム独自の日付構文を使います（twitter/searchのカタログの注記にsince:などの構文が記載されています）。論文の手法のセクションには、データが実際にカバーしている開始日と終了日を明記してください。

DSA第40条：1年を経た現状

デジタルサービス法第40条は、研究者に2つのルートを用意しています。

  • 第40条12項：公開データ。 VLOPとVLOSEは、自社のインターフェース上で公開されているデータへのアクセスを「不当な遅延なく」提供しなければならず、これには「技術的に可能な場合はリアルタイムデータ」も含まれます。対象には「非営利の団体、組織、協会に所属する」研究者も含まれます。2025年12月5日、欧州委員会はXに対してDSAに基づく初の制裁金となる120百万ユーロを科しました。違反の一つは「研究者に公開データへのアクセスを提供しなかったこと」でした。この決定の要点はTech Policy Pressがまとめています。Xはスクレイピングを含め、独立した研究者によるアクセスを禁止していました。また、割り当て量と期間も制限が厳しすぎました。
  • 第40条第4項：非公開データ。 審査を経た研究者は、自国のデジタルサービス調整官（DSC）を通じて申請します。規則は、2025年10月29日から適用される委任規則（EU）2025/2050に定められています。申請はDSAデータアクセスポータルから行います。DSCが理由を付した要請を発出するまでの期間は、最長80営業日です。プラットフォームはデータカタログを公開し、更新しなければなりません。全文は欧州委員会の委任法令のページで確認できます。アイルランドのDSCは、2026年5月にガイダンスの第2版を公開しました。

最近の一次情報に基づく現状は次のとおりです。

  • AlgorithmWatchの申請は、提出から80営業日後にアイルランドのDSCに却下されました。理由は、データの保管とサイバーセキュリティに関する説明が不十分であること、そしてデータ量が必要な範囲に見合っている理由が説明されていないことでした。再申請後は、さらに80営業日待たなければなりませんでした。第40条第12項に基づき、約20の組織が6つのプラットフォームに対し、各加盟国で最も閲覧された投稿1,000件を6時間ごとに提供するよう求めました。協議は2025年10月に始まりましたが、これまでに同意したプラットフォームはありません（DSA Observatory、10月2日）。
  • ICWSM 2026の論文The Great Data Standoffは、問題の核心を指摘しています。研究者は必要なデータを特定しなければなりません。しかし、プラットフォームがどのデータを保有しているかを知ることはできません。カーディフ大学のTaylor Annabellは、Media, Technology and Governance（2026）で、公開されたデータカタログを分析しています。彼女は、プラットフォームが「データ」の範囲を事前に定義された集計済みデータセットに限定していると論じています。
  • Smart Data Research UKは、Social Platforms Data Access Taskforceに資金を提供しました。その最終報告書は9月9日に公表され、10月6日にリポジトリに登録されました。研究者が直面する障壁について、1年分のエビデンスをまとめています。
  • プラットフォームの透明性データにも限界があります。arXiv:2610.26226（10月19日）によると、DSA Transparency Databaseに登録された決定の99.8%超は、法的規定ではなくプラットフォーム独自の規約を根拠としています。

研究デザインへの示唆：第40条は活用する価値がありますが、数週間ではなく数年かかります。その間、公開データに基づく研究では、網羅性をこれまで以上に明確に記述する必要があります。査読者は、サンプルがプラットフォーム上の実際のフィードからどの程度乖離しているかを問うはずです。

研究倫理とプラットフォームの規約

以下は方法論上のポイントであり、法的助言ではありません。

  • まず倫理審査を受ける。 AoIR Internet Research Ethical Guidelines 3.0は、この分野で広く参照されている指針です。公開データだからといって、自由に使えるとは限りません。特に健康、セクシュアリティ、政治的見解に関わる場合は、文脈に応じて投稿者へのリスクを評価してください。
  • 必要なものだけを収集する。 リサーチクエスチョンに必要なフィールドだけを保持します。個人アカウントのユーザー名は、分析前に一方向ハッシュに置き換えます。読者が検索して元の投稿を特定できるような文は引用しないでください。この記事では、個人アカウントを一切挙げていません。
  • 規約で求められたら削除する。 定期的な再収集と削除の仕組みを整え、削除した量を記録します。
  • 各規約の適用範囲を確認する。 研究向け規約では、対象地域と目的、申請資格者が限定されています。DSA第40条の2つの経路は、いずれもEUにおけるシステミックリスクに関する研究に限られます。使用した経路と規約を、手法のセクションに記載してください。
  • 他者が検証できるものを公開する。 通常、IDリスト、クエリパラメータ、収集日時、集計結果、コードは公開できます。全文データは、規約の定めに従って扱います。

他者が検証できるサンプルのためのチェックリスト

収集ループのアニメーション。番号は本文の8ステップのチェックリストに対応しています。ステップ1と2は、収集前に1回だけ行います。基準を書き出し（1回の実行結果を再現可能とみなすには、2回の実行間のJaccard係数が0.9以上である必要があります）、キーワード、並び順、件数を固定します。その後は、ラウンドごとにステップ3〜8を順番に実行します。各呼び出しの生のJSONを、リクエストIDおよび秒単位の取得時刻とともに保存します。同じクエリを少なくとも2回実行し、和集合を残します。ランダムに選んだ50〜100件について、関連性を手作業で判定します。5語のshingleによるJaccard係数が0.6以上の近似重複に印を付けて除去します。一部の件数を単一アイテム用のエンドポイントで再確認し、どのエンドポイントから得た値かを記録します。規約で定められたスケジュールに従って再収集し、引き続き取得できる割合を記録して、取得できなくなったものを削除します。その後、次のラウンドを開始します。
  1. 基準を書き出す。 収集前に、Jaccard係数のしきい値と無関係なアイテムの割合の上限を決めます。削除をどう報告するかも決めておきます。
  2. パラメータを固定する。 キーワード、並び順、取得件数、言語、地域を設定ファイルにまとめ、バージョン管理します。
  3. 生のレスポンスを保存する。 各呼び出しで返されたJSON全体をリクエストIDとともに保存します。タイムゾーンを付け、取得時刻を秒単位で記録します。
  4. 複数回収集する。 各クエリを2回以上実行します。和集合、積集合、Jaccard係数を報告します。不安定なエンドポイントでは、和集合をサンプルとして使います。
  5. 関連性を手作業で確認する。 ランダムに選んだ50〜100件にラベルを付け、無関係なアイテムの割合を報告します。テキストマッチングの前に、ハッシュタグを正規化します。
  6. 重複を除去する。 正規化したテキスト、shingle類似度、投稿者、時間枠を使って判定します。除去前後のサンプルサイズを報告します。
  7. 件数をクロスチェックする。 一部のアイテムを、単一アイテム用エンドポイントで再確認します。各件数をどのエンドポイントから、いつ取得したかを記録します。
  8. 再収集と削除を行う。 規約が定めるスケジュールで再収集します。引き続き取得可能な割合を記録し、表示されなくなったコンテンツは削除します。

EveryInfraでこのテストを再現する

以下は、Xでの実行Aに使用したリクエストです。<API Key>をご自身のAPIキーに置き換えてください（クイックスタートを参照）：

bash
curl -s https://api.everyinfra.com/api/v1/social \
  -H "Authorization: Bearer <API Key>" \
  -H "Content-Type: application/json" \
  -d '{"platform":"twitter","action":"search","params":{"keyword":"\"Digital Services Act\"","sort":"latest","limit":25}}'

レスポンスのトップレベルにはid（リクエストID）、count、results、billingがあります。再現性テストには、次の結果フィールドが役立ちます（フィールド名は機能カタログを参照してください）：

  • id：プラットフォーム上のアイテムID。結果の重なりの確認と重複排除に使います。
  • url：元の投稿へのリンク。再収集や目視確認に使います。
  • posted_at：公開日時（UTC）。新しく取得したアイテムが新規投稿かどうかの判定に使います。
  • text、title：本文とタイトル（タイトルがあるのはRedditとYouTube）。関連性チェックや、ほぼ重複する投稿の検出に使います。
  • hashtags：TikTokとXでは、関連性チェックにこのフィールドも含めてください。
  • like_count、view_count、comment_count：各種カウント。必ず取得時刻と一緒に保存してください。
  • author_username：投稿者。重複排除で投稿者ウィンドウを使う際に必要です。分析前にハッシュ化してください。
  • community：Redditのコミュニティ名。クロスポストの特定に使います。
  • search_rank：YouTube検索での順位。上位10件の重なりの確認に使います。

ClaudeやCursorなどのAIクライアントでは、MCP経由で同じデータに接続できます。そうすると、アシスタントが上記のチェックリストを実行できます。その他のクライアントについては、リモートMCPサーバーのページをご覧ください。

bash
export EVERYINFRA_API_KEY="<API Key>"
claude mcp add --transport http everyinfra https://api.everyinfra.com/mcp \
  --scope user \
  --header 'Authorization: Bearer ${EVERYINFRA_API_KEY}'

接続したら、curlリクエストと同じパラメータでeveryinfra_call_apiを呼び出します。リクエストIDごとの課金額はeveryinfra_requestsで確認できます。

エラーと課金は次のとおりです。

  • unauthorized：キーがない、またはキーが無効です。課金されません。
  • unknown_paramまたは無効な値：パラメータ名またはenum値の誤りです。レスポンスに有効なパラメータと例が示されます。課金されません。
  • 結果が空の場合：たとえば、引用符で囲んだキーワードに今月一致する投稿がない場合です。空のリストが返され、事前課金分は返金されます。
  • 機能が一時的に利用できない場合：レスポンスにその旨が示されます。課金されません。

返金を1件ずつ確認する方法は、API課金の照合を参照してください。機能とパラメータの基準としてライブカタログを使う理由については、ライブ機能カタログを参照してください。

コスト：1か月間の安定性モニタリング

10月24日時点の機能カタログによると、reddit/search、twitter/search、youtube/search、tiktok/searchは1回の呼び出しあたり$0.000556です。単一アイテムのエンドポイントyoutube/video、tiktok/video、twitter/postも1回あたり$0.000556です（正式な料金は料金ページを参照してください）：

  • 4プラットフォーム、プラットフォームごとに5キーワード、6時間ごとに1回、1回あたり25件、30日間：4 × 5 × 4 × 30 = 2,400回 × $0.000556 = $1.33。
  • 毎週100件のカウントを単一アイテムのエンドポイントで再確認、4週間：400回 × $0.000556 = $0.22。
  • 合計：約$1.56。空の結果と失敗した呼び出しは課金されないため、実際のコストがこれを上回ることはありません。

この記事のために行ったライブ呼び出し（検索の実行3回、単一アイテムのチェック、引用符付きのReddit検索、本文では使わなかったWeb検索4回）の合計は$0.015008（26回）でした。

最近の動向（2026年9月〜10月）

  • 9月30日：Redditが公開データAPIの終了スケジュールを発表（r/redditdev）。研究者への影響：Redditの公開APIを使うスクリプトは、2027年3月までにRedditの研究者プログラム、商用契約、またはDSAのルートへ移行する必要があります。既存のサンプルを今のうちに文書化しておいてください。
  • 10月1日：RedditがDSAページを更新（Reddit Help）。2026年上半期、EUにおけるRedditの月間平均アクティブ受信者数は57.2百万人以下でした。研究者向け：RedditのVLOPとしての義務は2027年1月に始まるため、今のうちに第40条12項に基づく申請を準備できます。
  • **10月1日：Pote、Flammini、MenczerがarXiv:2610.02591を発表。** Xが削除した43件の影響工作について、アプリのメタデータを分析した研究です。APIは協調的な操作を支えるインフラの一部になっています。また、Xがアプリレベルのメタデータを削除したことで、重要な検出手段が失われたことも明らかにしました。研究者への影響：プラットフォームがフィールドを1つ削除するだけで、一連の研究全体が再現できなくなることがあります。生のレスポンスを保存しておいてください。
  • **9月29日：arXiv:2609.38571が4つのプラットフォームのAIラベルを監査。** システミックリスクやAIに関連するキーワードで10,722件の投稿を収集しました。専門家がディープフェイクと判定した投稿のうち、プラットフォームのラベルが付いていたのは33%だけでした。研究者への影響：これもキーワードサンプルから得られた割合であり、分母はキーワードリストで決まります。
  • 10月2〜6日：大規模なプラットフォームサンプルを使った新しい研究。 arXiv:2610.09082は、18か月分、5.7百万件のRedditの投稿要約を対象にAIによる害を追跡しています。アイルランドの洪水に関する二つの研究（arXiv:2610.03334、arXiv:2610.06330）は、Meta Content Libraryでキーワードクエリを使用しています。研究者向け：サンプルの説明が詳しいほど、結果の信頼性は高まります。
  • **10月21日：Tech Policy Pressの論考。** Jen Rosiere Reynoldsは、AIリスク研究がソーシャルメディア研究と同じデータアクセスの問題を抱えるようになったと指摘しています。

FAQ

学術研究にRedditのAPIをまだ使えますか？（Googleのサジェスト：「reddit api for academic research」）Redditの9月30日の投稿には2つの日付が示されています。公開APIの新規申請は2026年10月31日に締め切られます。公開アクセスは2027年3月に終了します。コメント欄では、ある開発者が、APIアクセスを持たない人はDevvitか研究者プログラムが用途に合うか確認するよう勧めています。RedditはVLOPに指定されたため、2027年1月からDSA第40条に基づいて研究者にデータアクセスを提供する義務を負います。進行中のプロジェクトがある場合は、サンプルの説明と収集ログを今のうちに確定させてください。

研究データセット内の投稿が削除されました。どうすればよいですか？（Googleのサジェスト：「deleted tweets research dataset」）通常、プラットフォームの規約では、手元のデータも削除するよう求められます。TikTokは少なくとも30日ごとの更新と、利用できなくなったデータの削除を求めています。Xは、変更があった場合は速やかにコピーを削除または更新するよう求めています。再現性のために、ID、パラメータ、集計統計を公開し、再収集した時点でまだ取得できる割合を報告してください。削除率は結果の一部として報告します。

DSA第40条に基づいて申請できるのは誰ですか？（Googleのサジェスト：「dsa article 40 researchers」）第40条第4項の対象は、研究機関に所属し、商業的利益から独立した研究者です。データセキュリティと機密保持の要件を満たす必要があります。申請はデジタルサービス調整官（Digital Services Coordinator）を通じて行います。

公開データを対象とする第40条第12項は、非営利の団体、組織、協会に所属する研究者も対象に含むと明記しています。どちらのルートも、EUにおけるシステミックリスクの研究に限られます。AlgorithmWatchによると、NGOによる単純な定量的申請でも最初の審査を通過できることがあります。ただし、データ量が妥当である理由を説明する必要があります。ご自身が対象になるかどうかは、所属機関に確認してください。

関連記事

参考文献

  1. Data APIアプリのDeveloper Platformへの移行：移行日程と今後の対応。Reddit（r/redditdev）、2026-09-30（一次資料）。https://www.reddit.com/r/redditdev/comments/1wubcvf/moving_data_api_apps_to_the_developer_platform/
  2. RedditがRSSフィードを廃止、AIボットを理由に公開APIアクセスを終了。TechCrunch、2026-09-30（二次資料）。https://techcrunch.com/2026/09/30/reddit-is-killing-rss-feeds-ending-public-api-access-because-of-ai-bots/
  3. サイトを壊さないこと（ルール8）。Reddit Help、2026-10-24閲覧（一次資料）。https://support.reddithelp.com/hc/en-us/articles/360043512931-Don-t-break-the-site
  4. NGOの視点から見たDSAデータアクセス（の欠如）をめぐる二つの事例。DSA Observatory（Oliver Marsh、AlgorithmWatch）、2026-10-02（二次資料）。https://dsa-observatory.eu/2026/10/02/two-stories-of-dsa-data-non-access-from-an-ngo-perspective/
  5. 年次報告書2025。Coimisiún na Meán、2026-10-07（一次資料）。https://www.cnam.ie/app/uploads/Coimisiun-na-Mean-Annual-Report-2025.pdf
  6. 欧州委員会、ChatGPT、Reddit、RobloxをDSAに基づき指定（IP/26/1772）。欧州委員会、2026-08-31（一次資料）。https://ec.europa.eu/commission/presscorner/detail/en/ip_26_1772
  7. ソーシャルデータ機能カタログ。EveryInfra、2026-10-24閲覧（一次資料）。https://api.everyinfra.com/api/v1/social/catalog
  8. Search: list（YouTube Data API）。Google for Developers、2026-10-24閲覧（一次資料）。https://developers.google.com/youtube/v3/docs/search/list
  9. The Illinois Social Attitudes Aggregate Corpus (ISAAC) (arXiv:2609.27059)。Hemmatianほか、2026-09-22（一次資料）。https://arxiv.org/abs/2609.27059
  10. PoliTok-DE: A Multimodal Dataset of Political TikToks and Deletions From Germany (arXiv:2509.15860)。Ruizほか、2025-09-19（一次資料）。https://arxiv.org/abs/2509.15860
  11. A longitudinal assessment of the persistence of Twitter datasets（JASIST）。Zubiaga、2018（一次資料）。https://doi.org/10.1002/asi.24026
  12. TikTok Research Tools Terms of Service。TikTok、2026-01-22（一次資料）。https://www.tiktok.com/legal/page/global/terms-of-service-research-api/en
  13. Developer Policy。X、2026-10-24閲覧（一次資料）。https://developer.x.com/en/developer-terms/policy
  14. Finally, Access: How Article 40 DSA Changes Platform Research in Practice（Political Communication）。Taylor & Francis、2026（一次資料）。https://doi.org/10.1080/10584609.2026.2664157
  15. Platforms' Research API Data Access: What Users See vs. What Researchers can Retrieve (arXiv:2601.12390)。Bekavac、Mayer、2026-01-18（一次資料）。https://arxiv.org/abs/2601.12390
  16. Meta Content Library and API。Meta Transparency Center、2026-10-24閲覧（一次資料）。https://transparency.meta.com/researchtools/meta-content-library/
  17. WhichTok? Comparing Three TikTok Data Acquisition Tools (arXiv:2608.09917)。Jeonほか、2026-08-10（一次資料）。https://arxiv.org/abs/2608.09917
  18. TikTok's Research API: Problems Without Explanations (arXiv:2506.09746)。arXiv、2025-06-11（一次資料）。https://arxiv.org/abs/2506.09746
  19. Is the Sample Good Enough? Comparing Data from Twitter's Streaming API with Twitter's Firehose (arXiv:1306.5204)。Morstatterほか、2013-06-21（一次資料）。https://arxiv.org/abs/1306.5204
  20. Just Another Day on Twitter: A Complete 24 Hours of Twitter Data (arXiv:2301.11429)。Pfeffer、Matter、Jaidkaほか、2023-01-26（一次資料）。https://arxiv.org/abs/2301.11429
  21. Regulation (EU) 2022/2065 (Digital Services Act)。EUR-Lex、2022-10-19（一次資料）。https://eur-lex.europa.eu/eli/reg/2022/2065/oj
  22. Commission fines X €120 million under the Digital Services Act。欧州委員会、2025-12-05（一次資料）。https://digital-strategy.ec.europa.eu/en/news/commission-fines-x-eu120-million-under-digital-services-act
  23. What the X Fine Reveals About Data Access Under Article 40 of the Digital Services Act。Tech Policy Press、2026-02-12（二次資料）。https://www.techpolicy.press/what-the-x-fine-reveals-about-data-access-under-article-40-of-the-digital-services-act/
  24. Digital Services Act – sharing platform and search engine data with vetted researchers（委任規則（EU）2025/2050の要約）。EUR-Lex、2026-01-28（一次資料）。https://eur-lex.europa.eu/EN/legal-content/summary/digital-services-act-sharing-platform-and-search-engine-data-with-vetted-researchers.html
  25. DSA data access portal。欧州委員会、2026-10-24閲覧（一次資料）。https://data-access.dsa.ec.europa.eu/
  26. Delegated act on data access under the Digital Services Act (DSA)。欧州委員会、2025-07-02（一次資料）。https://digital-strategy.ec.europa.eu/en/library/delegated-act-data-access-under-digital-services-act-dsa
  27. DSA Article 40(4)–(11) Data Access Guidance, V2。Coimisiún na Meán、2026-05（一次資料）。https://www.cnam.ie/app/uploads/2026/05/DSA-Article-40-4-11-Data-Access_Guidance_V2_-.pdf
  28. The Great Data Standoff: Researchers vs. Platforms Under the Digital Services Act (ICWSM 2026)。Goantaほか、2026（一次資料）。https://ojs.aaai.org/index.php/ICWSM/article/view/42671
  29. Regulating a Floating Signifier: Interpretations of "Data" in the DSA Researcher Access Provision (Media, Technology and Governance)。Annabell、2026（一次資料）。https://doi.org/10.1177/29777984261486601
  30. Social Platforms Data Access Taskforce: Final Report。Smart Data Research UK / University of Sheffield、2026-09-09（2026-10-06登録）（一次資料）。https://eprints.whiterose.ac.uk/id/eprint/246345/
  31. Towards More Granular Reasoning: Mapping the DSA Transparency Database Taxonomy to Platform Terms and Conditions (arXiv:2610.26226)。Ranucci、Leijten、Graus、2026-10-19（一次資料）。https://arxiv.org/abs/2610.26226
  32. Internet Research: Ethical Guidelines 3.0。Association of Internet Researchers（AoIR）、2019（一次資料）。https://aoir.org/reports/ethics3.pdf
  33. Digital Services Act (DSA): Information for EU users。Reddit Help、2026-10-01（一次資料）。https://support.reddithelp.com/hc/en-us/articles/23595536875796-Digital-Services-Act-DSA-Information-for-EU-users
  34. Information Operations Exploit APIs to Manipulate Social Media (arXiv:2610.02591)。Pote、Flammini、Menczer、2026-10-01（一次資料）。https://arxiv.org/abs/2610.02591
  35. Drowning in AI Slop: How Social Media Platforms (Do Not) Label AI and Deepfake Content under EU law (arXiv:2609.38571)。Rijsboschほか、2026-09-29（一次資料）。https://arxiv.org/abs/2609.38571
  36. Move Fast and Mend Things: Keeping Up with Evolving AI Harms Using Social Media Commentary (arXiv:2610.09082)。Roweほか、2026-10-06（一次資料）。https://arxiv.org/abs/2610.09082
  37. A population-level assessment framework for flood-related wellbeing from public discourse in Ireland（arXiv:2610.03334）。Luo、Morrissey、2026-10-02（一次資料）。https://arxiv.org/abs/2610.03334
  38. Assessing flood-related wellbeing from public discourse in Ireland using large language model as judge, 2012–2025（arXiv:2610.06330）。Luo、Morrissey、2026-10-05（一次資料）。https://arxiv.org/abs/2610.06330
  39. You Can't Solve AI Risk Without Solving the AI Evidence Problem。Tech Policy Press（Jen Rosiere Reynolds）、2026-10-21（二次資料）。https://www.techpolicy.press/you-cant-solve-ai-risk-without-solving-the-ai-evidence-problem

参考資料 BL-33