我们自己的访问统计默认开启。Google Analytics 只在你同意后启用,用来了解公开页面是否有用,不统计登录后的工作台。详见 隐私政策。

社媒数据做研究样本:同一查询重搜两次,一半结果变了

用社交平台搜索结果做研究样本前,先测它稳不稳。10 月 24 日实测:同一查询隔两分钟重搜,X、YouTube、TikTok 只重合约一半;附删帖、去重与 DSA 第 40 条进展。

示意插图:两列一模一样的社交帖子卡片,代表同一次搜索跑两遍;第二列约一半卡片换掉或变淡,小箭头标出变了的卡片;前面放着一块写着勾选清单的夹板。

用社交平台的关键词搜索结果做研究样本,先要承认样本本身会动:我们在 2026 年 10 月 24 日(新加坡时间,下同)对同一组查询隔约两分钟重搜一次,X、YouTube、TikTok 各取 25 条,两次结果的 Jaccard 重合度只有 0.47–0.56,新冒出来的条目全部是第一次查询之前就已发布的旧内容;两小时后第三次重搜,X 和 TikTok 与第一次的重合度分别是 0.52 和 0.22,YouTube 反而回到 0.92。所以一份「某关键词在某平台上的帖子」样本,至少要记下查询时间、完整参数和原始响应,并且重复采集、报告重合度,否则别人无法复现,你自己第二天也复现不了。

这篇写给用社交媒体或搜索数据做研究的人:传播学、公共卫生、政治学、计算社会科学的课题组,以及做舆情和事实核查的研究机构。我们只写数据方法和可以复核的数字,不提供法律意见;涉及平台条款和欧盟《数字服务法》(DSA)的部分,以原文为准,具体项目请咨询所在机构的伦理委员会和法务。

为什么现在要重新核对样本

最近两个月里,研究者拿平台数据的几条路同时在变:

  • Reddit 关闭公共 Data API 的时间表定了。 Reddit 在 2026 年 9 月 30 日的 r/redditdev 公告里写明:10 月 31 日起不再受理新的公共 API 申请,2027 年 1 月 12 日开始关闭未登记应用的访问,2027 年 3 月公共访问全部关闭。TechCrunch 当天的报道指出,研究者用的工具也在受影响之列。
  • Reddit 规则 8 写明不得继续使用已删除内容。 我们 10 月 24 日读取的 Reddit 帮助页「Don't break the site」列出的可能违规行为包括:应用「继续使用或展示用户已删除、或因违反规则被移除的公开内容」,以及没有授权协议的抓取。
  • DSA 第 40 条的申请通道开了一年,成功案例仍未公开。 德国 NGO AlgorithmWatch 的 Oliver Marsh 在 DSA Observatory 10 月 2 日的文章中写道:截至 2026 年 7 月,第 40(4) 条全面生效 9 个月,共有 77 份申请,没有已知的成功案例。爱尔兰监管机构 Coimisiún na Meán 在 10 月 7 日发布的 2025 年报第 81 页确认,这项机制在 2025 年 10 月 29 日生效后收到了第一批申请。
  • Reddit 被列为超大型在线平台。 欧盟委员会 8 月 31 日的公告把 Reddit、Roblox 列为超大型在线平台(VLOP)、ChatGPT 列为超大型在线搜索引擎(VLOSE),给 4 个月、即到 2027 年 1 月履行超大型平台的额外义务,第 40 条的研究者数据访问也在其中。也就是说,Reddit 的公共 API 关闭和 DSA 研究通道打开,几乎落在同一个季度。

拿数据的路在收紧,研究者手里的样本就更需要自己证明「完整到什么程度」。下面的实验就是一个最小的证明方法。

实验:同一查询,三次重搜

判据先写在前面。 我们在第三轮调用之前定下:同一查询两次结果的 Jaccard 重合度 ≥0.9,才算这个入口「单次采集可复现」;低于 0.9,就要求多次采集并报告并集和重合度。新出现的条目如果发布时间早于第一次查询,就判定为排序或抽样差异,不是新发帖。

设置。 四个平台、四个入口,参数在三轮里完全相同,每次取 25 条:

三轮的时间:A 轮 12:13–12:15,B 轮 12:16–12:17,C 轮 14:15–14:18。比较用条目 ID,不用标题。

等距插图:一台取样台。后排长卡架上立着 49 张卡,代表同一个 TikTok 查询三次搜索一共露出过的 49 条不同视频;导轨上的取样小车每次从中取 25 张,放进前排的一个托盘。三个托盘是 A、B、C 三轮,托盘前的小钟分别指着 12:15、12:17 和 14:16。托盘里 5×5 的方块按名次排列,青绿方块是三轮都在的 7 条,它们在三个托盘里的位置不完全相同,因为名次变了;其余方块每轮都在换。小车此刻停在 C 托盘上方。

结果。

  • X:A、B 两轮各 25 条,共同 18 条,Jaccard 0.56,前 10 名重合 7 条;B 轮新出现的 7 条,发布时间从 2022 年 4 月到 2026 年 8 月,没有一条是两次查询之间发的。C 轮与 A 轮的 Jaccard 是 0.52、与 B 轮 0.43;三轮合计出现过 39 个不同条目,三次都在的只有 14 个。C 轮新出现的 7 条最晚发布于 10 月 20 日。
  • YouTube:共同 16 条,Jaccard 0.47,前 10 名只重合 4 条;B 轮新出现的 9 条发布于 2022–2025 年。C 轮与 A 轮的 Jaccard 是 0.92(只差 1 条),与 B 轮却只有 0.43:B 轮像是换了一批结果,两小时后又换了回来。三轮合计 35 个不同条目,三次都在的 15 个。
  • TikTok:共同 16 条,Jaccard 0.47,但前 10 名重合 9 条,差异集中在第 12 名以后;新出现的 9 条最晚发布于 10 月 24 日 00:11(UTC),早于 A 轮查询。两小时后差得更多:C 轮与 A 轮的 Jaccard 是 0.22、与 B 轮 0.19;三轮合计 49 个不同条目,三次都在的只有 7 个。C 轮新出现的 15 条最晚发布于 10 月 23 日 23:50(UTC),同样早于 A 轮。
  • Reddit(按最新排序):A、B 两轮 25 条完全相同,顺序也相同。两小时后的 C 轮,25 条全部换成了 05:15–06:12(UTC)之间的新帖。按最新排序的窗口随时间往前移,这是「最新」本来的意思,不算不稳定。
横向条形图:同一查询三次重搜的结果重合度(Jaccard),事先定的门槛是 0.9。X:A–B 0.56、A–C 0.52、B–C 0.43;YouTube:0.47、0.92、0.43;TikTok:0.47、0.22、0.19;Reddit 按最新排序:A–B 1.00,两小时后窗口前移到新帖,A–C 和 B–C 都是 0。只有 YouTube 的 A–C 过线,但夹在中间的 B 轮只有 0.47,所以三个平台的关键词搜索都不满足单次采集可复现。

按我们事先写下的判据,X、YouTube、TikTok 的关键词搜索都不满足「单次采集可复现」。三个平台里唯一一次达到 0.9 的是 YouTube 的 A、C 两轮,但夹在中间的 B 轮只有 0.47,所以只比一次、碰巧重合度高,也不能下结论。这不是哪个工具出了错:X 的搜索默认按热门返回,传 latest 也不保证严格按时间排列(能力目录里 twitter/search 的参数说明就是这样写的);YouTube 自己的 Data API 文档也写明,搜索结果总数 totalResults「是一个近似值,可能不代表准确数值」。相关性排序的搜索本来就不是一张固定的名单。

桑基图:TikTok 同一查询 climate change,从 12:15 的 A 轮 25 条到 14:16 的 C 轮 25 条。A 轮里 9 条留到 C 轮,16 条消失。C 轮另外 16 条里,15 条是 A、B 两轮都没有的新视频,全部在 A 轮之前就已发布;剩下 1 条 A 轮没有、B 轮出现过。两轮的 Jaccard 是 0.22。

这一结论的边界:只测了 4 个查询、每个 25 条、同一天内三次,不能外推到全量或更长时间;Reddit 的稳定只说明「按最新排序」在两分钟内稳定,不代表相关性排序也稳定。

关键词怎么匹配,比你想的更宽

同一轮实验里还有一个更直接的问题:不加引号的多词关键词,在 Reddit 上按单词匹配,不按短语匹配。

  • A 轮 Digital Services Act(不加引号、按最新排序)返回的 25 条帖子里,标题和正文含完整短语的是 0 条;22 条至少含其中一个词(digital、service、act),内容是赌场广告、情感求助、游戏交易。
  • 10 月 24 日 12:21 把关键词改成带引号的 "Digital Services Act",同样按最新排序,只返回 3 条,3 条都含完整短语(Instagram 封号申诉、诈骗交友网站、德语的租房诈骗)。按目录说明,这个入口的时间范围是最近一个月,所以 3 条就是这个月按最新排序能拿到的全部;14:17 重查,还是这 3 条。
堆叠条形图:Reddit 按最新排序搜 Digital Services Act。不加引号返回 25 条,含完整短语的 0 条,只含 digital、service、act 之一的 22 条,三个词都不含的 3 条;加引号只返回 3 条,3 条都含完整短语,14:17 重查还是这 3 条。

反过来,判断「相关」的方法本身也会出错。TikTok 那组我们第一次用「正文含 climate change」去数,25 条里只有 4 条命中;把话题标签去掉 # 和空格再匹配,命中变成 23 条。漏掉的 19 条都是只写了 #climatechange 的视频。

做研究的含义很具体:关键词样本要先做人工抽检,报告「无关内容占比」。9 月 22 日发布的 ISAAC 语料(arXiv:2609.27059)从 Reddit 选出 5.27 亿条帖子,用多步、人工审核的过滤流程把无关内容压到 10% 以下,并在论文里报告了每个类别的这个比例。没有这一步,一份「关于 DSA 的 Reddit 讨论」样本可能主要是赌场广告。

同一条内容,两个入口的计数不一样

研究里常用点赞、播放、评论数做因变量或权重。我们在 10 月 24 日 12:16–12:21 拿同一批内容,比较了搜索列表里的计数和单条详情入口的计数:

  • YouTube:一条 2026 年 6 月发布的视频,关键词搜索结果给出点赞 4,650,12:19 用 YouTube 视频详情查到 4,600;播放 48,406、评论 590 两边相同,14:18 再查也没变。点赞的差异来自显示精度,不是真实变化。
  • TikTok:《卫报》(The Guardian)10 月 23 日发布的一条气候视频,12:17 在搜索结果里是播放 671,900、点赞 90,300、评论 3,068;12:19 用 TikTok 视频详情查是 673,500、90,500、3,074。两分半钟内播放涨了 1,600。这条视频的播放和点赞都是整百数,评论则精确到个位。14:17 再查,播放 767,600、点赞 101,600、评论 3,402,两小时里播放又涨了约 14%。
  • X:欧盟委员会账号 8 月 31 日那条宣布 ChatGPT、Reddit 指定的帖子,搜索结果和 X (Twitter) 单条内容入口给出的浏览 6,523,789、点赞 4,668 完全一致。14:17 再查,浏览变成 6,523,800、点赞仍是 4,668。末两位变成 0,可能是取整,也可能真的涨了 11 次,单看这一条分不清;这正说明计数精度也要记录。
折线图:《卫报》10 月 23 日发布的一条 TikTok 气候视频的播放数,纵轴从 0 起。12:17 搜索列表 671,900;12:19 视频详情 673,500,2.5 分钟内多 1,600;14:17 视频详情 767,600,约两小时多 94,100,涨 14%。点赞同期是 90,300、90,500、101,600。

所以计数要带两个元数据:读取时间(精确到秒),和「这是搜索列表的计数还是详情页的计数」。新发布的内容在头几天增长快,同一天里早上和下午采的数字不能直接比。

重复与转载:同一账号 9 分钟发了 4 遍

Reddit 那 25 条不相关的帖子里,有 4 条来自同一个账号,在 9 分钟内(03:39–03:48 UTC)分别发到 4 个版块,正文几乎相同:按 5 词连续片段计算的 Jaccard 相似度在 0.93–0.99 之间。另有 3 条赌场广告来自另一个账号,发在 3 个互不相关的版块。

如果研究问题是「多少人在讨论某件事」,这 4 条应当算 1 个声音;如果研究问题是「内容怎样跨社区扩散」,它们恰恰是要保留的信号。我们建议的做法:

  1. 文本先规范化(去链接、去标点、统一大小写);
  2. 用 5 词片段的 Jaccard ≥0.6 标出近重复对;
  3. 再看作者和时间窗(例如同一作者 1 小时内)区分「转发、跨版块发帖、刷屏」;
  4. 在论文里同时报告去重前后的样本量。

去重规则和Google Maps 门店去重是同一类问题:平台给的 ID 只说明「这是一条记录」,不说明「这是一个独立的观点或主体」。

删帖与可见性:样本会自己变小

研究样本的另一种变化是内容消失:作者删帖、平台移除、账号停用或设为私密。

  • Ruiz 等人的 PoliTok-DE 数据集(arXiv:2509.15860)收集了德国两次选举期间 93 万多条 TikTok 帖子,其中 33 万多条后来被删除:萨克森州选举样本删了 18.7%,联邦选举样本删了 39.7%;联邦选举样本里约三分之二是创作者自己撤下的。
  • 更早的 Zubiaga(2018,JASIST)用 30 个、共 1.47 亿条推文的数据集做了纵向复采,发现数据集越老、还能取回的比例越低,元数据(如粉丝数)的代表性也随时间下降。

与此同时,平台条款要求研究者跟着删:

  • TikTok 研究工具条款(2026 年 1 月 22 日生效版)要求至少每 30 天刷新一次研究数据,并删除刷新时已经取不到的数据;对 DSA 认证研究者,如果这些要求会妨碍其获批的研究,可以在申请里说明并另行处理。
  • X 开发者政策要求离线存储的内容与 X 上的当前状态保持一致,内容在 X 上被删除或修改后,要尽快、或在收到请求后 24 小时内删除或修改;经 X 书面批准的非商业学术研究,可以分享帖子 ID 供研究和同行复核使用。
  • 上文提到的 Reddit 规则 8,禁止应用继续使用或展示已删除的公开内容。

这就构成一个张力:可复现要求保留原始样本,条款和隐私要求跟着删。《政治传播》(Political Communication)2026 年的一篇综述把「复现所需的数据共享受限」列为第 40 条早期实施的挑战之一。实务上可行的折中是:公开 ID 列表、查询参数、采集时间和聚合统计;原文只在受控环境里保存,到期按条款删除;每次复采时报告「还能取回的比例」,把删除率当成一个结果写进论文,而不是悄悄换掉样本。

抽样偏差:研究接口也只给一部分

一个常见误解是「平台自己的研究接口给的就是全量」。近两年的审计研究不支持这一点:

  • Bekavac 和 Mayer 在 arXiv:2601.12390 中,用两个受控测试账号重建选举期间的完整信息流,再和 TikTok 研究 API、Meta Content Library 能取回的数据对比:研究接口排除了用户可见内容的最多约 50%,去掉了最多约 83% 的上下文元数据,有的限额低到每周约 1,000 次请求。
  • Meta Content Library 的说明页写明,个人账号的帖子只收录已认证或拥有 100 名以上关注者的账号。小账号的声音在这个口子里天然缺席。
  • 8 月 10 日的 WhichTok(arXiv:2608.09917)比较了三种 TikTok 采集工具(TikTok 研究 API 和两种网页端采集工具),发现话题标签和关键词搜索的结果差异最大,只有「按用户取」这一项在三者之间一致。
  • 2025 年的 arXiv:2506.09746 发现,TikTok 研究 API 对数据捐赠里约每 8 条视频就有 1 条取不到元数据,包括 TikTok 自己账号的视频和广告。
  • 这类偏差不是新问题:Morstatter 等(2013)当年就对比过 Twitter 抽样流和全量流的差异;Pfeffer 等(2023)由 80 位学者协作采集了 2022 年 9 月 21 日起 24 小时内的全部 3.75 亿条推文,作为后来研究的对照基线。

所以不管数据从哪个入口来,论文里都应当写清「这个入口会漏掉什么」,并尽量用两个独立入口交叉核对一部分样本。我们上面的搜索与详情对比,就是一个成本很低的交叉核对。

时间窗:同一个「最近」,各平台不一样

关键词搜索的时间范围经常不是研究者设定的:

  • 按目录说明,Reddit 关键词搜索的时间范围固定为最近一个月,排序不改变这一范围;
  • 我们 A 轮的 X 搜索虽然传了 latest,返回的 25 条发布时间横跨 2024 年 8 月到 2026 年 10 月(2024 年 5 条、2025 年 11 条、2026 年 9 条);
  • YouTube 相关性排序的 25 条横跨 2020–2026 年。

要做时间序列,就别用相关性搜索去近似「某段时间的全部讨论」。可行的做法是按版块、账号或频道逐个拉取再按 posted_at 过滤,或者在 X 的关键词里写平台自己的时间语法(目录里 twitter/search 的说明列了 since: 等语法),并在方法部分写明实际覆盖的起止日期。

DSA 第 40 条:一年下来走到哪了

《数字服务法》第 40 条给研究者两条路:

  • 第 40(12) 条,公开数据。 超大型平台和搜索引擎要「在技术可行时」向符合条件的研究者提供其界面上公开可见的数据,包括实时数据。欧盟委员会 2025 年 12 月 5 日对 X 的首个 DSA 罚款决定(1.2 亿欧元),理由之一就是 X 没有向研究者提供公开数据访问;Tech Policy Press 对决定的解读指出,决定认定 X 禁止独立研究者访问、包括通过抓取访问,配额和期限都过于有限。
  • 第 40(4) 条,非公开数据。 研究者通过所在国的数字服务协调员(DSC)申请平台内部数据。细则在 授权条例 (EU) 2025/2050 里,2025 年 10 月 29 日起适用:申请走欧盟统一的 DSA 数据访问门户,协调员最多有 80 个工作日发出「合理请求」,平台要公布并定期更新数据目录(委员会的授权条例发布页有全文)。爱尔兰监管机构 2026 年 5 月发布了第二版申请指南。

实施现状,按最近的一手材料:

  • 前面提到的 AlgorithmWatch 申请,第一次被爱尔兰监管机构在 80 个工作日后驳回,理由是数据存储和网络安全写得不够具体、没说明所请求的数据「量」为什么相称;重新提交后还要再等 80 个工作日。他们按第 40(12) 条联合约 20 家机构向 6 家平台要「各成员国每 6 小时播放量最高的 1,000 条帖子」,从 2025 年 10 月谈到现在,没有一家同意(DSA Observatory,10 月 2 日)。
  • ICWSM 2026 的论文《The Great Data Standoff》把这种局面概括为「僵局」:研究者必须指明要哪些数据,却无从知道平台内部有哪些数据。卡迪夫大学 Annabell 在 Media, Technology and Governance 2026 年的文章里分析了平台公布的数据目录,认为平台把「数据」收窄成预先定义的聚合数据集。
  • 英国 Smart Data Research UK 资助的工作组 9 月 9 日发布、10 月 6 日存档的最终报告,汇总了一年里研究者在英国和国际上拿数据的障碍。
  • 平台自己的透明度数据也有局限:10 月 19 日的 arXiv:2610.26226 指出,DSA 透明度数据库里 99.8% 以上的处理决定引用的是平台自己的条款,而不是法律条文。

对研究设计的意义:第 40 条是一条值得走的路,但时间以「年」计。课题组在等待期间用公开数据做的研究,更需要把完整性写清楚,因为审稿人会问「你的样本和平台真实信息流差多少」。

研究伦理与条款边界

这里只列方法层面的要点,不构成法律意见:

  • 先过伦理审查。 AoIR 互联网研究伦理指南 3.0 是这个领域通用的参照:「公开」不等于「可以随意使用」,要按情境评估对作者的风险,尤其是健康、性取向、政治立场等敏感话题。
  • 数据最小化。 只采研究问题需要的字段;个人账号的用户名在分析前换成不可逆的哈希,论文里不引用可以被搜回原帖的原句。本文提到的个人账号都没有写出昵称。
  • 跟着删。 按上文的平台条款建立定期复采和删除流程,并记录删除了多少。
  • 读清楚条款适用范围。 TikTok、X、Reddit 的研究条款都有地域、用途(非商业、公共利益)和主体资格限制;DSA 第 40 条的两条路都限定在研究欧盟「系统性风险」。用哪条路、在什么条款下采集,写进方法部分。
  • 公开可复核的材料。 ID 列表、查询参数、采集时间、聚合结果和代码可以公开;原始文本按条款处理。

一份可复核的采集清单

采集流程动画,编号对应正文清单的 8 步。采集前一次性完成第 1、2 步:写下判据(两次结果的 Jaccard 重合度不低于 0.9 才算单次可复现),固定关键词、排序和条数等参数。之后每一轮按顺序走第 3 到 8 步:保存每次调用的原始 JSON、请求 ID 和精确到秒的读取时间;同一查询至少采两次并取并集;随机抽 50 到 100 条人工标注相关性;用 5 词片段 Jaccard 不低于 0.6 标出近重复并去重;用单条详情入口复查一部分计数并记下来自哪个入口;按平台条款周期复采,记录还能取回的比例并删除已不可见的内容,然后开始下一轮。
  1. 写判据。 采集前写下:重合度阈值、无关内容占比上限、删除率要报告到什么粒度。
  2. 固定参数。 关键词(含引号)、排序、条数、语言、地区写进配置文件,并入版本控制。
  3. 保存原始响应。 每次调用的完整 JSON 连同请求 ID、读取时间(精确到秒,写明时区)一起存档。
  4. 重复采集。 同一查询至少采两次,报告并集、交集和 Jaccard;排序不稳的入口用并集做样本。
  5. 抽检相关性。 随机抽 50–100 条人工标注,报告无关内容占比;话题标签先规范化再做文本匹配。
  6. 去重。 规范化文本 + 片段相似度 + 作者与时间窗,去重前后的样本量都报告。
  7. 交叉核对计数。 抽一部分条目用单条详情入口复查计数,写清计数来自哪个入口、哪个时间点。
  8. 复采与删除。 按条款周期复采,记录还能取回的比例,删除已不可见的内容。

用 EveryInfra 复现这个实验

下面是 A 轮 X 搜索的请求,把 <API Key> 换成你自己的 Key(注册和建 Key 见快速开始):

bash
curl -s https://api.everyinfra.com/api/v1/social \
  -H "Authorization: Bearer <API Key>" \
  -H "Content-Type: application/json" \
  -d '{"platform":"twitter","action":"search","params":{"keyword":"\"Digital Services Act\"","sort":"latest","limit":25}}'

响应顶层有 id(请求 ID)、count、results 和 billing;做复现实验时用得上的字段(字段名以能力目录为准):

  • id:条目在平台上的 ID,用来算重合度和去重;
  • url:原帖地址,复采和人工抽检时用;
  • posted_at:发布时间(UTC),判断「新出现的条目是不是新发的」;
  • text、title:正文和标题(Reddit、YouTube 有标题),做相关性抽检和近重复检测;
  • hashtags:话题标签,TikTok、X 的相关性判断要把它算进去;
  • like_count、view_count、comment_count:计数,必须和读取时间一起存;
  • author_username:作者,用于去重时的作者窗口,分析前做哈希;
  • community:Reddit 版块名,判断跨版块重复发帖;
  • search_rank:YouTube 搜索里的名次,算前 10 名重合度时用。

在 Claude、Cursor 等 AI 客户端里,也可以用 MCP 接同一份数据,让 AI 按上面的清单跑采集和比对(更多接法见远程 MCP 服务器):

bash
export EVERYINFRA_API_KEY="<API Key>"
claude mcp add --transport http everyinfra https://api.everyinfra.com/mcp \
  --scope user \
  --header 'Authorization: Bearer ${EVERYINFRA_API_KEY}'

接好后调用 everyinfra_call_api,参数与上面的 curl 相同;everyinfra_requests 可以按请求 ID 查每次调用的扣费。

报错与扣费:

  • unauthorized:没带 Key 或 Key 无效,不扣费;
  • unknown_param 或取值错误:参数名、枚举值写错,返回可用参数和示例,不扣费;
  • 空结果:例如带引号的关键词这个月没有匹配帖子,返回空列表,预扣部分退回;
  • 能力暂不可用:提示「暂不可用」,不扣费。

退款怎么逐条核对,见失败返还与对账;能力和参数为什么以实时目录为准,见实时能力目录如何减少文档漂移。

算一笔账:一个月的稳定性监测

按 10 月 24 日读取的能力目录,reddit/search、twitter/search、youtube/search、tiktok/search 每次都是 $0.000556,单条详情 youtube/video、tiktok/video、twitter/post 也是每次 $0.000556(以价格页为准):

  • 4 个平台、每个平台 5 个关键词,每 6 小时各采一次、每次 25 条,30 天:4 × 5 × 4 × 30 = 2,400 次 × $0.000556 = $1.33;
  • 每周从样本里抽 100 条用详情入口复查计数,4 周:400 次 × $0.000556 = $0.22;
  • 合计约 $1.56。空结果和失败的调用不计费,实际只会更少。

本文全部真调(3 轮搜索、单条详情复查、带引号的 Reddit 检索,以及四次没有写进正文的网页检索)合计扣费 $0.015008(26 次调用)。

最近的变化(2026 年 9–10 月)

  • 9 月 30 日,Reddit 公布公共 Data API 关闭时间表(r/redditdev)。对研究者:依赖 Reddit 公共 API 的采集脚本,要在 2027 年 3 月前换到 Reddit 的研究项目、商业协议或 DSA 通道,并且现在就开始存档自己的历史样本说明。
  • 10 月 1 日,Reddit 的 DSA 信息页更新,写明 2026 年上半年在欧盟的月活跃接收者不超过 5,720 万(Reddit 帮助中心)。对研究者:Reddit 作为超大型平台的 DSA 义务 2027 年 1 月到期,可以开始准备第 40(12) 条的申请材料。
  • **10 月 1 日,Pote、Flammini、Menczer 发表 arXiv:2610.02591**,用 43 个已下架的影响力行动的应用元数据,发现 API 本身是协同操纵的基础设施,而 X 删除应用层元数据让这一检测手段失效。对研究者:平台接口删掉一个字段,整个研究方向就可能无法复现,采集时要尽量保留原始响应。
  • **9 月 29 日,arXiv:2609.38571 审计了 4 个平台的 AI 内容标签**,用系统性风险和 AI 相关关键词采了 10,722 条帖子,发现专家认定的深度伪造只有 33% 带平台标签。对研究者:这又是一个靠关键词采样得出比例的研究,关键词覆盖面直接决定分母。
  • **10 月 6 日,arXiv:2610.09082** 用 18 个月、570 万条 Reddit 帖子摘要追踪 AI 危害,10 月 2 日和 5 日的两篇爱尔兰洪灾研究(arXiv:2610.03334、arXiv:2610.06330)用 Meta Content Library 按关键词取样。对研究者:大规模平台数据仍在支撑跨学科研究,样本说明写得越细,结论越经得起复核。
  • **10 月 21 日,Tech Policy Press 刊发 Jen Rosiere Reynolds 的评论**,指出 AI 风险研究正在重演社交媒体研究「拿不到数据」的老问题。

常见问题

Reddit API 还能用来做学术研究吗?(Google 联想词「reddit api for academic research」) Reddit 9 月 30 日的公告写明,10 月 31 日起不再受理新的公共 API 申请,2027 年 3 月公共访问全部关闭;评论区有开发者建议没有 API 的人去看 Devvit 或研究者项目是否适用。Reddit 已被列为超大型平台,2027 年 1 月起还要履行 DSA 第 40 条的研究者数据访问义务。现有项目最好现在就固定样本说明和采集记录。

研究数据集里的帖子后来被删了,怎么办?(联想词「deleted tweets research dataset」) 按平台条款,研究者通常要跟着删除(TikTok 要求至少每 30 天刷新并删除,X 要求删除或修改后尽快同步)。复现靠的是公开 ID、参数和聚合统计,再在复采时报告还能取回的比例;把删除率当作结果写进论文。

DSA 第 40 条,谁可以申请?(联想词「dsa article 40 researchers」) 第 40(4) 条面向隶属研究机构、独立于商业利益、能满足数据安全和保密要求的研究者,通过数字服务协调员申请;第 40(12) 条的公开数据访问,条文明确把非营利机构、组织和协会的研究者也包括在内;两条路都只用于研究欧盟的系统性风险。AlgorithmWatch 的经验是,NGO 的简单定量请求也可能被受理,但要准备好说明数据量为什么相称。这里只描述规则原文和公开案例,具体资格请咨询所在机构。

相关阅读

参考资料

  1. Moving Data API Apps to the Developer Platform: migration dates and next steps,Reddit (r/redditdev),2026-09-30(一手)。https://www.reddit.com/r/redditdev/comments/1wubcvf/moving_data_api_apps_to_the_developer_platform/
  2. Reddit is killing RSS feeds, ending public API access because of AI bots,TechCrunch,2026-09-30(二手)。https://techcrunch.com/2026/09/30/reddit-is-killing-rss-feeds-ending-public-api-access-because-of-ai-bots/
  3. Don't break the site (Rule 8),Reddit Help,读取于 2026-10-24(一手)。https://support.reddithelp.com/hc/en-us/articles/360043512931-Don-t-break-the-site
  4. Two Stories of DSA Data (Non)-Access from an NGO perspective,DSA Observatory (Oliver Marsh, AlgorithmWatch),2026-10-02(二手)。https://dsa-observatory.eu/2026/10/02/two-stories-of-dsa-data-non-access-from-an-ngo-perspective/
  5. Annual Report 2025,Coimisiún na Meán,2026-10-07(一手)。https://www.cnam.ie/app/uploads/Coimisiun-na-Mean-Annual-Report-2025.pdf
  6. Commission designates ChatGPT, Reddit, Roblox under DSA (IP/26/1772),European Commission,2026-08-31(一手)。https://ec.europa.eu/commission/presscorner/detail/en/ip_26_1772
  7. Social data capability catalog,EveryInfra,读取于 2026-10-24(一手)。https://api.everyinfra.com/api/v1/social/catalog
  8. Search: list (YouTube Data API),Google for Developers,读取于 2026-10-24(一手)。https://developers.google.com/youtube/v3/docs/search/list
  9. The Illinois Social Attitudes Aggregate Corpus (ISAAC) (arXiv:2609.27059),Hemmatian et al.,2026-09-22(一手)。https://arxiv.org/abs/2609.27059
  10. PoliTok-DE: A Multimodal Dataset of Political TikToks and Deletions From Germany (arXiv:2509.15860),Ruiz et al.,2025-09-19(一手)。https://arxiv.org/abs/2509.15860
  11. A longitudinal assessment of the persistence of Twitter datasets (JASIST),Zubiaga,2018(一手)。https://doi.org/10.1002/asi.24026
  12. TikTok Research Tools Terms of Service,TikTok,2026-01-22(一手)。https://www.tiktok.com/legal/page/global/terms-of-service-research-api/en
  13. Developer Policy,X,读取于 2026-10-24(一手)。https://developer.x.com/en/developer-terms/policy
  14. Finally, Access: How Article 40 DSA Changes Platform Research in Practice (Political Communication),Taylor & Francis,2026(一手)。https://doi.org/10.1080/10584609.2026.2664157
  15. Platforms' Research API Data Access: What Users See vs. What Researchers can Retrieve (arXiv:2601.12390),Bekavac, Mayer,2026-01-18(一手)。https://arxiv.org/abs/2601.12390
  16. Meta Content Library and API,Meta Transparency Center,读取于 2026-10-24(一手)。https://transparency.meta.com/researchtools/meta-content-library/
  17. WhichTok? Comparing Three TikTok Data Acquisition Tools (arXiv:2608.09917),Jeon et al.,2026-08-10(一手)。https://arxiv.org/abs/2608.09917
  18. TikTok's Research API: Problems Without Explanations (arXiv:2506.09746),arXiv,2025-06-11(一手)。https://arxiv.org/abs/2506.09746
  19. Is the Sample Good Enough? Comparing Data from Twitter's Streaming API with Twitter's Firehose (arXiv:1306.5204),Morstatter et al.,2013-06-21(一手)。https://arxiv.org/abs/1306.5204
  20. Just Another Day on Twitter: A Complete 24 Hours of Twitter Data (arXiv:2301.11429),Pfeffer, Matter, Jaidka et al.,2023-01-26(一手)。https://arxiv.org/abs/2301.11429
  21. Regulation (EU) 2022/2065 (Digital Services Act),EUR-Lex,2022-10-19(一手)。https://eur-lex.europa.eu/eli/reg/2022/2065/oj
  22. Commission fines X €120 million under the Digital Services Act,European Commission,2025-12-05(一手)。https://digital-strategy.ec.europa.eu/en/news/commission-fines-x-eu120-million-under-digital-services-act
  23. What the X Fine Reveals About Data Access Under Article 40 of the Digital Services Act,Tech Policy Press,2026-02-12(二手)。https://www.techpolicy.press/what-the-x-fine-reveals-about-data-access-under-article-40-of-the-digital-services-act/
  24. Digital Services Act – sharing platform and search engine data with vetted researchers (summary of Delegated Regulation (EU) 2025/2050),EUR-Lex,2026-01-28(一手)。https://eur-lex.europa.eu/EN/legal-content/summary/digital-services-act-sharing-platform-and-search-engine-data-with-vetted-researchers.html
  25. DSA data access portal,European Commission,读取于 2026-10-24(一手)。https://data-access.dsa.ec.europa.eu/
  26. Delegated act on data access under the Digital Services Act (DSA),European Commission,2025-07-02(一手)。https://digital-strategy.ec.europa.eu/en/library/delegated-act-data-access-under-digital-services-act-dsa
  27. DSA Article 40(4)–(11) Data Access Guidance, V2,Coimisiún na Meán,2026-05(一手)。https://www.cnam.ie/app/uploads/2026/05/DSA-Article-40-4-11-Data-Access_Guidance_V2_-.pdf
  28. The Great Data Standoff: Researchers vs. Platforms Under the Digital Services Act (ICWSM 2026),Goanta et al.,2026(一手)。https://ojs.aaai.org/index.php/ICWSM/article/view/42671
  29. Regulating a Floating Signifier: Interpretations of "Data" in the DSA Researcher Access Provision (Media, Technology and Governance),Annabell,2026(一手)。https://doi.org/10.1177/29777984261486601
  30. Social Platforms Data Access Taskforce: Final Report,Smart Data Research UK / University of Sheffield,2026-09-09 (存档 2026-10-06)(一手)。https://eprints.whiterose.ac.uk/id/eprint/246345/
  31. Towards More Granular Reasoning: Mapping the DSA Transparency Database Taxonomy to Platform Terms and Conditions (arXiv:2610.26226),Ranucci, Leijten, Graus,2026-10-19(一手)。https://arxiv.org/abs/2610.26226
  32. Internet Research: Ethical Guidelines 3.0,Association of Internet Researchers (AoIR),2019(一手)。https://aoir.org/reports/ethics3.pdf
  33. Digital Services Act (DSA): Information for EU users,Reddit Help,2026-10-01(一手)。https://support.reddithelp.com/hc/en-us/articles/23595536875796-Digital-Services-Act-DSA-Information-for-EU-users
  34. Information Operations Exploit APIs to Manipulate Social Media (arXiv:2610.02591),Pote, Flammini, Menczer,2026-10-01(一手)。https://arxiv.org/abs/2610.02591
  35. Drowning in AI Slop: How Social Media Platforms (Do Not) Label AI and Deepfake Content under EU law (arXiv:2609.38571),Rijsbosch et al.,2026-09-29(一手)。https://arxiv.org/abs/2609.38571
  36. Move Fast and Mend Things: Keeping Up with Evolving AI Harms Using Social Media Commentary (arXiv:2610.09082),Rowe et al.,2026-10-06(一手)。https://arxiv.org/abs/2610.09082
  37. A population-level assessment framework for flood-related wellbeing from public discourse in Ireland (arXiv:2610.03334),Luo, Morrissey,2026-10-02(一手)。https://arxiv.org/abs/2610.03334
  38. Assessing flood-related wellbeing from public discourse in Ireland using large language model as judge, 2012–2025 (arXiv:2610.06330),Luo, Morrissey,2026-10-05(一手)。https://arxiv.org/abs/2610.06330
  39. You Can't Solve AI Risk Without Solving the AI Evidence Problem,Tech Policy Press (Jen Rosiere Reynolds),2026-10-21(二手)。https://www.techpolicy.press/you-cant-solve-ai-risk-without-solving-the-ai-evidence-problem

引用编号 BL-33