Anthropic：让外部研究者分析真实 Claude 使用数据

Anthropic 于 2026 年 8 月 26 日介绍了一项外部研究试点：三组研究者自行提出问题和设计研究，由 Anthropic 在服务器内通过隐私保护工具 Anthropic Insights 分析真实 Claude 使用数据，再把聚合结果交给研究团队。它试图在“只有平台掌握真实使用数据”和“外部研究者需要独立提出问题”之间建立一条受控通道。

原线程与中文翻译

For the first time, we’ve given external researchers a way to study AI’s impacts using real, privacy-preserved Claude usage data. To date, this work has only been possible within AI labs. We can’t tell the whole story alone, so we opened up our tools.

我们首次为外部研究者提供了一种方式，使他们能利用经过隐私保护的真实 Claude 使用数据研究 AI 的影响。此前，这类工作只能在 AI 实验室内部进行。我们无法独自讲清全貌，因此开放了工具。

Three research groups—Stanford’s Social and Language Technologies lab, Oxford’s Human Information Processing Lab, and METR—designed independent studies to analyze the aggregated outputs from 250,000 Claude.ai or Claude Code conversations between April and May 2026.

三个研究团队——斯坦福大学社会与语言技术实验室、牛津大学人类信息处理实验室和 METR——独立设计研究，分析了 2026 年 4 月至 5 月期间 25 万次 Claude.ai 或 Claude Code 对话产生的聚合输出。

The SALT Lab studied how people collaborate with AI. They found that over half of these conversations involved consequential tasks—work that affects other people or is hard to undo. Read their full writeup here:

SALT Lab 研究了人们如何与 AI 协作。他们发现，超过一半的对话涉及后果重大的任务，也就是会影响他人或难以撤销的工作。完整报告见原帖链接。

The other two studies are ongoing: HIP Lab is studying how Claude’s behavior relates to how people feel when using AI, while METR is estimating real-world productivity gains from coding agents. We’ll share more from both soon.

另外两项研究仍在进行：HIP Lab 正在研究 Claude 的行为与人们使用 AI 时的感受有何关系；METR 正在估算编码 Agent 在真实环境中的生产力提升。Anthropic 表示之后会分享更多结果。

Now, we want to scale this research model. If you’re a researcher and would like access to our tools to pursue work you can’t otherwise do today, we’d like to hear from you. You can express interest here:

现在，Anthropic 希望扩大这种研究模式。如果研究者希望使用这些工具开展目前无法进行的研究，可以向其表达合作意向。

发布日期：2026 年 8 月 26 日。

研究是怎样运行的

根据 Anthropic 的官方说明，研究者先提出问题，例如“用户正在寻求哪一类指导”；Claude 对研究样本中的每段对话作出判断，系统再把结果汇总为类别和比例。原始对话及计算始终留在 Anthropic 的服务器中，外部研究者接触的是经过法律与隐私审查的聚合输出，而不是聊天原文。

三个合作方分别是 Stanford SALT Lab、Oxford Human Information Processing Lab 和 METR。样本约 25 万段，来自 2026 年 4 月至 5 月的 Claude.ai 与 Claude Code。Anthropic 称合同审查权只覆盖用户隐私、可能帮助规避使用政策的信息、公司机密和研究准确性；在这些范围之外，合作方可以独立发表结果，包括对 Anthropic 不利的结论。公开数据还接受了 Imperial College London 的额外隐私审计。

已公布的早期结果

SALT Lab 的研究相对完整：除超过一半对话涉及“后果重大的任务”外，官方摘要还称接近四分之三的对话中由人类设定方向、Claude 提供协助，而且用户通常会修改输出，而不是原样采用。研究者也观察到协作摩擦并非总是负面：发现误解并反复澄清，有时会促使用户明确意图并继续参与问题。

HIP Lab 和 METR 的结果仍是早期或进行中状态。HIP Lab 正研究用户感受与 Claude 行为的关联；METR 正估算不同模型世代的编码 Agent 生产力变化。现阶段不能把这些摘要当作已完成、经完整同行评审的最终结论。

验证方式与局限

要复核这类研究，至少应检查公开的聚合数据、研究问题与分类定义，并用多种措辞重复标注，观察结果是否稳定；还应在可读取原文的公开对话数据上测量分类误差，并记录被排除或改写的类别。

Codex 归纳：这项试点的价值在于让外部团队决定研究问题，但它并不是把原始数据完全开放给外界。分类依赖 Claude 的判断，问题措辞会改变结果；研究者又无法查看真实对话，因此部分错误不容易发现。团队曾先在 WildChat 上测试问题，但 WildChat 偏休闲和创作场景，与真实 Claude 流量不同，一些在公开数据上表现良好的问题迁移后会产生误导性分类。

此外，样本只覆盖两个月、两个 Claude 产品，不能代表全部 AI 用户；平台仍负责运行计算、隐私审查和信息删减。Anthropic 说明每项研究中受政策违规信息处理影响的类别和对话均少于 5%，但这仍应在解释结果时披露。该试点为外部监督增加了可用材料，却尚未达到任何研究者都能独立重跑全流程的开放数据标准。

原作者：Anthropic（@AnthropicAI），2026 年 8 月 26 日
原帖：Anthropic on X: "For the first time, we’ve given external researchers a way to study AI’s impacts using real, privacy-preserved Claude usage data. To date, this work has only been possible within AI labs. We can’t tell the whole story alone, so we opened up our tools. https://t.co/suLJcARAu1" / X