Anthropic开源“电路追踪”工具 揭示大模型思维过程
时间：2025-06-10 05:25
小编：小世评选
近期，人工智能领域的领先公司Anthropic发布了一款名为“电路追踪”（circuit tracing）的开源工具，旨在帮助研究人员与开发者更直观地理解大型语言模型（LLM）的思维过程。该工具的问世被广泛认为是引领语言模型研究进入更加透明和可控的新阶段。
“电路追踪”工具的核心是生成“归属图”（attribution graphs），指标类似于大脑神经网络的结构图，能够可视化模型内部的连接关系和超节点。这种方法允许用户跟踪LLM在处理信息时的路径，从而解码其“决策逻辑”。通过不断对节点激活值进行干预并观察模型反应，研究人员能逐步揭示模型如何对不同输入做出反应。
Anthropic在声明中指出：“当前，我们对AI系统内部的操作理解尚未跟上其飞速发展的能力。通过开源这些工具，我们希望能够推动更广泛的社区深入研究并理解语言模型的内部工作机制。”这表明了Anthropic希望通过社区的共同努力，提升对复杂AI系统的认识与应用。
在工具推出的短短24小时内，电路追踪工具便在GitHub上获得了400多个Star，表明了其在开发者社区中的广泛关注度。社交媒体Reddit与X上也引发了热议，众多用户表示认可。有人甚至预测，这可能成为研究LLM的重要工具，被形象地称为“显微镜”。
以电路追踪方法的实际应用为例，Anthropic团队利用该工具分析了多个LLM的具体推理过程。以两阶推理为例，问题是“包含达拉斯的州的首府是？”。模型需要识别出达拉斯位于的得克萨斯州，接着回答该州的首府奥斯汀。通过电路追踪，研究人员观察到，该任务中模型Claude 3.5 Haiku使用了特定的电路结构，成功完成了推理过程。
所谓电路追踪的操作过程，研究人员会生成任务的电路表示，通过重要节点的干预来观察模型输出的变化。这种研究方法不仅可以验证模型的判断逻辑，还能够通过修改特征值，检验不同特征对模型行为的影响。例如，研究人员尝试关闭某个超节点，比如“说出一个首府”的特征，结果表明模型无法准确输出奥斯汀，而是将答案转变为得克萨斯州，这清楚地展示了不同节点之间的连接关系及其对模型决策的影响。
在多语言电路分析中，Antropic团队还探讨了不同语言输入对模型决策的影响。通过对多种语言的同一句子进行比较，发现不同语言条目之间存在共享电路结构。这一发现将为多语言模型的设计与优化提供新的思路，增强其应用范围。
至于工具的实际使用，用户可以通过Neuronpedia进行交互式探索，轻松生成自己的电路图。而在Google Colab上，用户也能够运用初始化notebook开始操作，从而进一步加深对模型决策过程的理解。
“电路追踪”工具的发布标志着大模型解释性研究的新进展。在理解AI行为的过程中，这一工具能够帮助研究人员更好地揭示复杂系统的内部机制，提升对模型决策的透明度。而打开黑箱的关键，在于对模型内部结构细节点的深入解析。随着开源社区的参与，这一工具有望为人工智能的发展提供更多启示与资源，推动构建更安全、可靠的AI系统。
