Coding agent 的 harness 能把成本推到三倍，却没让它更准

📌 一句话导读：换一个更"聪明"的 coding agent 外壳，账单最多涨三倍，通过率却没跑出噪声——你为复杂度付的钱，可能一分都没买到准确率。

你大概干过这件事：给 agent 加一个"先规划再动手"的步骤，再加一道"跑完自查一遍"的回路，再补两个"以防万一"的重试。加完之后跑得慢了点、贵了点，但你心里踏实——这么厚的流程，总该少错几道题吧。

山东大学的两个人把这个假设拆了。他们控制住模型、只换外壳，然后量了两件事：分数动了多少，账单动了多少。答案很难看。

一、这个研究怎么做的

论文标题很直白：《What Does a Harness Buy? Tokens, Mostly》——harness 买到了什么？主要是 token。作者是 Yangze Liu 和 Zhongyi Han，10 月 3 日挂上 arXiv（2610.04433），22 页、7 张图，代码和数据都开源了。

先说清楚 harness 是什么。它不是模型，是模型外面那层壳：系统提示词、给你哪些工具、上下文怎么管理、历史怎么压缩、撞到上限要不要自动续写。Claude Code、Cursor、Codex CLI 都是 harness。

实验设计是三个生产级 harness，跑同一批模型：

• Claude Code：最重的那一头，长提示词、成套的文件与搜索工具、自动压缩历史。
• OpenCode：中等，工具集完整，也有压缩。
• mini-SWE-agent：最轻的那一头，大约 100 行 Python，只给一个 bash 工具，不做任何上下文压缩。

模型五个：本地的 Qwen3.6-35B-A3B 和 Qwen3.8-27B，走 API 的 DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview。另外拿 Claude Opus 5 跑 Claude Code，当"最强能到什么程度"的锚点。

任务是 SWE-bench Verified 里的 492 个，隔离容器里跑，全程断网。分成两堆：45 个最难的（人类要干一到四个多小时），和剩下 447 个。五个模型都跑了 45 个那堆，但只有两个 Qwen 跑了 447 个。

这套设计里最关键的一步不是交叉，是重复：同一套配置原样重跑，先量出"什么都不变时分数能自己漂多远"。

还有个自查细节。早期版本允许联网，他们审日志发现，439 次 DeepSeek 和 Qwen 的试验里有 312 次——71%——直接从 GitHub 抓到了人类写的原始补丁。这批数据全扔了，最终评测切了网。

二、三个违反直觉的结论

结论一：三倍成本，零准确率。

447 个任务那一堆上，最重的 Claude Code 和最轻的 mini-SWE-agent，在两个 Qwen 模型上都只差两个百分点以内。作者按五个百分点的区间判，算统计等价。

同一模型、同一批任务、同一张价目表，单任务成本最多差三倍。GLM-5.3-Flash 上，Claude Code 跑一次 1.81 元，OpenCode 只要 0.56 元。

结论二：厂商自家的 harness，没有主场优势。

拿 DeepSeek 官方的命令行 harness 配自家的 DeepSeek-V4-Flash，通过率落在另外三个的区间里，一分没多拿；单次成本却是这个模型上所有 harness 里最高的。论文里的原话是"buys no score advantage"。

这条对采购决策的意义很直接。你看到"某厂模型配某厂工具，分数最高"，大概率不是协同效应，是那篇评测只跑了一遍。

结论三：唯一跑出噪声的效应，是个负的。

三个 harness 里只有 OpenCode 表现出了超出噪声的差异，而且是往下：在 447 池上落后最多 9 个百分点。其中大约一半能归因到一个具体机制——模型撞上 32,000 token 的输出上限，一步没写完就被截断，补丁还没落地。Claude Code 撞到同一个上限时，会自动提示模型接着写。

没有第二个正效应。不是"某个 harness 特别强"，是"某个 harness 有个 bug"。

还有个数字比这三个结论都扎心。45 个最难的任务上，换 harness 会让 13% 的题从过变挂、或从挂变过。原样重跑同一个 harness，中位数也是 13%。换模型，才升到 22%。

换壳和掷骰子，是一个量级。而重跑之间赢的题，还不是同一批。

三、为什么"更复杂"没有换来"更准"

复杂 harness 的功能清单听起来都对症：上下文压缩防止爆窗、多工具减少弯路、自动续写避免半截任务、规划步骤防跑偏。每一条都在救某类失败。

这些失败在总量里占比太小。45 个最难的任务上，harness 之间解出的题数差 2 到 5 个，重跑就差 3 个。想在这么窄的区间里证明多解了两道，样本量远超任何人的预算。

论文给了个更狠的对照。他们把 Claude Code 的文件编辑工具整个删掉，逼 Opus 5 改用 bash 改文件——成功率仍在对照组区间内。工具层砍空，结果没动。

那是不是"复杂完全无用"？也不是。同一份数据里有个反向证据：把 thinking 关掉，Qwen3.6 在 mini-SWE-agent 上掉 11 个点，在 Claude Code 和 OpenCode 上却都在噪声内；HY4-Preview 在 Claude Code 里关 thinking，同样掉 11 个点。

同一个开关，换个壳就是两个结果。所以准确的说法是：壳确实会介入，但介入的方式取决于壳和模型的配对，而且大部分时候够不着噪声线。你没法靠读别人的结论预判自己这套组合。

这就是"贵得没有因果"的意思。加壳和涨钱之间有确定的因果关系，加壳和变准之间没有。没测过就加，等于给账单加杠杆。

四、成本的三层结构

把这项研究和 token 价格战放一起看，账就清楚了。

第一层，单价，是分子。 GPT-6.1 Terra 定价每百万输入 1 美元、输出 5 美元，比 GPT-5.6 Terra 和 GPT-6.1 Sol 低了将近一半。

第二层，harness，是乘数。 三个壳第一次调用发出去的固定上下文分别是 16,581、7,025、829 个 token。差的不是仓库内容，是它们自己的系统提示和工具 schema。这坨东西每一轮都要重发一遍，于是被步数乘一次。

研究里 96% 到 99% 的输入 token 都命中了 prompt cache，账单被压下来了，但谁更贵的排序一点没变——缓存只是把倍率调小，不是把倍率抹平。Claude Code 还会额外重发模型的中间推理块，这是第二重加重。

第三层，输出长度，也是乘数，而且是最贵的那种。 Kimi K3.1 Pro 每百万 token 收 2 美元和 10 美元，比上一代 K3 的 3 美元和 15 美元便宜三分之一。但 Artificial Analysis 发现它话极多：跑完整个评测用了约 1.5 亿输出 token，中位数是 8700 万。单价降了三分之一，每任务净成本基本没动。

输出 token 通常是输入的五倍价——Terra 是 1 比 5，Kimi 也是 1 比 5。多吐一倍字，等于把输入价格的优势直接抹掉。

所以单价战打的是分子，harness 和啰嗦度决定的是分母里的乘数。你在分子上省 50%，被乘数吃掉 200%，账还是涨的。

五、优化顺序应该反过来

多数人的顺序是：先嫌贵 → 换个便宜的模型 → 发现效果掉了 → 加厚 harness 补回来。三步走完，钱没省，复杂度多了一层。

按这项研究的证据，顺序应该倒过来：

先砍 harness 的无效步骤。 这是零成本、立刻生效的动作。首调上下文里那些"以防万一"的规则、几十个用不上的工具 schema、没人验证过的重试回路，删掉之后先跑三次看成功率掉不掉。按 13% 的翻转率，掉一两个点基本等于没掉。

再压输出长度。 限制单步输出、要求简短补丁、关掉不必要的长推理。注意这一步有雷：thinking 开关的效果取决于模型和壳的配对，Qwen3.6 在轻壳上关掉会掉 11 个点。要按自己这套组合实测。

最后才换模型。 因为换模型的验证成本最高，而你能观测到的差异最不可靠。

论文算过：45 个任务的评测集，只有一半概率能抓到 13 个点的差距；447 个任务才能稳定分辨 5 个点。你在一次跑动里看到的 2 到 3 个点提升，落在噪声里。

Opus 5 的对照：旧版 Claude Code 默认不开 extended thinking，45 题解 34 个，单次成本 0.73 美元；新版解 35 到 36 个，成本约 1.65 美元。多花一倍多的钱，多解一到两道题。

论文留了三个可带走的指标：首调用量、每步增长、步数。

🎯 行动清单

1. 先量噪声，再谈优化。 挑你最重要的那个 agent 任务，原样跑三遍，记下成功率和成本的波动范围。这个范围就是你之后所有判断的门槛，低于它的"提升"一律当噪声。
2. 找出首调上下文的大头。 打印第一次 API 调用的完整请求，数一下系统提示和工具 schema 占多少 token。参照值是 16,581 对 829——如果你的数字在五位数，这里有得砍。
3. 删两个"以防万一"的步骤再对比。 优先删没人能说清触发条件的重试、从未被用到的工具、纯装饰的规划段落。删完跑三次，成功率掉两个点以内就保持删掉的状态。
4. 按"每完成一个任务多少钱"结账，不按单价。 把你的账单除以成功任务数。这个数字才能横比模型，也才暴露啰嗦型模型的真实成本。
5. 换模型前先跑基线两遍。 45 个任务的评测集只够分辨 13 个点，别用它给 3 个点的差异背书。样本不够就多跑几遍。

参考来源

1. Yangze Liu, Zhongyi Han. What Does a Harness Buy? Tokens, Mostly. arXiv:2610.04433, 2026-10-03（一手论文）— https://arxiv.org/abs/2610.04433
2. 论文代码与数据（一手）— https://github.com/YangzeLiu/what-does-a-harness-buy
3. Ben Dickson. A coding agent’s harness can triple its cost without making it more accurate, study finds. VentureBeat, 2026-10-23 — https://venturebeat.com/orchestration/a-coding-agents-harness-can-triple-its-cost-without-making-it-more-accurate-study-finds
4. HarnessTax: How Much Does the Harness Matter for Coding Agents? UC Berkeley Sky Computing Lab & Arena（一手研究站点）— https://harnesstax.github.io/
5. Simon Willison. GPT-6.1 Terra. 2026-10-26 — https://simonwillison.net/2026/Oct/26/gpt-61-terra/
6. Van Data Team. Kimi K3.1 Pro: Benchmarks, Price and Should You Switch? 2026-10-25 — https://vandatateam.com/blog/kimi-k3-1-pro

📖 延伸阅读

• 🔧 OmniRoute：一个本地 endpoint 接管 290 家 AI 供应商 — 网关层也能省钱
• 🧠 SkillWeaver 架构拆解：Agent Token 消耗砍 99% 的工程秘密 — token 优化另一路径
• 🧠 亚马逊 AI 写代码烧掉 1215 万：180 万美元的失控循环 — 成本失控的极端案
• 📰 本期杂志：四个地区被划出去了 — 今日全部线索