Kimi K3.1 Pro:只差 Opus 5.5 半个点的开源权重

目录

📌 一句话导读:Kimi K3.1 Pro 把开闭源的公开分差压到了 1 分以内——而这个差距,小于你换一个 harness 带来的波动。

2026 年 10 月 23 日前后,Moonshot AI 放出 Kimi K3.1 Pro。厂家博客没有标明确切日期,多个二手来源记为 10 月 23 日。规格与 K3 一致:约 2.8 万亿参数 MoE,每 token 激活 1040 亿,100 万 token 上下文。提升不来自模型变大,来自后训练——大规模强化学习,跨数百个任务类型。同一个骨架,练得更狠。

数字很好看。Terminal-Bench 4.0 厂家自报 65.7%,Claude Opus 5.5 是 66.4%。0.7 个百分点。独立评测机构 Artificial Analysis 重跑后给到 67%,若成立,那是任何模型在该基准上的最高分。

半个点,甚至反超。这就是所有标题的来源。

但半个点意味着什么,取决于你怎么读它。三种读法,结论完全不同。

一、65.7% 这个数字的三种读法

读法一:开源真的追上了。 按 AA 的 Intelligence Index,差距从 12 分缩到 3 分。Kimi 得分 55,215 个模型里排第 4,前面只有 Opus 5.5、Sonnet 5.5 和 Muse Wonder Full。这条读法成立的部分很硬:开源权重模型第一次真正进入第一梯队,而不是"最强的开源"。

读法二:这半个点是噪声。 厂商之间 0.7 分的差,小于换 harness、换 prompt、换重试策略带来的波动。把它当胜负,等于用一把精度不够的尺子去量毫米。

读法三:这是特定配置下的天花板。 Moonshot 几乎所有编码测试——Terminal-Bench 4.0、SWE-Marathon、ProgramBench——都跑在 Anthropic 的 Claude Code 里。harness 能大幅改变分数。所以 65.7% 描述的是"Claude Code 加载 Kimi K3.1 Pro"的最好情况,不是你在 Kimi Code 或 Cursor 里能拿到的成绩。

三种读法都成立。合起来才是完整判断:开源确实逼近了,但逼近的程度被测量方式放大了。

二、它强在哪、断在哪

按总分选型是错的。这张表要横着看,看每一行的形状,而不是看平均。

长程编码强。 SWE-Marathon 这类超长编码任务,它拿到 51.7%,Opus 5.5 是 46.3%,GPT-6 Astra 42.5%——这项它第一。内部长程编码基准 61.2%,K3 是 55.95%。后训练算力砸下去,长任务不崩,这是实打实的进步。

办公文档强。 OfficeQA Pro v2 金融文档 64.4,Opus 5.5 62.2,GPT-6 Astra 54.4。GDPval-AA 办公任务 Elo 1846,全场第三,仅次于 Opus 5.5 的 1866。操作电脑的 OSWorld-V2.1 是 79.6%,和 Opus 5.5 的 81.8% 只差 2.2 分。

然后断崖来了。

ProgramBench,整体程序生成:31.5%。Opus 5.5 是 65.0%,GPT-6 Astra 是 50.0%。不到对手一半。

Terminal-Bench Science:38.1%。Opus 5.5 63.3%,GPT-6 Astra 68.1%。差 25 个百分点。

这两项说明它的能力边界在哪:它擅长在已有代码库里改、在长流程里不跑偏、读文档答问题。它不擅长从零写出一个完整程序,也不擅长科学推理。前者要全局架构能力,后者要严格推理链,这两块它没补上。

所以准确的说法不是"全面接近闭源",而是"在长程编码与办公文档两个形态上接近甚至局部反超,在从零造程序与科学推理上仍有代差"。选型按任务形态,不按总分。

三、harness 才是隐藏变量

这一节是全文最该记住的部分。

Moonshot 的编码成绩,几乎全部跑在 Claude Code 里。这不是作弊,是行业惯例——各家都在自己最顺手的脚手架里测。但它意味着这些数字不能跨模型横比。

harness 是模型外面那层壳:工具怎么调、文件怎么读、失败怎么重试、上下文怎么裁。同一个模型换一套壳,Terminal-Bench 这种多轮任务动辄差十几个点。Kimi 在 Claude Code 里跑到 65.7%,你把它接进 Kimi Code 自己跑一遍,第一次出来的数大概率不是这个。

再看一个前科。本月 OpenAI 用自家 harness 发布 GPT-6 Astra 的 ARC 成绩是 99.9%,ARC Prize 独立重跑得 62.7%。37 个点的差,全部来自测量方式。

于是出现一个尴尬局面:厂商之间的公开分差(0.7 分)小于 harness 波动(十几分)。这种情况下排行榜就失去选型价值了。它能告诉你"这模型在第一梯队",不能告诉你"它比隔壁强"。

四、降价的真相:单价降了,净成本没降

Kimi K3 原价 3/3/15 每百万 token,K3.1 Pro 降到 2/2/10,降幅 33%,官方说约为 Claude Opus 5.5 的一半。字面都对。

但你按 token 付费,账单看的是总 token 数,不是单价。

AA 跑完整个 Intelligence Index,K3.1 Pro 用了约 1.5 亿输出 token,中位数是 8700 万——多 72%。

算一下:单价乘 0.67,token 数乘 1.72,净成本是 1.15 倍。它其实比 K3 还要贵一些,只是账面上看起来便宜了三分之一。

这条对每个按 token 付费的人都成立。它话多:思考链长、解释多、重试多。对话场景你感觉不到,因为人只看最后一段回答;跑 agent、跑批量任务、跑 CI 里的自动修复,账单会诚实地告诉你。

同门还有个 Highspeed 版,快 2–3 倍,价格 4/4/20。任务延迟敏感而不是成本敏感时,这个版本才划算——别拿它的单价去和普通版比便宜。

五、安全侧那个 90.5%→81.0% 意味着什么

这段是全文最罕见的部分,很少有厂商公开讲。

Moonshot 说,他们在通用训练数据和强化学习任务里发现了网络安全相关的内容,而且攻击性能力随训练规模上升。为了开源版本,他们从两个训练阶段都把这类数据移除了。

效果用内部基准衡量:xdev-bench-hard,任务是对 Linux 内核、Node.js 等新披露漏洞写出可用 exploit。未做清理的 checkpoint 解出 90.5%,最终模型解出 81.0%。

9.5 个点,是这次清理买到的安全边际。公司同时说明,81.0% 仍落后于已公开三个月以上的闭源前沿模型——这句话的真实含义是,他们的目标是"不比已公开的差",而不是"绝对安全"。

这里有个绕不开的现实:权重一旦放出,清理过的模型仍然是一个能写 exploit 的模型。81% 的解出率对防守方是压力测试工具,对攻击方也是工具。开源社区没有准入审核,厂家能做的只是把能力压到已有公开水平,剩下交给使用者的边界。

六、11 月 4 日权重放出后你该做什么

现在的 K3.1 Pro 只能用,不能改。渠道已经铺开:Kimi.ai、移动 app、Kimi Work 桌面版(3.1.0+,Windows 与 Apple Silicon Mac)、Kimi Code 的 /model 切换、API(kimi-k3.1-pro 与 kimi-k3.1-pro-highspeed,提供零数据留存),OpenRouter 也有上架。企业版管理员需要手动开启,默认是关闭状态。

完整权重承诺在 11 月 4 日前放出。

在那之前,最有价值的事不是读榜,是准备自己的尺子。这篇文章的核心结论只有一句:公开分差已经小于测量误差,唯一可信的评测是你自己的任务集。

还有一件小事要诚实说。Kimi 的 API 文档在发布时仍有未填的占位符,部分数字与博客对不上——幻觉率一处写 23.35%→6.85%,博客写 23.4%→8.3%。同一家公司、同一件事、两套数,说明文档还没定稿。这本身也是选型信息:别急着把关键链路压上去。

顺带说清那个幻觉数字的边界。错误率从 23.4% 降到 8.3% 是厂家自报,且厂家自己强调这是刻意设计的刁钻 prompt 下的结果,不是日常使用中的错误率。拿它当"幻觉降了 15 个点"来宣传,属于误读。

🎯 行动清单

  1. 今天就建评测集:从最近 30 天的真实工单、PR、文档问答里抽 10 条,覆盖你三种主要任务形态——长程改码、从零生成、文档抽取。每条写成"固定输入 + 判定标准",存成一个 JSON,之后只增不改。
  2. 本周跑 baseline:在 API 上把 kimi-k3.1-pro 和 kimi-k3.1-pro-highspeed 各跑一次,同时记录通过率和输出 token 数。后一个数才是你的成本,别只看单价。
  3. 同一套题喂给你现在的模型,并且用同一个 harness。换壳等于换考卷,这一步不做,前两步白做。
  4. 11 月 4 日后权重落地,本地重跑同一套题。重点看量化版(FP8 / INT4)掉多少分,以及你在单卡或双卡上能拿到什么吞吐——这是开源权重唯一比 API 多出来的东西。
  5. 把四件套写进团队文档:模型版本、harness、重试策略、上下文裁剪规则。四样缺一样,下个月的数就不可比。下次再有人拿榜单来推选型,把这份文档甩给他。

参考来源

📖 延伸阅读

原文链接: https://ai.17you.com/ai/kimi-k3-1-pro-open-weights/ 已复制!
一起薅AI羊毛

保持关注,记得把网址 (17you.com) 加收藏夹!有空经常来网站看看!我们每天都分享最新鲜、最实用的AI知识、最新动态、最新技术,以及最新的应用场景。

请点击联系我


相关内容

发现新版本

当前站点有新版本可用。