Mercury 3 提速之后，智能体仍要等待工具

智能体每次搜索完资料、读取完页面，往往还要等待模型决定下一步。Mercury 3 尝试缩短这段等待：Inception 公布的输出吞吐量超过每秒千 token，也提供工具调用和结构化输出。¹² 如果模型生成占据了大部分时间，提速就有用；如果一直在等待外部工具，改善就会有限。

本文依据公开资料撰写，RoundUp 尚未独立测试 Mercury 3 的 API。

并行生成，效率从哪里来

自回归模型通常按顺序预测下一个 token。Mercury 早期技术报告介绍的做法，是通过反复去噪，同时修改多个位置的内容。它仍然使用 Transformer；改变的是训练目标和生成过程。把扩散模型理解成彻底放弃 Transformer，会误解这条技术路线。³

每次生成只能确定很少的内容，GPU 的计算能力就可能利用不充分。早期 Mercury 报告把效率改善归因于更高的计算强度，并说明专用推理引擎、动态批处理和定制内核也参与了加速。³ 换句话说，速度还依赖这些配套优化，其他扩散模型未必能达到同样的水平。

反复修改也要消耗计算。每轮确定多少内容、修改多少轮，以及能否复用之前的计算，都会影响速度。Block Diffusion 论文讨论了分块生成如何结合并行采样与 KV 缓存。⁴ Mercury 3 是否采用其中的具体方案，外界还无法确认。官方发布文章尚未披露足够的采样和缓存细节。¹

先把产品规格和测量结果分开

下表中的吞吐量是厂商公布的测量结果，上下文和输出上限是服务规格。能够接收长文，并不代表处理长文时也有同样的速度。价格以本文核查时的官方资料为准。¹²

项目	官方信息	解读边界
输出吞吐量	每秒 1,068 token1	发布文章没有完整列出 GPU 型号、并发和输入输出长度
上下文窗口	100 万 token2	容量不能代表长文检索准确率
最大输出	131,072 token2	上限不能代表适合持续生成这么长的内容
常规输入／输出价格	每百万 token 0.20／0.70 美元2	用于评估优惠结束后的费用
上线优惠输入／输出价格	每百万 token 0.10／0.35 美元2	优惠期限需要继续核查
推理档位	instant、low、medium、high，默认 low5	比较速度时应同时记录质量和推理设置

官方还声称，Mercury 3 的总参数量相对初代扩大超过 40 倍，同时维持相近的速度。¹ 如果这种表现能够在一致条件下复现，就说明扩散路线有机会在扩大模型后保留速度优势。但要进一步讨论扩展规律，还需要训练计算量、数据和统一评测条件。一次产品发布提供的证据，尚不足以回答同等训练预算下哪条路线更有效率。

测试时可以固定一组任务和质量要求，为各个模型选择能够达标的推理设置，再比较时间和费用。把所有模型都设成 high，未必公平：不同厂商的同名档位不保证对应相同的计算量。Mercury 文档也说明，提高推理档位会增加等待。⁵

逐块输出，改变了什么等待

Mercury 的流式接口会逐块返回整理后的文本。它另外提供 diffusing 模式，展示中间去噪过程；该模式每次返回的是更新后的完整文本。⁶ 接口虽然可以接入现有应用，应用仍需要区分普通流式内容和中间状态，避免把它们按同一种方式追加展示。

语音助手需要尽早开始回答，工具调用则要等参数完整、通过校验后才能执行。两者都不能只用每秒输出多少 token 衡量。测试时应记录这些时刻，以及最终答案何时完成；繁忙时段也要观察，避免平均速度掩盖偶尔很长的等待。

工具参数本来就很短，生成提速能够节省的时间可能不多。较长的资料整理、代码生成或推理，才有更多生成时间可以缩短。同一个模型，在这些任务上的提速效果也可能不同。

生成可以并行，外部操作仍有先后

Mercury 3 支持并行工具调用，但官方文档也要求：后一个操作依赖前一个结果时，仍然顺序执行。⁷ 搜索不同来源可以同时进行；读取订单后再决定如何修改订单，通常需要等待前一步返回。

浏览器加载、数据库查询和网络传输仍然需要时间，错误后的重试还会增加等待。测试应该保留完整任务记录，分清时间消耗在外部工具，还是无效操作和返工上。只测最终回答的输出速度，会遗漏这些开销。

Mercury 提供 JSON Schema 约束，帮助应用接收符合约定格式的数据。⁸ 但格式正确以后，还要检查字段值和操作依据。调用对象选错了，即使格式完全合规，也可能需要返工。

先验证能够独立验收的工作

可以先用能够核对答案的资料问答，或能够通过测试检查的代码补丁比较效果。查询任务则回到原系统核对状态。工具调用和结构化输出接口已经具备，接入试验的工作量也较小。⁷⁸ 这些任务的结果稳定以后，再考虑扩大使用范围。

费用也要连同失败、重试和转交其他模型的支出一起统计。我们建议把这批任务的总费用除以成功完成的任务数。这项统计由团队自行计算，厂商并未公布相应结果。token 单价便宜，如果需要反复尝试，每项任务的费用仍然可能更高。

如果任务结束得更早、结果也达到要求，Mercury 3 的速度就兑现成了收益。接入后的重试记录和总费用，会说明这项收益能否持续。

参考来源

Footnotes

1. Inception 官方发布文章 — Mercury 3 的性能主张、规模比较及发布信息：Diffusion at Scale。 ↩ ↩² ↩³ ↩⁴ ↩⁵

2. Inception 模型文档 — 上下文、输出上限、价格和输入格式：Models。 ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶

3. Inception Labs 技术报告 — 早期 Mercury 的训练、架构和服务系统，不能直接视为第三代完整设计：Mercury: Ultra-Fast Language Models Based on Diffusion。 ↩ ↩²

4. Arriola 等研究论文 — 分块扩散、并行采样和缓存的工程取舍：Block Diffusion。 ↩

5. Inception 推理设置文档 — 档位、默认设置与延迟取舍：Reasoning Efforts。 ↩ ↩²

6. Inception 流式输出文档 — 文本分块及中间去噪状态：Streaming & Diffusion。 ↩

7. Inception 工具调用文档 — 并行调用及有依赖时的顺序执行：Tool Use。 ↩ ↩²

8. Inception 结构化输出文档 — JSON Schema 接口与示例：Structured Outputs。 ↩ ↩²