首页
新闻详情

网心技术 | Agent 降本新范式

2026年11月16日

引子:从用户的目标到落地的结果


Agent 依赖模型提供的智能解决问题,不同的模型在使用过程中的体感往往不同。最前沿的模型,我们给它一个需求,它就可以交付最终的结果。而对于一些 Flash 模型(比如 DeepSeek V4.1 Flash),它很聪明,在一些小任务上的执行能力也是足够的。但如果我们只给它一句话就想要最终的交付结果,往往是不够的。我们需要给它更具体、更清晰的边界和实现要求,它才能保证交付的质量。


理想的Agent是基于使用者的目标交付符合预期的结果。以Coding Agent/Personal Agent 为例,使用者的目标可能是实现一个个人网站用于自有商品的销售或者制定国庆7天去四川成都的旅游计划。这些目标要被实现可能的流程是需求拆解,收集获取数据,然后再重新拆解需求制定计划,执行计划最后交付结果。


不同的Agent 有不同的组织这个过程的模式,接下来我们以 Plan-then-Execute(先规划、后执行)来举例看看一个任务被解决的过程。


一句话的需求,三层的工作


以当下最流行的Claude Code 为例,用户可以只说一句话:“给我的博客加一个按标签筛选文章的功能。”这句话要变成能运行的代码,中间至少要经过三层拆解(可能有别的模式,此为举例)。


第一层:从需求到整体架构


要弄清楚用户真正想要什么,现有代码是怎么组织的,这个功能应该改动哪几个模块:数据层要不要加索引,接口层要新增什么路由,前端要加什么组件,模块之间怎么衔接。这一层要理解模糊的意图,在整个代码库的范围内做取舍,最考验模型的综合能力。


第二层:组件内部的拆解与实现


架构定下来之后,每个模块要做什么已经比较清楚。比如“接口层新增一个按标签查询的路由”,模型要在这个模块内部设计好参数、调用哪些已有函数、新写哪几个函数,然后把它实现出来。这一层的视野收窄到一个组件,难度明显下降。


第三层:具体函数的实现


到了这一层,任务已经被描述得很具体:“写一个函数,输入标签列表,返回包含任一标签的文章,按发布时间倒序”。输入、输出、边界条件都清楚了,剩下的是把它正确地写出来,再跑一遍测试。


这三层对模型能力的要求差别很大,适合交给不同档位的模型:



  • 具体的函数,用最小、最便宜的模型去实现,对很多小模型来说,写一个规格清楚的函数已经够用了;


  • 架构内部某个组件的设计与实现,交给能力稍次一档的模型;


  • 从需求到整体架构的设计,交给最强、最贵的前沿模型。


下层可以用弱模型


下层之所以能交给弱模型,是因为上层已经把最难的部分做完了。一个模糊的目标被拆成了边界清楚、可以验证的小任务,下层模型不需要理解全局,只需要按规格完成局部工作,使用deepseek v4.1 flash等的。


成本也因此被摊薄。规划只需要做一次,产出的是一份几千字的方案;执行要读大量文件、写大量代码、反复跑测试,token 的大头往往花在这里。把执行交给单价低得多的模型,整体账单就会大幅下降,质量的上限仍然由做规划的强模型决定。


分层还需要配一个兜底机制:下层的产出要经过校验,测试没通过、结果不对,就交还给上一层的模型重做。这样,弱模型做错的代价是一次重试,不会是一次事故。


Claude Code 提供一个叫 opusplan 的模型设置:在 plan mode 下用 Opus 做复杂推理和架构决策,切到执行阶段后自动换成 Sonnet。它的子 Agent 机制也允许为每个子 Agent 单独指定模型,官方文档直接写着,可以把任务路由到 Haiku 这样更快、更便宜的模型来控制成本。


Codex 的文档说得同样明确:不同的 Agent 需要不同的模型和推理设置。较轻的子 Agent 工作,推荐用更快、更便宜的 gpt-6-luna;要求更高的推理,用高推理强度的 gpt-6.1-sol。当然要注意子 Agent 工作流比单个 Agent 消耗更多 token,因为每个子 Agent 都要做自己的模型调用和工具调用。分层压低的是单价,层数和并发要有节制,否则省下的单价会被多出来的总量吃掉。


Pi 走的是极简路线,默认刻意不带子 Agent 和 plan mode,交给用户用扩展去实现。这也说明,分层是叠加在基础循环之上的一层组织方式,任何 Agent 都可以加上。


这样还是不够 ?


这些工具内置的分层有一个共同的限制:候选模型都只来自自家。Claude Code 在 Opus、Sonnet、Haiku 之间分工,Codex 在 Sol 和 Luna 之间分工。下层那些规格清楚的执行任务,很多时候开源模型就能做好,单价还要再低一截,原生工具却不会主动把这部分流量交给别家的模型。 当然不同的模型由于架构和训练数据的不同,一个Agent的context 可能并不能无损的迁移到别的模型。


以上就是 Together Link 和 FireRouter 出现的原因。它们把开源模型无感地接进团队已经在用的 Claude Code、Codex 这些工具里,再按任务难度自动分派。Together Link 按会话分派:一个会话的第一个任务如果是难题,比如整体设计,就交给前沿模型,如果是快速修复,就交给又快又便宜的模型。FireRouter 按轮分派:同一个会话里,需要全局判断的轮次可以留给 Opus,常规编辑的轮次交给 GLM 5.3 或 GLM 5.3 Flash,同时把丢掉 prompt 缓存的代价算进去。降低成本的同时,解决了迁移的技术成本。


接下来我们看看它们具体是怎么做的。


说说两款路由产品


2026 年 9 月 28 日,推理平台 Fireworks 发布了 FireRouter with Opus。一周之后的 10 月 5 日,另一家推理平台 Together AI 发布了 Together Link。


这两款产品看上去只是“路由器”,做的事情却很一致:接进工程团队已经部署到线上的 Agent,把其中一部分请求从闭源前沿模型 Claude Opus 5.5 转到开源的 GLM 5.3 和 GLM 5.3 Flash 上,难的活仍然交给 Opus。两家给出的效果也很接近,都是把支出砍掉一半左右。


这两款产品本质上是无感迁移工具。它们要解决的问题是:一个已经使用闭源模型上的 Agent,怎样在用户和团队几乎感觉不到变化的情况下,把流量搬到开源模型上去,同时把成本降下来。



两家平台在两周之内先后推出几乎同类的产品,是它们都看到了用户对于便宜且可用 的强烈诉求。


先让换模型的心理/心智压力降低


先看迁移难在哪里。一个工程团队用 Claude Code 写了半年代码,提示词、工作习惯、内部脚本都是围绕这套工具长出来的。换一个模型,意味着换工具、重新调提示词、重新熟悉输出风格,还要承担质量下降的风险。哪怕开源模型便宜很多,这些切换成本也足以让大多数团队按兵不动。


Together Link 的设计几乎是逐条在拆这些障碍。它支持 Claude Code、Claude Desktop、Codex、OpenCode 和 Pi,安装只需要一条命令,原来的设置和登录保持不变,团队不用学任何新东西。想切回原生的闭源模型,也只要一条命令。计费走团队现有的 Together API key,按量付费或者买积分包,不需要单独签合同,也就绕开了企业采购流程。


模型怎么选,交给 Auto 模式。路由器读取每个会话的第一个任务,据此决定整个会话交给哪个模型:快速修复交给又快又便宜的模型,难题交给前沿模型。如果用户提供了 Anthropic 的密钥,它在 Opus 5.5 和 GLM 5.3 之间选;不提供,就在 GLM 5.3 和 GLM 5.3 Flash 之间选。每个会话只路由一次,prompt 缓存因此完整保留。会话结束后,跟踪器会显示这次实际花了多少钱,以及同一个会话如果用 Opus 5.5 本来要花多少钱。


这几项设计各有分工:


  • 不换工具,消除了学习成本


  • 一条命令切回,消除了试错风险


  • 不用签约,消除了采购门槛


  • 对比账单,让团队自己看到省了多少


迁移的决心是在使用过程中一点点建立起来的。


FireRouter 走的是另一条路线,更激进一些。它不按会话决策,而是每一轮用户输入都重新判断:评估 Claude Opus 5.5、GLM 5.3、GLM 5.3 Flash 各自适不适合这一轮的任务,估算每个模型处理它的成本,再把 prompt 缓存的价值算进去,判断为了换模型丢掉缓存到底值不值,最后选出质量和成本之间最平衡的那一个。Fireworks 说,候选模型的组合会随着新模型和新版本的发布而调整。


接入方式上,FireRouter 同样支持 Claude Code、Codex、Cursor 等现有工具,也可以作为一个独立的路由模型使用:任何 Fireworks 账户都可以像调用普通模型一样,把请求指向它的 serverless 端点。对 Agent 来说,换上 FireRouter 和换一个模型名差不多。



两款产品的路由粒度不同,思路却是同一个:迁移不是一次性替换,而是逐步分流。


前沿模型始终留在候选集里,难的任务照样交给它,质量有兜底;日常的、重复的任务先搬到开源模型上,钱先省下来。迁移的比例可以由数据决定,随时可以回退。这正是两款产品最聪明的地方:它们把“要不要换模型”这个让人犹豫的决定,拆成了“这一轮、这一个会话交给谁”这样一个个很小的决定。


推理平台为什么要做这件事,也不难理解。Fireworks 和 Together 卖的是开源模型的推理算力,而当下 token 消耗最大的场景是编码 Agent,这些 token 大部分付给了闭源模型。


Together 在发布中写道,编码 Agent 在工程团队里已经司空见惯,从一行修复到整段重写,每项任务往往都跑在同一个高端模型上,工程组织在闭源模型上的支出从每月几万美元到几百万美元不等。路由器是把这部分流量引到开源模型上来阻力最小的入口。


闭源模型太贵了


迁移的第一个理由是钱,虽然好用但是亏本的买卖是不能持续的。


Token 为什么会膨胀


很多人对 AI 成本的直觉还停留在聊天机器人时代:问一句,答一句,几千个 token,几分钱。而 Agent 把这个直觉彻底打破了。


第一件是上下文的逐轮累积。


大模型本身不记得上一轮发生了什么,每一次调用都要把系统提示词、工具定义、之前所有的对话和所有的工具返回结果重新读一遍。一个 Agent 完成一件事,往往要在“思考、调用工具、读取结果、再思考”之间循环几十轮,每一轮读入的上下文都比上一轮更长,累计读入的 token 数量按平方增长。下面这张示意图假设每轮只新增 1.1 万 token,8 轮下来累计读入的量已经接近 39 万,是第一轮的 39 倍。



第二件是长程任务里的反复规划与自我纠错。


法律 AI 公司 Harvey 在介绍自家模型训练时提到,一个法律任务平均有 50 条评分标准,多的有几百条,单次执行可以超过 1000 轮、用掉几十万 token。任务越复杂,模型就越需要停下来检查自己做得对不对,发现问题再回头重来。


第三件是后台主动任务。


聊天机器人只在用户发消息时才运行,个人 Agent 则会一直在后台工作:检查邮件、盯日程、监控价格。个人 Agent 公司 Instinct 的创始人 Noah Shinn 在一次访谈里估计,未来 90% 以上的 token 消耗会发生在用户看不见的后台,主动式 Agent 对算力的需求会比被动式 AI 工具高出两到三个数量级。


第四件是失败重试。


假设一项任务单次执行成本是 1 美元,成功率是 70%,那么平均要尝试 1.43 次才能换来一次成功,单次有效任务的真实成本就是 1.43 美元。


第五件是模拟点击带来的视觉开销。


很多网站没有给 Agent 开放接口,Agent 只能像人一样打开浏览器去点,每一步都要截图、读取页面结构,再交给模型判断下一步。截图和 DOM 树都是很“重”的输入。


这五件事叠在一起,每一个 token 的单价都会被放大成几十倍、几百倍的总账。Fireworks 内部的编码 Agent 流量里,单个会话只用 Claude Opus 的平均成本是 15.36 美元。在这个量级上,单 token 价格差几倍,最后的账单就差几倍,这正是迁移到开源模型的价值所在。


Harvey:用量翻倍,毛利率跌到负数


Harvey 是被这笔账单直接击中的公司。


2026 年 9 月,Bloomberg 报道了它的一组财务数字。这家估值 155 亿美元、年化收入超过 4 亿美元的法律 AI 公司,年初的毛利率在 50% 左右。3 月,Harvey 上线了一轮 Agent 能力更新,客户的使用量随之暴涨,全年的 token 消耗增长了大约 20 倍。


收入大约翻了一倍,毛利率却一路往下走。到 6 月甚至跌到了 -50% 左右。客户每付给 Harvey 1 块钱,Harvey 光是交付这项服务就要花掉大约 1.5 块钱,其中大头是调用前沿闭源模型的费用。



8 月 20 日,Harvey 以研究预览的形式发布了自己的第一个后训练模型 Tenet,基座是月之暗面的开放权重模型 Kimi K3,后训练由 Harvey 和 Fireworks 一起完成。据 Bloomberg 援引知情人士的说法,Tenet 发布之后,Harvey 的毛利率重新回到正数,其间没有调整对客户的价格。转正之后的具体数字,Harvey 没有公布。


9 月 23 日,Harvey 联合创始人兼总裁 Gabe Pereyra 在 X 上回应了外界对毛利率的质疑。他说,最省事的做法是逼客户提前改成按量计费,再给他们换上更差的模型来保住利润。


Harvey 选择按客户能接受的节奏帮他们过渡到按量计费,同时通过路由、harness 改进和后训练去优化产品,让前沿水平的智能可以用负担得起的价格提供出去;另一方面,Harvey 给客户做了用量看板、按案件归集的成本、支出上限和投入产出报告。结果是,在用量每个月翻倍的情况下,Harvey 用一个季度把毛利率从 -50% 拉回了正值。



毛利率转正是这几件事共同作用的结果。Harvey 没有拆分每一项的贡献,也没有披露 Tenet 接走了多少流量,Pereyra 还强调最难的工作仍然会用到前沿闭源模型。


从路线上看,Harvey 做的就是一次完整的迁移:开源基座加后训练承接主力流量,路由把难题留给前沿模型。这和 FireRouter、Together Link 的思路是一样的。



订阅制扛不住按量增长的成本


Harvey 的困境不是个例,它暴露的是整个 AI 应用行业的结构性问题。a16z 在 10 月发布的第七版《Top 100 Gen AI 消费级应用》统计了榜单上 AI 原生产品的收费方式:84% 提供个人订阅,64% 按用量收费或者卖额外点数,做广告的只有 14%,靠平台费或交易抽佣赚钱的只有 2%。



a16z 把这个现象称作对上一代互联网的“倒置”。


2025 年,广告贡献了 Meta 97.6% 的收入和 Alphabet 73.2% 的收入。上一代消费互联网之所以能先免费、后变现,是因为服务一个用户几乎不花钱;AI 产品的模型成本太高,放弃早期收入这个选项根本不存在。


a16z 也指出,随着开源模型越来越多,加上产品团队学会把真正需要昂贵前沿模型的任务和可以用便宜模型处理的任务分开,这件事会变得容易一些。这句话几乎就是 FireRouter 和 Together Link 的产品说明。


订阅制还有一个更隐蔽的问题:收入固定,成本却跟着用量走。摩根士丹利在 9 月 30 日发布了一份关于 Meta 个人 Agent 产品 Muse 的研报,第三方分析在它的参数基础上做了一个极端推演:Muse 每月 20 美元的套餐包含每周 5 亿 token 的额度,如果一个用户把额度用满,光 GPU 推理成本就是每月 488 美元;每月 100 美元的套餐用满后,GPU 成本是 2925 美元。



统一定价之下,最忠诚、最重度的用户恰好就是亏得最多的用户。上游的模型按 token 收费,下游的客户按月或按座席付费,中间的应用公司夹在两种计价方式之间。改计价方式要和客户重新谈,周期以年计;降低每个 token 的成本,今天就可以开始,而迁移到开源模型是其中见效最快的一步。


Personal Agent 还有一个额外成本:云电脑与云手机


迁移能压下来的是 token 账单。Agent 还有第二张账单:它要替人干活,就得有一台云端的电脑或者一部云端的手机。


摩根士丹利把 Muse 的单用户服务成本拆成了 GPU 推理和 CPU 沙箱两块。在用掉每周额度 25% 的基准情景下,每月 37.12 美元的总成本里,GPU 推理占 24.30 美元,剩下的 12.82 美元花在 CPU 沙箱、存储和配套开销上,大约占三分之一。



这一层主要靠工程手段控制。按 AWS 的按需价格,一台 2 vCPU 的基础沙箱如果 24 小时常驻,每月光空转的租金就要 95.90 美元。把运行状态压缩成快照存进对象存储,任务来了再拉起,跑完写回快照、释放实例,按每天累计运行 1 小时计算,每月成本可以压到 4 美元以内。此外还可以优先调用结构化接口,少让 Agent 截图点按钮;按真实并发而不是按用户数备资源;云手机统一 App 版本、把登录态做成可恢复的模板,实例用完回收复用。



国内互联网对云手机的依赖更重。订票、购物和本地生活服务分散在携程、淘宝、美团这些超级 App 里,开放给外部 Agent 的接口很少,很多操作只能在云手机上一步一步地点,每一步都是一次截图、一次模型判断。这类单步判断大多不难,正适合交给便宜的开源模型。沙箱成本和 token 成本在这里是连在一起的:步骤越多,模型调用越多,单次调用越便宜,整体账单就降得越明显。


成本控制不好的后果已经有了先例。10 月申请破产重组的 Character.AI,8 月的单月收入是 530 万美元,同月运营开支是 1330 万美元,前八个月付给云厂商的计算账单超过 5610 万美元。


开源模型已经可用


便宜只是开源模型的一面。另一面前提是模型已经可用,就是说可以很好的解决问题。


路由器的 A/B 测试


FireRouter 给出了目前最直接的证据。Fireworks 用自己的内部编码流量做了一个多月的 A/B 测试,会话被随机分配到 FireRouter 组或者只用 Opus 的对照组,工作负载和用户都相同。结果是单个会话的平均成本从 15.36 美元降到 6.63 美元,降幅 57%,95% 置信区间是正负 19 个百分点。



准确率方面,Fireworks 检查了 Agent 有没有把活干完、答案对不对、用户下一轮有没有需要纠正的地方。FireRouter 组是 78.7%,只用 Opus 是 80.2%,相当于保留了 Opus 98.1% 的水平。成本降了一半多,准确率只低 1.5 个百分点,说明相当一部分编码请求交给开源模型,并不影响结果。


缓存命中率从 97.8% 降到了 94.2%。Fireworks 把这称为一次“小而有意的取舍”:主动放弃一点缓存命中,换来整体成本的大幅下降。Agent 的长上下文高度依赖 prompt 缓存,已经读过的上下文再次读入时价格只有原价的零头,如果路由器每一轮都乱切模型,省下的单价会被重新读入的全价上下文吃掉。FireRouter 把这笔账算进了每一次决策,Together Link 则干脆每个会话只切一次。



这组数字来自 Fireworks 自己团队的编码流量,换成别的业务和用户群,结果会有出入。Together 在发布 Link 时也给出了自己的判断:开源模型和闭源前沿模型之间的差距在过去一年里大幅缩小,Kimi K3、GLM 5.3 已经能以一小部分的单价处理很多最难的编码任务,GLM 5.3 Flash、DeepSeek V4.1 Flash 这样的小模型可以接住日常编码任务。


小任务不需要最强的模型


可用不等于在每个任务上都最强。引子里讲过,Agent 的工作天然分层,越往下的任务越具体、越简单,个人 Agent 也一样:查天气、归类邮件、确认日程这类事务,用不着最贵的旗舰模型。


参考文章[13]在分析个人 Agent 成本时算过一笔账。一个平台每月执行 100 万次任务,其中 80% 是简单事务,20% 是复杂任务。全部交给单次 0.20 美元的前沿模型,每月推理账单是 20 万美元;把 80% 的简单任务交给单次 0.01 美元的轻量模型,账单会降到 4.8 万美元,计算成本下降 76%。



所以,开源模型要“可用”,只需要接住那 80% 的日常任务,剩下的 20% 继续交给前沿模型。这正是 FireRouter 和 Together Link 的设计前提。


后训练:把开源模型调到比前沿模型更好


如果只是把前沿模型换成开源基座,省下的是钱,会损失一定质量。Kimi K3 基座在 Harvey 的法律 Agent 基准 LAB 上,全项通过率(一个交付物必须满足全部评分项才算通过)只有 10.8%。Harvey 和 Fireworks 对它做了后训练,得到的 Tenet 是 19.7%,几乎翻倍,超过了 Fable 5 的 11.5% 和 GPT-5.6 Sol 的 2.5%,在 LAB 上排第二,第一是 Muse Spark 1.1 的 20.0%。成本这一侧,Tenet 跑一个 LAB 任务花 5.92 美元,基座是 5.62 美元,几乎持平。



提升也迁移到了训练时没见过的基准上:在 Mercor 的 Apex Agents 公司法测试里,Kimi K3 的公开成绩是 58.8%,放进 Harvey 自己的 harness 里能到 67.5%,Tenet 是 74.0%;在 LegalBench、CUAD、MAUD 这些法律知识类基准上,Tenet 和基座的分数基本持平。


Harvey 还针对具体能力训练了几个专用模型,它们可以作为工具或子 Agent,由主模型按需调用:


  • 批量文档审阅(Review Table):和 Applied Compute 合作,在 GLM-5.2 上做后训练,从成千上万份文档里抽取结构化信息。和最强的基线相比,答案质量高 3.6 分,引用质量高 12.1 分,每个单元格的成本大约只有十分之一。


  • 律所知识检索(Firm Knowledge):和 Engram 合作训练了一个 Qwen3.8-27B,让模型把律所的历史案卷“学进”参数和结构化笔记里。完成任务所用的 token 减少 58%,单次查询成本下降 90%,表现和领先的前沿模型相当。


  • 并购尽调(M&A Diligence):和 Baseten 合作,用递归语言模型的 harness 编排 GLM-5.2,单个任务要遍历多达 8000 万 token 的资料。换上新 harness 后,评分项通过率从基线最高的 43.8% 提到 46.1%,再经过自蒸馏后训练提到 60.1%。


这几个模型分别建立在 Kimi K3、GLM-5.2、Qwen3.8 三个不同的开放权重基座上,各自负责一类工作。在 Harvey 的垂直领域里,开源模型加上后训练,已经可以在质量和成本上同时超过直接调用前沿模型。


三级迁移


把前面几家的做法放在一起,一个 Agent 从闭源模型迁移到开源模型,大致可以分成三个台阶。


第一级:接入现成的路由器


这一级几乎不需要改造,FireRouter 和 Together Link 就是为它设计的。团队照常使用 Claude Code、Codex 这些工具,只是把模型端点换掉,或者装一个 Link。开源模型接住日常流量,前沿模型兜底,Together Link 在每个会话结束后就会给出对比账单。两款产品目前都面向编码 Agent,这是当下 token 消耗最大、任务难度分布也最宽的场景,迁移的收益最明显。


第二级:用自己的日志做路由


对自己做 Agent 产品的公司来说,下一步是根据自己的业务来路由。比较稳妥的做法是先从线上日志出发,把任务按类型和难度打上标签,看看哪些类型其实一直用不到前沿模型的能力;然后用简单的规则或者一个小分类模型做第一版路由,把明显简单的任务先分出去;再加上逐级升级的机制,小模型做不好、校验没通过,就自动交给更强的模型重做。


衡量路由好坏的指标也要选对。看单次调用的价格没有意义,要看的是单次成功交付一个任务的总成本,把重试、升级和丢失缓存的开销都算进去。a16z 在这一版榜单里也把“自己掌握多模型体验”列为应用公司的一项优势:按任务挑选最合适的模型本身就是产品能力,而模型厂商自己做的应用,天然没有动力把用户引到竞争对手的模型上去。


第三级:后训练自己的模型,自建推理管线


路由器积累下来的任务标签、模型输出和成败结果,正好是后训练的原材料。到了这一级,开源模型不再只是便宜的替补,它会被训练成比前沿模型更懂自己业务的主力。


Harvey 的 Tenet 是一个样本。训练数据由合成数据、公开法律数据和人类专家数据组成,训练环境是大约 1750 个模拟律所工作的法律 Agent 任务:每个任务有一段合伙人口吻的工作指令、一套封闭的案卷材料和一份专家写的评分标准。Agent 在沙箱里读材料、检索、起草交付物,再由另一个模型按评分标准打分,奖励由满足评分项的比例、解决的法律问题数量和全项通过的额外奖励组成。训练方法是 GSPO 强化学习,用的是 rank 64 的 LoRA,没有全量更新模型参数,在大约 150 张 B300 上训练了两个月。训练时还通过奖励设计,在效果相同的情况下偏向消耗 token 更少的轨迹,所以性能几乎翻倍的同时,单任务成本几乎没变。Harvey 特别说明,后训练过程没有使用任何客户数据。


Fireworks 在介绍这次合作时提到,他们的训练栈和推理栈是一起构建的,训练和线上服务共享同一套数值实现,“你后训练出来的那个检查点,就是线上跑的那个”。一个有希望的检查点可以一边继续训练、一边被验证,然后直接推到生产环境。对应用公司来说,后训练可以像迭代产品功能一样持续进行,用不着单独组建一个大型研究团队。值得注意的是,提供 FireRouter 的和陪 Harvey 做后训练的是同一家公司:Fireworks 同时站在迁移的第一级和第三级上。


推理管线这一侧,Instinct 的做法很有代表性。Noah Shinn 在访谈里透露,他们的核心技术壁垒之一,是一套成本极低、综合表现接近 Opus 级别模型的混合推理与分发管线。个人 Agent 的大部分后台工作不需要在几百毫秒内给出结果,可以推迟到算力空闲的时段批量运行。Shinn 说,脱离了即时响应的约束,同样一批算力的吞吐量能提升 3 到 8 倍;再加上针对专有场景做的蒸馏和剪枝,各个环节还能再省掉 30% 到 50% 的冗余。Meta 在 10 月发布的 Muse Wonder 则把主动记忆和容错回溯放进了模型本身,前者让上下文变短,后者让重试变少,对应的正是 token 膨胀的两个主要来源。



一条自研推理管线大致有这样几层:入口接收用户指令、后台定时任务和外部事件;调度层判断任务难度,把要实时响应的请求和可以排队的后台任务分开;模型层由自己后训练的垂直模型承担主力流量,蒸馏出来的小模型处理分类、抽取这类轻活,前沿闭源模型只在最难的时候出场;基础设施层用 prompt 缓存、批处理和训推一体的数值对齐,把每一层的浪费压到最低。


这套结构会自己变好。线上每一次任务执行都会留下轨迹,经过评测打分、筛出模型做得不好的难例,再拿去训练下一个版本。每迭代一轮,自有模型能接住的任务就多一些,需要交给前沿模型的比例就小一些。a16z 把“拥有差异化的模型”列为创业公司胜出的路径之一。在 Agent 时代,差异化的模型既是体验上的护城河,也是成本上的护城河。


订阅之外的商业模式


迁移的意义不止于省钱。单位成本降到足够低,应用公司才有机会尝试订阅之外的商业模式。a16z 认为,消费级 AI 要走向更广泛的人群,很可能需要回到上一代互联网的老办法上去:广告,以及交易抽佣。这两条路能不能走通,取决于服务一个用户的成本能降到多低。


先看广告。OpenAI 在 8 月披露,ChatGPT 的广告业务年化收入达到 10 亿美元,对应的是 12 亿周活跃用户,摊到每个用户身上,一个月大约是 7 美分。拿它和摩根士丹利测算的单用户服务成本放在一起看,轻度使用是每月 3 美元,基准使用是每月 37 美元,中间差了两到三个数量级。对一个高频使用的 Agent 来说,免费加广告的模式要成立,单用户成本必须降到几美分的量级。a16z 提到,美国 50% 到 60% 的医生在用的 OpenEvidence,已经在靠广告变现。


再看交易抽佣。这是个人 Agent 公司最看好的方向。Instinct 的数据显示,大约 40% 的用户在使用三周内会绑定自己的信用卡,用户一旦开始通过 Instinct 下单,平均每月会花掉 1300 美元,平台的年化交易额已经超过 10 亿美元,其中一半来自旅行。Shinn 明确拒绝广告,理由是一个比用户更聪明、同时又受广告主驱动的 Agent 会变成非常危险的说服机器。他希望 Instinct 像 Apple Pay 或者美国运通一样,对用户完全免费,从真实交易里向商户收取一小部分佣金。高端和精品酒店为了获客,愿意为一笔有效订单付 20% 到 30% 的佣金。


按每月 1300 美元的消费、2.5% 的综合抽佣率估算,一个已经在下单的用户每月能贡献 30 多美元的佣金收入,和摩根士丹利 37 美元的基准成本几乎在同一个位置。



中金在一份研报里做过类似的压力推演:一个交易抽佣型 Agent 平台每月促成 10 万笔交易、产生 50 万美元佣金,也只能覆盖八成左右的基础算力成本,毛利依然要亏 10 万美元。交易抽佣模式的门槛就是成本,成本没有压下去之前,交易量越大,亏得越多。Shinn 一边说商业模式的终局是交易网络,一边说个人 Agent 要普及必须自研推理管线降低成本,原因就在这里。


收入和成本之间的这段距离,就是迁移要填平的部分。FireRouter 和 Together Link 让一个编码 Agent 用一半左右的钱做到接近的质量;Harvey 在开源基座上做后训练,让文档审阅和知识检索这类专项任务的成本降到前沿基线的十分之一左右。成本每降一个台阶,广告和交易抽佣这些在上一代互联网里被反复验证过的模式,就离 AI 产品更近一步。


结语


FireRouter 和 Together Link 都在解决同一个问题:Agent 无感迁移模型、降低成本,是一件必然会发生的事。Agent 的工作天然分层,上层规划需要最强的模型,下层执行可以交给更便宜的模型,开源模型正好补上这一档。应该迁移,是因为 Agent 让 token 消耗成倍膨胀,订阅制的收入扛不住按量增长的成本,Harvey 的 -50% 毛利率就是代价。可以迁移,是因为开源模型已经能接住大部分日常任务,FireRouter 用不到一半的成本保留了 Opus 98.1% 的准确率;加上后训练,开源模型在垂直任务上还能超过前沿模型。


两款路由器把迁移的心智压力降低,让团队可以先分出一部分流量,逐渐迁移,保证服务质量的同时降低成本。路由只是第一级台阶。用自己的日志做路由,再用积累下来的数据后训练自己的模型、搭自己的推理管线,才能把成本真正握在自己手里,才可以去尝试订阅之外的那些商业模式。



参考文献


1. Anthropic,Claude Code 模型配置(opusplan)

2. Anthropic,Claude Code 子 Agent

3. OpenAI,Codex Subagents

4. Mario Zechner,Pi coding agent README

5. Fireworks,Introducing FireRouter with Opus,2026 年 9 月 28 日;中文报道见 AI HOT

6. Together AI,Together Link 发布,2026 年 10 月 5 日

7. Bloomberg 关于 Harvey 毛利率的报道(2026 年 9 月),转述见 The Terminal: Harvey's Margins Go From -50% to Positive on Kimi K3

8. Gabe Pereyra,X 推文,2026 年 9 月 23 日

9. Harvey,Harvey Tenet Research Preview,2026 年 8 月 20 日

10. Fireworks,Post-training Kimi K3 with Harvey for long-horizon legal work,2026 年 8 月 26 日

11. a16z,The Top 100 Gen AI Consumer Apps, 7th Edition,2026 年 10 月 5 日

12. 深度|对话 Instinct 创始人:个人 Agent 必须自研推理管线降低成本,商业模式终局是「AI 版苹果商店」,原访谈为 Invest Like the Best 节目

13. Z Finance,深度丨齐俊元完成 2 亿美元融资,但 Personal Agent 仍然是个伪命题,其中引用摩根士丹利 Muse 研报(2026 年 9 月 30 日)、Macrostream 推演与中金研报


建议反馈

业务咨询