单模型的陷阱
每一家大型人工智能供应商都希望你相信,它的旗舰模型是任何问题的正确答案。这个信念对它在商业上很便利,对你在技术上却是错的。
在长上下文法律推理上出色的模型,并不适合写一句十个字的图片说明。具备最前沿视觉的模型,用在把结构化 JSON 重排格式的批处理上是杀鸡用牛刀,而且多半太贵。为吞吐量调好价格的模型,在你需要两秒内得到回答时,可能是能想到的最差选择。
当你在一个模型之上构建时,你选的不是最好的工具。你选的是人为约束之内最好的工具。日子久了,这道约束会累积:简单任务上多付钱,复杂任务上够不着,而当那家供应商出故障或涨价时,你整个产品都停摆。
是能力,不是名字
有用的抽象不是「哪个模型」,而是「这次请求需要哪些能力」。这个问题有精确的答案。
附了截图的对话消息需要视觉。调用外部 API 的工作流步骤需要工具。要核验自身输出的代码助手需要代码执行。不必求快的夜间摘要管线可以用批处理价格;产品内有人等着的助手则不能。
当你先把能力要求列清楚,模型选择就成了一件筛选与排序的事。给定一组要求——比如文本、视觉与结构化输出——你找出同时支持这三项的所有模型,再按当前请求语境的质量与价格为它们排序。这个排序会因人而异、因事而异,取决于那个人在做什么、资金状况如何。
这正是 ToRun 的分流管线所做的事。模式(对话、代码、图像、研究等)映射到一组能力。这组能力筛过模型目录。价格与质量的排序挑出胜者。结果是:你可以用 DeepSeek 做大批量的结构化抽取,用 Claude 或 GPT-4 级模型做细致的推理,用 Google Gemini 做长上下文的文档工作,用专门的图像模型做生成——全在同一个产品面上,而不必自己写分派逻辑。
回退不是锦上添花
供应商故障并非罕见的边角情形。它们在整个行业里每月发生数次。若你的产品依赖单一供应商,而其 API 劣化,你的产品便随之劣化。
回退链是运维的下限:当主模型对某次请求返回瞬时错误时,平台在下一个最合适的模型上重试。这以分流层已经知道哪些模型合适为前提——而这恰是按能力分流所提供的。
回退还有一个不那么明显的好处:让你的计费表现保持可预测。若首选模型暂时超出使用上限,绕到下一个合适的模型能把成本留在区间内,而不必向人展示错误。
实务上的结论
衡量人工智能平台时,请问两个问题:它如何为每次请求挑选模型;以及当那个模型不可用或变得太贵时会发生什么。
若任一问题的答案是「它总是用模型 X」,那就是架构上的异味。今天可用的模型不会是半年后最好的模型。新的供应商会出现,价格会变动,能力的边界会挪移。把模型选择当作分流问题而非配置决定的架构,老得更好,长期花费更少,在压力下也劣化得更从容。
一个模型是起点。分流层才是真正的地基。