每家 AI 供应商都有状态不好的时候。模型过载、区域抖动、端点连续九十秒返回错误。这没什么稀奇。要紧的是应用在那九十秒里做了什么。
直到这周,我们的应用大多是放弃。图像、语音和转写几个月前就能切换到同族模型。文本在任何地方都不能,所以供应商的一次故障会像结束一个工作流那样,结束一次正在进行的对话回答。
同一个问题,换个模型来问
现在每一次文本调用都走同一条路径,它知道该去哪里再问一次:聊天的主回合和背后的工具步骤、继续生成、深度研究、图像理解桥接、提示词优化、工作流内部的文本步骤,以及音乐生成。替补不是随便挑的便宜模型,而是真正具备该请求所需能力的同族模型。
有一种情况我们特意排除。一旦回答已经开始出现在你的屏幕上,就不动它。换模型重来意味着改写或推翻你已经读过的句子,那比一个诚实的报错更糟。
为真正作答的模型付费
有意思的一半是账单。把调用转走很容易,如实记录并不容易。以前每次转发都保留第一个模型的价格,于是被转走的调用按刚刚出故障的那个模型计价。现在这条链把真正运行的模型的完整快照——价格、上下文窗口、加价——直接交给调用方。所以账单记录里的那一行写的是干活的模型,按它自己的价格。
而当什么都不管用时
切换并不总是可行。当一次运行真的失败,那些什么都没产出的步骤的钱,现在会回到它被扣走的地方。那是这一周的另一半,另有一篇。