Yearly Pay yearly and get 2 months free on every paid plan. See plans
登录 免费开始

当一个模型状态不好的那一分钟

每家 AI 供应商都有状态不好的时候。模型过载、区域抖动、端点连续九十秒返回错误。这没什么稀奇。要紧的是应用在那九十秒里做了什么。 直到这周,我们的应用大多是放弃。图像、语音和转写几个月前就能切换到同族模型。文本在任何地方都不能,所以供应商的一次故障会像结束一个工作流那样,结束一次正在进行的对话回答。 同一个问题,换个模型来问 现在每一次文本调用都走同一条路径,它知道该去哪里再问一次:聊天的主回合和背后的工具步骤、继续生成、深度研究、图…

每家 AI 供应商都有状态不好的时候。模型过载、区域抖动、端点连续九十秒返回错误。这没什么稀奇。要紧的是应用在那九十秒里做了什么。

直到这周,我们的应用大多是放弃。图像、语音和转写几个月前就能切换到同族模型。文本在任何地方都不能,所以供应商的一次故障会像结束一个工作流那样,结束一次正在进行的对话回答。

同一个问题,换个模型来问

现在每一次文本调用都走同一条路径,它知道该去哪里再问一次:聊天的主回合和背后的工具步骤、继续生成、深度研究、图像理解桥接、提示词优化、工作流内部的文本步骤,以及音乐生成。替补不是随便挑的便宜模型,而是真正具备该请求所需能力的同族模型。

有一种情况我们特意排除。一旦回答已经开始出现在你的屏幕上,就不动它。换模型重来意味着改写或推翻你已经读过的句子,那比一个诚实的报错更糟。

为真正作答的模型付费

有意思的一半是账单。把调用转走很容易,如实记录并不容易。以前每次转发都保留第一个模型的价格,于是被转走的调用按刚刚出故障的那个模型计价。现在这条链把真正运行的模型的完整快照——价格、上下文窗口、加价——直接交给调用方。所以账单记录里的那一行写的是干活的模型,按它自己的价格。

而当什么都不管用时

切换并不总是可行。当一次运行真的失败,那些什么都没产出的步骤的钱,现在会回到它被扣走的地方。那是这一周的另一半,另有一篇。

分享 LinkedIn X 电子邮件
用你自己的工作试试每条回复都会显示它的费用。从免费方案开始。 免费开始
Get product updates, not noise New models, features, and changelog highlights - a short email when something actually ships.
订阅即表示你同意接收 ToRun 的产品更新邮件。你可以随时退订。 隐私政策