Yearly Pay yearly and get 2 months free on every paid plan. See plans
登录 免费开始

当「说了」不等于「做了」

有人花了九轮,试图凭一段描述认出一种药。三次助手真的搜索了。六次它说自己在搜索,却什么也没做。时有时无,而这是最糟的一种:它读起来不像缺陷,读起来像被骗。 我们的第一直觉是提示词。通常都是。而这次错了。 工具一直都在 网页搜索在那些调用里每一次都完整送出,而同一个模型、同一段提示词,在同一场对话中确实调用过它。被抽走的工具不会时灵时不灵。 变的是思考预算。让一族模型进入 Auto,意味着把它们的推理投入压到最低以保持可负担——而在这些模…

有人花了九轮,试图凭一段描述认出一种药。三次助手真的搜索了。六次它说自己在搜索,却什么也没做。时有时无,而这是最糟的一种:它读起来不像缺陷,读起来像被骗。

我们的第一直觉是提示词。通常都是。而这次错了。

工具一直都在

网页搜索在那些调用里每一次都完整送出,而同一个模型、同一段提示词,在同一场对话中确实调用过它。被抽走的工具不会时灵时不灵。

变的是思考预算。让一族模型进入 Auto,意味着把它们的推理投入压到最低以保持可负担——而在这些模型所走的那条路径上,这个设置无论有没有被要求都会生效。压到那个程度,模型根本无法发起任何工具调用。它只能谈论发起。

同样的形状,又出现了两次

一旦抓住这个模式,就会到处看见它。要五十个上涨中的币种并附分析,表格来了六行:一个能打开的真文件,读之前看着像是完成品。模型遵循的指令描述了文件的形状,对规模只字未提,于是一份有代表性的样本就满足了它。

还有,做完一份文档后,语音助手把整条下载地址一个字符一个字符地朗读了九十秒。它没有无视自己的指令:一条说「绝不要朗读地址」,另一条说「把链接展示给用户」。在会说话的界面上,展示就是说出来。

我们反复重学的一条规则

一个讲述自己做不到的动作的助手,比一个直接说做不到的助手更糟。这三处都在那个让虚假陈述成为可能的层面修好,而不是靠更严厉地要求。

分享 LinkedIn X 电子邮件
用你自己的工作试试每条回复都会显示它的费用。从免费方案开始。 免费开始
Get product updates, not noise New models, features, and changelog highlights - a short email when something actually ships.
订阅即表示你同意接收 ToRun 的产品更新邮件。你可以随时退订。 隐私政策