Yearly Pay yearly and get 2 months free on every paid plan. See plans
登入 免費開始

當「說了」不等於「做了」

有人花了九輪,試圖憑一段描述認出一種藥。三次助理真的搜尋了。六次它說自己在搜尋,卻什麼也沒做。時有時無,而這是最糟的一種:它讀起來不像缺陷,讀起來像被騙。 我們的第一直覺是提示詞。通常都是。而這次錯了。 工具一直都在 網頁搜尋在那些呼叫裡每一次都完整送出,而同一個模型、同一段提示詞,在同一場對話中確實呼叫過它。被抽走的工具不會時靈時不靈。 變的是思考預算。讓一族模型進入 Auto,意味著把它們的推理投入壓到最低以維持可負擔——而在這些模…

有人花了九輪,試圖憑一段描述認出一種藥。三次助理真的搜尋了。六次它說自己在搜尋,卻什麼也沒做。時有時無,而這是最糟的一種:它讀起來不像缺陷,讀起來像被騙。

我們的第一直覺是提示詞。通常都是。而這次錯了。

工具一直都在

網頁搜尋在那些呼叫裡每一次都完整送出,而同一個模型、同一段提示詞,在同一場對話中確實呼叫過它。被抽走的工具不會時靈時不靈。

變的是思考預算。讓一族模型進入 Auto,意味著把它們的推理投入壓到最低以維持可負擔——而在這些模型所走的那條路徑上,這個設定無論有沒有被要求都會生效。壓到那個程度,模型根本無法發起任何工具呼叫。它只能談論發起。

同樣的形狀,又出現了兩次

一旦抓住這個模式,就會到處看見它。要五十個上漲中的幣種並附分析,表格來了六列:一個能開啟的真檔案,讀之前看起來像是完成品。模型遵循的指示描述了檔案的形狀,對規模隻字未提,於是一份有代表性的樣本就滿足了它。

還有,做完一份文件後,語音助理把整條下載位址一個字元一個字元地朗讀了九十秒。它沒有無視自己的指示:一條說「絕不要朗讀位址」,另一條說「把連結展示給使用者」。在會說話的介面上,展示就是說出來。

我們反覆重學的一條原則

一個講述自己做不到的動作的助理,比一個直接說做不到的助理更糟。這三處都在那個讓不實陳述成為可能的層面修好,而不是靠更嚴厲地要求。

分享 LinkedIn X 電子郵件
用你自己的工作試試每則回覆都會顯示它的費用。從免費方案開始。 免費開始
Get product updates, not noise New models, features, and changelog highlights - a short email when something actually ships.
訂閱即表示你同意接收 ToRun 的產品更新郵件。你可以隨時取消訂閱。 隱私權政策