有人花了九輪,試圖憑一段描述認出一種藥。三次助理真的搜尋了。六次它說自己在搜尋,卻什麼也沒做。時有時無,而這是最糟的一種:它讀起來不像缺陷,讀起來像被騙。
我們的第一直覺是提示詞。通常都是。而這次錯了。
工具一直都在
網頁搜尋在那些呼叫裡每一次都完整送出,而同一個模型、同一段提示詞,在同一場對話中確實呼叫過它。被抽走的工具不會時靈時不靈。
變的是思考預算。讓一族模型進入 Auto,意味著把它們的推理投入壓到最低以維持可負擔——而在這些模型所走的那條路徑上,這個設定無論有沒有被要求都會生效。壓到那個程度,模型根本無法發起任何工具呼叫。它只能談論發起。
同樣的形狀,又出現了兩次
一旦抓住這個模式,就會到處看見它。要五十個上漲中的幣種並附分析,表格來了六列:一個能開啟的真檔案,讀之前看起來像是完成品。模型遵循的指示描述了檔案的形狀,對規模隻字未提,於是一份有代表性的樣本就滿足了它。
還有,做完一份文件後,語音助理把整條下載位址一個字元一個字元地朗讀了九十秒。它沒有無視自己的指示:一條說「絕不要朗讀位址」,另一條說「把連結展示給使用者」。在會說話的介面上,展示就是說出來。
我們反覆重學的一條原則
一個講述自己做不到的動作的助理,比一個直接說做不到的助理更糟。這三處都在那個讓不實陳述成為可能的層面修好,而不是靠更嚴厲地要求。