ある人が、説明だけを頼りに薬を特定しようと九ターンを費やしました。三回、アシスタントは本当に検索しました。六回は検索していると言って何もしませんでした。断続的です。これがいちばん厄介で、不具合というより嘘をつかれているように読めます。
最初に疑ったのはプロンプトでした。たいていそうです。そして違いました。
ツールはずっとそこにあった
ウェブ検索はそれらの呼び出しすべてに完全な形で送られており、同じモデルが同じプロンプトで、同じ会話の中では実際に呼び出していました。取り上げられたツールは断続的に失敗できません。
変わっていたのは思考の予算でした。あるモデル系統を Auto に入れるには、費用が見合うように推論の努力を最低まで下げる必要がありました。そしてそれらのモデルが通る経路では、この設定が要求の有無にかかわらず適用されていたのです。そこまで下げられると、モデルはツール呼び出しをまったく行えません。行うと語ることしかできません。
同じ形が、あと二回
この型を一度つかむと、あちこちで見えてきます。上昇中の通貨を五十件、分析付きで頼めば、表計算は六行で届く。開ける本物のファイルで、読むまでは完成品に見えます。モデルが従っていた指示はファイルの形を説明していて、規模については何も言っていませんでした。だから代表的な見本でも条件を満たしてしまったのです。
そして文書を作ったあと、音声アシスタントはダウンロードのアドレス全体を一文字ずつ、九十秒かけて読み上げました。指示を無視していたのではありません。片方は「アドレスを決して読み上げるな」、もう片方は「リンクを見せろ」と言っていました。話す面では、見せることは言うことなのです。
何度も学び直している原則
できない行為を語るアシスタントは、できないと言うアシスタントより悪い。三つとも、誤った発言を可能にしていた層で直しました。より強く頼むことでは直していません。