每家 AI 供應商都有狀況不好的時候。模型過載、區域抖動、端點連續九十秒回傳錯誤。這沒什麼稀奇。要緊的是應用程式在那九十秒裡做了什麼。
直到這週,我們的應用程式多半是放棄。影像、語音與轉寫幾個月前就能切換到同族模型。文字在任何地方都不能,所以供應商的一次故障會像結束一個工作流程那樣,結束一次正在進行的對話回答。
同一個問題,換個模型來問
現在每一次文字呼叫都走同一條路徑,它知道該去哪裡再問一次:聊天的主回合與背後的工具步驟、繼續產生、深度研究、影像理解橋接、提示詞優化、工作流程內部的文字步驟,以及音樂產生。替補不是隨手挑的便宜模型,而是真正具備該請求所需能力的同族模型。
有一種情況我們刻意排除。一旦回答已經開始出現在你的畫面上,就不動它。換模型重來意味著改寫或推翻你已經讀過的句子,那比一個誠實的錯誤更糟。
為真正作答的模型付費
有意思的一半是帳單。把呼叫轉走很容易,如實記錄並不容易。以前每次轉送都保留第一個模型的價格,於是被轉走的呼叫按剛剛出狀況的那個模型計價。現在這條鏈把真正執行的模型的完整快照,價格、脈絡視窗、加價,直接交給呼叫方。所以帳單記錄裡的那一行寫的是做事的模型,按它自己的價格。
而當什麼都不管用時
切換並不總是可行。當一次執行真的失敗,那些什麼都沒產出的步驟的錢,現在會回到它被扣走的地方。那是這一週的另一半,另有一篇。