多數人工智慧產品聲稱「記得你」。它們通常的意思是:目前的對話視窗還沒滑出範圍。你一關分頁,模型就不曉得你是誰了。技術堆疊、偏好、限制,每次都要從頭再說一遍。
ToRun 的長期記憶是完全不同的機制。本文說明它保存什麼、每一輪如何編排,以及你能拿它做什麼。
保存什麼,為什麼保存
ToRun 中的記憶是從你的對話裡抽出的一組持久事實。把它們想成結構化的筆記——不是把逐字紀錄倒出來,而是一條條各自獨立的觀察:你偏好簡潔的回覆,你的專案用 MongoDB,你寫 TypeScript,你有機器學習的底子,你要的程式碼範例得是某種寫法。
這些事實與語言無關。就算你用土耳其文寫了三次工作階段、用英文寫了十次,記憶系統也不會裂成語言孤島。顧及 Unicode 的正規化(NFKD 分解、去除變音符號、大小寫摺疊)確保用一種語言輸入的事實,在你以另一種語言詢問時會浮上來。這在實務上很要緊:一個涵蓋 29 種語言的平台,負擔不起一套只對講英文的人好用的記憶。
新事實可以在模型察覺持久資訊時自動加入,你也可以明確指出(「記住我部署在 Azure 上」)。這兩條路都不對你隱瞞。
記憶如何在呼叫當下成為脈絡
ToRun 的每一輪對話在提示送到模型之前,會編排三層脈絡:
- 系統層——產品層級的指示、助理的角色與語氣、生效的知識庫指示。
- 摘要層——到此為止對話的壓縮表述,自動管理,好讓長討論串不至於耗盡模型的脈絡視窗。
- 近期層——最近 N 輪的原文,對你剛說過的話給予較大權重。
長期記憶嵌進系統層。檢索這一步用目前訊息給出的相關性訊號,在你已存的事實上執行:問到資料庫索引,關於 MongoDB 偏好的事實就浮上來;轉到設計,它們便退下。模型只看到與這一輪相關的部分,而不是把你曾產生的每筆事實平舖倒出來。這樣脈絡視窗用得有效率,也避免了「記憶膨脹」——不相干的個人細節沖淡訊號。
脈絡額度依層級而定:免費層級共有 16K 詞元,沿訂閱方案往上,到 Enterprise 達 100 萬詞元。當編排好的脈絡(記憶+摘要+近期輪次)超出模型的視窗時,ToRun 先修剪摘要層,絕不悄悄丟掉你最新的訊息或最相關的記憶事實。
事實是你的,由你掌控
記憶屬於使用它的人。你可以列出 ToRun 關於你所存的一切,刪掉單筆或全部。不存在在你不知情時影響對話的「祕密」記憶。事實庫可以查看,也可以依要求遺忘。
這個選擇出自一條更寬的原則:ToRun 應當把真實狀態展示給你,而不是把它藏起來。透明的記憶意味著你可以信任它。如果模型依著一筆錯的事實行事——比方它曾記下你偏好長篇解釋,而你現在想要簡潔的——你叫它忘掉,下一次呼叫就看不到那筆事實了。
刪除是永久且即時的。不存在舊事實仍會冒出來的寬限期。
知識庫不是記憶
記憶保存關於 你 的事實。知識庫把回答扎根在 你的文件 上。
當你把文件、程式碼或領域內容上傳到知識庫,ToRun 用檢索增強生成(RAG)在提問當下取出相關段落。取回的文字插在對話脈絡旁邊,模型會註明它用了什麼。當你的問題要求讀原始材料——一份 API 規格、一份法律文件、你的內部手冊——而不是回想個人偏好時,這才是對的工具。
兩套系統可以併用:一輪之內既能取用你的個人記憶事實,也能取用知識庫中的檢索結果。它們餵養脈絡編排的不同層,服務不同的目的。記憶回答「你是誰、你偏好怎麼工作」;知識庫回答「這份文件說了什麼」。
兩者並用,正是讓 ToRun 對真實工作而非展示有用的地方。偏好留在記憶裡,省得你反覆交代;原始材料留在知識庫裡,好讓回答立在證據上,而不是模型的訓練資料上。