並非每個團隊都能把提示送到別人的雲端。受監管的產業、公部門的負載,以及資料落地規則嚴格的企業,都需要自家的人工智慧堆疊留在自己的網路之內。ToRun 正是為這種情形以可自行架設的平台形式發行——而且不是刪減版。這是同一項產品,在你的掌控之下。
這裡的自行架設意味著什麼
自行架設的 ToRun 是部署在屬於你的基礎架構上的完整平台:你自己的伺服器、你自己的 Kubernetes 叢集,或資料中心裡的一台 Docker 主機。沒有為了推論而回連的義務。當你分派一則對話訊息、一次影像生成或一個工作流程步驟時,請求會前往你所設定的模型,而它們可以完全是本地的。
部署被設計成可由一個小團隊維運。一道指令的 Docker 安裝會拉起 API、Angular 前端、MongoDB、Redis 與事件匯流排。此後你指向自己的模型後端與物件儲存,平台的表現便與託管版一致。
帶上你自己的本地大型語言模型
ToRun 的依能力分派並不在意模型住在雲端供應商那裡,還是在你自己機櫃的 GPU 機器上。你把模型連同它支援的能力(文字、視覺、工具、結構化輸出等)登錄進目錄,把用戶端指向你本地的推論端點,它便進入與其他一切相同的分派流程。
這意味著你可以透過本地伺服器執行開放權重的模型——就是多數自行架設團隊已在使用的那些相容 OpenAI 的推論端點——並讓 ToRun 依能力與成本在它們之間挑選,正如它在雲端供應商之間挑選一樣。若你的政策允許,一條工作流程可以把本地模型用於敏感步驟、把雲端模型用於其餘步驟。或者,你可以把每一次呼叫都留在邊界之內。
同樣的元件,在你的金鑰之下
自行架設並不意味著放棄平台的信任機制。在你自己的基礎架構上,你依然擁有:
- 依能力分派——在你登錄的模型後端之間自動備援。
- 每次呼叫一筆計費紀錄——成本帳冊依你設定的價格運作,因此即使運算是你的,你仍能依團隊、依模式、依模型歸屬支出。
- BYOK 保險庫——為你仍選擇使用的雲端供應商而設,憑證靜態加密,其解析留有稽核軌跡。
- 雜湊鏈式稽核——供需要防竄改佐證的操作使用。
- GDPR/KVKK 資料權利工具——當事人的查閱與刪除都在你自己的資料庫上執行,因此一次刪除請求完全在你的控制邊界內完成。
授權與更新
自行架設版依部署授權,並提供原始碼存取,好讓你的資安團隊能審閱在你邊界內執行的東西。更新以簽章版本送達,由你決定何時套用——不存在把變更推進受監管環境的強制自動更新。對確有需要的團隊,還有原始碼託管保管的安排,好讓部署無論供應方境況如何都能繼續運轉。
這是給誰的
如果你對採用人工智慧平台的反對意見一直是「那些資料不能出我們的網路」,那麼自行架設的 ToRun 就是答案。你得到一個現代的多供應商人工智慧工作空間——對話、生成、工作流程、記憶、知識庫——面向你自己的模型、在你自己的硬體上執行,並帶著法遵團隊真正會要求的可查核性。
歡迎與我們談談自行架設的部署,或閱讀 /docs 中關於地端部署的章節以了解參考架構。