Yearly Pay yearly and get 2 months free on every paid plan. See plans
登入 免費開始

在你自己的基礎架構上執行 ToRun:地端部署與自行架設

並非每個團隊都能把提示送到別人的雲端。受監管的產業、公部門的負載,以及資料落地規則嚴格的企業,都需要自家的人工智慧堆疊留在自己的網路之內。ToRun 正是為這種情形以可自行架設的平台形式發行——而且不是刪減版。這是同一項產品,在你的掌控之下。 這裡的自行架設意味著什麼 自行架設的 ToRun 是部署在屬於你的基礎架構上的完整平台:你自己的伺服器、你自己的 Kubernetes 叢集,或資料中心裡的一台 Docker 主機。沒有為了推論而…

並非每個團隊都能把提示送到別人的雲端。受監管的產業、公部門的負載,以及資料落地規則嚴格的企業,都需要自家的人工智慧堆疊留在自己的網路之內。ToRun 正是為這種情形以可自行架設的平台形式發行——而且不是刪減版。這是同一項產品,在你的掌控之下。

這裡的自行架設意味著什麼

自行架設的 ToRun 是部署在屬於你的基礎架構上的完整平台:你自己的伺服器、你自己的 Kubernetes 叢集,或資料中心裡的一台 Docker 主機。沒有為了推論而回連的義務。當你分派一則對話訊息、一次影像生成或一個工作流程步驟時,請求會前往你所設定的模型,而它們可以完全是本地的。

部署被設計成可由一個小團隊維運。一道指令的 Docker 安裝會拉起 API、Angular 前端、MongoDB、Redis 與事件匯流排。此後你指向自己的模型後端與物件儲存,平台的表現便與託管版一致。

帶上你自己的本地大型語言模型

ToRun 的依能力分派並不在意模型住在雲端供應商那裡,還是在你自己機櫃的 GPU 機器上。你把模型連同它支援的能力(文字、視覺、工具、結構化輸出等)登錄進目錄,把用戶端指向你本地的推論端點,它便進入與其他一切相同的分派流程。

這意味著你可以透過本地伺服器執行開放權重的模型——就是多數自行架設團隊已在使用的那些相容 OpenAI 的推論端點——並讓 ToRun 依能力與成本在它們之間挑選,正如它在雲端供應商之間挑選一樣。若你的政策允許,一條工作流程可以把本地模型用於敏感步驟、把雲端模型用於其餘步驟。或者,你可以把每一次呼叫都留在邊界之內。

同樣的元件,在你的金鑰之下

自行架設並不意味著放棄平台的信任機制。在你自己的基礎架構上,你依然擁有:

  • 依能力分派——在你登錄的模型後端之間自動備援。
  • 每次呼叫一筆計費紀錄——成本帳冊依你設定的價格運作,因此即使運算是你的,你仍能依團隊、依模式、依模型歸屬支出。
  • BYOK 保險庫——為你仍選擇使用的雲端供應商而設,憑證靜態加密,其解析留有稽核軌跡。
  • 雜湊鏈式稽核——供需要防竄改佐證的操作使用。
  • GDPR/KVKK 資料權利工具——當事人的查閱與刪除都在你自己的資料庫上執行,因此一次刪除請求完全在你的控制邊界內完成。

授權與更新

自行架設版依部署授權,並提供原始碼存取,好讓你的資安團隊能審閱在你邊界內執行的東西。更新以簽章版本送達,由你決定何時套用——不存在把變更推進受監管環境的強制自動更新。對確有需要的團隊,還有原始碼託管保管的安排,好讓部署無論供應方境況如何都能繼續運轉。

這是給誰的

如果你對採用人工智慧平台的反對意見一直是「那些資料不能出我們的網路」,那麼自行架設的 ToRun 就是答案。你得到一個現代的多供應商人工智慧工作空間——對話、生成、工作流程、記憶、知識庫——面向你自己的模型、在你自己的硬體上執行,並帶著法遵團隊真正會要求的可查核性。

歡迎與我們談談自行架設的部署,或閱讀 /docs 中關於地端部署的章節以了解參考架構。

分享 LinkedIn X 電子郵件
用你自己的工作試試每則回覆都會顯示它的費用。從免費方案開始。 免費開始
Get product updates, not noise New models, features, and changelog highlights - a short email when something actually ships.
訂閱即表示你同意接收 ToRun 的產品更新郵件。你可以隨時取消訂閱。 隱私權政策