Không phải đội nào cũng gửi được lời nhắc của mình lên đám mây của người khác. Các ngành chịu quản lý, các tải công của khu vực công, và những doanh nghiệp có quy tắc nghiêm về nơi lưu dữ liệu đều cần ngăn xếp trí tuệ nhân tạo của mình nằm lại trong mạng nội bộ. ToRun được phát hành như một nền tảng tự vận hành đúng cho trường hợp này — và không phải bản cắt gọt. Vẫn là sản phẩm ấy, dưới quyền kiểm soát của bạn.
Tự vận hành ở đây nghĩa là gì
ToRun tự vận hành là toàn bộ nền tảng được triển khai trên hạ tầng thuộc về bạn: máy chủ của bạn, cụm Kubernetes của bạn, hay một máy chủ Docker duy nhất trong một trung tâm dữ liệu. Không có nghĩa vụ gọi về nhà để suy diễn. Khi bạn phân luồng một tin nhắn trò chuyện, một lượt tạo ảnh hay một bước luồng công việc, yêu cầu đi tới những mô hình bạn đã cấu hình, và chúng có thể hoàn toàn cục bộ.
Việc triển khai được nghĩ sao cho một đội nhỏ vận hành được. Một lần cài Docker bằng một lệnh dựng lên API, giao diện Angular, MongoDB, Redis và tuyến sự kiện. Từ đó bạn trỏ tới các máy phục vụ mô hình và kho đối tượng của mình, rồi nền tảng cư xử y như bản có người vận hành.
Mang theo mô hình ngôn ngữ lớn cục bộ của chính bạn
Việc phân luồng theo năng lực của ToRun không bận tâm mô hình sống ở nhà cung cấp đám mây hay trên một máy có GPU trong tủ rack của chính bạn. Bạn ghi mô hình vào danh mục cùng những năng lực nó hỗ trợ (văn bản, thị giác, công cụ, đầu ra có cấu trúc và vân vân), trỏ máy khách tới điểm cuối suy diễn cục bộ của mình, thế là nó bước vào đúng đường phân luồng như mọi thứ khác.
Điều đó nghĩa là bạn có thể chạy các mô hình trọng số mở qua một máy chủ cục bộ — đúng những điểm cuối suy diễn tương thích OpenAI mà phần lớn đội tự vận hành đã dùng — và để ToRun chọn giữa chúng theo năng lực và chi phí y như nó chọn giữa các nhà cung cấp đám mây. Nếu chính sách của bạn cho phép, một luồng có thể pha mô hình cục bộ cho các bước nhạy cảm với mô hình đám mây cho những bước còn lại. Hoặc bạn có thể giữ mọi lượt gọi bên trong vành đai.
Cùng những mảnh ấy, dưới khóa của bạn
Tự vận hành không có nghĩa là buông bỏ bộ máy tạo tin cậy của nền tảng. Trên hạ tầng của chính bạn, bạn vẫn có:
- Phân luồng theo năng lực với dự phòng tự động giữa các máy phục vụ mô hình bạn ghi vào.
- Một bản ghi tính phí cho mỗi lượt gọi — sổ chi phí làm việc trên những mức giá bạn cấu hình, nên bạn vẫn quy được khoản chi theo đội, theo chế độ và theo mô hình, dù việc tính toán là của bạn.
- Két BYOK cho những nhà cung cấp đám mây bạn vẫn chọn dùng, với thông tin xác thực được mã hóa khi nằm yên và một vết kiểm toán cho việc giải chúng.
- Kiểm toán nối chuỗi bằng băm cho những thao tác cần bằng chứng không bị sửa đổi.
- Công cụ quyền dữ liệu theo GDPR/KVKK — quyền truy cập và xóa của chủ thể dữ liệu chạy trên cơ sở dữ liệu của chính bạn, nên một yêu cầu xóa được đáp ứng trọn vẹn bên trong ranh giới kiểm soát của bạn.
Cấp phép và cập nhật
Bản tự vận hành được cấp phép theo từng lần triển khai kèm quyền xem mã nguồn, để đội an ninh của bạn soi được thứ đang chạy bên trong vành đai. Cập nhật đến dưới dạng các bản đã ký mà bạn áp dụng khi bạn quyết — không có tự cập nhật cưỡng bức đẩy thay đổi vào một môi trường chịu quản lý mà không có sự đồng ý của bạn. Với những đội cần, có thỏa thuận ký gửi mã nguồn để bản triển khai vẫn vận hành được bất kể tình cảnh của bên cung cấp.
Điều này dành cho ai
Nếu điều bạn phản đối khi cân nhắc một nền tảng trí tuệ nhân tạo xưa nay vẫn là «chúng tôi không thể để dữ liệu ấy ra khỏi mạng của mình», thì ToRun tự vận hành chính là câu trả lời. Bạn có một không gian làm việc trí tuệ nhân tạo hiện đại, trải trên nhiều nhà cung cấp — trò chuyện, sinh tạo, luồng công việc, trí nhớ, kho tri thức — chạy đối diện các mô hình của bạn, trên thiết bị của bạn, với mức kiểm chứng được mà một đội tuân thủ thật sự đòi hỏi.
Hãy trò chuyện với chúng tôi về một bản triển khai tự vận hành, hoặc đọc phần về cài đặt tại chỗ dưới /docs để xem kiến trúc tham chiếu.