모든 팀이 자신의 요청을 남의 구름에 보낼 수 있는 것은 아닙니다. 규제 산업, 공공 부문의 부하, 자료 소재지에 엄격한 규칙을 지닌 기업은 인공지능 구성이 자기 망 안에 남기를 필요로 합니다. ToRun은 바로 이 경우를 위해 자체 운영할 수 있는 플랫폼으로 배포됩니다——그리고 깎아 낸 판이 아닙니다. 같은 제품이 당신의 통제 아래 있습니다.
여기서 자체 운영이 뜻하는 것
자체 운영 ToRun은 당신의 것인 기반에 올린 완전한 플랫폼입니다. 당신의 서버, 당신의 Kubernetes 무리, 또는 자료 센터의 Docker 호스트 하나. 추론을 위해 밖으로 연락할 의무는 없습니다. 대화 메시지, 이미지 생성, 작업 흐름 단계를 배분할 때 요청은 당신이 설정한 모델로 가며, 그것들은 온전히 지역 모델일 수 있습니다.
설치는 작은 팀이 다룰 수 있도록 짜였습니다. 한 줄 명령의 Docker 설치가 API, Angular 앞단, MongoDB, Redis, 사건 통로를 세웁니다. 거기서 모델 뒷단과 개체 저장소를 가리키면, 플랫폼은 운영형 판과 똑같이 움직입니다.
자신의 지역 대형 언어 모델을 가져오기
ToRun의 역량에 따른 배분은 모델이 구름 공급자에 있든 자기 선반의 GPU 기계에 있든 개의치 않습니다. 지원하는 역량(문장, 시각, 도구, 구조화된 출력 등)과 함께 모델을 목록에 올리고, 의뢰 쪽을 지역 추론 종단으로 가리키면, 다른 모든 것과 같은 배분 통로에 들어옵니다.
즉, 열린 가중치의 모델을 지역 서버를 통해 돌리고——자체 운영 팀 대부분이 이미 쓰는 OpenAI 호환 추론 종단입니다——구름 공급자 사이에서 고르듯 역량과 비용으로 ToRun이 고르게 할 수 있습니다. 방침이 허락한다면 작업 흐름은 민감한 단계엔 지역 모델을, 그렇지 않은 단계엔 구름 모델을 섞을 수 있습니다. 아니면 모든 호출을 경계 안에 둘 수 있습니다.
같은 부품을, 당신의 열쇠 아래
자체 운영은 플랫폼의 신뢰 장치를 내놓는 것이 아닙니다. 자신의 기반 위에서도 여전히 다음을 얻습니다.
- 역량에 따른 배분——당신이 올린 모델 뒷단 사이의 자동 대체와 함께.
- 호출마다 한 건의 청구 기록——비용 장부는 당신이 설정한 단가로 일하므로, 계산이 당신 것이어도 지출을 팀별·모드별·모델별로 나눌 수 있습니다.
- BYOK 금고——그래도 쓰기로 한 구름 공급자를 위해, 인증 정보는 쉴 때 암호화되고 그 해석에 감사 기록이 남습니다.
- 해시로 이은 감사——손대지 않았다는 증거가 필요한 조치를 위해.
- GDPR/KVKK 자료 권리 도구——본인의 열람과 삭제가 당신의 데이터베이스를 상대로 돌므로, 삭제 요청은 당신의 통제 경계 안에서 온전히 이루어집니다.
사용권과 갱신
자체 운영판은 설치 단위로 원본 코드 열람과 함께 사용권이 주어집니다. 보안 팀이 경계 안에서 도는 것을 살필 수 있게 하기 위함입니다. 갱신은 서명된 판으로 오며 당신이 정한 때에 적용합니다——동의 없이 규제 환경에 변경을 밀어 넣는 강제 자동 갱신은 없습니다. 필요로 하는 팀에는 원본 코드 예치 약정이 있어, 공급사의 형편과 무관하게 설치가 운용 가능하게 남습니다.
누구를 위한 것인가
인공지능 플랫폼 도입에 대한 당신의 반론이 늘 「그 자료를 우리 망 밖으로 내보낼 수 없다」였다면, 자체 운영 ToRun이 답입니다. 현대적이고 여러 공급자를 아우르는 인공지능 작업 공간——대화, 생성, 작업 흐름, 기억, 지식 기반——이 당신의 모델을 상대로, 당신의 장비 위에서, 규정 준수 팀이 실제로 요구하는 검증 가능성과 함께 돕니다.
자체 설치에 관해 저희와 이야기하시거나, 참조 구조는 /docs의 자체 설치 절을 읽어 보십시오.