हर दल अपने संकेत किसी और के मेघ पर नहीं भेज सकता। विनियमित उद्योग, लोक क्षेत्र के भार, और आँकड़ों के ठिकाने पर कड़े नियम रखने वाले प्रतिष्ठान चाहते हैं कि उनकी कृत्रिम बुद्धिमत्ता की पूरी परत अपने ही संजाल के भीतर रहे। ToRun ठीक इसी स्थिति के लिए स्वयं-संचालित मंच के रूप में वितरित होता है—और यह कटा-छँटा संस्करण नहीं है। यह वही उत्पाद है, आपके नियंत्रण में।
यहाँ स्वयं संचालन का अर्थ क्या है
स्वयं-संचालित ToRun वही पूरा मंच है, आपकी अपनी अधिसंरचना पर तैनात: आपके सर्वर, आपका Kubernetes गुच्छ, या किसी आँकड़ा-केंद्र में एक अकेला Docker परिचारक। अनुमान के लिए घर फ़ोन करने की कोई बाध्यता नहीं। जब आप बातचीत का संदेश, चित्र की रचना या कार्यप्रवाह का कोई चरण बाँटते हैं, तो अनुरोध उन्हीं मॉडलों को जाता है जो आपने व्यवस्थित किए हैं, और वे पूरी तरह स्थानीय हो सकते हैं।
तैनाती इस तरह सोची गई है कि छोटा दल उसे चला सके। एक ही आदेश वाला Docker प्रतिष्ठापन API, Angular का अग्रभाग, MongoDB, Redis और घटना-पथ खड़ा कर देता है। उसके बाद आप अपने मॉडल-सर्वरों और वस्तु-भंडार की ओर संकेत करते हैं, और मंच संचालित संस्करण जैसा ही बरतता है।
अपने स्थानीय बड़े भाषा-मॉडल लाइए
ToRun के क्षमता-आधारित बँटवारे को इससे फ़र्क़ नहीं पड़ता कि मॉडल किसी मेघ-प्रदाता के यहाँ रहता है या आपके अपने रैक की GPU मशीन पर। आप मॉडल को उसकी समर्थित क्षमताओं (पाठ, दृष्टि, औज़ार, संरचित निर्गम इत्यादि) के साथ सूची में दर्ज करते हैं, ग्राहक को अपने स्थानीय अनुमान-छोर की ओर मोड़ते हैं, और वह बाक़ी सब की तरह उसी बँटवारे की शृंखला में आ जाता है।
इसका अर्थ है कि आप खुले भार वाले मॉडल किसी स्थानीय सर्वर के ज़रिए चला सकते हैं—वही OpenAI के अनुरूप अनुमान-छोर जो स्वयं-संचालन करने वाले अधिकांश दल पहले से बरतते हैं—और ToRun को उनमें से क्षमता और लागत के आधार पर वैसे ही चुनने दे सकते हैं जैसे वह मेघ-प्रदाताओं में चुनता। यदि आपकी नीति अनुमति दे, तो कोई कार्यप्रवाह संवेदनशील चरणों के लिए स्थानीय मॉडल और बाक़ी के लिए मेघ का मॉडल मिला सकता है। या आप हर पुकार को घेरे के भीतर रख सकते हैं।
वही पुर्ज़े, आपकी कुंजियों के नीचे
स्वयं संचालन का अर्थ मंच की भरोसे वाली मशीनरी छोड़ देना नहीं है। अपनी अधिसंरचना पर भी आपके पास रहते हैं:
- क्षमता से बँटवारा—आपके दर्ज किए मॉडल-सर्वरों के बीच स्वतः विकल्प के साथ।
- प्रति पुकार एक शुल्क-प्रविष्टि—लागत की बही आपकी व्यवस्थित दरों पर चलती है, इसलिए गणना आपकी होते हुए भी आप ख़र्च दल, विधा और मॉडल के हिसाब से बाँट सकते हैं।
- BYOK तिजोरी—उन मेघ-प्रदाताओं के लिए जिन्हें आप फिर भी बरतना चुनें, प्रमाण विश्राम में कूटबद्ध और उनके सुलझाए जाने का अंकेक्षण-चिह्न सहित।
- हैश से जुड़ा अंकेक्षण—उन कर्मों के लिए जिनमें छेड़छाड़ न होने का प्रमाण चाहिए।
- GDPR/KVKK आँकड़ा-अधिकार के औज़ार—विषयी की पहुँच और मिटाने की क्रिया आपके ही डेटाबेस पर चलती है, इसलिए मिटाने का अनुरोध पूरी तरह आपके नियंत्रण की सीमा के भीतर पूरा होता है।
अनुज्ञप्ति और अद्यतन
स्वयं-संचालित संस्करण प्रति तैनाती अनुज्ञप्त होता है, मूल संहिता तक पहुँच के साथ, ताकि आपका सुरक्षा दल देख सके कि आपके घेरे के भीतर क्या चल रहा है। अद्यतन हस्ताक्षरित संस्करणों के रूप में आते हैं जिन्हें आप तब लागू करते हैं जब आप तय करें—कोई ऐसा बाध्य स्वतः-अद्यतन नहीं जो आपकी सहमति के बिना विनियमित परिवेश में परिवर्तन ठेल दे। जिन दलों को ज़रूरत हो, उनके लिए मूल संहिता की धरोहर का प्रबंध है, ताकि आपूर्तिकर्ता की स्थिति चाहे जो हो, तैनाती चलती रहे।
यह किसके लिए है
यदि किसी मंच को अपनाने पर आपकी आपत्ति सदा यही रही है कि «वे आँकड़े हमारे संजाल से बाहर नहीं जा सकते», तो स्वयं-संचालित ToRun ही उत्तर है। आपको कई प्रदाताओं वाला आधुनिक कार्यस्थल मिलता है—बातचीत, रचना, कार्यप्रवाह, स्मृति, ज्ञान-कोश—जो आपके मॉडलों के सामने, आपके ही उपकरण पर चलता है, उस जाँच-योग्यता के साथ जो कोई अनुपालन दल सचमुच माँगता है।
स्वयं-संचालित तैनाती पर हमसे बात कीजिए, या सन्दर्भ-रचना के लिए /docs में अपने परिसर की तैनाती वाला खंड पढ़िए।