जब किसी मॉडल का मिनट खराब जाता है

हर AI प्रदाता के कुछ मिनट खराब जाते हैं। कोई मॉडल भर जाता है, कोई क्षेत्र लड़खड़ाता है, कोई एंडपॉइंट नब्बे सेकंड तक त्रुटि लौटाता है। इसमें असामान्य कुछ नहीं। मायने यह रखता है कि उन नब्बे सेकंड में ऐप क्या करता है।

इस हफ़्ते तक हमारा ऐप ज़्यादातर हार मान लेता था। तस्वीर, आवाज़ और लिप्यंतरण महीनों से सहोदर मॉडल पर चले जाते थे। टेक्स्ट कहीं भी नहीं जाता था, इसलिए प्रदाता का एक खराब मिनट एक इंटरैक्टिव जवाब को उसी तरह खत्म कर देता था जैसे एक वर्कफ़्लो को।

वही सवाल, किसी दूसरे मॉडल से

अब हर टेक्स्ट कॉल एक ही रास्ते से जाती है जो जानता है कि कहीं और कैसे पूछना है: चैट का मुख्य टर्न और उसके पीछे के टूल चरण, जारी रखें, गहन शोध, दृष्टि सेतु, प्रॉम्प्ट सुधार, वर्कफ़्लो के भीतर का टेक्स्ट चरण, और संगीत जनरेशन। विकल्प कोई भी सस्ता मॉडल नहीं होता, बल्कि वही सहोदर होता है जिसके पास अनुरोध की असली ज़रूरत वाली क्षमता है।

एक स्थिति जानबूझकर बाहर रखी गई है। जैसे ही कोई जवाब आपकी स्क्रीन पर दिखना शुरू हो जाए, हम उसे छेड़ते नहीं। दूसरे मॉडल पर दोबारा शुरू करने का मतलब होगा उन वाक्यों को फिर से लिखना या काटना जिन्हें आप पढ़ चुके हैं, और वह एक ईमानदार त्रुटि से बदतर है।

जिसने जवाब दिया, उसी का भुगतान

इसका दिलचस्प आधा हिस्सा बिल है। कॉल को दूसरी जगह भेजना आसान है; उसे ईमानदारी से दर्ज करना नहीं। हर पुनर्निर्देशन पहले मॉडल की कीमतें रखता था, इसलिए भेजी गई कॉल उसी मॉडल की दरों पर बिल होती थी जो अभी-अभी गिरा था। अब शृंखला कॉल करने वाले को उस मॉडल का पूरा स्नैपशॉट देती है जो वाकई चला: कीमतें, संदर्भ खिड़की, मार्जिन। इसलिए आपके बिलिंग इतिहास की पंक्ति उसी मॉडल का नाम लेती है जिसने काम किया, उसी की दर पर।

और जब कुछ भी काम न करे

दूसरी जगह भेजना हमेशा संभव नहीं। जब कोई रन सचमुच विफल होता है, तो जिन चरणों ने कुछ नहीं बनाया उनका पैसा अब वहीं लौटता है जहाँ से लिया गया था। यह हफ़्ते का दूसरा आधा हिस्सा था, और उसकी अपनी पोस्ट है।