एक सेकंड में तीन पेज

22 सितंबर की सुबह torun.ai रेंगने लगा। स्वचालित ब्राउज़रों का एक फ़ार्म, पैंतालीस मिनट में दो हज़ार से ज़्यादा पते, हमारे सार्वजनिक पेज एक-एक करके माँग रहा था, और सबसे बुरे मिनट में यह लगभग तीन पेज प्रति सेकंड था। किसी वेबसाइट को इसे बिना परेशानी झेल लेना चाहिए। हमारी नहीं झेल पाई: सबसे व्यस्त समय में एक-चौथाई से ज़्यादा अनुरोधों में तीस सेकंड से अधिक लगे, और सैकड़ों आगंतुक पेज आने से पहले ही लौट गए।

वह लोड नहीं जो हमने सोचा था

पहले संदिग्ध क्रॉलर और प्रोसेसर थे। दोनों में से कोई सही नहीं निकला। जब हमने वही तीन पेज प्रति सेकंड साइट की एक प्रति पर दोहराए, तो वह एक मिनट से कम टिकी और फिर कुछ भी पूरा करना बंद कर दिया। प्रोसेसर का उपयोग 60 प्रतिशत से 1 पर गिरा, जबकि थ्रेड की संख्या 12 से 166 हो गई। ओवरलोड सर्वर ज़्यादा काम करता है; यह इंतज़ार कर रहा था।

हर शब्द के लिए एक आना-जाना

एक ही पेज के दौरान कैश सर्वर को देखने से पता चला कि वह किसका इंतज़ार कर रहा था। एक पेज ने उसे 585 कमांड भेजे, और उनमें से 428 एक ही पूछताछ और उसका नवीनीकरण थे, बार-बार: एक अनुवाद तालिका जो हमारी साइट के लिए ख़ाली है। पेज का हर अनूदित टेक्स्ट, और एक पेज में सैकड़ों होते हैं, उसे फिर से माँगता था, और हर माँग जवाब लौटने तक एक थ्रेड को रोके रखती थी। तीन पेज प्रति सेकंड पर थ्रेड ख़त्म हो गए, और सब कुछ उनके पीछे कतार में लग गया।

सुधार, और एक सीमा

ये पूछताछ अब एक-एक मिनट के लिए मेमोरी से जवाब पाती हैं, समय ख़त्म होने पर एक बार लाई जाती हैं और उस सर्वर पर साफ़ की जाती हैं जो अनुवाद बदलता है। वही पेज अब 585 के बजाय 31 कमांड भेजता है। हमने पेज बनाने के आगे एक सीमा भी लगाई: एक समय में तय संख्या में पेज बनते हैं, एक छोटी कतार इंतज़ार करती है, और उससे ज़्यादा सब कुछ हर पेज को धीमा करने के बजाय तुरंत "थोड़ी देर में फिर कोशिश करें" पाता है।

प्रोडक्शन में मापा गया

23 सितंबर की रिलीज़ के बाद हमने लाइव साइट को फिर से मापा। बीच का पेज 249 के बजाय 42 मिलीसेकंड में बनता है, और हर बीस में सबसे धीमा लगभग दो सेकंड के बजाय 72 मिलीसेकंड में। जो पूछताछ प्रति पेज 214 बार चलती थी, वह अब एक बार चलती है।

हमने जो सबक लिखा वह सीधा है: क्षमता का आँकड़ा एक माप है, विश्वास नहीं। हमने कभी जाँचा नहीं था कि सार्वजनिक साइट कितना झेल सकती है। अब जाँच लिया है, और कोई आँकड़ा बताने से पहले फिर जाँचेंगे।