DGX OS की व्याख्या: AI के लिए NVIDIA का ऑपरेटिंग सिस्टम

डीजीएक्स ओएस क्या है?

DGX OS, AI इंफ्रास्ट्रक्चर के लिए NVIDIA का उद्देश्य-निर्मित ऑपरेटिंग सिस्टम है। उबंटू लिनक्स पर आधारित, यह पूरी तरह से अनुकूलित एआई सॉफ्टवेयर स्टैक, एंटरप्राइज़ सुरक्षा सुविधाओं और क्लस्टर प्रबंधन टूल को एक एकल, समेकित प्लेटफ़ॉर्म में एकीकृत करके मानक वितरण से कहीं आगे निकल जाता है। मूल रूप से केवल NVIDIA के अपने DGX हार्डवेयर पर उपलब्ध, DGX OS ने अपनी पहुंच का विस्तार किया है और अब चुनिंदा साझेदार प्रणालियों का समर्थन करता है, जो हर पैमाने पर AI गणना के लिए डिफ़ॉल्ट प्लेटफ़ॉर्म बनने की NVIDIA की महत्वाकांक्षा को दर्शाता है।

एआई इंजीनियरों के लिए, डीजीएक्स ओएस एक लगातार समस्या का समाधान करता है: एक ऑपरेटिंग सिस्टम स्थापित करने और प्रशिक्षण और अनुमान के लिए उत्पादन-तैयार वातावरण होने के बीच का अंतर। मानक उबंटू पर, CUDA ड्राइवर, cuDNN, कंटेनर रनटाइम, नेटवर्क फैब्रिक और स्टोरेज को कॉन्फ़िगर करने में कई दिनों का इंजीनियरिंग समय लग सकता है और सूक्ष्म संगतता समस्याएं पेश हो सकती हैं। DGX OS इस घर्षण को पूरी तरह से समाप्त कर देता है।

पूर्व-कॉन्फ़िगर किया गया AI सॉफ़्टवेयर स्टैक

DGX OS का केंद्रबिंदु इसका पूर्व-कॉन्फ़िगर और मान्य AI सॉफ़्टवेयर स्टैक है। प्रत्येक घटक का एक साथ परीक्षण किया जाता है और समर्थित हार्डवेयर पर चरम प्रदर्शन पर काम करने की गारंटी दी जाती है।

CUDA टूलकिट: DGX OS नवीनतम स्थिर CUDA रिलीज़ के साथ आता है, जो पर्यावरण चर, लाइब्रेरी पथ और कंपाइलर टूलचेन के साथ पूरी तरह से कॉन्फ़िगर किया गया है। ड्राइवर संस्करणों का कर्नेल से मिलान किया जाता है और सिस्टम में विशिष्ट GPU मॉडल के विरुद्ध परीक्षण किया जाता है। कोई मैन्युअल ड्राइवर इंस्टॉलेशन नहीं है, कोई संस्करण बेमेल डिबगिंग नहीं है, और कोई टूटा हुआ सिम्लिंक नहीं है।

सीयूडीएनएन: CUDA डीप न्यूरल नेटवर्क लाइब्रेरी पहले से इंस्टॉल है और सिस्टम में मौजूद GPU आर्किटेक्चर के लिए ट्यून की गई है। डीजीएक्स ओएस में सामान्य नेटवर्क आर्किटेक्चर के लिए सीयूडीएनएन की ऑटो-ट्यूनिंग प्रोफाइल शामिल है, जिसका अर्थ है कि आपका पहला कनवल्शन या ध्यान ऑपरेशन वार्मअप प्रयोगों के बिना लगभग इष्टतम गति पर चलता है।

टेंसरआरटी: NVIDIA का अनुमान अनुकूलन इंजन लोकप्रिय मॉडल आर्किटेक्चर के लिए पूर्व-निर्मित प्लगइन्स के साथ शामिल है। DGX OS उपलब्ध GPU मेमोरी का कुशलतापूर्वक उपयोग करने के लिए TensorRT को कॉन्फ़िगर करता है, जो चलाने के लिए तैयार कैलिब्रेशन टूल के साथ बॉक्स से INT8 और FP16 अनुमान को सक्षम बनाता है।

एनसीसीएल: NVIDIA कलेक्टिव कम्युनिकेशंस लाइब्रेरी मल्टी-GPU और मल्टी-नोड प्रशिक्षण के लिए महत्वपूर्ण है। डीजीएक्स ओएस एनसीसीएल को टोपोलॉजी-अवेयर सेटिंग्स के साथ कॉन्फ़िगर करता है जो सिस्टम के एनवीलिंक, एनवीस्विच और इनफिनीबैंड फैब्रिक से मेल खाता है। एनवीस्विच के माध्यम से जुड़े आठ एक्सपीआर0एक्स के साथ डीजीएक्स एच100 सिस्टम पर, एनसीसीएल बिना किसी मैन्युअल ट्यूनिंग के सभी-कम संचालन के लिए लगभग सैद्धांतिक-अधिकतम बैंडविड्थ प्राप्त करता है।

कंटेनर रनटाइम और एनजीसी

DGX OS, AI वर्कलोड के लिए प्राथमिक परिनियोजन तंत्र के रूप में कंटेनरों का उपयोग करता है। NVIDIA कंटेनर टूलकिट पहले से इंस्टॉल है, जो डॉकर और अन्य OCI-संगत रनटाइम को GPUs तक पारदर्शी रूप से पहुंचने में सक्षम बनाता है। जब आप एक कंटेनर चलाते हैं, तो GPU डिवाइस, ड्राइवर और लाइब्रेरी स्वचालित रूप से कंटेनर नेमस्पेस के अंदर माउंट हो जाते हैं।

सिस्टम को NVIDIA NGC के साथ मजबूती से एकीकृत किया गया है, जो हर प्रमुख AI ढांचे के लिए GPU-अनुकूलित कंटेनरों की एक सूची है। PyTorch, TensorFlow, JAX, RAPIDS और दर्जनों अन्य टूल के लिए NGC कंटेनरों का DGX OS के विरुद्ध मासिक परीक्षण किया जाता है और प्रदर्शन बेंचमार्क के साथ प्रकाशित किया जाता है। DGX OS पर NGC कंटेनर को खींचना और चलाना एक एकल कमांड है:

docker run --gpus all nvcr.io/nvidia/pytorch:24.03-py3

इस कंटेनर में होस्ट सिस्टम के लिए इष्टतम CUDA और cuDNN संस्करणों के साथ संकलित PyTorch, मिश्रित-सटीक प्रशिक्षण के लिए एपेक्स, कुशल ध्यान गणना के लिए ट्रांसफार्मर इंजन और पूर्व-कॉन्फ़िगर वितरित प्रशिक्षण उपयोगिताओं के साथ शामिल है।

क्लस्टर ऑर्केस्ट्रेशन के लिए बेस कमांड मैनेजर

एकाधिक DGX सिस्टम चलाने वाले संगठनों के लिए, DGX OS बेस कमांड मैनेजर (पूर्व में ब्राइट क्लस्टर मैनेजर) के साथ एकीकृत होता है। यह ऑर्केस्ट्रेशन परत स्लम या Kubernetes, मल्टी-नोड संसाधन आवंटन, उपयोगकर्ता और समूह प्रबंधन और पूरे क्लस्टर में स्वास्थ्य निगरानी के माध्यम से नौकरी शेड्यूलिंग प्रदान करती है।

बेस कमांड मैनेजर मल्टी-नोड प्रशिक्षण नौकरियों के समन्वय का जटिल कार्य संभालता है। जब आप एक प्रशिक्षण कार्य सबमिट करते हैं जिसके लिए चार DGX नोड्स में 32 GPU की आवश्यकता होती है, तो प्रबंधक संसाधन आवंटित करता है, नेटवर्क फैब्रिक को कॉन्फ़िगर करता है, प्रत्येक नोड पर प्रक्रियाएं लॉन्च करता है, और विफलताओं की निगरानी करता है। यदि GPU में कोई त्रुटि आती है, तो प्रबंधक प्रशिक्षण स्थिति की जांच कर सकता है और स्वस्थ हार्डवेयर पर कार्य को पुनः आरंभ कर सकता है।

Kubernetes को पसंद करने वाली टीमों के लिए, DGX OS NVIDIA GPU ऑपरेटर और नेटवर्क ऑपरेटर का समर्थन करता है, जो GPU और हाई-स्पीड इंटरकनेक्ट को Kubernetes संसाधनों के रूप में प्रदर्शित करता है। यह प्लेटफ़ॉर्म टीमों को मानक Kubernetes APIs के माध्यम से स्व-सेवा AI अवसंरचना प्रदान करने देता है जबकि DGX OS हार्डवेयर-विशिष्ट जटिलता को संभालता है।

सुरक्षा सुविधाएँ

एंटरप्राइज एआई सिस्टम संवेदनशील डेटा और महंगे कंप्यूट संसाधनों को संभालते हैं, जिससे सुरक्षा डीजीएक्स ओएस में प्रथम श्रेणी की चिंता बन जाती है।

सुरक्षित बूट: डीजीएक्स ओएस फर्मवेयर से कर्नेल के माध्यम से यूजरस्पेस तक बूट श्रृंखला की अखंडता को मान्य करता है। प्रत्येक घटक क्रिप्टोग्राफ़िक रूप से हस्ताक्षरित है, जो छेड़छाड़ किए गए कर्नेल या रूटकिट को लोड होने से रोकता है। यह साझा वातावरण में विशेष रूप से महत्वपूर्ण है जहां कई टीमें एक ही हार्डवेयर तक पहुंचती हैं।

एन्क्रिप्टेड भंडारण: फुल-डिस्क एन्क्रिप्शन आउट ऑफ द बॉक्स उपलब्ध है, जो ओएस ड्राइव और हाई-स्पीड एनवीएमई स्टोरेज दोनों पर डेटा की सुरक्षा करता है। मुख्य प्रबंधन हाशीकॉर्प वॉल्ट और हार्डवेयर सुरक्षा मॉड्यूल जैसे एंटरप्राइज़ सिस्टम के साथ एकीकृत होता है।

नेटवर्क अलगाव: डीजीएक्स ओएस सुव्यवस्थित नेटवर्क नीतियों का समर्थन करता है जो प्रशिक्षण कार्यों को एक-दूसरे से और प्रबंधन ट्रैफ़िक से अलग करती है। GPU-प्रत्यक्ष RDMA ट्रैफ़िक समर्पित InfiniBand विभाजन पर प्रवाहित होता है, जो साझा क्लस्टर पर किरायेदारों के बीच डेटा रिसाव को रोकता है।

ऑडिट लॉगिंग: सभी प्रशासनिक कार्रवाइयां, GPU आवंटन और कंटेनर लॉन्च एक छेड़छाड़-प्रतिरोधी ऑडिट ट्रेल में लॉग किए जाते हैं। ये लॉग अनुपालन निगरानी के लिए मानक एसआईईएम प्लेटफार्मों के साथ एकीकृत होते हैं।

बॉक्स से बाहर प्रदर्शन ट्यूनिंग

डीजीएक्स ओएस में सैकड़ों प्रदर्शन अनुकूलन शामिल हैं जिन्हें मैन्युअल रूप से लागू करने में एक विशेषज्ञ सिस्टम प्रशासक को कई सप्ताह लगेंगे। कर्नेल को इष्टतम CPU गवर्नर सेटिंग्स, NUMA-अवेयर मेमोरी आवंटन और ट्यून किए गए नेटवर्क स्टैक पैरामीटर के साथ कॉन्फ़िगर किया गया है। GPU दृढ़ता मोड डिफ़ॉल्ट रूप से सक्षम है, जो मानक लिनक्स पर विकास वर्कफ़्लो को प्रभावित करने वाली स्टार्टअप विलंबता को समाप्त करता है। GPU मेमोरी मैपिंग के लिए विशाल पृष्ठ पूर्व-आवंटित हैं। डेटा ट्रांसफर के दौरान CPU ओवरहेड को कम करने के लिए IRQ एफ़िनिटी सेट की गई है।

परिणाम मापने योग्य है. बेंचमार्क तुलनाएं लगातार दिखाती हैं कि डीजीएक्स ओएस मैन्युअल रूप से स्थापित ड्राइवरों के साथ समान हार्डवेयर रनिंग स्टॉक उबंटू की तुलना में पांच से पंद्रह प्रतिशत अधिक प्रशिक्षण थ्रूपुट प्रदान करता है, एक अंतर जो बहु-दिवसीय प्रशिक्षण के साथ महत्वपूर्ण समय और लागत बचत में चलता है।

डीजीएक्स ओएस बनाम मानक उबंटू की आवश्यकता किसे है?

DGX OS हर किसी के लिए नहीं है, और जब यह मूल्य जोड़ता है तो यह समझना महत्वपूर्ण है। यदि आप ज्यूपिटर नोटबुक से एकल GPU चलाने वाले एकल शोधकर्ता हैं, तो मैन्युअल रूप से स्थापित CUDA टूलकिट के साथ मानक उबंटू पूरी तरह से पर्याप्त है। DGX OS की एंटरप्राइज़ सुविधाओं का ओवरहेड लाभ के बिना जटिलता बढ़ा देगा।

जब आपके पास कई GPUs या नोड होते हैं, जब कई उपयोगकर्ता हार्डवेयर साझा करते हैं, जब आपको विकास और उत्पादन में प्रतिलिपि प्रस्तुत करने योग्य वातावरण की आवश्यकता होती है, या जब अनुपालन आवश्यकताओं के लिए सुरक्षित बूट और ऑडिट लॉगिंग जैसी सुरक्षा सुविधाओं को अनिवार्य किया जाता है, तो DGX OS आकर्षक हो जाता है। इन परिदृश्यों में, सेटअप पर बचा हुआ समय, कॉन्फ़िगरेशन बहाव में कमी, और मान्य सॉफ़्टवेयर स्टैक से मन की शांति निवेश को उचित ठहराती है।

लेनोवो थिंकस्टेशन पीजीएक्स पर डीजीएक्स ओएस

DGX पारिस्थितिकी तंत्र के एक महत्वपूर्ण विस्तार में, NVIDIA ने AI विकास के लिए डिज़ाइन किए गए वर्कस्टेशन-क्लास सिस्टम थिंकस्टेशन PGX में DGX OS लाने के लिए लेनोवो के साथ साझेदारी की। थिंकस्टेशन PGX, NVIDIA GPUs को लेनोवो के वर्कस्टेशन डिज़ाइन, थर्मल मैनेजमेंट और सपोर्ट इंफ्रास्ट्रक्चर के साथ जोड़ता है, जबकि DGX OS सॉफ्टवेयर अनुभव प्रदान करता है जो पहले केवल NVIDIA-ब्रांडेड हार्डवेयर पर उपलब्ध था।

यह साझेदारी मायने रखती है क्योंकि यह एंटरप्राइज़ एआई क्षमताओं को एक ऐसे फॉर्म फैक्टर में लाती है जो एक डेस्क के नीचे फिट बैठता है। जिन टीमों को डीजीएक्स-क्लास सॉफ़्टवेयर की आवश्यकता है, लेकिन डेटा सेंटर रैक को उचित नहीं ठहरा सकते हैं, वे अब डेटा सेंटर में डीजीएक्स सिस्टम पर चलने वाले समान मान्य स्टैक के साथ कार्यालय वातावरण में थिंकस्टेशन पीजीएक्स सिस्टम तैनात कर सकते हैं।

सेटअप और पहला कदम

DGX OS के साथ आरंभ करना आपके हार्डवेयर पर निर्भर करता है। NVIDIA DGX सिस्टम पर, OS पहले से इंस्टॉल आता है। थिंकस्टेशन पीजीएक्स जैसे समर्थित साझेदार हार्डवेयर पर, आप एनवीआईडीआईए के एंटरप्राइज़ पोर्टल के माध्यम से प्रदान की गई बूट करने योग्य यूएसबी छवि से डीजीएक्स ओएस स्थापित करते हैं।

इंस्टालेशन के बाद, पहला कदम एंटरप्राइज सपोर्ट और एनजीसी एक्सेस को सक्रिय करने के लिए सिस्टम को NVIDIA के लाइसेंसिंग सर्वर के साथ पंजीकृत करना है। इसके बाद, अंतर्निहित सत्यापन सूट चलाकर GPU स्टैक को सत्यापित करें:

nvidia-smi
dgxos-validate --full

यह ड्राइवर, लाइब्रेरी, इंटरकनेक्ट और स्टोरेज की व्यापक जांच करता है। एक बार सत्यापन पास हो जाने पर, अपना पहला एनजीसी कंटेनर खींचें और यह पुष्टि करने के लिए एक बेंचमार्क चलाएं कि सब कुछ उम्मीद के मुताबिक प्रदर्शन कर रहा है। वहां से, आप उपयोगकर्ता खातों को कॉन्फ़िगर कर सकते हैं, जॉब शेड्यूलिंग के लिए स्लम या एक्सपीआर0एक्स सेट कर सकते हैं, और अपने एआई वर्कलोड को एक प्लेटफॉर्म पर ऑनबोर्ड करना शुरू कर सकते हैं जो विशेष रूप से उन्हें चलाने के लिए बनाया गया था।