AWS vs Paperspace vs FloydHub: अपना क्लाउड GPU पार्टनर चुनना

आज लगभग हर उद्योग पर अपनी गहरी सीख के साथ, मांग के साथ-साथ "डेटा साइंटिस्ट", "एमएल / डीएल इंजीनियर", "एआई साइंटिस्ट" आदि भूमिकाओं के लिए रुचि में अभूतपूर्व वृद्धि हुई है। अधिक से अधिक छात्रों, नए स्नातकों और उद्योग के पेशेवरों को इन उभरती प्रौद्योगिकियों के बीच रहने की आवश्यकता का एहसास हो रहा है और इन क्षेत्रों में पाठ्यक्रम, प्रमाणपत्र और नौकरियां ले रहे हैं। एक बार जब आप डोमेन में कूदने का निर्णय लेते हैं, तो सबसे पहले आपको अपने हाथों को प्राप्त करने की आवश्यकता होती है जो उच्च कंप्यूटिंग शक्ति है। वह जगह है जहाँ GPU आते हैं।

हालांकि, अपने स्वयं के गहन शिक्षण रिग का निर्माण करना एक अच्छा मामला है। एक तेज और शक्तिशाली GPU, CPU, SSD, संगत मदरबोर्ड और बिजली की आपूर्ति, एयर कंडीशनिंग बिल, रखरखाव और घटकों को नुकसान की लागत में कारक। इसके शीर्ष पर, आप इस तेजी से बढ़ते उद्योग में नवीनतम हार्डवेयर पर पीछे गिरने का जोखिम चलाते हैं।

इसके अलावा, बस घटकों को इकट्ठा करना पर्याप्त नहीं है। अपने पहले मॉडल का प्रशिक्षण शुरू करने से पहले आपको सभी आवश्यक पुस्तकालयों और संगत ड्राइवरों को सेटअप करना होगा। लोग अभी भी इस मार्ग पर चलते हैं, और यदि आप गहन सीखने का बड़े पैमाने पर उपयोग करने की योजना बनाते हैं (> 150 hrs / mo), तो अपने स्वयं के गहन शिक्षण कार्य केंद्र का निर्माण सही कदम हो सकता है।

एक बेहतर और सस्ता विकल्प अमेज़ॅन, Google, माइक्रोसॉफ्ट और अन्य की पसंद द्वारा प्रदान किए गए क्लाउड-आधारित जीपीयू सर्वर का उपयोग करना है, खासकर यदि आप इस डोमेन में तोड़ रहे हैं और सीखने और प्रयोग करने के लिए कंप्यूटिंग शक्ति का उपयोग करने की योजना बना रहे हैं। मैं पिछले 4-5 महीनों से AWS, पेपर्सस्पेस और फ्लॉयडहब का उपयोग कर रहा हूं। Google क्लाउड प्लेटफ़ॉर्म और Microsoft Azure उनके मूल्य निर्धारण और प्रसाद में AWS के समान थे, इसलिए, मैं पहले उल्लेखित तीनों से चिपक गया।

AWS: सबसे लोकप्रिय क्लाउड सेवा प्रदाता। पोली, रेकग्निशन, लेक्स और AWS मशीन लर्निंग (कुछ क्षेत्रों में उपलब्ध) जैसे अतिरिक्त AI इंटीग्रेशन के साथ सुरक्षित और स्केलेबल GPU इंस्टेंस प्रदान करता है।

पेपरस्पेस: क्लाउड वीएम गेमिंग, डिजाइनिंग और प्रोग्रामिंग (एमएल / डीएल) जरूरतों के लिए जीपीयू सपोर्ट के साथ। पूर्व-स्थापित पैकेज और प्रतिस्पर्धी कीमतों पर कुछ DL फ्रेमवर्क के साथ नवीनतम NVIDIA GPU प्रदान करता है।

फ्लोयडहब: "डीएल के लिए हरोकू" के रूप में विपणन किया गया, फ्लोयड ने सार्वजनिक परियोजनाओं और डेटासेट की शुरुआत करके ओपन-सोर्स सहयोग को बढ़ावा दिया। Caffe, PyTorch, Chainer, MxNet, TF, Keras और अन्य का उपयोग करके प्रशिक्षण मॉडल के लिए अपना सीएलआई है।

AWS पर इलास्टिक आईपी और 30GB EBS वॉल्यूम (फ्री टियर का हिस्सा) के साथ P2.xlarge इंस्टेंस चुनें, उबंटू एमएल-इन-द-बॉक्स जीपीयू + वीएम 50 जीबी एसएसडी के साथ पेपर्सस्पेस और बेस डेटा साइंटिस्ट प्लान विथ फ़्लॉयडहब पर।

प्रत्येक अद्वितीय लाभ की पेशकश के साथ तीनों के बीच तुलना व्यापक हो सकती है। हालाँकि, मैं इसे छह प्रमुख पहलुओं तक सीमित रखूँगा जो इस डोमेन के शुरुआती लोगों या किसी ऐसे व्यक्ति के लिए सबसे अधिक प्रासंगिक होंगे, जो इन प्लेटफ़ॉर्म को छोटे स्तर की हॉबी परियोजनाओं के लिए इस्तेमाल करने की योजना बना रहे हैं।

[अद्यतन | मई 2018]: यह पोस्ट अब 6 महीने से अधिक पुरानी है। हार्डवेयर / सॉफ्टवेयर अपग्रेड के साथ बदलती प्रौद्योगिकी के इस युग में, विभिन्न तकनीकी प्लेटफार्मों के बीच कोई भी तुलना जल्दी पुरानी हो जाती है। इस प्रकार, मैंने इस पोस्ट के संबंधित स्थानों में UPDATE अनुभागों के स्निपेट जोड़े हैं और एक को अंत में सभी को संक्षेप में प्रस्तुत करने के लिए। हालांकि, अपडेट, किसी भी तरह से, संपूर्ण नहीं माना जाना चाहिए।

सेटअप में आसानी:

वेब पर व्यापक सेटअप ट्यूटोरियल होने के बावजूद, AWS पर पूरी तरह से कॉन्फ़िगर किया गया इंस्टॉलेशन सेट करना मुश्किल है। उपयुक्त शेल स्क्रिप्ट को ईबीएस वॉल्यूम को कॉन्फ़िगर करने, समर्पित आईपी सेट करने और आवश्यक पैकेज, सॉफ़्टवेयर टूल और डीएल लाइब्रेरी स्थापित करने के लिए चलाने की आवश्यकता है। बेशक, आप स्वतंत्र रूप से उपलब्ध डीप लर्निंग एएमआई में से कुछ का उपयोग कर सकते हैं। बहरहाल, उन्हें अभी भी थोड़े प्रयास की आवश्यकता है।

दूसरी ओर, Paperspace और FloydHub अपने उपयोगकर्ताओं को मिनटों के भीतर इंस्टेंस को सेट करने की अनुमति देने में गर्व करते हैं। फ्लोयडहब के साथ, आपको एक अलग सीएलआई स्थापित करना होगा। हालाँकि, प्रदान किए गए निर्देश बहुत स्पष्ट हैं और एक बार जब आप लॉगिन करते हैं, तो आप अपने आप को अलग-अलग डीएल वातावरण के मेजबान के रूप में स्वागत करते हुए पाते हैं। अतिरिक्त पैकेज स्थापित करना बहुत मुश्किल नहीं है। पेपर्सस्पेस पर भी, आप कुछ उदाहरणों के भीतर अपना उदाहरण चला सकते हैं, हालांकि कुछ अतिरिक्त पैकेजों और रूपरेखाओं को पूर्ण अनुभव के लिए मैन्युअल इंस्टॉलेशन की आवश्यकता हो सकती है।

प्रयोगकर्ता का अनुभव :

क्लाउड GPU सेवाओं का उपयोग करते समय डेटासेट को अपलोड / डाउनलोड करना सबसे बड़ा दर्द बिंदु है। AWS के साथ, FileZilla Client का उपयोग फ़ाइलों को स्थानांतरित करने के लिए किया जा सकता है। टर्मिनल से कर्ल और विग जैसी आज्ञाओं का उपयोग करना हमेशा काम नहीं करता है और अन्य ओपन-सोर्स हैक पर भरोसा करना पड़ता है। AWS, हालांकि, कागल-क्ली के माध्यम से कागल प्रतियोगिताओं के लिए आसान डेटा डाउनलोड / अपलोड करने की अनुमति देता है। पेपर्सस्पेस 1Gbps फाइबर इंटरनेट और एक वेब ब्राउज़र प्रदान करता है। वर्तमान में, यह आपके स्थानीय मशीन से सीधे वीएम में फ़ाइलों को स्थानांतरित करने के लिए विंडोज मशीनों (लिनक्स के लिए जल्द ही आने वाला) के लिए एक ड्रैग-एंड-ड्रॉप सुविधा प्रदान करता है। FloydHub का उपयोग करते समय, किसी को डेटासेट को स्थानीय रूप से डाउनलोड करना होगा और फिर इसे अपने खाते में अपलोड करना होगा। कोड और डेटा को आपके स्थानीय सिस्टम पर अलग से रखा जाना चाहिए, क्योंकि हर बार जब स्क्रिप्ट चलती है, तो पूरी फ़ोल्डर सामग्री अपलोड की जाती है।

पेपरस्पेस और फ्लोयडहब खुले स्रोत समुदाय समर्थन, ट्यूटोरियल की उपलब्धता और वीडियो प्रयोगों के मामले में एडब्ल्यूएस के पीछे ब्लॉक में नए प्रवेशकों के रूप में आते हैं। हालांकि, उनके आधिकारिक दस्तावेज और उदाहरण काफी व्यापक हैं।

ध्यान देने योग्य बातें: फ्लॉयड सीएलआई को इस्तेमाल करने में थोड़ा समय लगता है। प्रक्रियाओं के बहुत सारे मानक टर्मिनल या डेस्कटॉप-आधारित उपयोग से भिन्न होते हैं। इसलिए, फ्लोइडहब प्रलेखन और एफएक्यू के माध्यम से धार्मिक रूप से जाना एक अच्छा विचार है। यदि आप अमेरिका (पूर्वी यूरोप / एशिया) से बहुत दूर एक पेपरस्पेस उपयोगकर्ता हैं, तो डेस्कटॉप वातावरण का उपयोग करते समय कुछ विलंबता की उम्मीद करें।

हार्डवेयर / सॉफ्टवेयर की पेशकश:

AWS और फ्लोयडहब टेस्ला K80 GPU (12GB vRAM) और 61GB RAM का उपयोग करते हैं, जबकि पेपर्सस्पेस में Quadro M4000 (8GB vRAM), पास्कल श्रृंखला के एक जोड़े (1624GB vRAM) और यहां तक ​​कि नवीनतम Volta श्रृंखला, Tesla V100 (16GB vRAM) के विकल्प हैं। ), प्रत्येक 30GB रैम के साथ। मोटा अनुमान लगाने के लिए, पास्कल सीरीज़ जीपीयू K80 की तुलना में 3x तेज है, जबकि V100, 680 की तुलना में 6x तेज है। AWS और पेपर्सस्पेस भी SSD और समर्पित GPU उदाहरणों का उपयोग करते हैं, जबकि FloydHub पूर्व-खाली और समर्पित GPU के बीच एक विकल्प प्रदान करता है।

इन सेवाओं पर स्क्रिप्ट चलाने का सामान्य तरीका जुपिटर नोटबुक के माध्यम से या सीधे टर्मिनल पर उन्हें निष्पादित करना है। Paperspace, एक डेस्कटॉप वातावरण प्रदान करने के आधार पर भी स्पाइडर और अन्य उपयोगिता सॉफ्टवेयर जैसे IDEs की अनुमति देता है। लिनक्स डेस्कटॉप की उपस्थिति अत्यधिक सुविधाजनक है।

[अद्यतन | मई 2018]: इन तीनों (AWS / Paperspace / FloydHub) ने अब खुद को NVIDIA Volta GPUs में अपग्रेड कर लिया है, इस तरह अब यह सुपरफास्ट ट्रेनिंग और इंट्रेंस संभव है। सॉफ्टवेयर और फ्रेमवर्क के संदर्भ में, AWS ने अपने डीप लर्निंग एएमआई को अपडेट किया है, जिसमें चेज़र, टेन्सरफ्लो, कैरस, पियरटेक जैसे पूर्व-स्थापित फ्रेमवर्क शामिल हैं। फ्लॉयडहब में पहले से ही इन सभी रूपरेखाओं के नवीनतम संस्करण हैं।

प्रदर्शन :

एक बेंचमार्किंग अभ्यास के रूप में, मैंने एक ही वातावरण के तहत सभी तीन प्लेटफार्मों पर (कुरेस + थीनो ऑन जुपिटर) में कई मॉडलों के प्रशिक्षण की तुलना की।
AWS - P2.xlarge (टेस्ला K80, 12GB vRAM, 61GB RAM)
पेपर्सस्पेस - जीपीयू + वीएम (क्वाड्रो एम ४०००, R जीबी वीआरएएम, ३० जीबी रैम)
फ्लॉयडहब - टेस्ला K80, 12GB vRAM, 61GB (बेस प्लान के बराबर)

दो मॉडलों को प्रशिक्षित किया गया था - फैशन एमएनआईएसटी डेटासेट पर ड्रॉपआउट के साथ एक गहरा सीएनएन मॉडल और एक किराने उत्पाद छवि वर्गीकरण कार्य पर एक पूर्व-प्रशिक्षित वीजीजी 16 नेटवर्क। उनके प्रदर्शन को नीचे दर्शाया गया है।

विभिन्न प्लेटफार्मों पर मॉडल का प्रदर्शन (छोटा बेहतर है)

AWS P2.xlarge और Paperspace GPU + में AWS के साथ लगभग समान प्रदर्शन है जो केवल आगे बढ़ते हैं। यदि हम पेपरस्पेस पर पास्कल संस्करणों का उपयोग करते हैं, जो अभी भी एडब्ल्यूएस से सस्ता है, तो मॉडल का प्रदर्शन एडब्ल्यूएस की तुलना में 3x तेज है। एक ही हार्डवेयर का उपयोग करने के बावजूद, FloydHub, AWS के ~ 0.75x पर है, जो शायद सबसे धीमी डिस्क रीडिंग स्पीड के कारण है।

[अद्यतन | मई 2018]: यह शायद सबसे दिलचस्प अपडेट है। जैसा कि ऊपर उल्लेख किया गया है, उसी प्रयोगों / लिपियों को चलाने पर, हाल ही में, मैंने फ्लोयडहब पर प्रशिक्षण के समय में भारी सुधार पाया। नवीनतम संख्या दर्शाती है कि वे AWS या पेपर्सस्पेस GPU + या इससे भी बेहतर के बराबर हैं। फ्लोयडहब ने I / O मुद्दों को तय किया है और नवीनतम TensorFlow, Keras और PyTorch संस्करणों में अपग्रेड किया है, ऐसा लगता है कि इस मंच के लिए चमत्कार किया है। फैशन एमएनआईएसटी स्क्रिप्ट अब प्रशिक्षण के दौरान 8s / युग लेती है, जबकि पूर्व-प्रशिक्षित VGG16 स्क्रिप्ट अब बहुत कम (~ 100s / epoch) लेता है। जबकि मैंने जांच की है कि अगर पेपर्सस्पेस ने भी कुछ सुधार किए हैं, तो AWS निश्चित रूप से नहीं है। तो, अब के लिए, फ्लोयडहब तीनों में सबसे तेजी से उभरता है।

अतिरिक्त सुविधाये :

पेपर्सस्पेस और फ्लॉयडहब दोनों ही टीमों के लिए कस्टम प्लान पेश करते हैं। हालाँकि, फ्लोयड से जुड़ी विशेषताएं जैसे केंद्र साझा करना डेटासेट / प्रोजेक्ट्स, विभिन्न नौकरी का संस्करण आसान प्रतिलिपि प्रस्तुत करने के लिए और तेजी से समर्थन के लिए चलता है। और उनेसिटी एमओओसी सहयोग और एक अनुकूल ओपन-सोर्स वातावरण की सहायता करता है। फ्लोयड भी समवर्ती नौकरी चलाता है। AWS मल्टी-जीपीयू इंस्टेंस प्रदान करता है, जबकि फ्लोयडहब और पेपर्सस्पेस केवल सिंगल जीपीयू सिस्टम का समर्थन करते हैं।

[अद्यतन | मई 2018]: जबकि एडब्ल्यूएस ने उद्यम और उत्पादन प्रणालियों के पक्ष में पार्श्व अनुप्रयोगों पर अधिक ध्यान केंद्रित किया है, पेपर्सस्पेस और फ्लॉयडहब दोनों ने बड़े पैमाने पर आम जनता के लिए GPU के उपयोग में आसानी और उपयोग में आसानी के लिए कई नई सुविधाएँ पेश की हैं। इनमें से कुछ हैं:
[फ़्लॉयडहुब]: सुस्त एकीकरण, टीमों के पक्ष में उपयोग
[फ्लॉयडहब]: नौकरी प्रबंधन यूआई, मैट्रिक्स डैशबोर्ड
[फ्लोइडहब]: एक नया इंटरैक्टिव वातावरण (क्लाउड पर वीएम के समान) का बीटा संस्करण, जिसे कार्यक्षेत्र कहा जाता है
[पेपरस्पेस]: जेरेमी हावर्ड के फास्ट.आई पाठ्यक्रम के लिए आधिकारिक भागीदार के रूप में सहयोग
[पेपरस्पेस]: पेपर्सस्पेस ग्रैडिएंट और एपीआई, अपने स्वयं के सीएलआई के साथ, जो क्रमशः आपके वीएम / जॉब्स को स्वचालित करने के लिए क्लाउड पर एक काम चलाने के लिए उपकरण हैं और एक डेविकेट (DevOps के लिए उपयुक्त!)
वर्कस्पेस, ग्रैडिएंट और फास्ट.आई सहयोग के साथ, फ्लॉयडहब और पेपर्सस्पेस समान सुविधाओं की पेशकश करने के करीब पहुंच गए हैं।

मूल्य निर्धारण :

मूल्य निर्धारण शायद सबसे महत्वपूर्ण चयन मानदंड है। वर्तमान में, बिलिंग को एडब्ल्यूएस और फ्लोयडहब के लिए प्रति सेकंड के आधार पर और पेपर्सस्पेस के लिए मिलीसेकंड ग्रैन्युलैरिटी पर पूर्व निर्धारित किया जाता है।

फ्री टियर प्रोग्राम के तहत एडब्ल्यूएस जीपीयू इंस्टेंस 30 जीबी मुफ्त ईबीएस वॉल्यूम के साथ $ 0.9 / घंटा से शुरू होता है। 100GB SSD वॉल्यूम + इलास्टिक IP की लागत $ 13 / महीना होगी। AWS भी स्पॉट इंस्टेंसेस प्रदान करता है जो बहुत सस्ते होते हैं, लेकिन कीमत में उतार-चढ़ाव के लिए अतिसंवेदनशील होते हैं और इसलिए, एक विश्वसनीय विकल्प नहीं है।

पेपर्सस्पेस $ 0.4 / घंटा पर मैक्सवेल श्रृंखला GPU और $ 0.65 / घंटा से पास्कल GPU प्रदान करता है। सार्वजनिक IP के साथ 100GB SSD की कीमत $ 7 / महीना होगी। अतिरिक्त उपयोगिता सेवाएं भी प्रदान की जाती हैं।

फ्लॉयडहब हाल ही में एक पे-ए-यू-गो मॉडल से अच्छी तरह से परिभाषित मासिक योजनाओं से दूर चला गया। बेस डेटा साइंटिस्ट प्लान की कीमत 10 GPU घंटे और 100GB स्टोरेज के लिए $ 14 / महीना है। अतिरिक्त पूर्व-खाली जीपीयू घंटे $ 0.59 / घंटा से शुरू किए जा सकते हैं। समर्पित GPU उदाहरणों के लिए एक प्रीमियम लिया जाता है।

[अद्यतन | मई 2018]: फ्लोयडहब की मूल्य संरचना में काफी बदलाव आया है, जबकि AWS और पेपर्सस्पेस लगभग समान है। पेपर्सस्पेस अभी भी सबसे किफायती विकल्प बना हुआ है।

परिनियोजन:

मैंने दोनों में से किसी एक मॉडल को तैनात करने की कोशिश नहीं की। फ़्लॉइड आपके मॉडल को REST API के रूप में तैनात करने के लिए एक-लाइन कमांड प्रदान करता है। आपके एप्लिकेशन परिनियोजन के अनुभव को और बेहतर बनाने के लिए AWS के पास संबद्ध सेवाओं का एक होस्ट है। एक बार मैं उनका पता लगाने के बाद अपडेट करूंगा।

नीचे दी गई तालिका में मुख्य पहलुओं का सारांश।

GPU- ऑन-क्लाउड सेवा प्रदाताओं के प्रमुख पहलुओं की तुलना करना
[अद्यतन | मई 2018]: प्रदर्शन अनुभाग को छोड़कर, ऊपर दिए गए चार्ट में बहुत अधिक बदलाव नहीं हुए हैं, जहां फ्लॉयडहब अब सबसे तेज़ है। हार्डवेयर / सॉफ्टवेयर के मोर्चे पर, तीनों एक स्तर पेगिंग में हैं।

यदि आपने पहले इन सेवाओं में से किसी का भी उपयोग किया है, तो कृपया अपना अनुभव साझा करें। यदि आप नहीं करते हैं, तो अभी इसके लिए जाएं। नीचे अपने सुझाव देना अच्छा होगा।