অ্যামাজন ইএমআর দিয়ে হডোপ ক্লাস্টার কীভাবে তৈরি করবেন?



এই নিবন্ধে আমরা এডাব্লুএস ইএমআর পরিষেবাটি আবিষ্কার করব এবং প্রক্রিয়াটিতে আমরা শিখব কিভাবে অ্যামাজন ইএমআর দিয়ে হ্যাডোপ ক্লাস্টার তৈরি করা যায়?

কিভাবে তৈরি করবেন এই নিবন্ধে অ্যামাজন ইএমআরের সাথে ক্লাস্টারটি আমরা কীভাবে সহজেই রান ও স্কেল হ্যাডোপ এবং বিগ ডেটা অ্যাপ্লিকেশনগুলি দেখতে পেতাম। নিম্নলিখিত পয়েন্টারগুলি এই নিবন্ধে কভার করা হবে,

এটি নিয়ে এগিয়ে চলুন কিভাবে অ্যামাজন ইএমআর দিয়ে হ্যাডোপ ক্লাস্টার তৈরি করবেন?





অ্যামাজন ইএমআর দিয়ে হডোপ ক্লাস্টার কীভাবে তৈরি করবেন?

আমরা যখন গুগল বা ইয়াহুতে কোনও বিষয় অনুসন্ধান করি, তখন আমরা সেকেন্ডের একটি ভগ্নাংশে প্রতিক্রিয়া পাই। কীভাবে সম্ভব যে গুগল, ইয়াহু এবং অন্যান্য অনুসন্ধান ইঞ্জিনগুলি ক্রমবর্ধমান ওয়েব থেকে ফলাফলগুলি এত দ্রুত ফিরিয়ে দিয়েছে? অনুসন্ধান ইঞ্জিনগুলি ইন্টারনেটের মাধ্যমে হামাগুড়ি দেয়, ওয়েবপৃষ্ঠাগুলি ডাউনলোড করে এবং নীচে প্রদর্শিত হিসাবে একটি সূচি তৈরি করে। আমাদের কাছ থেকে যে কোনও প্রশ্নের জন্য, তারা যে সূত্রটি অনুসন্ধান করছিলাম সেগুলি সহ সমস্ত ওয়েব পৃষ্ঠাগুলি কী তা নির্ধারণ করতে তারা সূচকটি ব্যবহার করে। ডানদিকে নীচের সূচীটি দেখে, আমরা পরিষ্কারভাবে জানতে পারি যে হ্যাডোপ সেখানে ওয়েব পৃষ্ঠা 1, 2 এবং 3 রয়েছে।

চিত্র - অ্যামাজন ইএমআর - এর সাথে হ্যাডোপ ক্লাস্টার কীভাবে তৈরি করা যায় - এডুরেকাএরপর পেজর্যাঙ্কিং অ্যালগরিদম পৃষ্ঠাগুলি কীভাবে শীর্ষে প্রদর্শিত হবে এবং কোনটির নীচে প্রদর্শিত হবে তা নির্ধারণের জন্য কীভাবে পৃষ্ঠাগুলি সংযুক্ত রয়েছে তার ভিত্তিতে ব্যবহৃত হয়। নীচের দৃশ্যে ডাব্লু 1 হ'ল 'সর্বাধিক জনপ্রিয়' কারণ প্রত্যেকে এর সাথে লিঙ্ক করছে এবং ডাব্লু 4 হ'ল 'স্বল্প জনপ্রিয়' কারণ এর সাথে কেউ লিঙ্ক করছে না। সুতরাং, অনুসন্ধানের ফলাফলগুলিতে ডাব্লু 1 শীর্ষে এবং ডাব্লু 4 নীচে প্রদর্শিত হবে।



ওয়েব পৃষ্ঠাগুলির বিস্ফোরণের সাথে সাথে এই অনুসন্ধান ইঞ্জিনগুলি সূচি তৈরি করতে এবং পেজর্যাঙ্কিং গণনা করার চ্যালেঞ্জগুলি সন্ধান করছিল। এখানেই হাদুপের জন্ম ইয়াহুতে হয়েছিল এবং পরে এএসএফ (অ্যাপাচি সফ্টওয়্যার ফাউন্ডেশন) এর অধীনে এফওএসএস (ফ্রি এবং ওপেন সোর্স সফ্টওয়্যার) হয়। একবার এএসএফের অধীনে প্রচুর সংস্থাগুলি হাদোপের প্রতি আগ্রহী হতে শুরু করে এবং এর উন্নতিতে অবদান রাখতে শুরু করে। বিগ ডেটা বিপ্লব শুরু করার জন্য হাদোপই ছিলেন, তবে স্পার্ক, হাইভ, পিগ, স্কুওপ, চিড়িয়াখানা, এইচবেস, ক্যাসান্দ্রা, ফ্লুম যেমন হ্যাডোপের সীমাবদ্ধতা এবং শূন্যস্থানগুলি সমাধান করতে পেরেছিলেন, তেমন প্রচুর সফটওয়্যার তৈরি হয়েছিল।

ওয়েব সার্চ ইঞ্জিনগুলি হ্যাডোপ ব্যবহার করার জন্য প্রথম ছিল, তবে পরে আরও অনেক বেশি ডেটা উত্পন্ন হওয়ার সাথে সাথে প্রচুর ব্যবহারের ক্ষেত্রে উদ্ভূত হওয়া শুরু হয়েছিল। আসুন গ্রাহকদের বইয়ের পরামর্শ দেওয়ার জন্য ব্যবহৃত একটি ইকমার্স অ্যাপ্লিকেশনটির উদাহরণ নেওয়া যাক। নীচের চিত্র অনুসারে, ব্যবহারকারী 1 বুক 1, বুক 2 এবং বুক 3 কিনেছে, ইউজার 2 কিছু বই কিনেছিল ইত্যাদি। ঘনিষ্ঠভাবে তাকান, আমরা পর্যালোচনা করতে পারি যে ব্যবহারকারীর 1 এবং ব্যবহারকারীর 2 এর অনুরূপ স্বাদ রয়েছে যেমন তারা book1 এবং book2 কিনেছে। সুতরাং, book3 ব্যবহারকারী 2 এবং বুক 4 ব্যবহারকারীর কাছে প্রস্তাবিত হতে পারে। একে বলা হয় সহযোগী ফিল্টারিং, এক ধরণের মেশিন লার্নিং অ্যালগরিদম। আমরা নীচের চিত্রটি উল্টাতে এবং অনুরূপ বই পেতে পারি।

উপরের ক্ষেত্রে আমরা সূচক তৈরি করেছি, পেজরঙ্কড এবং ব্যবহারকারীর কাছে সুপারিশ করেছি, তথ্যের আকার ছোট ছিল এবং তাই আমরা ডেটাটি ভিজ্যুয়ালাইজ করতে এবং এর থেকে কিছু ফলাফল বের করতে সক্ষম হয়েছি। দিনে দিনে ডেটার আকার আরও বড় হতে থাকে এবং নিয়ন্ত্রণের বাইরে চলে যায়, হ্যাডোপের মতো বড় ডেটা সরঞ্জামগুলি ছবিতে আসে।



হাদুপ অনেক সমস্যার সমাধান করে তবে হ্যাডোপ এবং অন্যান্য বিগ ডেটা সফ্টওয়্যার ইনস্টল করা কখনও সহজ কাজ ছিল না। সামঞ্জস্য করার মতো অনেকগুলি কনফিগারেশন প্যারামিটার রয়েছে, যেমন কাজ করার জন্য ইন্টিগ্রেশন, ইনস্টলেশন এবং কনফিগারেশন সমস্যাগুলি। এখানেই ক্লৌডেরার মতো সংস্থাগুলি, এবং ডেটাব্রিক্স সহায়তা করে। তারা বিগ ডেটা সফ্টওয়্যার ইনস্টল করা সহজ করে এবং বাণিজ্যিক সহায়তা সরবরাহ করে, উদাহরণস্বরূপ বলা যাক উত্পাদনে কিছু ঘটে। অ্যামাজন ইএমআর (ইলাস্টিক ম্যাপ্রেডস) হ্যাডোপ ইত্যাদি ব্যবহার করা সহজতর করে তোলে। ইলাস্টিক ম্যাপ্রেইডুস নামটি কিছুটা মিসনোমার কারণ ইএমআর কেবলমাত্র ম্যাপ্রেডস নয়, রেসিলেট ডিস্ট্রিবিউটেড ডেটাসেটের মতো অন্যান্য বিতরণ করা কম্পিউটিং মডেলগুলিকে সমর্থন করে।

এই টিউটোরিয়ালে, আমরা কীভাবে এডাব্লুএস ক্লাউডে একটি ইএমআর ক্লাস্টার সেটআপ করতে হবে এবং আসন্ন টিউটোরিয়ালে, আমরা স্পার্ক, হাইভ এবং তার উপরে অন্যান্য প্রোগ্রামগুলি কীভাবে চালাতে হবে তা আবিষ্কার করব will

এটি নিয়ে এগিয়ে চলুন কিভাবে অ্যামাজন ইএমআর দিয়ে হ্যাডোপ ক্লাস্টার তৈরি করবেন?

ডেমো: এডাব্লুএসে একটি ইএমআর ক্লাস্টার তৈরি করা হচ্ছে

ধাপ 1: ইএমআর ম্যানেজমেন্ট কনসোলে যান এবং “ক্লাস্টার তৈরি করুন” এ ক্লিক করুন। কনসোলে, এর জন্য মেটাডেটা সমাপ্ত ক্লাস্টার এছাড়াও বিনামূল্যে দুই মাসের জন্য সংরক্ষণ করা হয়। এটি সমাপ্ত ক্লাস্টারটিকে ক্লোন করে আবার তৈরি করার অনুমতি দেয়।

ধাপ ২ : দ্রুত বিকল্পগুলির স্ক্রীন থেকে, ক্লাস্টার সম্পর্কে আরও বিশদ নির্দিষ্ট করতে 'উন্নত বিকল্পগুলিতে যান' এ ক্লিক করুন।

ধাপ 3: উন্নত বিকল্প ট্যাবে, আমরা ইএমআর ক্লাস্টারে ইনস্টল করতে বিভিন্ন সফ্টওয়্যার নির্বাচন করতে পারি। একটি এসকিউএল ইন্টারফেসের জন্য, হাইভ নির্বাচন করা যেতে পারে। ডেটা ফ্লো ল্যাঙ্গুয়েজ ইন্টারফেসের জন্য, পিগ নির্বাচন করা যায়। বিতরণ অ্যাপ্লিকেশন সমন্বয়ের জন্য চিড়িয়াখানা এবং অন্যান্য পছন্দ করা যেতে পারে। এই ট্যাবটি আমাদের পদক্ষেপগুলি যুক্ত করার অনুমতি দেয় যা একটি alচ্ছিক কাজ। পদক্ষেপগুলি হ'ল ম্যাপ্রেডুস, পিগ, মুরগী ​​ইত্যাদি ব্যবহার করে বিগ ডেটা প্রসেসিংয়ের কাজ। এগুলি এই ট্যাবে বা পরে একবার ক্লাস্টার তৈরি হওয়ার পরে যুক্ত করা যেতে পারে। EMR ক্লাস্টারের জন্য প্রয়োজনীয় হার্ডওয়্যার নির্বাচন করতে 'নেক্সট' এ ক্লিক করুন।

পদক্ষেপ 4: হাদুপ মাস্টার-কর্মী আর্কিটেকচার অনুসরণ করে যেখানে মাস্টার সমস্ত সময় সমন্বয় যেমন কাজটি নির্ধারিত ও নির্ধারিত করে এবং তাদের অগ্রগতি পরীক্ষা করে, অন্যদিকে কর্মীরা ডেটা প্রক্রিয়াকরণ এবং সংরক্ষণের প্রকৃত কাজটি করে। একজন একক মাস্টার হলেন সিঙ্গল-পয়েন্ট-অফ-ব্যর্থতা (এসপিওএফ)। অ্যামাজন ইএমআর উচ্চ উপলভ্যতা (এইচএ) এর জন্য মাল্টি-মাস্টার সমর্থন করে। পূর্ববর্তী পদক্ষেপটি ইএমআরে একটি মাল্টি-মাস্টার ক্লাস্টার সেটআপ করতে দেয়।

ইএমআর দুটি ধরণের নোড, কোর এবং টাস্কের অনুমতি দেয়। মূল নোড উভয়ই ডেটা প্রক্রিয়াকরণ এবং সংরক্ষণের জন্য ব্যবহৃত হয়, টাস্ক নোডটি কেবলমাত্র ডেটা প্রসেসিংয়ের জন্য ব্যবহৃত হয়। এই টিউটোরিয়ালের জন্য, আমরা কেবলমাত্র একটি কোর এবং কোনও টাস্ক নোড নির্বাচন করতে পারি কারণ এতে আমাদের জন্য কম ব্যয় জড়িত। এছাড়াও, চয়ন করুন দাগ দৃষ্টান্ত শেষ চাহিদা সাপেক্ষে স্পট উদাহরণগুলি সস্তা হিসাবে। স্পট দৃষ্টান্তগুলির সাথে ধরাটি হ'ল এগুলি দ্বারা AWS দ্বারা স্বয়ংক্রিয়ভাবে শেষ করা যায় দুই মিনিটের নোটিশ । অনুশীলনের স্বার্থে এবং কিছু বাস্তব পরিস্থিতিতেও এটি সূক্ষ্ম। স্পট দৃষ্টান্তগুলি অন্যান্য উদাহরণের চেয়ে কম অগ্রাধিকার হওয়ায় স্বয়ংক্রিয়ভাবে বন্ধ হয়ে যায়। 'পরবর্তী' ক্লিক করুন।

পদ্ধতি ওভারলোডিং এবং জাভাতে ওভাররাইড পদ্ধতি

পদক্ষেপ 5: ক্লাস্টারের নাম উল্লেখ করুন। এবং 'পরবর্তী' ক্লিক করুন। লক্ষ্য করুন যে 'টার্মিনেশন সুরক্ষা' ডিফল্ট হিসাবে চালু আছে, এটি নিশ্চিত করে যে ইএমআর ক্লাস্টারটি ক্লাস্টারটি বন্ধ করার সময় কয়েকটি পদক্ষেপ প্রবর্তন করে দুর্ঘটনাক্রমে মুছে ফেলা হয়নি।

পদক্ষেপ:: ট্যাবে, ইএমআর ক্লাস্টারের জন্য বিভিন্ন সুরক্ষা অপশন নির্দিষ্ট করা আছে। ইসি 2 দৃষ্টান্তে লগ ইন করার জন্য কীপায়ারটি নির্বাচন করা দরকার। ইএমআর স্বয়ংক্রিয়ভাবে উপযুক্ত ভূমিকা এবং সুরক্ষা গোষ্ঠী তৈরি করবে এবং এগুলি মাস্টার এবং কর্মী ইসি 2 নোডের সাথে সংযুক্ত করবে। 'ক্লাস্টার তৈরি করুন' এ ক্লিক করুন।

EC2 দৃষ্টান্তগুলি ক্রয় করতে হবে এবং বিভিন্ন বিগ ডেটা সফ্টওয়্যার অবশ্যই ইনস্টল এবং কনফিগার করতে হবে বলে ক্লাস্টারটি তৈরি হতে কয়েক মিনিট সময় নেয়। প্রথমদিকে ক্লাস্টারের স্থিতিটি 'শুরু' অবস্থায় থাকবে এবং 'অপেক্ষার' স্থানে চলে যাবে। 'অপেক্ষারত' অবস্থায় ইএমআর ক্লাস্টারটি কেবল আমাদের বিআর ডেটা প্রসেসিং বিভিন্ন এমআর, স্পার্ক, মধু প্রভৃতি কাজের জমা দেওয়ার জন্য অপেক্ষা করে থাকে

এছাড়াও, ইসি 2 ম্যানেজমেন্ট কনসোল থেকে বিজ্ঞপ্তি এবং নোট করুন যে মাস্টার এবং কর্মী ইসি 2 উদাহরণগুলি চলমান অবস্থায় থাকা উচিত। এটি স্পট দৃষ্টান্ত যা ইএমআর ক্লাস্টার তৈরির অংশ হিসাবে তৈরি করা হয়েছে। EMR ম্যানেজমেন্ট কনসোলে হার্ডওয়্যার ট্যাব থেকেও একই ইসি 2 লক্ষ্য করা যায়। নোট করুন যে হার্ডওয়্যার ট্যাবে স্পট ইসি 2 উদাহরণগুলির জন্য মূল্য 0.032 $ / ঘন্টা হিসাবে উল্লেখ করা হয়েছে। স্পট দৃষ্টান্তগুলির দাম সময়ের সাথে পরিবর্তিত হয় এবং অন-ডিমান্ড ইসি 2 মূল্যের তুলনায় অনেক কম।

পদক্ষেপ 7: এখন যেহেতু ইএমআর ক্লাস্টারটি সফলভাবে যুক্ত করা হয়েছে, পদক্ষেপগুলি বা বিগ ডেটা প্রসেসিংয়ের কাজ যুক্ত করা যেতে পারে। পদক্ষেপ ট্যাবে গিয়ে 'অ্যাড স্টেপ' এ ক্লিক করুন এবং ধাপের ধরণটি নির্বাচন করুন (এমআর, হুভ, স্পার্ক ইত্যাদি)। আমরা আসন্ন টিউটোরিয়ালে একই অন্বেষণ করব। আপাতত, বাতিল ক্লিক করুন।

কিভাবে জাবা অচলাবস্থা রোধ করতে

পদক্ষেপ 8: এখন যেহেতু আমরা ইএমআরটি কীভাবে শুরু করব তা দেখেছি কীভাবে এটি বন্ধ করতে হয়।

পদক্ষেপ 8.1: টার্মিনেটে ক্লিক করুন।

পদক্ষেপ 8.2: পূর্ববর্তী পদক্ষেপে উল্লিখিত হিসাবে, ইএমআর ক্লাস্টারের জন্য 'টার্মিনেশন সুরক্ষা' চালু রয়েছে এবং টার্মিনেট বোতামটি অক্ষম করা হয়েছে। চেঞ্জ এ ক্লিক করুন।

পদক্ষেপ 8.3: 'অফ' রেডিও বোতামটি নির্বাচন করুন এবং টিক চিহ্নটিতে ক্লিক করুন। এখন টার্মিনেট বোতামটি সক্ষম করা উচিত। আমরা ইএমআর ক্লাস্টারটি দুর্ঘটনাক্রমে মুছে ফেলব না তা নিশ্চিত করার জন্য এটি ইএমআর অতিরিক্ত পদক্ষেপটি প্রবর্তন করেছে।

লক্ষ্য করুন যে ইএমআর ক্লাস্টারটি সমাপ্তির স্থিতিতে থাকবে এবং ইসি 2 সমাপ্ত হবে। অবশেষে, ইএমআর ক্লাস্টারটি টার্মিনেটেড স্ট্যাটাসে সরানো হবে, এখান থেকে আমাদের এডাব্লুএসের সাথে বিলিং বন্ধ রয়েছে। ক্লাস্টারটি বন্ধ করার বিষয়টি নিশ্চিত করুন, যাতে অতিরিক্ত AWS ব্যয় না ঘটে।

উপসংহার

এই টিউটোরিয়ালে আমরা দেখেছি কীভাবে ওয়েব কনসোল (ব্রাউজার) থেকে কয়েক মিনিটের মধ্যে ইএমআর ক্লাস্টার শুরু করা যায়, একইটি ব্যবহার করে স্বয়ংক্রিয় করা যায় , এডাব্লুএস এসডিকে বা ব্যবহার করে এডাব্লুএস ক্লাউডফর্মেশন । ইএমআর ক্লাস্টার স্থাপনের লক্ষ্যে কয়েক মিনিটের মধ্যেই বিগ ডেটা প্রসেসিং তত্ক্ষণাত শুরু করা যেতে পারে, একবার প্রসেসিং হয়ে গেলে আউটপুট সংরক্ষণ করা যায় এস 3 বা ডায়নামোডিবি এবং তাই বিলিং বন্ধ করতে ক্লাস্টার শাটডাউন। এই মূল্যের মডেল এবং ব্যবহারের স্বাচ্ছন্দ্যের কারণে, যারা বিগ ডেটা প্রক্রিয়াকরণ করছেন তাদের কাছে ইএমআর একটি বড় হিট। বিপুল সংখ্যক সার্ভার কেনার দরকার নেই, বিগ ডেটা সফটওয়্যারগুলির জন্য লাইসেন্স নেওয়া এবং এগুলি বজায় রাখা দরকার।

সুতরাং এটি কি ছেলেরা, এটি আমাদের এই নিবন্ধের শেষের দিকে নিয়ে আসে কিভাবে অ্যামাজন ইএমআর দিয়ে হ্যাডোপ ক্লাস্টার তৈরি করবেন?আপনি যদি এই বিষয়ে দক্ষতা অর্জন করতে চান তবে এডুরেকা একটি পাঠ্যক্রম নিয়ে এসেছেন যা হুবহু অন্তর্ভুক্ত করে, সলিউশন আর্কিটেক্ট পরীক্ষায় ক্র্যাক করার জন্য আপনার কী দরকার! আপনি অবশ্যই কোর্সের বিশদটি দেখতে পারেন প্রশিক্ষণ

এই ব্লগ সম্পর্কিত যে কোনও প্রশ্নের ক্ষেত্রে, দয়া করে নীচের মন্তব্য বিভাগে নির্দ্বিধায় প্রশ্ন করা এবং আমরা আপনাকে শীঘ্রই উত্তর দিতে খুশি হবে।