হাদুপ কাঠামোর অন্যতম আকর্ষণীয় বৈশিষ্ট্য এটি পণ্য হার্ডওয়্যার ব্যবহার । তবে এটি হ্যাডোপ ক্লাস্টারে ঘন ঘন ডেটানোড ক্র্যাশ করে। হাদুপ ফ্রেমওয়ার্কের আর একটি আকর্ষণীয় বৈশিষ্ট্য হ'ল ডেটা ভলিউমের দ্রুত বৃদ্ধি অনুসারে স্কেল সহজেই scale । এই দুটি কারণে হ্যাডোপ প্রশাসকের সবচেয়ে সাধারণ কাজ হ'ল to কমিশন (অ্যাড) এবং ক্ষয় (সরান) একটি হডুপ ক্লাস্টারে ডেটা নোড।
ঝকঝকে প্রসঙ্গ ফিল্টার কি
একটি হডোপ ক্লাস্টারে নোডগুলি কমিশন এবং ডিকোমিশনিং:
উপরের চিত্রটি ক্লাস্টারে একটি ডাটানোডকে বাতিল করতে ধাপে ধাপে প্রক্রিয়া দেখায়।
প্রথম কাজটি হ'ল 'আপডেট করা' বাদ দিন ‘দুজনের জন্যই ফাইল এইচডিএফএস (hdfs-site.xML) এবং মানচিত্র কমাতে (ম্যাপ্রেড-সাইট.xML)।
‘বাদ দিন’ ফাইলটি:
- চাকরির জন্য হোস্টগুলির তালিকা রয়েছে যা জবট্র্যাকার দ্বারা বাদ দেওয়া উচিত। মানটি খালি থাকলে কোনও হোস্ট বাদ যায় না।
- নামনোডের জন্য হোস্টগুলির একটি তালিকা রয়েছে যা নামনোডের সাথে সংযুক্ত হওয়ার অনুমতিপ্রাপ্ত নয়।
Hdfs-site.xML এবং mapred-site.xML এ ফাইল বাদ না দেওয়ার জন্য নমুনা কনফিগারেশনটি এখানে রয়েছে:
hdfs-site.xML
dfs.hosts.excolve
/ home / hadoop / বাদ দেয়
সত্য
mapred-site.xml
mapred.hosts.excolve
/ home / hadoop / বাদ দেয়
সত্য
বিঃদ্রঃ: ফাইলগুলির পুরো পথের নামটি অবশ্যই নির্দিষ্ট করতে হবে।
একইভাবে, আমাদের কাছে 'অন্তর্ভুক্ত' ফাইল রয়েছে:
- চাকরির জন্য নোডগুলির তালিকা রয়েছে যা জোবট্র্যাকার সাথে সংযুক্ত হতে পারে। মানটি ফাঁকা থাকলে, সমস্ত হোস্টকে অনুমতি দেওয়া হয়।
- নামনোডের জন্য হোস্টগুলির একটি তালিকা রয়েছে যা নামনোডের সাথে সংযুক্ত হওয়ার অনুমতিপ্রাপ্ত। মানটি ফাঁকা থাকলে, সমস্ত হোস্টকে অনুমতি দেওয়া হয়।
দ্য ' dfsadmin ' এবং ' mradmin ’কমান্ডগুলি নতুন নোড সম্পর্কে তাদের সচেতন করতে পরিবর্তনের মাধ্যমে কনফিগারেশনকে রিফ্রেশ করে।
দ্য ' দাস মাস্টার সার্ভারে থাকা ফাইলটিতে সমস্ত ডেটা নোডের তালিকা থাকে। ভবিষ্যতে ডিডমোন শুরু / থামাতে কোনও সমস্যা নিশ্চিত করার জন্য এটিও আপডেট করতে হবে।
ডেটা নোড কমিশন প্রক্রিয়াটির গুরুত্বপূর্ণ পদক্ষেপ হ'ল ক্লাস্টার ব্যালেন্সার চালানো।
> হ্যাডোপ ব্যালান্সার-থ্রেশহোল্ড 40
ব্যালান্সার পুরানো নোডগুলি থেকে নতুন কমিশন করা নোডগুলিতে ব্লক ডেটা অনুলিপি করে ডেটা নোডগুলির মধ্যে একটি নির্দিষ্ট প্রান্তিকের ভারসাম্য সরবরাহ করার চেষ্টা করে।
সুতরাং, আপনি এইভাবে করতে পারেন - সম্পাদন এবং ডিসকোমিশনিং একটি হডোপ ক্লাস্টারে নোড।
আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।
সম্পর্কিত লিংক: