এইচডিএফএস উচ্চ উপলব্ধতার সাথে কীভাবে হ্যাডোপ ক্লাস্টার সেট আপ করবেন

এইচডিএফএস 2.x উচ্চ উপলভ্যতা ক্লাস্টার আর্কিটেকচার

এই ব্লগে, আমি এইচডিএফএস 2.x উচ্চ উপলভ্যতা ক্লাস্টার আর্কিটেকচার এবং একটি এইচডিএফএস উচ্চ উপলভ্যতা ক্লাস্টার স্থাপনের পদ্ধতি সম্পর্কে কথা বলতে যাচ্ছি।এটি একটি গুরুত্বপূর্ণ অংশ । এই ব্লগে বিষয়গুলি যেভাবে क्रमভুক্ত করা হয়েছে তা নিম্নরূপ:

• এইচডিএফএস এইচএ আর্কিটেকচার
  • ভূমিকা
  • নাম নোড উপলভ্যতা
  • এইচএ এর আর্কিটেকচার
  • এইচএ (জার্নালনোড এবং শেয়ার্ড স্টোরেজ) এর বাস্তবায়ন
• কীভাবে একটি হ্যাডোপ ক্লাস্টারে এইচএ (কোরাম জার্নাল নোডস) সেট আপ করবেন?

ভূমিকা:

হ্যাডোপ 2-তে হাই অ্যাভেইবিলিটি ক্লাস্টারের ধারণাটি চালু হয়েছিল।হ্যাডোপ 1.x এ ব্যর্থতার সমস্যার একক পয়েন্ট সমাধান করতে এক্স আপনি আমার আগের ব্লগ থেকে জানেন যে মাস্টার / স্লেভ টোপোলজি অনুসরণ করে যেখানে নেমনোড একটি মাস্টার ডেমন হিসাবে কাজ করে এবং ডেটা নোড নামক অন্যান্য স্লেভ নোড পরিচালনার জন্য দায়বদ্ধ। এই একক মাস্টার ডেমন বা নেমনোড একটি বাধা হয়ে দাঁড়ায়। যদিও, সেকেন্ডারি নেম নোডের প্রবর্তন আমাদের ডেটা হ্রাস এবং নেমনোডের কিছু বোঝা চাপিয়ে দেওয়া থেকে রোধ করেছিল কিন্তু, এটি নেমনোডের উপলভ্যতা সমস্যার সমাধান করেনি।

নাম নোড উপলভ্যতা:

আপনি যদি এইচডিএফএস ক্লাস্টারের মানক কনফিগারেশন বিবেচনা করেন, নামনোড একটি হয় ব্যর্থতার একমাত্র কারণ । এটি ঘটে কারণ মুহুর্তে নামনোড অনুপলব্ধ হয়ে যায়, যতক্ষণ না কেউ নেমনোড পুনরায় চালু না করে বা একটি নতুন এনে না দেয় ততক্ষণ পুরো ক্লাস্টারটি অনুপলব্ধ হয়ে যায়।

নাম নোডের অনুপলব্ধতার কারণগুলি হ'ল:

• রক্ষণাবেক্ষণ কাজের মতো একটি পরিকল্পিত ইভেন্টে সফ্টওয়্যার বা হার্ডওয়্যার আপগ্রেড হয়।
• এটি অপরিকল্পিত ইভেন্টের কারণেও হতে পারে যেখানে কিছু কারণে নামনোড ক্র্যাশ হয়ে গেছে।

উপরের দুটি ক্ষেত্রেই আমাদের একটি ডাউনটাইম রয়েছে যেখানে আমরা এইচডিএফএস ক্লাস্টারটি ব্যবহার করতে পারছি না যা একটি চ্যালেঞ্জ হয়ে দাঁড়িয়েছে।

java ডাবলকে পূর্ণসংখ্যায় রূপান্তর করে

এইচডিএফএস এইচএ আর্কিটেকচার:

আসুন আমরা বুঝতে পারি যে এইচডিএফএস এইচএ আর্কিটেকচার কীভাবে নাম নোড উপলভ্যতার এই জটিল সমস্যাটি সমাধান করেছে:

এইচএ আর্কিটেকচার আমাদের সক্রিয় / প্যাসিভ কনফিগারেশনে দুটি নেম নোড রাখার অনুমতি দিয়ে নেম নোড উপলভ্যতার এই সমস্যাটি সমাধান করেছে। সুতরাং, একটি উচ্চ উপলভ্যতা ক্লাস্টারে আমাদের একই সাথে দুটি চলমান নেম নোড রয়েছে:

• সক্রিয় নেম নোড
• স্ট্যান্ডবাই / প্যাসিভ নেম নোড।

যদি একটি নেমনেড নীচে চলে যায় তবে অন্য নেমনোড এই দায়িত্ব গ্রহণ করতে পারে এবং তাই ক্লাস্টারটি ডাউন সময় কমিয়ে দেয়। স্ট্যান্ডবাই নেম নোড ব্যাকআপ নেম নোডের উদ্দেশ্যে পরিবেশন করে (সেকেন্ডারি নেম নোডের বিপরীতে) যা হ্যাডোপ ক্লাস্টারে ফেলওভারের ক্ষমতাগুলি অন্তর্ভুক্ত করে। অতএব, স্ট্যান্ডবাইনের সাহায্যে, যখনই কোনও নেমনোড ক্র্যাশ হয় (অপরিকল্পিত ইভেন্ট) বা রক্ষণাবেক্ষণের সময়টিতে আমরা একটি গ্রেফুল (ম্যানুয়ালি শুরু করা) ফেলওভার পেতে পারি।

এইচডিএফএস উচ্চ উপলভ্যতা ক্লাস্টারে ধারাবাহিকতা বজায় রাখার জন্য দুটি সমস্যা রয়েছে:

• অ্যাক্টিভ এবং স্ট্যান্ডবাই নেম নোড সবসময় একে অপরের সাথে সিঙ্ক থাকা উচিত, অর্থাত্ তাদের একই মেটাডেটা থাকা উচিত। এটি আমাদের হ্যাডোপ ক্লাস্টারটিকে একই নামস্থান স্থিতিতে পুনরুদ্ধার করতে দেয় যেখানে এটি ক্র্যাশ হয়ে গিয়েছিল এবং তাই আমাদের দ্রুত ব্যর্থকরণের ব্যবস্থা করবে।
• একসাথে কেবলমাত্র একটি সক্রিয় নেম নোড থাকা উচিত কারণ দুটি সক্রিয় নেম নোড ডেটা দুর্নীতিতে ডেকে আনবে। এই ধরণের দৃশ্যকে বিভক্ত-মস্তিষ্কের দৃশ্য হিসাবে চিহ্নিত করা হয় যেখানে একটি ক্লাস্টার আরও ছোট ক্লাস্টারে বিভক্ত হয়ে যায়, প্রত্যেকে বিশ্বাস করে যে এটিই একমাত্র সক্রিয় ক্লাস্টার। এ জাতীয় পরিস্থিতি এড়ানোর জন্য বেড়া দেওয়া হয়। বেড়া দেওয়া একটি নির্দিষ্ট সময়টিতে কেবলমাত্র একটি নেমনোড সক্রিয় থাকার বিষয়টি নিশ্চিত করার প্রক্রিয়া।

এইচএ আর্কিটেকচার বাস্তবায়ন:

এখন, আপনি জানেন যে এইচডিএফএস এইচএ আর্কিটেকচারে, আমাদের একই সাথে দুটি নামনোড চলছে। সুতরাং, আমরা নিম্নলিখিত দুটি উপায়ে অ্যাক্টিভ এবং স্ট্যান্ডবাই নেম নোড কনফিগারেশন প্রয়োগ করতে পারি:

1. কোরাম জার্নাল নোড ব্যবহার করা
2. এনএফএস ব্যবহার করে ভাগ করা স্টোরেজ

আসুন আমরা একবারে একবারে প্রয়োগের এই দুটি উপায় বুঝতে পারি:

1. কোরাম জার্নাল নোড ব্যবহার:

• স্ট্যান্ডবাই নেম নোড এবং সক্রিয় নেম নোড নোডের একটি পৃথক গ্রুপ বা ডেমনগুলির মাধ্যমে একে অপরের সাথে সুসংগত রাখে - কলযুক্ত জার্নাল নোডস ।জার্নালনোডগুলি রিং টপোলজি অনুসরণ করে যেখানে নোডগুলি একে অপরের সাথে যুক্ত হয়ে একটি রিং তৈরি করে।জার্নালনোড এটিতে অনুরোধটি আসবে এবং তথ্যটি নংটির অন্য নোডে অনুলিপি করে।এটি জার্নালনড ব্যর্থতার ক্ষেত্রে দোষ সহিষ্ণুতা সরবরাহ করে।
• সক্রিয় নেম নোড জার্নাল নোডসে উপস্থিত এডিটলগগুলি (মেটাডেটা তথ্য) আপডেট করার জন্য দায়ী।
• স্ট্যান্ডবাইনড জার্নালনোডে এডিটলগগুলিতে করা পরিবর্তনগুলি পড়ে এবং একটি ধ্রুবক পদ্ধতিতে এটি নিজের নামস্থানে প্রয়োগ করে।
• ফেলওভার চলাকালীন, স্ট্যান্ডবাইনড নিশ্চিত করে যে এটি নতুন অ্যাক্টিভ নেমনেড হওয়ার আগে জার্নালনডস থেকে তার মেটা ডেটা তথ্য আপডেট করেছে। এটি বর্তমান নেমস্পেসের রাজ্যটিকে ফেলওভারের আগে রাজ্যের সাথে সিঙ্ক্রোনাইজ করে তোলে।
• উভয় নেম নোডের আইপি অ্যাড্রেসগুলি সমস্ত ডেটা নোডের জন্য উপলব্ধ এবং তারা তাদের হার্টবিটস এবং ব্লক অবস্থানের তথ্য নামনোড উভয়কে প্রেরণ করে। এটি স্ট্যান্ডবাইনোডে ক্লাস্টারের ব্লকের অবস্থান সম্পর্কিত আপডেট তথ্য রয়েছে বলে এটি একটি দ্রুত ব্যর্থতা (কম সময় নিচে) সরবরাহ করে।

নেম নোড বেড়া:

এখন, যেমনটি আগে আলোচনা করা হয়েছে, এটি নিশ্চিত করা খুব গুরুত্বপূর্ণ যে একবারে কেবলমাত্র একটিমাত্র সক্রিয় নেম নোড রয়েছে। সুতরাং, একটি ক্লাস্টারে এটি খুব সম্পত্তি নিশ্চিত করার জন্য বেড়া দেওয়া একটি প্রক্রিয়া।

• জার্নালনডস একবারে কেবলমাত্র একটি নেমনোড লেখক হওয়ার অনুমতি দিয়ে এই বেড়াটি সম্পাদন করে।
• স্ট্যান্ডবাই নেম নোড জার্নালনোডগুলিতে লেখার দায়িত্ব নেয় এবং অন্য কোনও নামনোডকে সক্রিয় থাকতে নিষেধ করে।
• শেষ অবধি, নতুন অ্যাক্টিভ নেমনোড নিরাপদে নিরাপদে এর কার্যক্রম সম্পাদন করতে পারে।

2. ভাগ করা স্টোরেজ ব্যবহার:

• স্ট্যান্ডবাই নোড এবং সক্রিয় নেম নোড এ ব্যবহার করে একে অপরের সাথে সুসংগত রাখে ভাগ করা স্টোরেজ ডিভাইস ।সক্রিয় নেম নোড এই ভাগ করা স্টোরেজটিতে উপস্থিত একটি এডিটলগের কাছে নিজের নামস্থানে করা কোনও সংশোধনের রেকর্ড লগ করে।স্ট্যান্ডবাইনড এই ভাগ করা স্টোরেজে এডিটলগগুলিতে করা পরিবর্তনগুলি পড়ে এবং এটি নিজের নামের জায়গায় প্রয়োগ করে।
• এখন, ব্যর্থতার ক্ষেত্রে স্ট্যান্ডবাইনড প্রথমে ভাগ করা স্টোরেজে এডিটলোগগুলি ব্যবহার করে তার মেটাডেটা তথ্য আপডেট করে। তারপরে, এটি অ্যাক্টিভ নেমনোডের দায়িত্ব নেয়। এটি বর্তমান নেমস্পেসের রাজ্যটিকে ফেলওভারের আগে রাজ্যের সাথে সিঙ্ক্রোনাইজ করে তোলে।
• বিভক্ত-মস্তিষ্কের পরিস্থিতি এড়াতে প্রশাসককে কমপক্ষে একটি বেড়া পদ্ধতি কনফিগার করতে হবে।
• সিস্টেমটি বেড়ানোর বিভিন্ন প্রক্রিয়া প্রয়োগ করতে পারে। এর মধ্যে নামনোডের প্রক্রিয়াটি হ'ল এবং ভাগ করা স্টোরেজ ডিরেক্টরিতে এর অ্যাক্সেস প্রত্যাহার করা অন্তর্ভুক্ত থাকতে পারে।
• শেষ অবলম্বন হিসাবে, আমরা স্টোনিট নামে পরিচিত একটি কৌশল দিয়ে পূর্বে সক্রিয় নেম নোডকে বেড়াতে পারি, বা 'মাথার মধ্যে অন্য নোড গুলি'। স্টোনটিম নামনোড মেশিনটিকে জোর করে বিদ্যুতের জন্য বিশেষায়িত শক্তি বিতরণ ইউনিট ব্যবহার করে।

স্বয়ংক্রিয় ব্যর্থতা:

ফেলওভার এমন একটি প্রক্রিয়া যার মাধ্যমে কোনও সিস্টেম কোনও ত্রুটি বা ব্যর্থতা সনাক্ত করে যখন স্বয়ংক্রিয়ভাবে নিয়ন্ত্রণটি মাধ্যমিক সিস্টেমে স্থানান্তর করে। ব্যর্থতা দুটি ধরণের রয়েছে:

গ্রেসফুল ব্যর্থতা: এই ক্ষেত্রে, আমরা রুটিন রক্ষণাবেক্ষণের জন্য ম্যানুয়ালি ব্যর্থতা শুরু করি।

স্বয়ংক্রিয় ব্যর্থতা: এই ক্ষেত্রে, নেমনোড ব্যর্থতার ক্ষেত্রে (অপরিকল্পিত ইভেন্ট) স্বয়ংক্রিয়ভাবে ব্যর্থতা শুরু হয়।

অ্যাপাচি চিড়িয়াখানা এমন একটি পরিষেবা যা এইচডিএফএস হাই অ্যাভাইলাবিলিটি ক্লাস্টারে স্বয়ংক্রিয় ব্যর্থতা ক্ষমতা সরবরাহ করে। এটি সামান্য পরিমাণে সমন্বয় ডেটা বজায় রাখে, সেই ডেটা পরিবর্তনের ক্লায়েন্টকে অবহিত করে এবং ক্লায়েন্টকে ব্যর্থতার জন্য নজরদারি করে। চিড়িয়াখানা নেমনডসের সাথে একটি অধিবেশন বজায় রাখে। ব্যর্থতার ক্ষেত্রে, অধিবেশনটির মেয়াদ শেষ হয়ে যাবে এবং চিড়িয়াখানা অন্য নামনোডগুলিকে ব্যর্থকরণ প্রক্রিয়া শুরু করতে জানিয়ে দেবে। নেমনোড ব্যর্থতার ক্ষেত্রে, অন্যান্য নিষ্ক্রিয় নেমনোড চিড়িয়াখানায় একটি লক নিতে পারে যে এটি পরবর্তী অ্যাক্টিভ নেমনেড হতে চায়।

ZookeerFailoverController (ZKFC) একটি চিড়িয়াখানা ক্লায়েন্ট যা নেম নোডের স্থিতিও পর্যবেক্ষণ করে এবং পরিচালনা করে। নেম নোডের প্রত্যেকটি একটি জেডকেএফসিও চালায়। জেড কেএফএসি وقتيভাবে নেমনডসের স্বাস্থ্য পর্যবেক্ষণের জন্য দায়বদ্ধ।

একটি হ্যাডোপ ক্লাস্টারে হাই উপলভ্যতাটি কী তা আপনি বুঝতে পেরেছেন, এখন এটি সেট আপ করার সময় এসেছে। হ্যাডোপ ক্লাস্টারে হাই অ্যাভিটিবিলিটি সেট আপ করতে আপনাকে সমস্ত নোডে চিড়িয়াখানা ব্যবহার করতে হবে।

অ্যাক্টিভ নেম নোডের ডেমনগুলি হ'ল:

• চিড়িয়াখানা
• চিড়িয়াখানার ব্যর্থ ওভার নিয়ন্ত্রণকারী
• জার্নালনড
• নাম নোড

স্ট্যান্ডবাই নেম নোডের ডেমনগুলি হ'ল:

• চিড়িয়াখানা
• চিড়িয়াখানার ব্যর্থ ওভার নিয়ন্ত্রণকারী
• জার্নালনড
• নাম নোড

ডেটা নোডের ডেমনগুলি হ'ল:

• চিড়িয়াখানা
• জার্নালনড
• ডাটানোড

আপনি যদি এইচডিএফএস এবং হাদুপকে দক্ষতা অর্জন করতে চান, তবে এডুরেকা কর্তৃক বিশেষভাবে সজ্জিত বিগ ডেটা এবং হ্যাডোপ কোর্সটি দেখুন। শুরু করতে নীচের বোতামে ক্লিক করুন।

হাদুপে উচ্চ উপলভ্যতা ক্লাস্টার সেট আপ এবং কনফিগার করা:

আপনাকে প্রথমে প্রতিটি নোডের জাভা এবং হোস্টের নাম সেট আপ করতে হবে।

হ্যাডোপ এবং চিড়িয়াখানার বাইনারি টার ফাইলটি ডাউনলোড করুন, কনফিগারেশন ফাইলগুলি সম্পাদনা করার জন্য ফাইলগুলি সন্ধান করুন।

আদেশ: উইজেট https://archive.apache.org/dist/zookeeper/zooaker-3.4.4/zookeeper-3.4.6.tar.gz

চিড়িয়াখানার প্রসারণ করুন - 3.4.6.tar.gz

কমান্ড : tar –xvf চিড়িয়াখানা -3.4..6.tar.gz

অ্যাপাচি হাদোপ সাইট থেকে স্থিতিশীল হ্যাডোপ বাইনারি টার ডাউনলোড করুন।

কমান্ড : উইজেট https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

হাদুপ টার টার বলটি বের করুন।

কমান্ড : tar –xvf hadoop-2.6.0.tar.gz

হ্যাডোপ বাইনারি ছড়িয়ে দিন।

হ্যাডোপ, চিড়িয়াখানা এবং .bashrc ফাইলে পাথগুলি যুক্ত করুন।

.Bashrc ফাইলটি খুলুন।

কমান্ড : sudo gedit ~ / .bashrc

নীচের পথগুলি যুক্ত করুন:

রপ্তানি HADOOP_HOME = রপ্তানি HADOOP_MAPRED_HOME = $ HADOOP_HOME রপ্তানি HADOOP_COMMON_HOME = $ HADOOP_HOME রপ্তানি HADOOP_HDFS_HOME = $ HADOOP_HOME রপ্তানি YARN_HOME = $ HADOOP_HOME রপ্তানি HADOOP_CONF_DIR = $ HADOOP_HOME জন্য / etc / Hadoop রপ্তানি YARN_CONF_DIR = $ HADOOP_HOME জন্য / etc / Hadoop রপ্তানি JAVA_HOME = রপ্তানি ZOOKEEPER_HOME = রপ্তানি পাথ = AT পাঠ: A জাভাহোহোম / বিন: $ হ্যাডোপহোম / বিন: $ হ্যাডোপহোম / এসবিন: OO জুকিইপিপি / হোম / বিন

.Bashrc ফাইলটি সম্পাদনা করুন।

সমস্ত নোডে এসএসএইচ সক্ষম করুন।

সমস্ত নোডে এসএসএইচ কী তৈরি করুন।

কমান্ড : ssh-keygen rst rsa (সমস্ত নোডে এই পদক্ষেপ)

সমস্ত নোডে এসএসএইচ কী সেট আপ করুন।

কীটি সংরক্ষণ করতে এন্টার ফাইলটিতে কোনও পাথ দেবেন না এবং কোনও পাসফ্রেজ দেবেন না। এন্টার বোতাম টিপুন।

সমস্ত নোডে ssh কী প্রক্রিয়া তৈরি করুন।

একবার ssh কী তৈরি হয়ে গেলে আপনি পাবলিক কী এবং প্রাইভেট কী পাবেন।

.Ssh কী ডিরেক্টরিতে অনুমতি 700 থাকতে হবে এবং .ssh ডিরেক্টরিতে থাকা সমস্ত কীতে 600 এর অনুমতি থাকা উচিত।

এসএসএইচ ডিরেক্টরি অনুমতি পরিবর্তন করুন।

ডিরেক্টরিটি .ssh এ পরিবর্তন করুন এবং ফাইলগুলির অনুমতি 600 এ পরিবর্তন করুন

সরকারী এবং ব্যক্তিগত কী অনুমতি পরিবর্তন করুন।

আপনাকে সমস্ত নোডে নেম নোডগুলি ssh সর্বজনীন কী অনুলিপি করতে হবে।

অ্যাক্টিভ নেমনেডে, ক্যাট কমান্ড ব্যবহার করে id_rsa.pub অনুলিপি করুন।

কমান্ড : বিড়াল ~ / .ssh / id_rsa.pub >> ~ / .ssh / অনুমোদিত_কিগুলি

এর অনুমোদিত কীগুলিতে নেমনেড এসএস কী অনুলিপি করুন।

ব্যবহার করে সমস্ত নোডে নেমনোড পাবলিক কীটি অনুলিপি করুন ssh-copy-id আদেশ

কমান্ড : ssh-copy-id –i .ssh / id_rsa.pub edureka@nn2.cluster.com

স্ট্যান্ডবাই নেম নোডে উদ্দেশ্য কীটি অনুলিপি করুন।

নাম নোডের সর্বজনীন কী ডেটা নোডে অনুলিপি করুন।

কমান্ড : ssh-copy-id –i .ssh / id_rsa.pub edureka@dn1.cluster.com

নাম নোড পাবলিক কী ডেটা নোডে অনুলিপি করুন।

সমস্ত নোডে sshd পরিষেবাটি পুনরায় চালু করুন।

কমান্ড : sudo সার্ভিস sshd পুনরায় চালু (সমস্ত নোডে করুন)

এসএসএইচ পরিষেবাটি পুনরায় চালু করুন।

এখন আপনি কোনও প্রমাণীকরণ ছাড়াই নামনড থেকে যে কোনও নোডে লগইন করতে পারেন।

অ্যাক্টিভ নেম নোড থেকে কোর-সাইট.xML ফাইলটি খুলুন এবং নীচের বৈশিষ্ট্যগুলি যুক্ত করুন।

অ্যাক্টিভ নেমনেড থেকে কোর-সাইট.xml সম্পাদনা করুন

অ্যাক্টিভ নেমনেডে hdfs-site.xML ফাইল খুলুন। নীচের বৈশিষ্ট্য যুক্ত করুন।

dfs.namenode.name.dir / home / edureka / HA / ডেটা / নেমনেড dfs.replication 1 dfs.permission মিথ্যা dfs.nameservices হা-ক্লাস্টার dfs.ha.namenodes.ha- ক্লাস্টার এনএন 1, এনএন 2 dfs.namenode.rpc- ঠিকানা .ha-cluster.nn1 nn1.cluster.com:9000 dfs.namenode.rpc-address.ha-cluster.nn2 nn2.cluster.com:9000 dfs.namenode.http-address.ha-cluster.nn1 nn1.cluster। com: 50070 dfs.namenode.http-address.ha-cluster.nn2 nn2.cluster.com:50070 dfs.namenode.shared.edits.dir qjorter: //nn1.cluster.com: 8485nn2.cluster.com: 8485dn1। cluster.com:8485/ha-cluster dfs.client.failover.proxy.provider.ha-cluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.automatic-failover.enabled সত্য ha.zooaker .কোর্ম nn1.cluster.com रात্ট 181,nn2.cluster.com entitled181,dn1.cluster.com रात্টফেস 181 dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-file / home / edureka /.ssh/id_rsa

চিড়িয়াখানার কনফার্ট ডিরেক্টরিতে ডিরেক্টরিটি পরিবর্তন করুন।

কমান্ড : সিডি চিড়িয়াখানা -৩.৪..6 / কনফ

চিড়িয়াখানার কনফার্ট ডিরেক্টরি।

একটি কনফারেন্স ডিরেক্টরিতে আপনার চিড়িয়াখানা থেকে zoo_sample.cfg ফাইল রয়েছে, চিড়িয়াখানা_সাম্পল সিএফজি ফাইল ব্যবহার করে চিড়িয়াখানা তৈরি করুন।

কমান্ড : সিপি চিড়িয়াখানা_সাম্পল সিএফজি চিড়িয়াখানা

Zoo.cfg ফাইল তৈরি করুন।

যেকোন জায়গায় ডিরেক্টরি তৈরি করুন এবং চিড়িয়াখানার ডেটা সঞ্চয় করতে এই ডিরেক্টরিটি ব্যবহার করুন।

কমান্ড : এমকেডির

চিড়িয়াখানার ডেটা সঞ্চয় করার জন্য একটি ডিরেক্টরি তৈরি করুন।

Zoo.cfg ফাইলটি খুলুন।

কমান্ড : gedit zoo.cfg

উপরের ধাপে তৈরি হওয়া ডিরেক্টরি পাথটি ডেটাডির সম্পত্তিতে যুক্ত করুন এবং চিড়িয়াখানাটিএফজি ফাইলে অবশিষ্ট নোড সম্পর্কিত নীচের বিবরণ যুক্ত করুন।

সার্ভার .১ = nn1.cluster.com: 2888: 3888

সার্ভার .২ = nn2.cluster.com: 2888: 3888

সার্ভার 3 = dn1.cluster.com: 2888: 3888

Zoo.cfg ফাইলটি সম্পাদনা করুন।

এখন scp কমান্ড ব্যবহার করে সমস্ত নোডে (স্ট্যান্ডবাই নাম নোড, ডেটা নোড) জাভা এবং হ্যাডোপ-২.6.০, চিড়িয়াখানা -৩.৪. directories ডিরেক্টরি এবং .bashrc ফাইলটি অনুলিপি করুন।

কমান্ড : scp –r এডুরেকা @:

সমস্ত নোডে হাদুপ, চিড়িয়াখানা এবং .bashrc ফাইলটি অনুলিপি করুন।

একইভাবে, .bashrc ফাইল এবং চিড়িয়াখানা ডিরেক্টরিটি সমস্ত নোডে অনুলিপি করুন এবং প্রতিটি নোডের অনুসারে পরিবেশের ভেরিয়েবলগুলি পরিবর্তন করুন।

ডেটা নোডে, এমন কোনও ডিরেক্টরি তৈরি করুন যেখানে আপনার এইচডিএফএস ব্লক সংরক্ষণ করতে হবে।

একটি ডাটা নোডে, আপনাকে dfs.datanode.data.dir বৈশিষ্ট্য যুক্ত করতে হবে।

আমার ক্ষেত্রে, আমি তৈরি করেছি ডাটানড ব্লক সংরক্ষণ করার জন্য ডিরেক্টরি।

ডাটাানোড ডিরেক্টরি তৈরি করুন।

ডেটা নোড ডিরেক্টরিতে অনুমতি পরিবর্তন করুন।

ডাটাানোড ডিরেক্টরি অনুমতি পরিবর্তন করুন।

এইচডিএফএস-সাইট.xML ফাইলটি খুলুন, dfs.datanode.data.dir বৈশিষ্ট্যে এই ডেটানোড ডিরেক্টরি পথ যুক্ত করুন।

দ্রষ্টব্য: অ্যাক্টিভ নেমনেড থেকে অনুলিপি করা সমস্ত বৈশিষ্ট্য dfs.datanode.data.dir যোগ করুন এবং একটি নাম প্রত্যয় সম্পত্তি নামনেড।

dfs.datanode.data.dir / হোম / এডুরেকা / এইচএ / ডেটা / ডাটানোড

অ্যাক্টিভ নেমনেডে, আপনি যেখানে চিড়িয়াখানার কনফিগারেশন ফাইল (ডেটাডির সম্পত্তি পথ) সংরক্ষণ করতে চান সেই ডিরেক্টরিটি পরিবর্তন করুন।

ডিরেক্টরিটির ভিতরে মায়িড ফাইলটি তৈরি করুন এবং ফাইলটিতে সংখ্যার 1 যুক্ত করুন এবং ফাইলটি সংরক্ষণ করুন।

কমান্ড : vi মাইডি

মাইিড ফাইল তৈরি করুন।

স্ট্যান্ডবাই নেমনেডে ডিরেক্টরিটি পরিবর্তন করুন যেখানে আপনি চিড়িয়াখানার কনফিগারেশন ফাইল (ডেটাডির সম্পত্তি পথ) সংরক্ষণ করতে চান।

ডিরেক্টরিতে মায়িড ফাইলটি তৈরি করুন এবং ফাইলটিতে সংখ্যার 2 যুক্ত করুন এবং ফাইলটি সংরক্ষণ করুন।

একটি ডেটা নোডে, ডিরেক্টরিটি পরিবর্তন করুন যেখানে আপনি চিড়িয়াখানার কনফিগারেশন ফাইল (ডেটাডির সম্পত্তি পথ) সংরক্ষণ করতে চান।

ডিরেক্টরিটির ভিতরে মাইডিড ফাইলটি তৈরি করুন এবং ফাইলটিতে সংখ্যা 3 যুক্ত করুন এবং ফাইলটি সংরক্ষণ করুন।

তিনটি নোডেই জার্নালনড শুরু করুন।

কমান্ড : hadoop-daemon.sh জার্নালনড শুরু করুন

জার্নালড শুরু করুন।

আপনি যখন jps কমান্ডটি প্রবেশ করবেন, আপনি সমস্ত নোডে জার্নালনড ডিমন দেখতে পাবেন।

ফর্ম্যাট করুনসক্রিয় উদ্দেশ্য।

কমান্ড : এইচডিএফএস উদ্দেশ্য-ফর্ম্যাট

সক্রিয় নেম নোড ফর্ম্যাট।

নেমনেড ডিমন এবং অ্যাক্টিভ নেমডোড শুরু করুন।

কমান্ড : hadoop-daemon.sh শুরু করার উদ্দেশ্য

নামনোড শুরু করুন।

সক্রিয় নাম নোড থেকে স্ট্যান্ডবাই নামনেড থেকে এইচডিএফএস মেটা ডেটা অনুলিপি করুন।

কমান্ড : এইচডিএফএস-বুটস্ট্র্যাপস স্ট্যান্ডবাইয়ের উদ্দেশ্য

অ্যাক্টিভ নেম নোড থেকে স্ট্যান্ডবাই নেমনেডে এইচডিএফএস মেটা ডেটা অনুলিপি করুন।

আপনি এই আদেশটি চালানোর পরে, আপনি কোন নোড এবং অবস্থান থেকে মেটা ডেটা অনুলিপি করছেন এবং এটি সফলভাবে অনুলিপি করছে কিনা তা আপনি তথ্য পাবেন।

সক্রিয় উদ্দেশ্য সম্পর্কিত তথ্য।

অ্যাক্টিভ নেমনেড থেকে স্ট্যান্ডবাই নামনোডে মেটা ডেটা অনুলিপি করা হয়ে গেলে আপনি স্ক্রিনশটটিতে নীচে প্রদর্শিত বার্তাটি পাবেন।

স্ট্যান্ডবাই নেমনেডে এইচডিএফএস সম্পর্কিত তথ্য।

স্ট্যান্ডবাই নেমনেড মেশিনে নেমনেড ডিমন শুরু করুন।

কমান্ড : hadoop-daemon.sh শুরু করার উদ্দেশ্য

এখন তিনটি নোডে চিড়িয়াখানা পরিষেবা শুরু করুন।

কমান্ড : zkServer.sh start (সমস্ত নোডে এই কমান্ডটি চালান)

সক্রিয় উদ্দেশ্যতে:

অ্যাক্টিভ নেমনেডে চিড়িয়াখানা শুরু করুন।

স্ট্যান্ডবাই নামনোডে:

স্ট্যান্ডবাই নেম নোডে চিড়িয়াখানা শুরু করুন।

ডেটা নোডে:

ডেটা নোডে চিড়িয়াখানা শুরু করুন।

চিড়িয়াখানা সার্ভার চালানোর পরে, জেপিএস কমান্ডটি প্রবেশ করুন। সমস্ত নোডে আপনি কোরামামপিয়ার পরিষেবাটি দেখতে পাবেন।

ডেটা নোড মেশিনে ডেটা নোড ডেমন শুরু করুন।

কমান্ড : hadoop-daemon.sh ডেটানোড শুরু করুন

অ্যাক্টিভ নেম নোড এবং স্ট্যান্ডবাই নেম নোডে চিড়িয়াখানাটি ব্যর্থ ওভার নিয়ামক শুরু করুন।

অ্যাক্টিভ নেমনেডে চিড়িয়াখানার ব্যর্থটিকে ফর্ম্যাট করুন।

আদেশ: এইচডিএফএস zkfc tformatZK

ফর্ম্যাট জেডকেএফসি।

অ্যাক্টিভ নেমনেডে জেডকেএফসি শুরু করুন।

কমান্ড : hadoop-daemon.sh zkfc শুরু করুন

DFSZkFailoverController ডেমন পরীক্ষা করতে jps কমান্ড প্রবেশ করুন।

জেডকেএফসি শুরু করুন।

স্ট্যান্ডবাই নামনোডে চিড়িয়াখানা ক্যাপচারটিকে ব্যর্থ করে ফর্ম্যাট করুন।

কমান্ড : hdfs zkfc tformatZK

স্ট্যান্ডবাই নেমনেডে জেডকেএফসি শুরু করুন।

কমান্ড : hadoop-daemon.sh zkfc শুরু করুন

DFSZkFailoverController ডেমন পরীক্ষা করতে jps কমান্ড প্রবেশ করুন।

নীচের কমান্ডটি ব্যবহার করে এখন প্রতিটি নেমনেডের স্থিতি পরীক্ষা করুন, কোন নোডটি সক্রিয় রয়েছে বা কোন নোড স্ট্যান্ডবাইতে রয়েছে।

কমান্ড : এইচডিএফএস হাদমিন –getServiceState nn1

প্রতিটি নেম নোডের স্থিতি পরীক্ষা করুন।

এখন ওয়েব ব্রাউজার ব্যবহার করে প্রতিটি নেমনেডের স্থিতি পরীক্ষা করুন।

ওয়েব ব্রাউজারটি খুলুন এবং নীচের URL টি প্রবেশ করুন।

: 50070

নাম নোডটি অ্যাক্টিভ বা স্ট্যান্ডবাইতে রয়েছে কিনা তা এটি দেখায়।

সক্রিয় নেম নোড।

ওয়েব ব্রাউজার ব্যবহার করে অন্য নাম নোডের বিশদ খুলুন।

স্ট্যান্ডবাই নেম নোড।

অ্যাক্টিভ নেমনেডে, স্ট্যান্ডবাই নাম নোডটি সক্রিয় নামনোডে পরিবর্তন করতে নামনাম ডিমনকে হত্যা করুন।

অ্যাক্টিভ নেমনেডে jps লিখুন এবং ডিমনকে হত্যা করুন।

আদেশ: sudo হত্যা -9

ডেমন প্রসেস আইডি।

নামনোড প্রক্রিয়া আইডি 7606, নামনডটি মেরে ফেলুন।

কমান্ড : সুডো কিল -9 7606

নাম নোড প্রক্রিয়াটি হত্যা করুন

ওয়েব ব্রাউজারের মাধ্যমে দুটি নোড খুলুন এবং স্থিতিটি পরীক্ষা করুন।

নামকরণ বিশদ।

নাম নোডের স্থিতি।

অভিনন্দন, আপনি হ্যাডোপে সফলভাবে একটি এইচডিএফএস উচ্চ উপলভ্যতা ক্লাস্টার সেটআপ করেছেন।

আপনি যখন হাদোপ উচ্চ উপলভ্যতা ক্লাস্টার আর্কিটেকচারটি বুঝতে পেরেছেন তবে এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুুপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।

উইন্ডো ।_এলকিউ_ = উইন্ডো ।_এলকিউ_ || {}

lqQuizModal (উইন্ডো, ডকুমেন্ট, {কুইজআইডি: ’XAIVp8 ′, বেসউরল:’ https: //quiz.leadquizzes.com/’,trigger: ‘প্রস্থান’}, _এলকিউ_)