হাদোপ ২.০ ক্লাস্টার আর্কিটেকচার ফেডারেশনের সংক্ষিপ্ত বিবরণ

হাদুপ ২.০ ক্লাস্টার আর্কিটেকচার ফেডারেশন

ভূমিকা:

এই ব্লগে আমি হ্যাডোপ ২.০ ক্লাস্টার আর্কিটেকচার ফেডারেশনে গভীর ডুব দেব। অ্যাপাচি হাদুপ 1.x প্রকাশের পর থেকে অ্যাপাচি হাদুপ অনেকগুলি বিকশিত হয়েছে। আপনি আমার আগের ব্লগ থেকে জানেন যে মাস্টার / স্লেভ টোপোলজি অনুসরণ করে যেখানে নেমনোড একটি মাস্টার ডেমন হিসাবে কাজ করে এবং ডেটা নোড নামক অন্যান্য স্লেভ নোড পরিচালনার জন্য দায়বদ্ধ। এই বাস্তুতন্ত্রে, এই একক মাস্টার ডেমন বা নেমনোড একটি বাধা হয়ে দাঁড়ায় এবং বিপরীতে, সংস্থাগুলির নামনোড থাকা দরকার যা অত্যন্ত উপলব্ধ। এই কারণেই এইচডিএফএস ফেডারেশন আর্কিটেকচার এবং এর ভিত্তি হয়ে ওঠে এইচএ (উচ্চ উপলভ্যতা) আর্কিটেকচার ।

এই ব্লগে আমি যে বিষয়গুলি আচ্ছাদন করেছি সেগুলি নিম্নরূপ:

• বর্তমান এইচডিএফএস আর্কিটেকচার
• বর্তমান এইচডিএফএস আর্কিটেকচারের সীমাবদ্ধতা
• এইচডিএফএস ফেডারেশন আর্কিটেকচার

বর্তমান এইচডিএফএস আর্কিটেকচারের ওভারভিউ:

উপরের চিত্রটিতে আপনি দেখতে পাচ্ছেন, বর্তমান এইচডিএফএসের দুটি স্তর রয়েছে:

প্রোগ্রাম শেষ করতে জাভা কমান্ড

• এইচডিএফএস নেমস্পেস (এনএস): এই স্তরটি ডিরেক্টরি, ফাইল এবং ব্লক পরিচালনার জন্য দায়ী। এটি নেমস্পেস সম্পর্কিত সমস্ত ফাইল সিস্টেম অপারেশন যেমন ফাইল বা ফাইল ডিরেক্টরিগুলি তৈরি করা, মুছতে বা পরিবর্তন করতে পারে।
• স্টোরেজ স্তর: এটিতে দুটি মৌলিক উপাদান রয়েছে।
  1. ব্লক ম্যানেজমেন্ট : এটি নিম্নলিখিত ক্রিয়াকলাপ সম্পাদন করে:
     • পর্যায়ক্রমে ডাটানোডের হার্টবিটগুলি পরীক্ষা করে এবং এটি ক্লাস্টারে ডেটা নোডের সদস্যতা পরিচালনা করে।
     • ব্লক প্রতিবেদন পরিচালনা করে এবং ব্লকের অবস্থান বজায় রাখে।
     • ব্লক ক্রিয়াকলাপগুলি যেমন উত্পাদন, পরিবর্তন, মোছা এবং ব্লক অবস্থানের বরাদ্দকে সমর্থন করে।
     • পুরো ক্লাস্টারে জুড়ে রেপ্লিকেশন ফ্যাক্টর বজায় রাখে।

ঘ। শারীরিক স্টোরেজ : এটি ডেটানোডস দ্বারা পরিচালিত হয় যা ডেটা সংরক্ষণের জন্য দায়ী এবং এর মাধ্যমে এইচডিএফএসে সঞ্চিত ডেটাতে পঠন / লেখার অ্যাক্সেস সরবরাহ করে।

সুতরাং, বর্তমান এইচডিএফএস আর্কিটেকচার আপনাকে একটি ক্লাস্টারের জন্য একটি একক নেমস্পেস রাখতে দেয়। এই আর্কিটেকচারে, একটি একক নেম নোড নেমস্পেস পরিচালনা করার জন্য দায়বদ্ধ। এই স্থাপত্যটি খুব সুবিধাজনক এবং কার্যকর করা সহজ। এছাড়াও, এটি ছোট উত্পাদন ক্লাস্টারের চাহিদা পূরণের জন্য পর্যাপ্ত ক্ষমতা সরবরাহ করে।

বর্তমান এইচডিএফসের সীমাবদ্ধতা:

যেমন আগে আলোচনা হয়েছিল, বর্তমান এইচডিএফএস একটি ছোট উত্পাদন ক্লাস্টারের প্রয়োজন এবং ব্যবহারের ক্ষেত্রে যথেষ্ট হয়েছে। তবে, ইয়াহু, ফেসবুকের মতো বড় সংস্থা এইচডিএফএসের ক্লাস্টারটি তাত্পর্যপূর্ণভাবে বাড়ার সাথে কিছু সীমাবদ্ধতা খুঁজে পেয়েছিল। আসুন আমরা কিছু সীমাবদ্ধতাগুলিতে এক ঝলক দেখি:

সি ++ এ ফিবোনাচি

1. নাম স্থান পরিমাপযোগ্য নয় ডেটা নোডের মতো। সুতরাং, ক্লাস্টারে আমাদের কেবলমাত্র সংখ্যক ডাটানোড থাকতে পারে যা একটি একক নেমনোড পরিচালনা করতে পারে।
2. দুটি স্তর, অর্থাত্ নেমস্পেস স্তর এবং স্টোরেজ স্তর শক্তভাবে মিলিত যা নেম নোডের বিকল্প বাস্তবায়নকে খুব কঠিন করে তুলেছে।
3. পুরো হ্যাডোপ সিস্টেমের কর্মক্ষমতা নির্ভর করে থ্রুপুট নামনোডের। সুতরাং, সমস্ত এইচডিএফএস অপারেশনের পুরো কর্মক্ষমতা নির্ভর করে যে কোনও সময়ে নেমনোড কতগুলি কাজ পরিচালনা করতে পারে তার উপর।
4. নেম নোড দ্রুত অ্যাক্সেসের জন্য পুরো নামস্থানটি র‍্যামে সঞ্চয় করে। এটি শর্তাবলী সীমাবদ্ধতা বাড়ে মেমরি সাইজ অর্থাত্ একটি একক নেমস্পেস সার্ভার সহ্য করতে পারে এমন নেমস্পেস বস্তুগুলির (ফাইল এবং ব্লক) সংখ্যা।
5. এইচডিএফএস স্থাপনার সংস্থাগুলি (বিক্রেতাদের) বেশ কয়েকটি প্রতিষ্ঠান একাধিক সংস্থাকে (ভাড়াটে) তাদের ক্লাস্টারের নেমস্পেস ব্যবহার করতে দেয়। সুতরাং, নেমস্পেসের কোনও বিভাজন নেই এবং তাই রয়েছে there কোন বিচ্ছিন্নতা ক্লাস্টার ব্যবহার করছে এমন ভাড়াটে প্রতিষ্ঠানের মধ্যে।

এইচডিএফএস ফেডারেশন আর্কিটেকচার:

• এইচডিএফএস ফেডারেশন আর্কিটেকচারে আমাদের কাছে নাম পরিষেবাটির অনুভূমিক স্কেলিবিলিটি রয়েছে। অতএব, আমাদের একাধিক নেম নোড রয়েছে যা সংঘবদ্ধ, অর্থাত একে অপরের থেকে স্বতন্ত্র।
• ডাটানোডগুলি নীচে উপস্থিত রয়েছে অর্থাত্ অন্তর্নিহিত স্টোরেজ স্তর।
• প্রতিটি ডেটা নোড ক্লাস্টারের সমস্ত নামনোড দিয়ে নিবন্ধন করে।
• ডেটানোডগুলি পর্যায়ক্রমিক হার্টবিটস, ব্লক প্রতিবেদনগুলি এবং নামনোডগুলি থেকে আদেশগুলি পরিচালনা করে।

এইচডিএফএস ফেডারেশন আর্কিটেকচারের সচিত্র চিত্র উপস্থাপন নীচে দেওয়া হয়েছে:

এগিয়ে যাওয়ার আগে আমি উপরোক্ত স্থাপত্য চিত্র সম্পর্কে সংক্ষেপে কথা বলি:

• একাধিক নেমস্পেস (এনএস 1, এনএস 2,…, এনএসএন) রয়েছে এবং সেগুলির প্রত্যেকটি তার নিজ নিজ নেম নোড দ্বারা পরিচালিত হয়।
• প্রতিটি নেমস্পেসের নিজস্ব ব্লক পুল রয়েছে (এনএস 1 এর পুল 1, এনএসকে পুল কে এবং রয়েছে)।
• ছবিতে প্রদর্শিত হিসাবে, পুল 1 থেকে ব্লকগুলি (আকাশের নীল) ডেটা নোড 1, ডাটানোড 2 এবং আরও কিছুতে সংরক্ষণ করা হয়। একইভাবে, প্রতিটি ব্লক পুলের সমস্ত ব্লক সমস্ত ডেটা নোডে থাকবে।

এখন, আসুন এইচডিএফএস ফেডারেশন আর্কিটেকচারের উপাদানগুলি বিশদভাবে বুঝতে পারি:

ব্লক পুল:

ব্লক পুল একটি নির্দিষ্ট নেমস্পেসের অন্তর্ভুক্ত ব্লকের সেট ছাড়া কিছুই নয়। সুতরাং, আমাদের ব্লক পুলের সংগ্রহ রয়েছে যেখানে প্রতিটি ব্লক পুল অপরটি থেকে স্বাধীনভাবে পরিচালিত হয়। এই স্বাধীনতা যেখানে প্রতিটি ব্লক পুল স্বতন্ত্রভাবে পরিচালিত হয় অন্য নামের জায়গাগুলির সাথে সমন্বয় ছাড়াই নামের স্থানটিকে নতুন ব্লকের জন্য ব্লক আইডি তৈরি করতে দেয়। সমস্ত ব্লক পুলে উপস্থিত ডেটা ব্লকগুলি সমস্ত ডেটা নোডে সঞ্চিত থাকে। মূলত, ব্লক পুল একটি বিমূর্ততা সরবরাহ করে যে ডেটানোডে থাকা ডেটা ব্লকগুলি (একক নেমস্পেস আর্কিটেকচারের মতো) একটি নির্দিষ্ট নেমস্পেসের সাথে সামঞ্জস্য করা যায়।

নেমস্পেস ভলিউম:

নেমস্পেসের ভলিউম এটির ব্লক পুলের সাথে নামস্থান ছাড়া অন্য কিছু নয়। সুতরাং, এইচডিএফএস ফেডারেশনে আমাদের একাধিক নেমস্পেস ভলিউম রয়েছে। এটি পরিচালনার একটি স্ব-অন্তর্ভুক্ত ইউনিট, অর্থাত্ প্রতিটি নেমস্পেস ভলিউম স্বাধীনভাবে কাজ করতে পারে। যদি কোনও নেমনোড বা নেমস্পেস মুছে ফেলা হয়, তবে সংশ্লিষ্ট ব্লক পুল যা ডেটানোডে থাকে সেগুলিও মুছে ফেলা হবে।

ডেমো অন হডোপ ২.০ ক্লাস্টার আর্কিটেকচার ফেডারেশন | এডুরেকা

এখন, আমি অনুমান করি আপনার এইচডিএফএস ফেডারেশন আর্কিটেকচার সম্পর্কে খুব ভাল ধারণা আছে। এটি তাত্ত্বিক ধারণা বেশি এবং লোকেরা সাধারণত এটি ব্যবহারিক উত্পাদন ব্যবস্থায় ব্যবহার করে না। এইচডিএফএস ফেডারেশনে কিছু বাস্তবায়ন সমস্যা রয়েছে যা এটি মোতায়েন করা কঠিন করে তোলে। সুতরাং, এটি এইচএ (উচ্চ উপলভ্যতা) আর্কিটেকচার সিঙ্গেল পয়েন্ট অফ ব্যর্থতার সমস্যার সমাধান করতে অগ্রাধিকার দেওয়া হয়। আমি কভার করেছি এইচডিএফএস এইচএ আর্কিটেকচার আমার পরবর্তী ব্লগে

কিভাবে একটি সেট তৈরি করতে

আপনি যখন হ্যাডোপ এইচডিএফএস ফেডারেশন আর্কিটেকচারটি বুঝতে পেরেছেন তবে এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুুপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।