প্রকল্প পর্যবেক্ষণ এবং নিয়ন্ত্রণ পরিকল্পনা
হ্যাডোপ জব ট্র্যাকার
জব ট্র্যাকার হ'ল জব রিসোর্স ম্যানেজমেন্ট এবং কাজের সময়সূচী / পর্যবেক্ষণ উভয়ের জন্য মাস্টার ডেমন। এটি হাদুপ এবং আপনার অ্যাপ্লিকেশনের মধ্যে যোগাযোগ হিসাবে কাজ করে।
প্রক্রিয়া
ক্লায়েন্টের কাছে কোনও কাজ জমা দেওয়ার আগে ব্যবহারকারী প্রথমে বিতরণকারী ফাইল সিস্টেম (ডিএফএস) এ ফাইলগুলি অনুলিপি করে। ক্লায়েন্ট তারপরে এই ইনপুট ফাইলগুলি গ্রহণ করে। ব্যবহারকারী ইনপুট ফাইলের উপর ভিত্তি করে বিভক্ত বা ব্লকগুলি গ্রহণ করবে।ক্লায়েন্ট পারেএকটি মানুষের মধ্যে বিভক্ত বা ব্লক তৈরি করুননার্ফ এটি প্রিএরস, কারণ এর পিছনে কিছু নির্দিষ্ট বিবেচনা রয়েছে। যদি সম্পূর্ণ ডেটাতে কোনও বিশ্লেষণ করা হয়ে থাকে, আপনি ডেটাগুলিকে বিভক্ত করে দেবেন। ফাইলগুলি ক্লায়েন্টের মাধ্যমে অনুলিপি করা হয় না, তবে ফ্লুম বা স্কুওপ বা কোনও বাহ্যিক ক্লায়েন্ট ব্যবহার করে অনুলিপি করা হয়।
একবার ফাইলগুলি ডিএফএসে অনুলিপি করা হয় এবং ক্লায়েন্টটি ডিএফএসের সাথে যোগাযোগ করে,বিভাজনগুলি একটি ম্যাপ্রেডস জে চালাবেওব। চাকরি একটি ট্র্যাকার মাধ্যমে জমা দেওয়া হয়। কাজের ট্র্যাকার হ'ল মাস্টার ডেমন যা একই নোডে চলেরানডেটা নোডে এই একাধিক কাজ। এই ডেটা বিভিন্ন ডেটা নোডের উপর পড়ে থাকবে তবে এটি যত্ন নেওয়া জব ট্র্যাকারের দায়িত্ব।
ক্লায়েন্ট জমা দেওয়ার পরেজব ট্র্যাকার, কাজটি কাজের কাতারে আরম্ভ করা হয় এবং কাজের ট্র্যাকার মানচিত্র তৈরি করে হ্রাস করে। মানচিত্রের কার্যক্রমে অন্তর্ভুক্ত থাকা প্রোগ্রামের ভিত্তিতে এবং ফাংশন হ্রাস করে, এটি মানচিত্রের টাস্ক তৈরি করবে এবং কার্য হ্রাস করবে। এই দুটি ইনপুট বিভাজনে চালানো হবে। দ্রষ্টব্য: ক্লায়েন্টদের দ্বারা তৈরি করা হলে, এই ইনপুট বিভাজনে পুরো ডেটা থাকে।
প্রতিটি ইনপুট বিভক্ত একটি মানচিত্র কাজ চলছে এবং মানচিত্র টাস্ক আউটপুট হ্রাস কাজ মধ্যে যায়। জব ট্র্যাকার একটি নির্দিষ্ট ডেটাতে ট্র্যাক চালায়। এর একাধিক প্রতিলিপি থাকতে পারে যাতে এটি স্থানীয় ডেটা বাছাই করে এবং সেই নির্দিষ্ট টাস্ক ট্র্যাকারের উপর টাস্ক চালায়। টাস্ক ট্র্যাকার হ'ল ডেটা নোডে টাস্কটি আসলে চালায়। কাজের ট্র্যাকার পাস করবেতথ্যটাস্ক ট্র্যাকার এবং টাস্ক ট্র্যাকার ডেটা নোডে কাজ চালাবে।
কাজটি একবার টাস্ক ট্র্যাকারকে অর্পণ করার পরে, প্রতিটি টাস্ক ট্র্যাকার এবং জব ট্র্যাকারের সাথে একটি হার্টবিট যুক্ত থাকে। ডেটা নোডগুলি এখনও বেঁচে আছে কিনা তা অনুসন্ধান করতে এটি সংকেত প্রেরণ করে। নোডগুলির বিবর্ণ হওয়ার সম্ভাবনা থাকার কারণে দুটি প্রায়শই সমন্বয় হয়।
আমাদের জন্য একটি প্রশ্ন আছে? তাদের মন্তব্য বিভাগে উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।
সম্পর্কিত পোস্ট: