হ্যাডোপ ইয়ার্ন টিউটোরিয়াল - ইয়ার্ন আর্কিটেকচারের ফান্ডামেন্টাল শিখুন

হ্যাডোপ ইয়ার্ন হ্যাডোপ অর্থাত্ এইচডিএফএস (হ্যাডোপ বিতরণকারী ফাইল সিস্টেম) এর স্টোরেজ ইউনিটকে বিভিন্ন প্রক্রিয়াজাতকরণের সরঞ্জামগুলির সাহায্যে নিট করে। আপনারা যারা এই বিষয়টিতে সম্পূর্ণ নতুন, তাদের জন্য YARN ' ওয়াই এবং প্রতি nother আর উত্স এন দম্পতি '। আমি আপনাকে আমাদের মাধ্যমে যেতে পরামর্শ দিতে হবে এবং অ্যাপাচি হাদুপ ইয়ার্ন শিখার আগে আপনি এগিয়ে যাওয়ার আগে। আমি নীচের বিষয়গুলি এখানে ব্যাখ্যা করব যাতে এই ব্লগের শেষে আপনার হাদুপ ইয়ার্ন সম্পর্কে উপলব্ধি স্পষ্ট হয়।

• ইয়ার্ন কেন?
• হাদোপ ইয়ার্নের পরিচিতি
• ইয়ার্নের উপাদানগুলি
• YARN এ আবেদন জমা দিন
• হডোপ ইয়ারনে অ্যাপ্লিকেশন কর্মপ্রবাহ

ইয়ার্ন কেন?

হ্যাডোপ সংস্করণ 1.0 এ যা এমআরভি 1 (ম্যাপ্রেডিউস সংস্করণ 1) হিসাবেও পরিচিত, ম্যাপ্রেডুস প্রক্রিয়াজাতকরণ এবং সংস্থান পরিচালন উভয় কার্য সম্পাদন করে। এটিতে একটি জব ট্র্যাকার ছিল যা একক মাস্টার ছিল। জব ট্র্যাকার সম্পদগুলি বরাদ্দ করে, সময় নির্ধারণ করে এবং প্রক্রিয়াজাতকরণের কাজগুলি পর্যবেক্ষণ করে। এটি মানচিত্র নির্ধারণ করেছে এবং টাস্ক ট্র্যাকার্স নামে অভিহিত বেশ কয়েকটি অধস্তন প্রক্রিয়াগুলিতে কাজগুলি হ্রাস করে। কার্য ট্র্যাকাররা পর্যায়ক্রমে তাদের কাজের অগ্রগতি জব ট্র্যাকারকে জানায়।

এই ডিজাইনের ফলে একক জব ট্র্যাকারের কারণে স্কেলিবিলিটি বাধা সৃষ্টি হয়েছিল।আইবিএম তার নিবন্ধে উল্লেখ করেছে যে ইয়াহু! অনুসারে, এই জাতীয় নকশার ব্যবহারিক সীমাটি 5000 নোডের ক্লাস্টার এবং একই সাথে চলমান 40,000 টি কার্যের সাথে পৌঁছে যায়।এই সীমাবদ্ধতা বাদে এমআরভি 1-তে গণ্য সংস্থার ব্যবহার অকার্যকর। এছাড়াও, হ্যাডোপ কাঠামোটি কেবলমাত্র মানচিত্রের প্রসেসিং দৃষ্টান্তের মধ্যে সীমাবদ্ধ হয়ে গেছে।

এই সমস্ত সমস্যাগুলি কাটিয়ে উঠতে, ইয়াআরএন ইয়াহু এবং হর্টন ওয়ার্কস দ্বারা 2012 সালে হ্যাডোপ সংস্করণ 2.0 তে চালু হয়েছিল was ইএআরএন-এর পিছনে মূল ধারণাটি রিসোর্স ম্যানেজমেন্ট এবং জব শিডিউলিংয়ের দায়িত্ব গ্রহণের মাধ্যমে মানচিত্রে মুক্তি দেওয়া। ইয়ার্ন হ্যাডোপকে হ্যাডোপ কাঠামোর মধ্যে ম্যাপ্রেডসবিহীন কাজ চালানোর ক্ষমতা দেওয়া শুরু করে।

আপনি নীচের ভিডিওটি দেখতে পারেন যেখানে আমাদের বিশেষজ্ঞ ইয়ার্ন ধারণা এবং এটির স্থাপত্য সম্পর্কে বিস্তারিত আলোচনা করছেন ing

হাদুপ সুতা টিউটোরিয়াল | হাদুপ সুতা আর্কিটেকচার | এডুরেকা

YARN প্রবর্তনের সাথে, সম্পূর্ণ বিপ্লব হয়েছিল। এটি অনেক বেশি নমনীয়, দক্ষ এবং স্কেলযোগ্য হয়ে উঠেছে। ইয়াহু যখন 2013 এর প্রথম প্রান্তিকে YARN এর সাথে লাইভ হয়েছিল, এটি সংস্থাটিকে তার হ্যাডোপ ক্লাস্টারের আকার 40,000 নোড থেকে 32,000 নোডে সঙ্কুচিত করতে সহায়তা করেছিল। তবে প্রতি মাসে কাজের সংখ্যা দ্বিগুণ হয়ে গেছে ২ million মিলিয়ন।

হাদোপ ইয়ার্নের পরিচিতি

এখন আমি আপনাকে ইয়ার্নের প্রয়োজনীয়তার সাথে আলোকিত করেছি, আমাকে আপনাকে হ্যাডোপ ভি 2.0 এর মূল উপাদানটির সাথে পরিচয় করিয়ে দিন, সুতা । YARN গ্রাফ প্রসেসিং, ইন্টারেক্টিভ প্রসেসিং, স্ট্রিম প্রসেসিংয়ের পাশাপাশি ব্যাচ প্রসেসিং এইচডিএফএসে সঞ্চিত ডেটা চালানো এবং প্রক্রিয়া করার জন্য বিভিন্ন ডেটা প্রক্রিয়াকরণ পদ্ধতির মঞ্জুরি দেয়। অতএব YARN ম্যাপ্রেডস ছাড়িয়ে অন্য ধরণের বিতরণ অ্যাপ্লিকেশনগুলিতে হ্যাডোপ খুলবে।

জাভা একটি শক্তি কিছু উত্থাপন

ইয়ার্ন ব্যবহারকারীদের বিভিন্ন ধরণের সরঞ্জাম ব্যবহার করে প্রয়োজনীয়তা অনুযায়ী অপারেশন করতে সক্ষম করে রিয়েল-টাইম প্রসেসিংয়ের জন্য, মধু এসকিউএল এর জন্য, এইচবেস নোএসকিউএল এবং অন্যদের জন্য।

রিসোর্স ম্যানেজমেন্ট ছাড়াও, ইএআরএন জব শিডিউলিংও করে। YARN আপনার সমস্ত প্রক্রিয়াজাতকরণ ক্রিয়াকলাপগুলি সম্পদ বরাদ্দ করে এবং নির্ধারিত কাজগুলি সম্পাদন করে। অ্যাপাচি হ্যাডোপ ইয়ার্ন আর্কিটেকচারটিতে নিম্নলিখিত প্রধান উপাদানগুলি রয়েছে:

1. রিসোর্স ম্যানেজার : মাস্টার ডিমন চালায় এবং ক্লাস্টারে রিসোর্স বরাদ্দ পরিচালনা করে।
2. নোড পরিচালক তারা স্লেভ ডেমনগুলিতে চালিত হয় এবং প্রতিটি ডেটা নোডে কোনও কার্য সম্পাদনের জন্য দায়বদ্ধ।
3. আবেদন মাস্টার: পৃথক অ্যাপ্লিকেশনগুলির ব্যবহারকারীর কাজের জীবনচক্র এবং সংস্থানগুলি পরিচালনা করে। এটি নোড ম্যানেজারের সাথে কাজ করে এবং কার্য সম্পাদনের উপর নজর রাখে।
4. ধারক: একক নোডে র‌্যাম, সিপিইউ, নেটওয়ার্ক, এইচডিডি ইত্যাদি সহ সংস্থানসমূহের প্যাকেজ।

ইয়ার্নের উপাদানগুলি

আপনি ইয়ার্নকে আপনার হ্যাডোপ ইকোসিস্টেমের মস্তিষ্ক হিসাবে বিবেচনা করতে পারেন। নীচের চিত্রটি YARN আর্কিটেকচারের প্রতিনিধিত্ব করে।

দ্য প্রথম উপাদান ইয়ার্ন আর্কিটেকচারের হ'ল,

রিসোর্স ম্যানেজার

• এটি সম্পদ বরাদ্দের চূড়ান্ত কর্তৃপক্ষ ।
• প্রসেসিংয়ের অনুরোধগুলি গ্রহণ করার পরে, এটি অনুরূপ নোড পরিচালকদের অনুরোধের অংশগুলি পাশ করে, যেখানে প্রকৃত প্রক্রিয়াজাতকরণ হয়।
• এটি ক্লাস্টার রিসোর্সের সালিসি এবং প্রতিযোগিতামূলক অ্যাপ্লিকেশনগুলির জন্য উপলভ্য সংস্থানগুলির বরাদ্দের সিদ্ধান্ত নেয়।
• ক্ষমতার গ্যারান্টি, ন্যায্যতা এবং এসএলএস-এর মতো বিভিন্ন সীমাবদ্ধতার বিরুদ্ধে সর্বদা সমস্ত সংস্থান ব্যবহারের মতো ক্লাস্টারের ব্যবহারকে অনুকূল করে তোলে।
• এর দুটি প্রধান উপাদান রয়েছে:ক) সময়সূচীখ)অ্যাপ্লিকেশন ম্যানেজার

ক) সময়সূচী

• সময়সূচী দক্ষতা, সারি ইত্যাদির সীমাবদ্ধতা সাপেক্ষে চলমান বিভিন্ন অ্যাপ্লিকেশনগুলিতে সম্পদ বরাদ্দ করার জন্য দায়বদ্ধ
• এটিকে রিসোর্স ম্যানেজারে খাঁটি শিডিয়ুলার বলা হয় যার অর্থ এটি অ্যাপ্লিকেশনগুলির জন্য কোনও পর্যবেক্ষণ বা স্থিতি ট্র্যাকিং করে না।
• যদি কোনও অ্যাপ্লিকেশন ব্যর্থতা বা হার্ডওয়্যার ব্যর্থতা থাকে তবে শিডিয়ুলার ব্যর্থ কাজগুলি পুনরায় চালু করার গ্যারান্টি দেয় না।
• অ্যাপ্লিকেশনগুলির রিসোর্স প্রয়োজনীয়তার উপর ভিত্তি করে সময়সূচী সম্পাদন করে।
• এটিতে একটি প্লাগযোগ্য নীতি প্লাগ-ইন রয়েছে, যা বিভিন্ন অ্যাপ্লিকেশনগুলির মধ্যে ক্লাস্টার সংস্থানগুলি বিভাজনের জন্য দায়ী। এই জাতীয় দুটি প্লাগইন রয়েছে: ক্যাপাসিটি শিডিয়ুলার এবং ফেয়ার শিডিউলার যা বর্তমানে রিসোর্স ম্যানেজারের সময়সূচী হিসাবে ব্যবহৃত হয়।

খ) অ্যাপ্লিকেশন ম্যানেজার

• এটি চাকরীর জমা গ্রহণের জন্য দায়বদ্ধ।
• অ্যাপ্লিকেশন নির্দিষ্ট অ্যাপ্লিকেশন মাস্টার কার্যকর করার জন্য রিসোর্স ম্যানেজারের কাছ থেকে প্রথম কনটেইনারটি আলোচনা করে।
• একটি ক্লাস্টারে অ্যাপ্লিকেশন মাস্টার্স পরিচালনা করে এবং ব্যর্থতায় অ্যাপ্লিকেশন মাস্টার ধারক পুনরায় চালু করার জন্য পরিষেবা সরবরাহ করে।

আসছে দ্বিতীয় উপাদান যা হলো:

নোড ম্যানেজার

• এটি একটি হডোপ ক্লাস্টারে পৃথক নোডগুলির যত্ন নেয় এবংপ্রদত্ত নোডে ব্যবহারকারীর কাজ এবং ওয়ার্কফ্লো পরিচালনা করে।
• এটি রিসোর্স ম্যানেজারের সাথে নিবন্ধন করে এবং নোডের স্বাস্থ্যের স্থিতি সহ হৃদস্পন্দনগুলি প্রেরণ করে।
• এর প্রাথমিক লক্ষ্যটি রিসোর্স ম্যানেজার দ্বারা নির্ধারিত অ্যাপ্লিকেশন পাত্রে পরিচালনা করা।
• এটি রিসোর্স ম্যানেজারের সাথে আপ টু ডেট রাখে।
• অ্যাপ্লিকেশন মাস্টার নোড ম্যানেজারের কাছ থেকে নির্ধারিত ধারককে একটি কনটেইনার লঞ্চ কনটেক্সট (সিএলসি) প্রেরণের মাধ্যমে অনুরোধ করেছেন যাতে অ্যাপ্লিকেশনটি চালানোর জন্য প্রয়োজনীয় সমস্ত কিছু অন্তর্ভুক্ত করে। নোড ম্যানেজার অনুরোধ করা ধারক প্রক্রিয়া তৈরি করে এবং এটি শুরু করে।
• পৃথক পাত্রে সম্পদ ব্যবহার (মেমরি, সিপিইউ) নিরীক্ষণ করে।
• লগ পরিচালনা সম্পাদন করে।
• এটি রিসোর্স ম্যানেজারের নির্দেশ অনুসারে ধারকটিকেও হত্যা করে।

দ্য তৃতীয় উপাদান অ্যাপাচি হাদুপ ইয়ারন এর,

আবেদন মাস্টার

• একটি অ্যাপ্লিকেশন হ'ল কাঠামোতে জমা দেওয়া একক কাজ। এই জাতীয় প্রতিটি অ্যাপ্লিকেশন এর সাথে সম্পর্কিত একটি অনন্য অ্যাপ্লিকেশন মাস্টার যা একটি কাঠামো নির্দিষ্ট সত্তা।
• এটি এমন প্রক্রিয়া যা ক্লাস্টারে কোনও প্রয়োগের সম্পাদনকে সমন্বিত করে এবং ত্রুটিগুলি পরিচালনা করে।
• এর কাজটি রিসোর্স ম্যানেজারের কাছ থেকে রিসোর্স নিয়ে আলোচনা করা এবং নোড ম্যানেজারের সাথে কাজগুলির কার্য সম্পাদন ও নিরীক্ষণের জন্য কাজ করা।
• এটি রিসোর্স ম্যানেজারের উপযুক্ত সংস্থান কন্টেইনারগুলির সাথে আলোচনার জন্য, তাদের অবস্থানগুলি পর্যবেক্ষণ এবং অগ্রগতি পর্যবেক্ষণ করার জন্য দায়ী।
• একবার শুরু হয়ে গেলে, এটি পর্যায়ক্রমে রিসোর্স ম্যানেজারকে তার স্বাস্থ্যের নিশ্চয়তা দিতে এবং এর সংস্থানগুলির চাহিদার রেকর্ড আপডেট করার জন্য হৃদস্পন্দন পাঠায়।

দ্য চতুর্থ উপাদান হ'ল:

ধারক

• এটি শারীরিক সংস্থান যেমন র‌্যাম, সিপিইউ কোর এবং একক নোডের ডিস্কের সংগ্রহ।
• ইয়ার্ন পাত্রে একটি ধারক প্রবর্তন প্রসঙ্গে পরিচালিত হয় যা ধারক জীবনচক্র (সিএলসি)। এই রেকর্ডটিতে পরিবেশের ভেরিয়েবলের মানচিত্র, দূরবর্তী অ্যাক্সেসযোগ্য স্টোরেজে সংরক্ষণিত নির্ভরতা, সুরক্ষা টোকেন, নোড ম্যানেজার পরিষেবাদির পে-লোড এবং প্রক্রিয়াটি তৈরি করার জন্য প্রয়োজনীয় কমান্ড রয়েছে।
• এটি কোনও অ্যাপ্লিকেশনকে একটি নির্দিষ্ট হোস্টে নির্দিষ্ট পরিমাণের সংস্থান (মেমরি, সিপিইউ ইত্যাদি) ব্যবহারের অধিকার দেয়।

YARN এ আবেদন জমা দিন

চিত্রটি দেখুন এবং হ্যাডোপ ইয়ার্নের আবেদন জমা দেওয়ার সাথে জড়িত পদক্ষেপগুলি একবার দেখুন:

1) কাজ জমা দিন

2)অ্যাপ্লিকেশন আইডি পান

পুতুল বনাম জবাবদিহি বনাম শেফ

3) আবেদন জমা দেওয়ার প্রবন্ধ

ফিবোনাচি নম্বর সি ++

4 ক) পাত্র শুরু করুনশুরু করা

খ) অ্যাপ্লিকেশন মাস্টার চালু করুন

5) সম্পদ বরাদ্দ

6 ক) ধারক

খ) চালু করুন

7) কার্যকর করুন

হডোপ ইয়ারনে অ্যাপ্লিকেশন কর্মপ্রবাহ

প্রদত্ত চিত্রটি দেখুন এবং অ্যাপাচি হ্যাডোপ ইয়ার্নের অ্যাপ্লিকেশন কর্মপ্রবাহের সাথে জড়িত নিম্নলিখিত পদক্ষেপগুলি দেখুন:

1. ক্লায়েন্ট একটি আবেদন জমা দেয়
2. রিসোর্স ম্যানেজার অ্যাপ্লিকেশন ম্যানেজার শুরু করার জন্য একটি ধারক বরাদ্দ করে
3. অ্যাপ্লিকেশন ম্যানেজার রিসোর্স ম্যানেজারের সাথে নিবন্ধন করে
4. অ্যাপ্লিকেশন ম্যানেজার রিসোর্স ম্যানেজার থেকে পাত্রে জিজ্ঞাসা করে
5. অ্যাপ্লিকেশন ম্যানেজার নোড ম্যানেজারকে পাত্রে প্রবর্তন করতে सूचित করে
6. অ্যাপ্লিকেশন কোডটি ধারকটিতে কার্যকর করা হয়
7. অ্যাপ্লিকেশনের অবস্থা নিরীক্ষণ করতে ক্লায়েন্টের যোগাযোগগুলি রিসোর্স ম্যানেজার / অ্যাপ্লিকেশন ম্যানেজার
8. অ্যাপ্লিকেশন ম্যানেজার রিসোর্স ম্যানেজারের সাথে নিবন্ধভুক্ত

আপনি যখন অ্যাপাচি হাডোপ ইয়ার্নকে জানেন, এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুওপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।