হ্যাডোপ ইনস্টল করুন: একটি একক নোড হ্যাডোপ ক্লাস্টার স্থাপন করা

হ্যাডোপ ইনস্টল করুন: একটি একক নোড হ্যাডোপ ক্লাস্টার স্থাপন করা

আমাদের আগের ব্লগগুলি থেকে , আপনি অবশ্যই হ্যাডোপ, এইচডিএফএস এবং এর স্থাপত্য সম্পর্কে একটি তাত্ত্বিক ধারণা পেয়েছেন।কিন্তু পেতে আপনার ভাল হাতের জ্ঞান দরকার।আমি আশা করি আপনি আমাদের আগের ব্লগটি পছন্দ করতেন , এখন আমি আপনাকে হ্যাডোপ এবং এইচডিএফএস সম্পর্কে ব্যবহারিক জ্ঞানের মাধ্যমে নিয়ে যাব। প্রথম পদক্ষেপ হ্যাডোপ ইনস্টল করা।

হ্যাডোপ ইনস্টল করার দুটি উপায় রয়েছে, যেমন। একক নোড এবং মাল্টি নোড ।

একক নোড ক্লাস্টার মানে কেবলমাত্র একটি ডেটা নোড চলমান এবং একক মেশিনে সমস্ত নেম নোড, ডেটা নোড, রিসোর্স ম্যানেজার এবং নোডম্যানেজার সেট আপ করা। এটি অধ্যয়ন ও পরীক্ষার উদ্দেশ্যে ব্যবহৃত হয়। উদাহরণস্বরূপ, আসুন আমরা স্বাস্থ্যসেবা শিল্পের অভ্যন্তরের একটি নমুনা ডেটা বিবেচনা করি। সুতরাং, ওজি চাকরীগুলি যথাযথ ক্রমে ডেটা সংগ্রহ, সংগ্রহ, সংরক্ষণ এবং প্রসেসকরণের মতো সমস্ত প্রক্রিয়া নির্ধারণ করেছে কিনা তা পরীক্ষার জন্য, আমরা একক নোড ক্লাস্টার ব্যবহার করি। এটি বৃহত্তর পরিবেশের তুলনায় এটি সহজে এবং দক্ষতার সাথে একটি ছোট পরিবেশে ক্রমবিন্যাসের ওয়ার্কফ্লো পরীক্ষা করতে পারে যার মধ্যে শত শত মেশিনে বিতরণ করা ডেটা টেরাবাইট রয়েছে।

যখন একটি মাল্টি নোড ক্লাস্টার , এখানে একাধিক ডাটানাড চলছে এবং প্রতিটি ডেটা নোড বিভিন্ন মেশিনে চলছে running বিগ ডেটা বিশ্লেষণের জন্য সংস্থাগুলিতে মাল্টি নোড ক্লাস্টার ব্যবহারিকভাবে ব্যবহৃত হয়। উপরের উদাহরণটি বিবেচনা করে, বাস্তব সময়ে যখন আমরা ডেটা পেটবাইট ব্যবহার করি তখন প্রক্রিয়াজাত হতে কয়েকশ মেশিনে বিতরণ করা দরকার। সুতরাং, এখানে আমরা মাল্টি নোড ক্লাস্টার ব্যবহার করি।

এই ব্লগে, আমি আপনাকে একটি একক নোড ক্লাস্টারে হ্যাডোপ ইনস্টল করতে দেখাব show

পূর্বশর্ত

• ভার্চুয়াল বক্স : এটি এতে অপারেটিং সিস্টেম ইনস্টল করার জন্য ব্যবহৃত হয়।
• অপারেটিং সিস্টেম : আপনি লিনাক্স ভিত্তিক অপারেটিং সিস্টেমগুলিতে হ্যাডোপ ইনস্টল করতে পারেন। উবুন্টু এবং সেন্টস খুব ব্যবহৃত হয়। এই টিউটোরিয়ালে, আমরা CentOS ব্যবহার করছি।
• জাভা : আপনার সিস্টেমে আপনার জাভা 8 প্যাকেজ ইনস্টল করতে হবে।
• HADOOP : আপনার হ্যাডোপ ২.7.৩ প্যাকেজ দরকার।

হ্যাডোপ ইনস্টল করুন

ধাপ 1: এখানে ক্লিক করুন জাভা 8 প্যাকেজ ডাউনলোড করতে। আপনার হোম ডিরেক্টরিতে এই ফাইলটি সংরক্ষণ করুন।

ধাপ ২: জাভা টার ফাইলটি বের করুন।

কমান্ড : tar -xvf jdk-8u101-linux-i586.tar.gz

চিত্র: হাদুপ ইনস্টলেশন - জাভা ফাইলগুলি এক্সট্র্যাক্ট করা হচ্ছে

ধাপ 3: হ্যাডোপ ২. Package.৩ প্যাকেজটি ডাউনলোড করুন।

কমান্ড : উইজেট https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

চিত্র: হডোপ ইনস্টলেশন - হ্যাডোপ ডাউনলোড করা

পদক্ষেপ 4: হাদুপ টার ফাইলটি বের করুন।

কমান্ড : tar -xvf hadoop-2.7.3.tar.gz

চিত্র: হডোপ ইনস্টলেশন - হ্যাডোপ ফাইলগুলি এক্সট্র্যাক্ট করা হচ্ছে

পদক্ষেপ 5: ব্যাশ ফাইলে (.bashrc) হ্যাডোপ এবং জাভা পাথগুলি যুক্ত করুন।

খোলা । বাশার্ক ফাইল। এখন, নীচের মত দেখানো হয়েছে হিসাবে Hadoop এবং জাভা পাথ যোগ করুন।

কমান্ড : vi .bashrc

চিত্র: হডোপ ইনস্টলেশন - পরিবেশের পরিবর্তনশীল সেট করা

তারপরে, বাশ ফাইলটি সংরক্ষণ করুন এবং এটি বন্ধ করুন।

বর্তমান টার্মিনালে এই সমস্ত পরিবর্তন প্রয়োগ করার জন্য উত্স কমান্ডটি কার্যকর করুন।

কমান্ড : উত্স .bashrc

চিত্র: হডোপ ইনস্টলেশন - পরিবেশের ভেরিয়েবলগুলি রিফ্রেশ

আপনার সিস্টেমে জাভা এবং হাদুপ সঠিকভাবে ইনস্টল হয়েছে এবং টার্মিনালের মাধ্যমে অ্যাক্সেস করা যায় তা নিশ্চিত করার জন্য, ইজাভা-রূপান্তর এবং হ্যাডোপ সংস্করণ কমান্ডগুলি xecute করুন।

কমান্ড : java- রূপান্তর

চিত্র: হাদুপ ইনস্টলেশন - জাভা সংস্করণ পরীক্ষা করা হচ্ছে

কমান্ড : hadoopসংস্করণ

চিত্র: হডোপ ইনস্টলেশন - হ্যাডোপ সংস্করণ পরীক্ষা করা হচ্ছে

পদক্ষেপ 6 : সম্পাদনা করুন ।

আদেশ: সিডি hadoop-2.7.3 / ইত্যাদি / hadoop /

আদেশ: ls

সমস্ত হডোপ কনফিগারেশন ফাইলগুলি অবস্থিত hadoop-2.7.3 / etc / hadoop ডিরেক্টরিটি নীচের স্ন্যাপশটে আপনি দেখতে পাচ্ছেন:

চিত্র: হডোপ ইনস্টলেশন - হ্যাডোপ কনফিগারেশন ফাইল

পদক্ষেপ 7 : খোলা কোর-সাইট.xml এবং কনফিগারেশন ট্যাগের নীচে উল্লিখিত সম্পত্তি সম্পাদনা করুন:

কোর-সাইট.xml হ্যাডোপ ডিমনকে জানিয়ে দেয় যেখানে নেমনোড ক্লাস্টারে চলে। এটিতে হ্যাডোপ কোরের কনফিগারেশন সেটিংস যেমন আইডি / ও সেটিংস যা এইচডিএফএস এবং মানচিত্রের জন্য সাধারণ contains

কমান্ড : vi কোর-সাইট.xml

চিত্র: হডোপ ইনস্টলেশন - কোর-সাইট.xML কনফিগার করা

fs.default.name hdfs: // লোকালহোস্ট: 9000

পদক্ষেপ 8: সম্পাদনা করুন hdfs-site.xML এবং কনফিগারেশন ট্যাগের নীচে উল্লিখিত সম্পত্তি সম্পাদনা করুন:

hdfs-site.xML এইচডিএফএস ডেমনগুলির কনফিগারেশন সেটিংস রয়েছে (উদাঃ নেমনোড, ডেটা নোড, সেকেন্ডারি নেম নোড)। এটিতে এইচডিএফএসের প্রতিরূপ ফ্যাক্টর এবং ব্লক আকার অন্তর্ভুক্ত রয়েছে।

কমান্ড : vi hdfs-site.xML

চিত্র: হডোপ ইনস্টলেশন - এইচডিএফএস-সাইট.xML কনফিগার করা

dfs.replication 1 dfs.permission মিথ্যা

পদক্ষেপ 9 : সম্পাদনা করুন mapred-site.xml কনফিগারেশন ট্যাগের ভিতরে নীচে উল্লিখিত সম্পত্তি ফাইল এবং সম্পাদনা করুন:

mapred-site.xml সমান্তরালভাবে চলতে পারে এমন JVM সংখ্যা, মাপার আকার এবং রিডুসার প্রক্রিয়া, কোনও প্রক্রিয়ার জন্য উপলব্ধ সিপিইউ কোর ইত্যাদির মতো মানচিত্রের অ্যাপ্লিকেশনটির কনফিগারেশন সেটিংস রয়েছে etc.

কিছু ক্ষেত্রে ম্যাপ্রেড-সাইট.xML ফাইল উপলব্ধ নয়। সুতরাং, আমাদের ম্যাপ্রেড-সাইট.xML ফাইল তৈরি করতে হবেম্যাপ্রেড-সাইট.xML টেম্পলেট ব্যবহার করে।

কমান্ড : সিপি ম্যাপ্রেড-সাইট.xML.template ম্যাপ্রেড-সাইট.xML

কমান্ড : আমরা মানচিত্রযুক্ত-সাইটএক্সএমএল।

চিত্র: হ্যাডোপ ইনস্টলেশন - ম্যাপ্রেড-সাইট.xML কনফিগার করছে

mapreduce.framework.name সুতা

পদক্ষেপ 10: সম্পাদনা করুন সুতা-সাইট.xml এবং কনফিগারেশন ট্যাগের নীচে উল্লিখিত সম্পত্তি সম্পাদনা করুন:

সুতা-সাইট.xml রিসোর্স ম্যানেজার এবং নোডম্যানেজারের কনফিগারেশন সেটিংস যেমন অ্যাপ্লিকেশন মেমরি পরিচালনার আকার, প্রোগ্রাম এবং অ্যালগরিদম ইত্যাদির জন্য প্রয়োজনীয় অপারেশন রয়েছে contains

কমান্ড : vi সুতা-সাইট.xml

চিত্র: হডোপ ইনস্টলেশন - সুতা-সাইট.xML কনফিগার করা

yarn.nodemanager.aux- পরিষেবাদি মানচিত্র

পদক্ষেপ 11: সম্পাদনা করুন hadoop-env.sh এবং নীচে উল্লিখিত হিসাবে জাভা পাথ যোগ করুন:

hadoop-env.sh স্ক্রিপ্টে জাভা হোম পাথ ইত্যাদির মতো হ্যাডোপ চালানোর জন্য স্ক্রিপ্টটিতে ব্যবহৃত হয় এমন পরিবেশের ভেরিয়েবলগুলি রয়েছে

কমান্ড : আমরা hadoop-env।sh

চিত্র: হডোপ ইনস্টলেশন - hadoop-env.sh কনফিগার করা হচ্ছে

জাভাতে কিউ ডাটা স্ট্রাকচার

পদক্ষেপ 12: হাদুপ হোম ডিরেক্টরিতে যান এবং নেমনোড ফর্ম্যাট করুন।

কমান্ড : সিডি

কমান্ড : সিডি hadoop-2.7.3

কমান্ড : বিন / hadoop উদ্দেশ্য-ফর্ম্যাট

চিত্র: হডোপ ইনস্টলেশন - নাম নোডের বিন্যাস করা

এটি নেমনোডের মাধ্যমে এইচডিএফএস ফর্ম্যাট করে। এই কমান্ডটি প্রথমবারেই কার্যকর করা হবে। ফাইল সিস্টেম ফর্ম্যাট করার অর্থ dfs.name.dir ভেরিয়েবল দ্বারা নির্দিষ্ট ডিরেক্টরি শুরু করা।

কখনও হ্যাডোপ ফাইল সিস্টেমটি ফর্ম্যাট করবেন না up আপনি এইচডিএফএসে সঞ্চিত আপনার সমস্ত ডেটা হারাবেন।

পদক্ষেপ 13: নেমনোড ফর্ম্যাট হয়ে গেলে, হ্যাডোপ -২.7.৩ / এসবিিন ডিরেক্টরিতে যান এবং সমস্ত ডেমন শুরু করুন।

আদেশ: সিডি hadoop-2.7.3 / sbin

হয় আপনি একক আদেশ দিয়ে সমস্ত ডেমন শুরু করতে পারেন বা স্বতন্ত্রভাবে এটি করতে পারেন।

আদেশ: ./ start-all.sh

উপরের কমান্ডটি একটি সংমিশ্রণ start-dfs.sh, start-yarn.sh & mr-jobhistory-deemon.sh

অথবা আপনি নীচের মতো সমস্ত পরিষেবা পৃথকভাবে চালাতে পারেন:

নেম নোড শুরু করুন:

নেমনোড একটি এইচডিএফএস ফাইল সিস্টেমের কেন্দ্রস্থল। এটি এইচডিএফএসে সঞ্চিত সমস্ত ফাইলের ডিরেক্টরি ট্রি রাখে এবং ক্লাস্টারে জুড়ে থাকা সমস্ত ফাইলকে ট্র্যাক করে।

আদেশ: ./hadoop-daemon.sh শুরু করার উদ্দেশ্য

চিত্র: হডোপ ইনস্টলেশন - নেম নোড শুরু করা হচ্ছে

ডেটা নোড শুরু করুন:

প্রারম্ভকালে, একটি ডেটা নোড নামনোডের সাথে সংযুক্ত হয় এবং এটি বিভিন্ন ক্রিয়াকলাপের জন্য নামনোডের অনুরোধগুলির প্রতিক্রিয়া জানায়।

আদেশ: ./hadoop-daemon.sh ডেটানোড শুরু করুন

চিত্র: হডোপ ইনস্টলেশন - ডেটা নোড শুরু হচ্ছে

রিসোর্স ম্যানেজার শুরু করুন:

রিসোর্স ম্যানেজার হ'ল মাস্টার যা উপলব্ধ সমস্ত ক্লাস্টার রিসোর্সগুলিকে সালিশ করে এবং এভাবেই ইআরএন সিস্টেমে চালিত বিতরণ অ্যাপ্লিকেশনগুলি পরিচালনা করতে সহায়তা করে। এর কাজ প্রতিটি নোডম্যানেজার এবং প্রতিটি অ্যাপ্লিকেশনটির অ্যাপ্লিকেশনমাস্টার পরিচালনা করা।

আদেশ: ./ ইয়ার্ন-ডেমন.শ শুরু করুন রিসোর্স ম্যানেজার

চিত্র: হডোপ ইনস্টলেশন - রিসোর্স ম্যানেজার শুরু করা হচ্ছে

নোডম্যানেজার শুরু করুন:

প্রতিটি মেশিনের কাঠামোর নোডম্যানেজার হ'ল এজেন্ট যা পাত্রে পরিচালনার জন্য, তাদের সংস্থার ব্যবহারের উপর নজরদারি করার জন্য এবং রিসোর্স ম্যানেজারকে একই প্রতিবেদন করার জন্য দায়ী।

আদেশ: ./ ইয়ার্ন-ডেমন.শ নোডম্যানজার শুরু করুন

চিত্র: হডোপ ইনস্টলেশন - নোডম্যানেজার শুরু করা

জব হিস্টোরি সার্ভার শুরু করুন:

জব হিস্টোরি সার্ভার ক্লায়েন্টের কাছ থেকে সমস্ত কাজের ইতিহাস সম্পর্কিত অনুরোধগুলির সার্ভিসিংয়ের জন্য দায়বদ্ধ।

কমান্ড : ./mr-jobhistory-deemon.sh হিস্ট্রি সার্ভার শুরু করুন

পদক্ষেপ 14: সমস্ত হ্যাডোপ পরিষেবা চালু আছে এবং চলছে তা পরীক্ষা করতে নীচের কমান্ডটি চালান।

আদেশ: jps

চিত্র: হ্যাডোপ ইনস্টলেশন - ডেমনগুলি পরীক্ষা করা হচ্ছে

পদক্ষেপ 15: এখন মোজিলা ব্রাউজারটি খুলুন এবং এতে যান লোকালহোস্ট : 50070 / dfshealth.html NameNode ইন্টারফেস চেক করতে।

চিত্র: হডোপ ইনস্টলেশন - WebUI শুরু করা

অভিনন্দন, আপনি একসাথে সফলভাবে একটি নোড হ্যাডোপ ক্লাস্টার ইনস্টল করেছেন।আমাদের পরবর্তী ব্লগে , আমরা কীভাবে একটি বহু নোড ক্লাস্টারে হ্যাডোপ ইনস্টল করবেন তা কভার করব।

আপনি যখন হ্যাডোপ ইনস্টল করবেন তা বুঝতে পেরেছেন তবে এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুুপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।