লিনাক্স এ অ্যাপাচি পিগ ইনস্টলেশন

এই পোস্টে, আমি সম্পর্কে কথা বলতে হবে লিনাক্স এ অ্যাপাচি পিগ ইনস্টলেশন । আসুন শুরু করি অ্যাপাচি পিগ এবং পিগ ল্যাটিনের বুনিয়াদি সংজ্ঞা দিয়ে।

অ্যাপাচি পিগ হ্যাডুপের সাথে ব্যবহৃত মানচিত্র হ্রাস প্রোগ্রাম তৈরি ও সম্পাদনের জন্য একটি সরঞ্জাম / প্ল্যাটফর্ম। এটি বিশাল সেট ডেটা বিশ্লেষণের জন্য একটি সরঞ্জাম / প্ল্যাটফর্ম। আপনি বলতে পারেন, অ্যাপাচি পিগ মানচিত্রের উপর একটি বিমূর্ততা। জাভাতে খুব ভাল নন এমন প্রোগ্রামাররা ম্যাপ্রেডজ জব লেখার সময় প্রধানত হ্যাডোপে কাজ করার লড়াই করতেন।সুতরাং, এটি শিখতে এবং মাস্টার করার জন্য এটি একটি গুরুত্বপূর্ণ বিষয় ।অ্যাপাচি পিগের নিজস্ব ভাষা আছে পিগ ল্যাটিন যা দরিদ্র প্রোগ্রামারদের জন্য বর।

পিগ ল্যাটিনের একটি প্রাথমিক ভূমিকা আপনাকে আরও ভালভাবে বুঝতে সহায়তা করবে:

অ্যাপাচি পিগ প্ল্যাটফর্মে ব্যবহৃত উচ্চ-স্তরের পদ্ধতিগত ভাষা বলা হয় পিগ ল্যাটিন । অ্যাপাচি পিগের মধ্যে রয়েছে ‘পিগ ল্যাটিন’ যা তুলনামূলকভাবে সহজ ভাষা যা হ্যাডোপ ফাইল সিস্টেমে (এইচডিএফএস) বিতরণ করা ডেটাসেটের উপর দিয়ে চলতে পারে। অ্যাপাচি পিগ-এ আপনাকে পিগ ল্যাটিন ভাষা ব্যবহার করে পিগ স্ক্রিপ্টগুলি লিখতে হবে যা আপনার যখন পিগ স্ক্রিপ্ট চালায় তখন ম্যাপ্রেডজ জবতে রূপান্তরিত হয় which। অ্যাপাচি পিগের বিভিন্ন অপারেটর রয়েছে যা ডেটা পড়া, লেখা, প্রক্রিয়াজাতকরণ ইত্যাদি কাজ সম্পাদন করতে ব্যবহৃত হয়। অ্যাপাচি পিগ অপারেটরদের সম্পর্কে জানতে, আমাদের ব্লগে যান ' অ্যাপাচি পিগে অপারেটরগুলি: পার্ট 1- রিলেশনাল অপারেটর ”।

এখন আপনার অ্যাপাচি পিগ সম্পর্কে প্রাথমিক ধারণা রয়েছে, আসুন আমরা লিনাক্সে অ্যাপাচি পিগ ইনস্টলেশন শুরু করি।

লিনাক্সে অ্যাপাচি পিগ ইনস্টলেশন:

নীচে লিনাক্সে অ্যাপাচি পিগ ইনস্টলেশনের পদক্ষেপ রয়েছে (লিনাক্স ভিএম ব্যবহার করে উবুন্টু / সেন্টো / উইন্ডোজ)। আমি নীচে সেটআপে উবুন্টু 16.04 ব্যবহার করছি।

ধাপ 1: ডাউনলোড করুন শূকর তার ফাইল।

আদেশ: উইজেট http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz

ধাপ ২: এক্সট্রাক্ট তার tar কমান্ড ব্যবহার করে ফাইল। নীচে টার কমান্ডে, এক্স এর অর্থ একটি সংরক্ষণাগার ফাইল বের করা, সঙ্গে জিজিপের মাধ্যমে একটি সংরক্ষণাগার ফিল্টার করা, চ একটি সংরক্ষণাগার ফাইলের ফাইল নাম।

আদেশ: tar -xzf pig-0.16.0.tar.gz

আদেশ: ls

ধাপ 3: সম্পাদনা করুন “ .বাশক্র অ্যাপাচি পিগের পরিবেশ পরিবর্তনশীলগুলি আপডেট করার জন্য ফাইল। আমরা এটি সেট করছি যাতে আমরা যে কোনও ডিরেক্টরি থেকে শূকরটি অ্যাক্সেস করতে পারি, শূকররের নির্দেশগুলি কার্যকর করতে আমাদের পিগ ডিরেক্টরিতে যেতে হবে না। এছাড়াও, যদি অন্য কোনও অ্যাপ্লিকেশন পিগের সন্ধান করে তবে এটি এই ফাইলটি থেকে অ্যাপাচি পিগের পথটি জানতে পারবে।

আদেশ: sudo gedit .bashrc

ফাইলের শেষে নিম্নলিখিতটি যুক্ত করুন:

# পিগহোম সেট করুন

পিগহোম = / হোম / এডুরেকা / শূকর -১.০.0.০ রফতানি করুন
PATH = $ PATH: /home/edureka/pig-0.16.0/bin রফতানি করুন
PIG_CLASSPATH = export HADOOP_CONF_DIR রফতানি করুন

এছাড়াও, নিশ্চিত হয়ে নিন যে হ্যাডোপ পথটিও সেট করা আছে।

একই টার্মিনালে পরিবর্তনগুলি আপডেট করার জন্য নীচের কমান্ডটি চালান।

আদেশ: উত্স .bashrc

পদক্ষেপ 4: শূকর সংস্করণ পরীক্ষা করুন। এটি পরীক্ষা করার জন্য যা অ্যাপাচি পিগটি সঠিকভাবে ইনস্টল হয়েছে। সেক্ষেত্রে, আপনি অ্যাপাচি পিগ সংস্করণটি পান না, আপনি উপরের পদক্ষেপগুলি সঠিকভাবে অনুসরণ করেছেন কিনা তা যাচাই করতে হবে।

আদেশ: শূকর-রূপান্তর

পদক্ষেপ 5 :সমস্ত শূকর কমান্ড অপশন দেখতে শূকর সহায়তা পরীক্ষা করুন।

আদেশ: শূকর-সাহায্য

পদক্ষেপ 6 :গ্রুর্ট শেল শুরু করতে পিগ চালান। গ্রান্ট শেলটি পিগ ল্যাটিন স্ক্রিপ্টগুলি চালাতে ব্যবহৃত হয়।

আদেশ: শূকর

এইচটিএমএলে নেস্টেড টেবিলগুলি কীভাবে করবেন

আপনি যদি উপরের চিত্রটি সঠিকভাবে দেখেন তবে অ্যাপাচি পিগের দুটি মোড রয়েছে যা এটি চলতে পারে, ডিফল্টরূপে এটি মানচিত্রোড মোডটি পছন্দ করে। আপনি যে অন্য মোডে পিগ চালাতে পারেন তা হ'ল স্থানীয় মোড। আমাকে এই সম্পর্কে আরও বলতে দিন।

অ্যাপাচি পিগে কার্যকরকরণের পদ্ধতি:

• মানচিত্রের মোড - এটি ডিফল্ট মোড, যা একটি হ্যাডোপ ক্লাস্টার এবং এইচডিএফএস ইনস্টলেশন অ্যাক্সেস প্রয়োজন। যেহেতু, এটি একটি ডিফল্ট মোড, তাই -x পতাকা নির্দিষ্ট করার প্রয়োজন নেই (আপনি চালাতে পারেন শূকর বা শূকর -x ম্যাপ্রেডুস )। এই মোডে ইনপুট এবং আউটপুট এইচডিএফএসে উপস্থিত রয়েছে।
• স্থানীয় মোড - একটি একক মেশিনে অ্যাক্সেসের সাথে সমস্ত ফাইল স্থানীয় হোস্ট এবং ফাইল সিস্টেম ব্যবহার করে ইনস্টল করা হয় এবং চালিত হয়। এখানে ‘-x পতাকা’ ব্যবহার করে স্থানীয় মোড নির্দিষ্ট করা হয়েছে ( শূকর -x স্থানীয় )। এই মোডের ইনপুট এবং আউটপুট স্থানীয় ফাইল সিস্টেমে উপস্থিত রয়েছে।

আদেশ: শূকর -x স্থানীয়

আপনি লিনাক্সে অ্যাপাচি পিগ ইনস্টলেশন দেখতে নীচের ভিডিওটি দিয়ে যেতে পারেন:

অ্যাপাচি পিগ ইনস্টলেশন | লিনাক্স এ শূকর ইনস্টলেশন | এডুরেকা

এখন আপনি লিনাক্সে অ্যাপাচি পিগ ইনস্টলেশন সম্পন্ন করেছেন, পরবর্তী পদক্ষেপটি হ'ল পিগ গ্রান্ট শেলের উপর কিছু রিলেশনাল পিগ অপারেটর চেষ্টা করে। সুতরাং, পরবর্তী ব্লগ ' অ্যাপাচি পিগে অপারেটরগুলি: পার্ট 1- রিলেশনাল অপারেটর ”আপনাকে পিগ অপারেটরদের আয়ত্ত করতে সহায়তা করবে।

এখন আপনি লিনাক্সে অ্যাপাচি পিগ ইনস্টল করেছেন, এটি দেখুন এডুরেকা, বিশ্বস্ত জুড়ে 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা by এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুুপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।