মৌচাক এবং সুতা স্পার্ক দ্বারা বিদ্যুতায়িত হন

এই ব্লগে, আসুন কীভাবে একটি নির্দিষ্ট হ্যাডোপ সংস্করণে স্পার্ক তৈরি করা যায় তা দেখুন।

আমরা কীভাবে এইচআইভি এবং ইয়ার্নের সাথে স্পার্ক তৈরি করবেন তাও শিখব।

জাভা মধ্যে তথ্য টাইপ ingালাই

আপনার যে বিবেচনা হাদুপ, জেডিকে, এমভিএন এবং যাওয়া আপনার সিস্টেমে প্রাক-ইনস্টলড এবং প্রাক-কনফিগার করা আছে।

খোলা মজিলা ব্রাউজার এবং ডাউনলোড করুন স্পার্ক নীচের লিঙ্ক ব্যবহার।

https://edureka.wistia.com/medias/k14eamzaza/

টার্মিনাল খুলুন

আদেশ: টার-এক্সভিএফ ডাউনলোড / স্পার্ক-1.1.1.tgz

আদেশ: ls

স্পার্ক-1.1.1 ডিরেক্টরি খুলুন।

আপনি খুলতে পারেন pom.xML ফাইল। এই ফাইলটি আপনাকে সমস্ত সম্পর্কিত তথ্য দেয় নির্ভরতা তোমার দরকার.

সমস্যা থেকে বাঁচতে এডিট করবেন না।

কমান্ড: সিডি স্পার্ক-১.১.২ /

কমান্ড: sudo gedit sbt / sbt -unch-lib.bash

নীচে স্ন্যাপশট হিসাবে ফাইলটি সম্পাদনা করুন, এটি সংরক্ষণ করুন এবং এটি বন্ধ করুন।

নীচের স্ন্যাপশটে উল্লিখিত হিসাবে অবজেক্ট হ্যাপ স্পেস সমস্যা এড়াতে আমরা মেমরিটি হ্রাস করছি।

এখন, এইচআইভি এবং ইয়ার্ন দিয়ে হ্যাডোপ ২.২.০ এর জন্য স্পার্ক তৈরি করতে টার্মিনালে নীচের কমান্ডটি চালান।

আদেশ: ./sbt/sbt -P সুতা -পি মধু -ফাদুপ -২.২ -ড hadoop.version = 2.2.0 -D স্কিপ টেস্টস সমাবেশ

দ্রষ্টব্য: আমার হ্যাডোপ সংস্করণটি ২.২.০, আপনি এটি আপনার হ্যাডোপ সংস্করণ অনুযায়ী পরিবর্তন করতে পারেন।

অন্যান্য হাদুপ সংস্করণগুলির জন্য

# অ্যাপাচি হ্যাডোপ ২.০.৫-আলফা

-ধাদুপ.আরওশন = ২.০.৫-আলফা

# ক্লৌডের সিডিএইচ 4.2.0

-ড্যাডোপ.ওয়ার্সন = 2.0.0-সিডিএইচ 4.2.0

# অ্যাপাচি হ্যাডোপ 0.23.x

-ফ্যাডোপ -২.২৩ -ধাদুপ.বর্তন = 0.23.7

# অ্যাপাচি হ্যাডোপ ২.৩.এক্স

-ফ্যাডোপ -২.৩ -ধাদুপ.বর্তন = ২.৩.০

# অ্যাপাচি হ্যাডোপ ২.৪.এক্স

-ফ্যাডোপ -২.৪ -ধাদুপ.বর্তন = ২.৪.০

সংকলন এবং প্যাকেজিংয়ের জন্য এটি কিছু সময় নেবে, দয়া করে এটি সম্পূর্ণ না হওয়া পর্যন্ত অপেক্ষা করুন।

দুটো বয়াম স্পার্ক-অ্যাসেম্বলি -১.১.১-হাদুপ ২.২.০.জার এবং স্পার্ক-উদাহরণগুলি- 1.1.1-hadoop2.2.0.jar তৈরি হয়।

পথ স্পার্ক-অ্যাসেম্বলি -১.১.১-হাদুপ ২.২.০.জার : / হোমে / এডুরেকা / স্পার্ক ১.১.২০১৮ / স্পেসিফিকেশন / স্টারজেক্ট / এসক্লা.২.১০ / স্পার্ক-অনাবৃত ১.১.১.১-হাদুপ ২.২.০.জার

পথ স্পার্ক-উদাহরণগুলি- 1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1//es///arget/scala-2.10/spark-example-1.1.1-haoop2.2.0.jar

অভিনন্দন, আপনি সফলভাবে মাতাল এবং সুতার জন্য স্পার্ক তৈরি করেছেন।

আমাদের জন্য একটি প্রশ্ন আছে? মন্তব্য বিভাগে তাদের উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।

সম্পর্কিত পোস্ট:

হ্যাডোপ-এর সাথে অ্যাপাচি স্পার্ক - কেন এটি গুরুত্বপূর্ণ?