মৌচাক এবং সুতোর উদাহরণ স্পার্কে

আমরা শিখেছি কিভাবে মাতাল এবং সুতা স্পার্কে তৈরি করুন । এখন আসুন স্পার্কে হাইভ এবং সুতার উদাহরণগুলি ব্যবহার করে দেখি।

মৌচাকের উদাহরণ স্পার্কে

আমরা মৌচিক অন স্পার্কের একটি উদাহরণ চালাব। আমরা একটি টেবিল তৈরি করব, সেই টেবিলটিতে ডেটা লোড করব এবং একটি সাধারণ ক্যোয়ারী কার্যকর করব। হাইভের সাথে কাজ করার সময়, অবশ্যই একটি তৈরি করতে হবে HiveContext যা উত্তরাধিকার সূত্রে প্রাপ্ত এসকিউএল কনটেক্সট ।

আদেশ: সিডি স্পার্ক-১.১.১

আদেশ: ./bin/spark- শেল

একটি ইনপুট ফাইল তৈরি করুন ‘নমুনা’ আপনার হোম ডিরেক্টরিতে নীচে স্ন্যাপশট হিসাবে (ট্যাব বিচ্ছিন্ন)।

আদেশ: ভাল sqlContext = নতুন org.apache.spark.sql.hive.HiveContext (এসসি)

আদেশ: sqlContext.sql ('পরীক্ষার অস্তিত্ব না থাকলে টেবিল তৈরি করুন (নাম STRING, র‌্যাঙ্ক INT) সারি ফর্ম্যাট সীমিত সংস্থাগুলি দ্বারা পরিচালিত‘ ‘লাইনগুলি নিরবচ্ছিন্নভাবে’
‘”)

স্নাতকোত্তর এবং স্নাতকোত্তর মধ্যে পার্থক্য

আদেশ: sqlContext.sql ('লোড ডেটা লোকাল ইনপ্যাথ '/ হোম / এডুরেকা / নমুনা' ভিতরে টেবিল পরীক্ষা')

আদেশ: sqlContext.sql (যেখানে নির্বাচন করুন র‌্যাঙ্ক থেকে * নির্বাচন করুন<5”).collect().foreach(println)

সুতোর উদাহরণ স্পার্কে

আমরা সুতার উপর স্পার্কপিই উদাহরণ চালাব। আমরা স্পার্কে সুতাটি দুটি মোডে স্থাপন করতে পারি: ক্লাস্টার মোড এবং ক্লায়েন্ট মোড। সুতা-ক্লাস্টার মোডে, স্পার্ক ড্রাইভারটি একটি অ্যাপ্লিকেশন মাস্টার প্রক্রিয়ার অভ্যন্তরে চলে যা ক্লাস্টারে ইয়ার্ন দ্বারা পরিচালিত হয় এবং ক্লায়েন্ট অ্যাপ্লিকেশন শুরু করার পরে চলে যেতে পারে। সুতা-ক্লায়েন্ট মোডে, ড্রাইভার ক্লায়েন্ট প্রক্রিয়াতে চালিত হয় এবং অ্যাপ্লিকেশন মাস্টারটি কেবল সুতা থেকে সংস্থানগুলির অনুরোধের জন্য ব্যবহৃত হয়।

আদেশ: সিডি স্পার্ক-১.১.১

আদেশ: স্পার্ক_জার =। / এসেম্বলি / টার্গেট / স্কেলা -২.১০ / স্পার্ক-অ্যাসেম্বলি -১.১.১-হাডোওপ ২.২.০.জার ।/bin/spark-submit –মাস্টার সুতা -ডেপলয়ে-মোড ক্লাস্টার-ক্লাস org.apache.spark.ex উদাহরণ। স্পার্কপিআই-এক্স-এক্সিকিউটার্স 1-ড্রাইভার-মেমরি 2 জি-এক্সিকিউটর-মেমরি 1 জি-এক্সিকিউটর-কোর 1 উদাহরণ / টার্গেট / স্কেলা-2.10 / স্পার্ক-উদাহরণ-1.1.1-hadoop2.2.0.jar

উপরের কমান্ডটি কার্যকর করার পরে, দয়া করে কিছুক্ষণ অপেক্ষা করুন get সফল বার্তা

ব্রাউজ করুন লোকালহোস্ট: 8088 / ক্লাস্টার এবং স্পার্ক অ্যাপ্লিকেশন ক্লিক করুন।

ক্লিক করুন লগ ।

ক্লিক করুন stdout আউটপুট পরীক্ষা করতে।

ক্লায়েন্ট মোডে স্পার্কে সুতা মোতায়েনের জন্য, কেবল তৈরি করুন Epডপ্লয়-মোড যেমন 'ক্লায়েন্ট' এখন, আপনি স্পার্কে কীভাবে হাইভ এবং সূতা তৈরি করবেন তা জানেন। আমরা তাদের উপর ব্যবহারিক ব্যবহারও করেছি।

আমাদের জন্য একটি প্রশ্ন আছে? মন্তব্য বিভাগে তাদের উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।

সম্পর্কিত পোস্ট

হ্যাডোপ-এর সাথে অ্যাপাচি স্পার্ক - কেন এটি গুরুত্বপূর্ণ?

মৌচাক এবং সুতা স্পার্ক দ্বারা বিদ্যুতায়িত হন