আমি উভয় ফ্রেমওয়ার্কের জন্য সঠিক প্রসঙ্গ নির্ধারণ করার জন্য হ্যাডোপ এবং স্পার্ককে প্রথমে পরিচয় করিয়ে এই অ্যাপাচি স্পার্ক বনাম হাদুপ ব্লগটি শুরু করব। তারপরে, এগিয়ে চলতে আমরা উভয় বিগ ডেটা ফ্রেমওয়ার্কগুলি তাদের পরামিতি এবং দুর্বলতাগুলি বিশ্লেষণ করতে বিভিন্ন পরামিতিতে তুলনা করব।তবে, আমাদের তুলনার ফলাফল যাই ঘটুক না কেন, আপনার জানা উচিত যে স্পার্ক এবং হাদুপ উভয়ই এর গুরুত্বপূর্ণ উপাদান ।
অ্যাপাচি স্পার্ক বনাম হাদুপ: হাদুপের পরিচয়
হাদুপ একটি কাঠামো যা আপনাকে প্রথমে বিতরণ করা পরিবেশে বিগ ডেটা সঞ্চয় করতে দেয় যাতে আপনি এটি সমান্তরালভাবে প্রক্রিয়া করতে পারেন। হাদোপে মূলত দুটি উপাদান রয়েছে:
এইচডিএফএস
এইচডিএফএস সংস্থানগুলির বিমূর্ততা তৈরি করে, আমাকে এটি আপনার জন্য সহজ করুন। ভার্চুয়ালাইজেশনের অনুরূপ, আপনি বড় ডেটা সংরক্ষণের জন্য একক ইউনিট হিসাবে যুক্তিগতভাবে এইচডিএফএস দেখতে পারেন, তবে আসলে আপনি বিতরণ করা ফ্যাশনে আপনার ডেটা একাধিক নোড জুড়ে সংরক্ষণ করছেন। এখানে আপনার মাস্টার-স্লেভ আর্কিটেকচার রয়েছে। এইচডিএফএসে, নেমনেড হ'ল একটি মাস্টার নোড এবং ডেটানোডস ক্রীতদাস।
নাম নোড
এটি মাস্টার ডেমন যা ডেটানোডগুলি (স্লেভ নোডগুলি) পরিচালনা করে এবং পরিচালনা করে। এটি ক্লাস্টারে থাকা সমস্ত ফাইলের মেটাডেটা রেকর্ড করে, যেমন .g সঞ্চিত ব্লকের অবস্থান, ফাইলের আকার, অনুমতি, শ্রেণিবিন্যাস ইত্যাদি It এটি ফাইল সিস্টেমের মেটাডেটাতে ঘটে যাওয়া প্রতিটি পরিবর্তন রেকর্ড করে।
কিভাবে জাভা জন্য গ্রহনটি কনফিগার করতে হয়
উদাহরণস্বরূপ, যদি কোনও ফাইল এইচডিএফএসে মুছে ফেলা হয় তবে নামনোড তাৎক্ষণিকভাবে এডিটলগে রেকর্ড করবে। এটি ক্লাস্টারের সমস্ত ডেটা নোড থেকে নিয়মিত হার্টবিট এবং একটি ব্লক প্রতিবেদন গ্রহণ করে যাতে ডাটানোডগুলি লাইভ থাকে ensure এটি এইচডিএফএসের সমস্ত ব্লকের রেকর্ড রাখে এবং কোন নোডে এই ব্লকগুলি সংরক্ষণ করা হয়।
ডাটানোড
এগুলি গোলাম ডেমোন যা প্রতিটি দাস মেশিনে চলে। আসল ডেটা ডেটা নোডে সঞ্চিত। তারা ক্লায়েন্টদের কাছ থেকে অনুরোধ পড়তে এবং লেখার জন্য দায়বদ্ধ। নেমনোডের গৃহীত সিদ্ধান্তের ভিত্তিতে ব্লক তৈরি, ব্লক মুছে ফেলার এবং একই প্রতিরূপ তৈরি করার জন্যও এরা দায়বদ্ধ।
সুতা
YARN আপনার সমস্ত প্রক্রিয়াজাতকরণ ক্রিয়াকলাপগুলি সম্পদ বরাদ্দ করে এবং নির্ধারিত কাজগুলি সম্পাদন করে। এটিতে দুটি বড় ডেমন রয়েছে, অর্থাৎ রিসোর্স ম্যানেজার এবং নোডম্যানেজার ।
রিসোর্স ম্যানেজার
এটি একটি ক্লাস্টার স্তর (প্রতিটি ক্লাস্টারের জন্য একটি) উপাদান এবং মাস্টার মেশিনে চলে। এটি YARN শীর্ষে চলমান সংস্থান এবং সময়সূচী অ্যাপ্লিকেশন পরিচালনা করে।
নোডম্যানেজার
এটি একটি নোড স্তর উপাদান (প্রতিটি নোডের একটি) এবং প্রতিটি গোলাম মেশিনে চালিত হয়। এটি প্রতিটি পাত্রে কনটেইনার পরিচালনার জন্য এবং রিসোর্সগুলির ব্যবহারের নিরীক্ষণের জন্য দায়ী। এটি নোড স্বাস্থ্য এবং লগ পরিচালনার উপর নজর রাখে। এটি অবিচ্ছিন্নভাবে রিসোর্স ম্যানেজারের সাথে আপ-টু-ডেট থাকার জন্য যোগাযোগ করে। সুতরাং, আপনি মানচিত্রের ব্যবহার করে এইচডিএফএসে সমান্তরাল প্রক্রিয়াকরণ সম্পাদন করতে পারেন।
হাদুপ সম্পর্কে আরও জানার জন্য আপনি এগুলি দেখতে পারেন ব্লগ এখন, আমরা সবাই হাদুপ পরিচিতির সাথে প্রস্তুত হয়েছি, আসুন স্পার্কের পরিচিতিতে এগিয়ে যাই।
অ্যাপাচি স্পার্ক বনাম হাদোপ: অ্যাপাচি স্পার্কের পরিচিতি
অ্যাপাচি স্পার্ক একটি বিতরণ করা কম্পিউটিং পরিবেশে রিয়েল টাইম ডেটা বিশ্লেষণের জন্য একটি কাঠামো। এটি ডেটা প্রসেসিংয়ের গতি বাড়াতে মেমরির গণনা সম্পাদন করে। এটি বড় মাপের ডেটা প্রক্রিয়াকরণের জন্য দ্রুততর কারণ এটি মেমরির কম্পিউটার এবং অন্যান্য অপ্টিমাইজেশানগুলি শোষণ করে। অতএব, এটির জন্য উচ্চ প্রক্রিয়াজাতকরণ শক্তি প্রয়োজন।
রিসিলিয়েন্ট ডিস্ট্রিবিউটেড ডেটাসেট (আরডিডি) স্পার্কের একটি মৌলিক ডেটা স্ট্রাকচার। এটি অবজেক্টে বিতরণযোগ্য অবজেক্টের সংগ্রহ। আরডিডি-র প্রতিটি ডাটাসেটকে লজিক্যাল পার্টিশনে বিভক্ত করা হয়, যা ক্লাস্টারের বিভিন্ন নোডে গণনা করা যেতে পারে। আরডিডিগুলিতে ব্যবহারকারী-সংজ্ঞায়িত ক্লাস সহ পাইথন, জাভা, বা স্কালা অবজেক্টগুলির যে কোনও ধরণের থাকতে পারে। স্পার্ক উপাদানগুলি এটিকে দ্রুত এবং নির্ভরযোগ্য করে তোলে। অ্যাপাচি স্পার্কের নিম্নলিখিত উপাদান রয়েছে:
- কোর স্পার্ক - স্পার্ক কোর বড় আকারের সমান্তরাল এবং বিতরণ ডেটা প্রক্রিয়াকরণের জন্য বেস ইঞ্জিন। তদতিরিক্ত, অতিরিক্ত গ্রন্থাগারগুলি যা মূলের উপরে নির্মিত হয়েছে সেগুলি স্ট্রিমিং, এসকিউএল এবং মেশিন লার্নিংয়ের জন্য বিভিন্ন ওয়ার্কলোডের অনুমতি দেয়। এটি মেমরি পরিচালনা এবং ত্রুটি পুনরুদ্ধার, সময়সূচী, বিতরণ এবং একটি ক্লাস্টারে কাজ পর্যবেক্ষণ এবং স্টোরেজ সিস্টেমের সাথে ইন্টারঅ্যাক্ট করার জন্য দায়ী
- স্ট্রিমিং স্পার্ক করুন - স্পার্ক স্ট্রিমিং স্পার্কের উপাদান যা রিয়েল-টাইম স্ট্রিমিং ডেটা প্রক্রিয়া করতে ব্যবহৃত হয়। সুতরাং এটি মূল স্পার্ক এপিআইয়ের একটি দরকারী সংযোজন। এটি লাইভ ডেটা স্ট্রিমগুলির হাই-থ্রুপুট এবং ত্রুটি-সহনশীল স্ট্রিম প্রসেসিং সক্ষম করে
- স্পার্ক এসকিউএল করুন : স্পার্ক এসকিউএল স্পার্কের একটি নতুন মডিউল যা স্পার্কের কার্যকরী প্রোগ্রামিং এপিআইয়ের সাথে সম্পর্কিত প্রক্রিয়াকরণকে সংহত করে। এটি এসকিউএলের মাধ্যমে বা মাতাল কোয়েরি ভাষার মাধ্যমে ডেটা অনুসন্ধানের পক্ষে সমর্থন করে er আরডিবিএমএসের সাথে পরিচিত আপনার ক্ষেত্রে, স্পার্ক এসকিউএল আপনার পূর্ববর্তী সরঞ্জামগুলি থেকে একটি সহজ স্থানান্তর হবে যেখানে আপনি traditionalতিহ্যগত সম্পর্কযুক্ত ডেটা প্রসেসিংয়ের সীমানা প্রসারিত করতে পারেন।
- গ্রাফএক্স : গ্রাফএক্স গ্রাফ এবং গ্রাফ-সমান্তরাল গণনার জন্য স্পার্ক এপিআই। সুতরাং, এটি একটি স্পর্শক আরডিডি একটি রেসিলেন্ট বিতরণ সম্পত্তি গ্রাফের সাথে প্রসারিত করে। উচ্চ-স্তরে, গ্রাফএক্স রেসিলেন্ট বিতরণযোগ্য সম্পত্তি গ্রাফ প্রবর্তন করে স্পার্ক আরডিডি বিমূর্তি প্রসারিত করে: প্রতিটি শীর্ষবিন্দু এবং প্রান্তের সাথে সংযুক্ত বৈশিষ্ট্যযুক্ত একটি নির্দেশিত মাল্টিগ্রাফ।
- এমএলিব (মেশিন লার্নিং): এমএলিব মানে মেশিন লার্নিং লাইব্রেরি। স্পার্ক এমএল্লিব অ্যাপাচি স্পার্কে মেশিন লার্নিং সম্পাদন করতে ব্যবহৃত হয়।
আপনি দেখতে পাচ্ছেন, স্পার্ক উচ্চ-স্তরের লাইব্রেরি সহ প্যাক করে আসে, যার মধ্যে রয়েছে আর, এসকিউএল, পাইথন, স্কালা, জাভা ইত্যাদি সমর্থন These এই স্ট্যান্ডার্ড লাইব্রেরিগুলি জটিল কর্মপ্রবাহে বিরামবিহীন সংহতিকে বৃদ্ধি করে। এর ওপরে, এটি এমএল্লিব, গ্রাফএক্স, এসকিউএল + ডেটা ফ্রেম, স্ট্রিমিং পরিষেবাদি ইত্যাদির সাথে বিভিন্ন সংস্থাগুলিকে এর সাথে সংহত করার অনুমতি দেয় its
অ্যাপাচি স্পার্ক সম্পর্কে আরও জানার জন্য আপনি এগুলি দেখতে পারেন ব্লগ এখন মাঠটি অ্যাপাচি স্পার্ক বনাম হাদুপের জন্য প্রস্তুত। আসুন এগিয়ে চলুন এবং অ্যাপাচি স্পার্ককে হ্যাডোপের সাথে বিভিন্ন পরামিতিগুলির সাথে তাদের শক্তিগুলি বোঝার জন্য তুলনা করুন।
অ্যাপাচি স্পার্ক বনাম হাদোপ: তুলনা করার জন্য প্যারামিটার
কর্মক্ষমতা
স্পার্ক দ্রুত কারণ এটি ইন-মেমরি প্রক্রিয়াকরণ করে। এটি এমন ডেটার জন্য ডিস্কও ব্যবহার করতে পারে যা সমস্ত স্মৃতিতে মাপসই হয় না। স্পার্কের ইন-মেমরি প্রসেসিং রিয়েল-টাইম অ্যানালিটিকাদের কাছে সরবরাহ করে। এটি স্পার্ককে ক্রেডিট কার্ড প্রসেসিং সিস্টেম, মেশিন লার্নিং, সুরক্ষা বিশ্লেষণ এবং ইন্টারনেট অফ থিংস সেন্সরের জন্য উপযুক্ত করে তোলে।
হ্যাডোপ মূলত একাধিক উত্স থেকে ডেটা প্রকারের বিষয়ে চিন্তা না করে এবং বিতরণকৃত পরিবেশ জুড়ে এটি সঞ্চয় না করে অবিচ্ছিন্নভাবে ডেটা সংগ্রহ করার জন্য সেটআপ করেছিলেন। মানচিত্রে ব্যাচ প্রসেসিং ব্যবহার করা হয়। ম্যাপ্রেডস কখনও রিয়েল-টাইম প্রসেসিংয়ের জন্য নির্মিত হয়নি, YARN এর পিছনে মূল ধারণাটি বিতরণ করা ডেটাসেটের উপর সমান্তরাল প্রক্রিয়াকরণ।
দুটির তুলনা করতে সমস্যা হ'ল তারা বিভিন্নভাবে প্রক্রিয়াজাতকরণ সম্পাদন করে।
ব্যবহারে সহজ
স্পার্ক স্কালা, জাভা, পাইথন এবং স্পার্ক এসকিউএল এর জন্য ব্যবহারকারী-বান্ধব এপিআইগুলির সাথে আসে। স্পার্ক এসকিউএল এসকিউএল এর সাথে খুব মিল, তাই এসকিউএল বিকাশকারীদের এটি শেখা সহজ হয়ে যায়। স্পার্ক বিকাশকারীদের জিজ্ঞাসা করতে এবং অন্যান্য ক্রিয়া সম্পাদন করতে এবং তাত্ক্ষণিক প্রতিক্রিয়া জানাতে একটি ইন্টারেক্টিভ শেল সরবরাহ করে।
আপনি শ্যাড ব্যবহার করে বা স্কুওপ, ফ্লুম, ইত্যাদি একাধিক সরঞ্জামের সাথে এটি একীভূত করে সহজেই হ্যাডোপে ডেটা গমন করতে পারেন ইয়ার্নটি কেবল একটি প্রক্রিয়াজাতকরণ কাঠামো এবং এটি হাইভ এবং পিগের মতো একাধিক সরঞ্জামের সাথে সংহত করা যায়। এইচআইভি হ'ল একটি ডেটা গুদামজাতকারী উপাদান যা এসকিউএল-এর মতো ইন্টারফেস ব্যবহার করে একটি বিতরণ পরিবেশে বড় ডেটা সেট পড়তে, লেখায় এবং পরিচালনা করে। আপনি এটি মাধ্যমে যেতে পারেন হাদুপ ইকোসিস্টেম হাদুপের সাথে সংহত হতে পারে এমন বিভিন্ন সরঞ্জাম সম্পর্কে জানার জন্য ব্লগ।
ব্যয়
হাদুপ এবং স্পার্ক উভয়ই অ্যাপাচি ওপেন সোর্স প্রকল্প, সুতরাং সফ্টওয়্যারটির জন্য কোনও মূল্য নেই। ব্যয় শুধুমাত্র পরিকাঠামোর সাথে জড়িত। উভয় পণ্যই এমনভাবে ডিজাইন করা হয়েছে যাতে এটি কম টিসিও দিয়ে পণ্য হার্ডওয়্যারে চলতে পারে।
এখন আপনি হয়ত ভাবছেন যে কীভাবে সেগুলি আলাদা। হাদোপে স্টোরেজ এবং প্রসেসিং হ'ল ডিস্ক ভিত্তিক এবং হ্যাডোপ স্ট্যান্ডার্ড পরিমাণে মেমরি ব্যবহার করে। সুতরাং, হ্যাডুপের সাথে আমাদের প্রচুর ডিস্কের পাশাপাশি দ্রুত ডিস্কের প্রয়োজন। আইডো / ও ডিস্ক বিতরণের জন্য হ্যাডুপের একাধিক সিস্টেমেরও প্রয়োজন।
মেমোরি প্রসেসিংয়ে অ্যাপাচি স্পার্কের কারণে এর জন্য প্রচুর স্মৃতি দরকার, তবে এটি স্ট্যান্ডার্ড গতি এবং পরিমাণের ডিস্কের সাথে ডিল করতে পারে। যেহেতু ডিস্কের স্থান অপেক্ষাকৃত সস্তা পণ্য এবং স্পার্ক যেহেতু প্রসেসিংয়ের জন্য ডিস্ক I / O ব্যবহার করে না, পরিবর্তে স্মৃতিতে সমস্ত কিছু চালানোর জন্য এটি প্রচুর পরিমাণে র্যামের প্রয়োজন। সুতরাং, স্পার্ক সিস্টেম আরও ব্যয় করে।
তবে হ্যাঁ, একটি গুরুত্বপূর্ণ বিষয় মনে রাখতে হবে স্পার্কের প্রযুক্তি প্রয়োজনীয় সিস্টেমের সংখ্যা হ্রাস করে। এর জন্য উল্লেখযোগ্যভাবে কম সিস্টেমের প্রয়োজন যার জন্য আরও বেশি ব্যয় হয়। সুতরাং, এমন একটি পয়েন্ট থাকবে যেখানে স্পার্ক অতিরিক্ত র্যামের প্রয়োজনীয়তা সত্ত্বেও গণনার প্রতি ইউনিট ব্যয় হ্রাস করে।
তথ্য প্রক্রিয়াজাতকরণ
ডেটা প্রসেসিং দুটি ধরণের রয়েছে: ব্যাচ প্রসেসিং এবং স্ট্রিম প্রসেসিং।
ব্যাচ প্রসেসিং বনাম স্ট্রিম প্রসেসিং
ধির গতির কাজ : ব্যাটা প্রক্রিয়াকরণ বড় ডেটা বিশ্বে গুরুত্বপূর্ণ। সবচেয়ে সহজ শব্দে, ব্যাচ প্রসেসিং একটি সময়ের মধ্যে সংগৃহীত উচ্চ ডেটা ভলিউমের সাথে কাজ করছে। ব্যাচে প্রসেসিংয়ের ডেটা প্রথমে সংগ্রহ করা হয় এবং তারপরে প্রক্রিয়াজাত ফলাফলগুলি পরবর্তী পর্যায়ে প্রদর্শিত হয়।
ব্যাচ প্রসেসিং বড়, স্ট্যাটিক ডেটা সেটগুলি প্রক্রিয়াকরণের একটি কার্যকর উপায় way সাধারণত, আমরা সংরক্ষণাগারভুক্ত ডেটা সেটগুলির জন্য ব্যাচ প্রসেসিং করি। উদাহরণস্বরূপ, কোনও দেশের গড় আয়ের গণনা করা বা গত দশকে ই-বাণিজ্য পরিবর্তনের মূল্যায়ন।
স্ট্রিম প্রক্রিয়াজাতকরণ : স্ট্রিম প্রসেসিং হ'ল বিগ ডেটা বিশ্বে বর্তমান প্রবণতা। সময়ের প্রয়োজন হ'ল গতি এবং রিয়েল-টাইম তথ্য, যা স্টিম প্রসেসিং করে। ব্যাচ প্রসেসিং ব্যবসায়ের বাস্তব সময়ে ব্যবসায়ের চাহিদা পরিবর্তনে দ্রুত প্রতিক্রিয়া জানাতে দেয় না, স্ট্রিম প্রসেসিংয়ে চাহিদার দ্রুত বৃদ্ধি পেয়েছে।
এখন অ্যাপাচি স্পার্ক বনাম হ্যাডোপে ফিরে আসছি, ইয়ার্ন মূলত একটি ব্যাচ-প্রসেসিং ফ্রেমওয়ার্ক। আমরা যখন ইয়ার্নে কোনও কাজ জমা দিই তখন এটি ক্লাস্টার থেকে ডেটা পড়ে, অপারেশন করে এবং ফলাফলটি ক্লাস্টারে ফেরত দেয়। তারপরে এটি পুনরায় আপডেট হওয়া ডেটা পড়ে, পরবর্তী ক্রিয়াকলাপ সম্পাদন করে এবং ক্লাস্টারে ফলাফলগুলি আবার লিখুন।
স্পার্ক অনুরূপ ক্রিয়াকলাপ সম্পাদন করে তবে এটি মেমোরি প্রসেসিং ব্যবহার করে এবং পদক্ষেপগুলি অনুকূল করে। গ্রাফএক্স ব্যবহারকারীদের গ্রাফ এবং সংগ্রহ হিসাবে একই ডেটা দেখতে দেয়। ব্যবহারকারীরা রেজিলেট ডিস্ট্রিবিউটড ডেটাসেটস (আরডিডি) এর সাথে গ্রাফগুলিকে রূপান্তর করতে এবং যোগদান করতে পারেন।
ফল্ট সহনশীলতা
হ্যাডোপ এবং স্পার্ক উভয়ই ত্রুটি সহিষ্ণুতা সরবরাহ করে তবে উভয়ের উভয়ই ভিন্ন পদ্ধতির। এইচডিএফএস এবং ইয়ারএন উভয়ের জন্য, মাস্টার ডেমোনস (অর্থাত্ নেম নোড এবং রিসোর্স ম্যানেজার) দাস ডেমনের হার্টবিট পরীক্ষা করে (অর্থাত্ ডাটানোড এবং নোডম্যানেজার)। যদি কোনও গোলাম ডিমন ব্যর্থ হয় তবে মাস্টার ডিমনগুলি সমস্ত মুলতুবি এবং অগ্রগতি ক্রিয়াকলাপ অন্য দাসের কাছে পুনরায় নির্ধারণ করে। এই পদ্ধতিটি কার্যকর, তবে এটি একক ব্যর্থতার সাথে অপারেশনগুলির জন্য সমাপ্তির সময়কে উল্লেখযোগ্যভাবে বাড়িয়ে তুলতে পারে। হ্যাডোপ যেমন পণ্য হার্ডওয়্যার ব্যবহার করে, তেমনি অন্য উপায় যা এইচডিএফএস ত্রুটি সহিষ্ণুতা নিশ্চিত করে তা হ'ল তথ্য প্রতিলিপি করা।
যেমন আমরা উপরে আলোচনা করেছি, আরডিডিগুলি অ্যাপাচি স্পার্কের ব্লক তৈরি করছে। আরডিডি স্পার্ককে ফল্ট সহনশীলতা সরবরাহ করে। তারা এইচডিএফএস, এইচবেস, ভাগ করা ফাইল সিস্টেমের মতো বাহ্যিক স্টোরেজ সিস্টেমে উপস্থিত যে কোনও ডেটাসেটের উল্লেখ করতে পারে। এগুলি সমান্তরালভাবে পরিচালিত হতে পারে।
আরডিডিগুলি ক্রিয়াকলাপ জুড়ে মেমরিতে একটি ডেটাসেট ধরে রাখতে পারে, যা ভবিষ্যতের ক্রিয়াকলাপগুলি 10 গুণ বেশি দ্রুত করে তোলে। যদি কোনও আরডিডি হারিয়ে যায় তবে মূল রূপান্তরগুলি ব্যবহার করে এটি স্বয়ংক্রিয়ভাবে পুনরায় সংশোধন করা হবে। এইভাবে স্পার্ক দোষ-সহনশীলতা সরবরাহ করে।
সুরক্ষা
প্রমাণীকরণের জন্য হ্যাডোপ কার্বেরোস সমর্থন করে তবে এটি পরিচালনা করা কঠিন is তবুও, এটি প্রমাণীকরণের জন্য তৃতীয় পক্ষের বিক্রেতাদের যেমন এলডিএপি (লাইটওয়েট ডিরেক্টরি এক্সেস প্রোটোকল) সমর্থন করে। তারা এনক্রিপশন প্রস্তাব। এইচডিএফএস প্রথাগত ফাইল অনুমতিগুলির পাশাপাশি অ্যাক্সেস নিয়ন্ত্রণ তালিকাগুলি (এসিএল) সমর্থন করে। হাডোপ সার্ভিস লেভেল অথরাইজেশন সরবরাহ করে, যা গ্যারান্টি দেয় যে ক্লায়েন্টদের কাজের জমা দেওয়ার উপযুক্ত অনুমতি রয়েছে।
স্পার্ক বর্তমানে একটি ভাগ করা গোপনের মাধ্যমে প্রমাণীকরণ সমর্থন করে। স্পার্ক এইচডিএফএসের সাথে সংহত করতে পারে এবং এটি এইচডিএফএস এসিএল এবং ফাইল-স্তর অনুমতি ব্যবহার করতে পারে। স্পার্কটি কারবারসের সক্ষমতা বাড়িয়ে ইয়ার্নেও চালাতে পারে run
ব্যবহারের ক্ষেত্রে যেখানে হ্যাডোপ সবচেয়ে ভাল ফিট করে:
- সংরক্ষণাগার ডেটা বিশ্লেষণ। YARN বিপুল পরিমাণে ডেটা সমান্তরাল প্রক্রিয়াকরণের অনুমতি দেয়। প্রতিটি নোডম্যানেজারের ফলে ডেটা অংশগুলি বিভিন্ন ডেটা নোডে এবং সমবেতভাবে সমান্তরালভাবে এবং পৃথকভাবে প্রক্রিয়াজাত করা হয়।
- যদি তাত্ক্ষণিক ফলাফলের প্রয়োজন হয় না। হ্যাডোপ ম্যাপ্রেইডুস ব্যাচ প্রসেসিংয়ের জন্য একটি ভাল এবং অর্থনৈতিক সমাধান।
ব্যবহারের ক্ষেত্রে যেখানে স্পার্ক সেরা ফিট করে:
রিয়েল-টাইম বিগ ডেটা বিশ্লেষণ:
রিয়েল-টাইম ডেটা বিশ্লেষণ মানে হ'ল রিয়েল-টাইম ইভেন্ট স্ট্রিমগুলি দ্বারা উত্পাদিত ডেটা প্রক্রিয়াজাতকরণ, প্রতি সেকেন্ডে কয়েক মিলিয়ন ইভেন্টের হারে আসে, উদাহরণস্বরূপ টুইটারের ডেটা। স্পার্কের শক্তি বিতরণ প্রক্রিয়াজাতকরণের সাথে সাথে ডেটা প্রবাহকে সমর্থন করার জন্য তার ক্ষমতাগুলিতে থাকে। এটি একটি দরকারী সমন্বয় যা ডেটা রিয়েল-টাইম প্রসেসিংয়ের নিকটে সরবরাহ করে। বিপুল পরিমাণে ডেটাতে ব্যাচ-কাম বিতরণ প্রক্রিয়াজাতকরণের জন্য ডিজাইন করা হয়েছিল বলে ম্যাপ্রেডস এমন একটি সুবিধায় প্রতিবন্ধী। রিয়েল-টাইম ডেটা এখনও ম্যাপ্রেডুসে প্রক্রিয়া করা যায় তবে এর গতি স্পার্কের কাছাকাছি কোথাও নেই।
স্পার্ক মানচিত্রের চেয়ে ডেটা 100x দ্রুত প্রক্রিয়াকরণের দাবি করে, যখন ডিস্কগুলির সাথে 10x দ্রুত।
গ্রাফ প্রক্রিয়াজাতকরণ:
পৃষ্ঠার র্যাঙ্কের মতো বেশিরভাগ গ্রাফ প্রসেসিং অ্যালগরিদম একই ডেটাতে একাধিক পুনরাবৃত্তি সম্পাদন করে এবং এর জন্য একটি বার্তা প্রেরণার প্রক্রিয়া প্রয়োজন। একই ডেটাতে এ জাতীয় একাধিক পুনরাবৃত্তি হ্যান্ডেল করার জন্য আমাদের মানচিত্রের স্পষ্টভাবে প্রোগ্রাম করা দরকার to মোটামুটিভাবে এটি কাজ করে: ডিস্ক থেকে ডেটা পড়ুন এবং একটি নির্দিষ্ট পুনরাবৃত্তির পরে, এইচডিএফএসে ফলাফল লিখুন এবং তারপরে পুনরাবৃত্তির জন্য এইচডিএফএস থেকে ডেটা পড়ুন। এটি খুব অকার্যকর কারণ এটিতে ডিস্কে ডেটা পড়া এবং লেখার সাথে জড়িত যা ভারী আই / ও ক্রিয়াকলাপ এবং দোষ সহ্য করার জন্য ক্লাস্টারে জুড়ে ডেটা প্রতিলিপি জড়িত। এছাড়াও, প্রতিটি মানচিত্রের পুনরাবৃত্তির খুব উচ্চতর বিলম্ব রয়েছে এবং পরবর্তী কাজটি সম্পূর্ণ পূর্ববর্তী কাজ শেষ হওয়ার পরেই শুরু হতে পারে।
এছাড়াও, কোনও নির্দিষ্ট নোডের স্কোরকে মূল্যায়নের জন্য বার্তাগুলি পাস করার জন্য বহু সংখ্যক প্রতিবেশী নোডের প্রয়োজন। এই গণনাগুলির প্রতিবেশীদের (বা কাজের একাধিক স্তরের ডেটা) বার্তাগুলি দরকার, মানচিত্রের অভাবের ব্যবস্থার কোনও ব্যবস্থা নেই। গ্রাফ প্রসেসিং অ্যালগরিদমগুলির জন্য দক্ষ প্ল্যাটফর্মের প্রয়োজনের জন্য প্রেগেল এবং গ্রাফল্যাবের মতো বিভিন্ন গ্রাফ প্রসেসিং সরঞ্জামগুলি তৈরি করা হয়েছিল। এই সরঞ্জামগুলি দ্রুত এবং স্কেলযোগ্য, তবে এই জটিল মাল্টি-স্টেজ অ্যালগরিদমগুলি তৈরি এবং পোস্ট-প্রসেসিংয়ের জন্য কার্যকর নয়।
অ্যাপাচি স্পার্কের পরিচিতি এই সমস্যাগুলি অনেকাংশে সমাধান করেছে। স্পার্কে গ্রাফএক্স নামে একটি গ্রাফ গণনা পাঠাগার রয়েছে যা আমাদের জীবনকে সহজতর করে। অন্তর্নির্মিত গ্রাফ সহায়তার সাথে ইন-মেমরি গণনা traditionalতিহ্যগত মানচিত্রের প্রোগ্রামগুলির তুলনায় এক বা দুই ডিগ্রি মাত্রার দ্বারা অ্যালগরিদমের কার্যকারিতা উন্নত করে। এক্সিকিউটরগুলিতে বার্তা বিতরণের জন্য স্পার্ক নেট এবং আক্কার সংমিশ্রণ ব্যবহার করে। আসুন কয়েকটি পরিসংখ্যান দেখি যা হ্যাডোপ এবং স্পার্ক ব্যবহার করে পেজর্যাঙ্ক অ্যালগরিদমের কার্যকারিতা চিত্রিত করে।
আইট্রেটিভ মেশিন লার্নিং অ্যালগরিদম:
প্রায় সমস্ত মেশিন লার্নিং অ্যালগরিদমগুলি পুনরাবৃত্তভাবে কাজ করে। যেমনটি আমরা আগেও দেখেছি, পুনরাবৃত্ত অ্যালগরিদমগুলি মানচিত্রের বাস্তবায়নগুলিতে I / O বাধাগুলি জড়িত। মানচিত্রে মোটা-দানাযুক্ত কাজগুলি (টাস্ক-স্তরের সমান্তরালতা) ব্যবহার করা হয় যা পুনরাবৃত্তাকারী অ্যালগরিদমের জন্য খুব ভারী। মেসোসের সাহায্যে স্পার্ক করুন - একটি বিতরণকারী সিস্টেম কার্নেল, প্রতিটি পুনরাবৃত্তির পরে মধ্যবর্তী ডেটাসেটকে ক্যাশে করে এবং এই ক্যাশেড ডেটাসেটে একাধিক পুনরাবৃত্তি চালায় যা I / O হ্রাস করে এবং ফল্ট সহনকারী পদ্ধতিতে অ্যালগরিদমকে দ্রুত চালাতে সহায়তা করে।
স্পার্কে এমএল্লিব নামে একটি বিল্ট-ইন স্কেলেবল মেশিন লার্নিং লাইব্রেরি রয়েছে যার মধ্যে উচ্চ-মানের অ্যালগরিদম রয়েছে যা পুনরাবৃত্তিগুলি উপার্জন করে এবং কখনও কখনও মানচিত্রে ব্যবহার করা হয় এমন একটি পাসের কাছাকাছি থেকে ভাল ফলাফল দেয়।
- দ্রুত ডেটা প্রক্রিয়াকরণ। যেমনটি আমরা জানি, স্পার্ক ইন-মেমরি প্রক্রিয়াকরণের অনুমতি দেয়। ফলস্বরূপ, স্পার্কটি র্যামের ডেটার জন্য 100 গুণ এবং স্টোরেজ ডেটার জন্য 10 গুণ বেশি গতিযুক্ত।
- Iterative প্রক্রিয়াজাতকরণ। স্পার্কের আরডিডি মেশিনে বেশ কয়েকটি মানচিত্রের ক্রিয়াকলাপ সম্পাদনের অনুমতি দেয়, কোনও ডিস্কে অন্তর্বর্তী ডেটা সেট লেখার দরকার নেই।
- রিয়েল-টাইম প্রসেসিংয়ের কাছাকাছি। তাত্ক্ষণিক ব্যবসায়ের অন্তর্দৃষ্টি সরবরাহের জন্য স্পার্ক একটি দুর্দান্ত সরঞ্জাম। এই কারণেই স্পার্ক ক্রেডিট কার্ডের স্ট্রিমিং সিস্টেমে ব্যবহৃত হয়।
'অ্যাপাচি স্পার্ক: অ্যাপাচি হাদুপের খুনি বা ত্রাণকর্তা?'
এর উত্তর - হাদোপ ম্যাপ্রেডিউস এবং অ্যাপাচি স্পার্ক একে অপরের সাথে প্রতিদ্বন্দ্বিতা করছে না। আসলে, তারা একে অপরের বেশ ভাল পরিপূরক। হডোপ পণ্য সিস্টেম দ্বারা নিয়ন্ত্রণে বিশাল ডেটাসেটগুলি নিয়ে আসে। স্পার্ক সেই ডেটা সেটগুলির জন্য রিয়েল-টাইম, ইন-মেমরি প্রসেসিং সরবরাহ করে যা এটির প্রয়োজন হয়। যখন আমরা একত্রিত করি তখন অ্যাপাচি স্পার্কের ক্ষমতা, অর্থাত্ হাই প্রসেসিং গতি, অগ্রণী বিশ্লেষণ এবং পণ্য হার্ডওয়্যারে হাদুপের স্বল্প দামের অপারেশনের সাথে একাধিক সংহতকরণ সমর্থন, এটি সেরা ফলাফল দেয়। হ্যাডোপ অ্যাপাচি স্পার্ক সক্ষমতার প্রশংসা করে। স্পার্ক হ্যাডোপকে পুরোপুরি প্রতিস্থাপন করতে পারে না তবে সুসংবাদটি হ'ল স্পার্কের চাহিদা বর্তমানে সর্বকালের উচ্চতম! স্পার্ককে আয়ত্ত করার এবং আপনার পথে আসা ক্যারিয়ারের সর্বাধিক সুযোগ তৈরি করার এই সঠিক সময়। এখনই শুরু কর!
আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা শীঘ্রই আপনার কাছে ফিরে আসব।
আপনি যদি রিয়েল লাইফ ব্যবহারের ক্ষেত্রে আরডিডি, স্পার্ক স্ট্রিমিং, স্পার্কএসকিউএল, এমএলিবিব, গ্রাফএক্স এবং স্কেলা ব্যবহার করে বৃহত আকারের ডেটা প্রসেসিং করতে স্পার্কের ডোমেইনে ক্যারিয়ার গড়তে চান এবং আমাদের ইন্টারেক্টিভ, লাইভ-অনলাইন দেখুন এখানে, আপনার শিক্ষার পুরো সময়কালে আপনাকে গাইড করার জন্য এটি 24 * 7 সমর্থন সহ আসে।