হাদুপ, ডেটা প্রসেসিং ফ্রেমওয়ার্ক যা নিজের কাছে প্ল্যাটফর্ম হয়ে যায়, যখন ভাল উপাদানগুলির সাথে এটি সংযুক্ত থাকে তখন আরও উন্নত হয়। হ্যাডোপের কিছু ত্রুটি যেমন হ্যাডোপের ম্যাপ্রেডিউস উপাদানটির রিয়েল-টাইম ডেটা বিশ্লেষণের জন্য ধীর হওয়ার খ্যাতি রয়েছে।
হ্যাডোপ-ভিত্তিক ডেটা প্রসেসিং ইঞ্জিন অ্যাপাচি স্পার্ক প্রবেশ করুন, এখন এটির 1.0 সংস্করণে এবং হ্যাডোপকে কী ধরণের কাজ অন্তর্ভুক্ত করার জন্য চাপ দেওয়া হচ্ছে তা উদাহরণ সহকারে এমন বৈশিষ্ট্য সহ সজ্জিত করা হয়েছে যা হ'লুপকে অন্তর্ভুক্ত করতে বাধ্য করা হচ্ছে। বর্ধিত এবং অতিরিক্ত কার্যকারিতা সরবরাহ করতে বিদ্যমান হাডোপ ক্লাস্টারের শীর্ষে স্পার্ক চলে runs
আসুন স্পার্কের মূল বৈশিষ্ট্যগুলি এবং এটি হ্যাডোপ এবং এর সাথে কীভাবে কাজ করে তা দেখুন ।
অ্যাপাচি স্পার্ক মূল সুবিধা:
স্পার্কের দুর্দান্ত বৈশিষ্ট্য:
- হাদুপ ইন্টিগ্রেশন - এইচডিএফএসে সঞ্চিত ফাইলগুলির সাথে স্পার্ক কাজ করতে পারে।
- স্পার্কের ইন্টারেক্টিভ শেল - স্পার্ক স্কালায় রচিত এবং এর স্ক্যালাল দোভাষী এর নিজস্ব সংস্করণ রয়েছে।
- স্পার্কের অ্যানালিটিক স্যুট - স্পার্ক ইন্টারেক্টিভ ক্যোয়ারী বিশ্লেষণ, বৃহত আকারের গ্রাফ প্রসেসিং এবং বিশ্লেষণ এবং রিয়েল-টাইম বিশ্লেষণের সরঞ্জামগুলির সাথে আসে।
- স্থিতিস্থাপক বিতরণ ডেটাসেটস (আরডিডি এর) - আরডিডি'র বিতরণ করা অবজেক্টগুলি যা মেমরির মধ্যে ক্যাশে করা যায়, তা গণনা নোডগুলির একটি গোষ্ঠীতে। এগুলি স্পার্কে ব্যবহৃত প্রাথমিক ডেটা অবজেক্ট।
- বিতরণ অপারেটর - ম্যাপ্রেডুস ছাড়াও আরও অনেক অপারেটর রয়েছে যাকে কেউ আরডিডি-তে ব্যবহার করতে পারেন।
হাদুপের সাথে অ্যাপাচি স্পার্ক ব্যবহারের সুবিধা:
বর্গ মধ্যে পদ্ধতি কি
অ্যাপাচি স্পার্ক হ্যাডোপ ওপেন সোর্স সম্প্রদায়ে ফিট করে, হ্যাডোপ বিতরণকারী ফাইল সিস্টেমের (এইচডিএফএস) শীর্ষে বিল্ডিং। তবে স্পার্ক দ্বি-পর্যায়ে ম্যাপ্রেডিউস দৃষ্টান্তের সাথে আবদ্ধ নয় এবং নির্দিষ্ট অ্যাপ্লিকেশনের জন্য হ্যাডোপ ম্যাপ্রেডিউসের চেয়ে 100 গুণ দ্রুত গতিতে পারফরম্যান্সের প্রতিশ্রুতি দেয়।
মেশিন লার্নিং অ্যালগরিদমের পক্ষে বেশ উপযুক্ত - স্পার্ক ইন-মেমরি ক্লাস্টার কম্পিউটিংয়ের জন্য আদিম পদার্থ সরবরাহ করে যা ব্যবহারকারী প্রোগ্রামগুলিকে একটি ক্লাস্টারের স্মৃতিতে ডেটা লোড করতে এবং বারবার এটি জিজ্ঞাসা করতে পারে।
100 গুণ দ্রুত চালান - স্পার্ক, বিশ্লেষণ সফ্টওয়্যার হ্যাডোপ ডেটা-প্রসেসিং প্ল্যাটফর্মে চালিত চাকরিগুলিকেও গতি দিতে পারে। 'হ্যাডোপ সুইস আর্মি ছুরি,' ডাব করে অ্যাপাচি স্পার্ক তথ্য-বিশ্লেষণের কাজগুলি তৈরি করার দক্ষতা সরবরাহ করে যা স্ট্যান্ডার্ড অ্যাপাচি হ্যাডোপ ম্যাপ্রেডুসে চলমান লোকদের চেয়ে 100 গুণ বেশি দ্রুত চলতে পারে। হ্যাডোপ ক্লাস্টারগুলিতে ম্যাপ্রেডিউসকে বিড়ম্বনা হিসাবে ব্যাপক সমালোচনা করা হয়েছে কারণ এটি ব্যাচ মোডে কাজগুলি কার্যকর করে, যার অর্থ ডেটাগুলির রিয়েল-টাইম বিশ্লেষণ সম্ভব নয়।
মানচিত্রের বিকল্প - স্পার্ক মানচিত্রের বিকল্প সরবরাহ করে। এটি পাঁচ সেকেন্ড বা তার চেয়ে কম দূরে থাকা মাইক্রো-ব্যাচগুলির সংক্ষিপ্ত বিস্ফোরণগুলিতে কাজ সম্পাদন করে। এটি রিয়েল-টাইম, স্ট্রিম-ওরিয়েন্টেড হ্যাডোপ ফ্রেমওয়ার্ক যেমন টুইটার স্টর্মের চেয়েও বেশি স্থায়িত্ব সরবরাহ করে। সফ্টওয়্যারটি বিভিন্ন কাজের জন্য যেমন লাইভ ডেটার একটি চলমান বিশ্লেষণ এবং একটি সফ্টওয়্যার গ্রন্থাগারকে ধন্যবাদ হিসাবে ব্যবহার করা যেতে পারে, মেশিন লার্নিং এবং গ্রাফ প্রসেসিংয়ের সাথে জড়িত আরও নিরঙ্কুশ জব রয়েছে।
একাধিক ভাষার জন্য সমর্থন - স্পার্ক ব্যবহার করে, বিকাশকারীরা 80 টিরও বেশি উচ্চ-স্তরের অপারেটরের একটি সেট ব্যবহার করে জাভা, স্কালা বা পাইথনগুলিতে ডেটা-বিশ্লেষণ কাজ লিখতে পারেন।
ডিওপস সরঞ্জামগুলির পর্যায় সারণি
লাইব্রেরি সহায়তা - স্পার্কের গ্রন্থাগারগুলি হদুপের সর্বশেষ ব্যবসায়িকভাবে সমর্থিত মোতায়েনের সাথে আরও আগ্রাসীভাবে অনুসন্ধানের প্রক্রিয়াকরণ কাজের পরিপূরক হিসাবে ডিজাইন করা হয়েছে। এমএলিব বেশ কয়েকটি প্রচলিত মেশিন লার্নিং অ্যালগরিদম বাস্তবায়িত করে, যেমন নিখুঁত বায়েশিয়ান শ্রেণিবিন্যাস বা ক্লাস্টারিং স্পার্ক স্ট্রিমিং একাধিক উত্স থেকে প্রাপ্ত ডেটা উচ্চ গতির প্রক্রিয়াকরণকে সক্ষম করে এবং গ্রাফএক্স গ্রাফের ডেটাগুলিতে গণনার অনুমতি দেয়।
স্থিতিশীল এপিআই - 1.0 সংস্করণ সহ, অ্যাপাচি স্পার্ক একটি স্থিতিশীল এপিআই (অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস) সরবরাহ করে, যা বিকাশকারীরা তাদের নিজস্ব অ্যাপ্লিকেশন সত্ত্বেও স্পার্কের সাথে ইন্টারেক্ট করার জন্য ব্যবহার করতে পারে। এটি হডোপ ভিত্তিক স্থাপনায় আরও সহজে ঝড় ব্যবহার করতে সহায়তা করে।
স্পার্ক এসকিউএল উপাদান - কাঠামোগত ডেটা অ্যাক্সেসের জন্য এসকিউএল উপাদান স্পার্ক করুন, বিশ্লেষণ কাজের ক্ষেত্রে কাঠামোগত কাঠামোগত ডেটার পাশাপাশি ডেটাটিকে জিজ্ঞাসাবাদ করার অনুমতি দেয়। স্পার্ক এসকিউএল, যা এই মুহূর্তে কেবলমাত্র আলফায় রয়েছে, এসকিউএল-এর মতো অনুসন্ধানগুলি অ্যাপাচি হাইভের মধ্যে থাকা ডেটার বিপরীতে চালানোর অনুমতি দেয়। হ্যাডোপ থেকে এসকিউএল কোয়েরিগুলির মাধ্যমে ডেটা উত্তোলন হ্যাডোপের চারপাশে বসানো রিয়েল-টাইম অনুসন্ধানের কার্যকারিতার আরও একটি বৈকল্পিক।
হ্যাডোপ [এইচডিএফএস, এইচবিএএসই এবং ইয়ার্ন] এর সাথে অ্যাপাচি স্পার্ক সামঞ্জস্যতা - অ্যাপাচি স্পার্ক হ্যাডোপের বিতরণকারী ফাইল সিস্টেম (এইচডিএফএস) এর পাশাপাশি অন্যান্য হ্যাডোপ উপাদান যেমন ইয়ারএন (তবুও অন্য একটি সংস্থান নেগোটিয়র) এবং এইচবিএস বিতরণ করা ডাটাবেসের সাথে সম্পূর্ণ সুসংগত।
শিল্প অ্যাডাপ্টার:
ক্লৌডেরা, পাইভোটাল, আইবিএম, ইন্টেল এবং ম্যাপআরের মতো আইটি সংস্থাগুলি স্পার্ককে তাদের হ্যাডোপ স্ট্যাকের মধ্যে ভাঁজ করেছে। স্পার্কের কিছু বিকাশকারী দ্বারা প্রতিষ্ঠিত ডেটাব্রিক্স একটি সংস্থা সফ্টওয়্যারটির জন্য বাণিজ্যিক সহায়তা সরবরাহ করে। ইয়াহু এবং নাসা উভয়ই অন্যদের মধ্যে প্রতিদিনের ডেটা অপারেশনের জন্য সফটওয়্যারটি ব্যবহার করে।
উপসংহার:
স্পার্ক যা অফার করবে তা হ্যাডোপের ব্যবহারকারী এবং বাণিজ্যিক বিক্রেতাদের উভয়েরই জন্য বড় অঙ্কন হতে বাধ্য। যাঁরা হ্যাডোপ বাস্তবায়ন করতে চাইছেন এবং যারা ইতিমধ্যে হাদুপকে ঘিরে তাদের অনেক বিশ্লেষণ সিস্টেম তৈরি করেছেন তারা হ্যাডোপকে রিয়েল-টাইম প্রসেসিং সিস্টেম হিসাবে ব্যবহার করতে সক্ষম হওয়ার ধারণার প্রতি আকৃষ্ট হন।
স্পার্ক 1.0 তাদের চারপাশে মালিকানাধীন আইটেমগুলিকে সমর্থন করতে বা তৈরি করতে অন্য ধরণের কার্যকারিতা সরবরাহ করে। প্রকৃতপক্ষে, বড় তিনটি হ্যাডোপ বিক্রেতার মধ্যে একটি, ক্লৌদেরা ইতিমধ্যে তার ক্লৌডেরা এন্টারপ্রাইজ অফারটির মাধ্যমে স্পার্কের জন্য বাণিজ্যিক সহায়তা সরবরাহ করে আসছে। হর্টন ওয়ার্কস স্পার্ককে এর হডোপ বিতরণের উপাদান হিসাবে সরবরাহ করে। শীর্ষ সংস্থাগুলি দ্বারা স্পার্কের বৃহত আকারে বাস্তবায়ন তার বাস্তবতা এবং আসল-সময় প্রক্রিয়াজাতকরণের ক্ষেত্রে এর সম্ভাব্যতা নির্দেশ করে।
আমাদের জন্য একটি প্রশ্ন আছে? তাদের মন্তব্য বিভাগে উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।
সম্পর্কিত পোস্ট:
প্রসারিত এবং প্রয়োগগুলির মধ্যে জাভা পার্থক্য