যেমনটি আমরা উল্লেখ করেছি ব্লগ, এইচবেস আমাদের হ্যাডোপ ইকোসিস্টেমের একটি প্রয়োজনীয় অংশ। সুতরাং এখন, আমি আপনাকে এইচবিএস টিউটোরিয়ালটির মাধ্যমে নিতে চাই, যেখানে আমি আপনাকে অ্যাপাচি এইচবাসের সাথে পরিচয় করিয়ে দেব এবং তারপরে আমরা ফেসবুক ম্যাসেঞ্জার কেস স্টাডি করব। আমরা এই HBase টিউটোরিয়াল ব্লগে নিম্নলিখিত বিষয়গুলি কভার করতে চলেছি:
জেনকিন্স বনাম পুতুল বনাম শেফ
- অ্যাপাচি এইচবেসের ইতিহাস
- অ্যাপাচি এইচবেসের পরিচিতি
- নোএসকিউএল ডাটাবেস এবং এর প্রকারগুলি
- এইচবাসে বনাম ক্যাসান্দ্রা
- অ্যাপাচি এইচবিএস বৈশিষ্ট্যগুলি
- এইচবিএস বনাম এইচডিএফএস
- ফেসবুক ম্যাসেঞ্জার কেস স্টাডি
অ্যাপাচি এইচবিএস টিউটোরিয়াল: ইতিহাস
আসুন এইচবেসের ইতিহাস দিয়ে শুরু করা যাক এবং সময়ের সাথে সাথে কীভাবে এইচবেস বিবর্তিত হয়েছে তা জেনে রাখুন।
- অ্যাপাচি এইচবেস গুগলের বিগ টেবিলের পরে মডেল করা হয়েছে যা ডেটা সংগ্রহ এবং মানচিত্র, ফিনান্স, আর্থ ইত্যাদি বিভিন্ন গুগল পরিষেবাদির অনুরোধ জানাতে ব্যবহৃত হয় is
- অ্যাপাচি এইচবেস প্রাকৃতিক ভাষা অনুসন্ধানের জন্য পাওয়ারসেট সংস্থা দ্বারা একটি প্রকল্প হিসাবে শুরু হয়েছিল, যা বিশাল এবং স্পার ডেটা সেট পরিচালনা করে ling
- অ্যাপাচি এইচবাস প্রথম ফেব্রুয়ারী 2007 এ প্রকাশিত হয়েছিল। পরে ২০০৮ সালের জানুয়ারিতে এইচবাসে অ্যাপাচি হাদুপের উপ প্রকল্পে পরিণত হয়।
- ২০১০ সালে, এইচবেস অ্যাপাচি শীর্ষ স্তরের প্রকল্পে পরিণত হয়েছিল।
HBase টিউটোরিয়াল | NoSQL ডাটাবেস | এডুরেকা
অ্যাপাচি এইচবেসের ইতিহাস সম্পর্কে জানার পরে, আপনি জানতে আগ্রহী হবেন যে আপাচি এইচবেস কী? আসুন আমরা আরও সরানো এবং একবার তাকান।
অ্যাপাচি এইচবিএস টিউটোরিয়াল: এইচবেসের পরিচিতি
এইচবেস একটি ওপেন সোর্স, বহুমাত্রিক, বিতরণ, স্কেলেবল এবং এ NoSQL ডাটাবেস জাভা লেখা। উপরে চলে এইচবেস runs এইচডিএফএস (হ্যাডোপ বিতরণকারী ফাইল সিস্টেম) এবং হ্যাডোপকে বিগ টেবিলের মতো ক্ষমতা সরবরাহ করে provides এটি বিচ্ছুরিত ডেটা সেটগুলির বৃহত সংগ্রহ সঞ্চয় করার জন্য একটি ত্রুটি সহনীয় উপায় সরবরাহ করার জন্য ডিজাইন করা হয়েছে।
যেহেতু, এইচবিজ বিশাল ডেটা সেটগুলিতে দ্রুত পঠন / লেখার অ্যাক্সেস সরবরাহ করে উচ্চ থ্রুপুট এবং কম বিলম্বিততা অর্জন করে। অতএব, HBase অ্যাপ্লিকেশনগুলির জন্য পছন্দসই যা প্রচুর পরিমাণে ডেটাতে দ্রুত এবং এলোমেলো অ্যাক্সেসের প্রয়োজন।
এটি সংক্ষেপে, ইন-মেমরি অপারেশনগুলি এবং ব্লুম ফিল্টারগুলি (ডেটা স্ট্রাকচার যা কোনও মান একটি সেটে উপস্থিত রয়েছে কিনা তা জানায়) দ্রুত এবং এলোমেলো পঠন-লেখার প্রয়োজনীয়তা সরবরাহ করে।
আসুন এটি একটি উদাহরণের মাধ্যমে বুঝতে পারি: একটি জেট ইঞ্জিন চাপ সেন্সর, তাপমাত্রা সেন্সর, স্পিড সেন্সর ইত্যাদি বিভিন্ন সেন্সর থেকে বিভিন্ন ধরণের ডেটা উত্পন্ন করে যা ইঞ্জিনের স্বাস্থ্যকে নির্দেশ করে। ফ্লাইটের সমস্যা এবং স্থিতি বুঝতে এটি খুব দরকারী This অবিচ্ছিন্ন ইঞ্জিন অপারেশনগুলি প্রতি ফ্লাইটে 500 জিবি ডেটা উত্পন্ন করে এবং প্রতিদিন প্রায় 300,000 ফ্লাইট রয়েছে। সুতরাং, কাছাকাছি আসল সময়ে এ জাতীয় ডেটা প্রয়োগ করা ইঞ্জিন অ্যানালিটিকাগুলি সমস্যাগুলি সক্রিয়ভাবে নির্ণয় করতে এবং অপরিকল্পিত ডাউনটাইম হ্রাস করতে ব্যবহার করা যেতে পারে। এর সাথে প্রচুর পরিমাণে ডেটা সঞ্চয় করতে বিতরণ পরিবেশ প্রয়োজন environment দ্রুত এলোমেলো পড়া এবং লেখার রিয়েল টাইম প্রসেসিংয়ের জন্য। এখানে, এইচবাসে উদ্ধার জন্য আসে। আমি আমার পরবর্তী ব্লগে এইচবিএস রিড এবং বিস্তারিত সম্পর্কে লিখব HBase আর্কিটেকচার ।
যেমনটি আমরা জানি, এইচবেস একটি নোএসকিউএল ডাটাবেস। সুতরাং, এইচবেস সম্পর্কে আরও বোঝার আগে প্রথমে নোএসকিউএল ডাটাবেস এবং এর প্রকারগুলি সম্পর্কে আলোচনা করা যাক।
অ্যাপাচি এইচবিএস টিউটোরিয়াল: নোএসকিউএল ডেটাবেস
নোএসকিউএল মানে শুধু এসকিউএল নয় । নোএসকিউএল ডাটাবেসগুলি এমনভাবে তৈরি করা হয়েছে যাতে এটি টেবিলার ফর্ম্যাটগুলি, আনকিল রিলেশনাল ডেটাবেসগুলি ছাড়া অন্য ডেটা উপস্থাপন করতে পারে। এটি ডাটাবেসে ডেটা উপস্থাপন করতে বিভিন্ন ফর্ম্যাট ব্যবহার করে এবং এইভাবে, তাদের উপস্থাপনের ফর্ম্টের ভিত্তিতে বিভিন্ন ধরণের নোএসকিউএল ডাটাবেস রয়েছে। বেশিরভাগ নোএসকিউএল ডাটাবেস ধারাবাহিকতার তুলনায় প্রাপ্যতা এবং গতি লাভ করে। এখন, আসুন এবং নোএসকিউএল ডাটাবেসগুলির বিভিন্ন ধরণের এবং তাদের উপস্থাপনের ফর্ম্যাটগুলি সম্পর্কে বুঝতে পারি।
কী-ভ্যালু স্টোর:
এটি একটি স্কিমা-কম ডাটাবেস যার মধ্যে কী এবং মান রয়েছে। প্রতিটি কী, একটি মানকে নির্দেশ করে যা বাইটের অ্যারে, একটি স্ট্রিং, বিএলওবি, এক্সএমএল ইত্যাদি হতে পারে উদাঃ লাম্বোরগিনি একটি মূল এবং এটি গ্যালার্ডো, আভেন্টোর, মুরসিলাগো, রিভেন্তন, ডায়াবলো, হুরাকান, ভেনেনো, সেন্টেনারিও ইত্যাদি মানকে নির্দেশ করতে পারে
কী-মান স্টোর ডাটাবেসগুলি: অ্যারোস্পাইক, কাউচবেস, ডায়নামো, ফেয়ারকম সি-ট্রি্যাস, ফাউন্ডেশনডিবি, হাইপারডেক্স, মেমক্যাচডিবি, এমএমপিএস, ওরাকল নোএসকিউএল ডাটাবেস, ওরিয়েন্টডিবি, রেডিস, রিয়াক, বার্কলে ডিবি।
ব্যবহারের ক্ষেত্রে
কী-মান স্টোরগুলি আকারের আকারটি ভালভাবে পরিচালনা করে এবং কম বিলম্বিত হয়ে পড়া / লেখার ক্রিয়াকলাপের ধ্রুব স্ট্রিম প্রক্রিয়াকরণে ভাল। এটি তাদের জন্য নিখুঁত করে তোলেব্যবহারকারীর পছন্দ এবং প্রোফাইল স্টোর,ভবিষ্যতের গ্রাহক পণ্য প্রস্তাবনা চালানোর জন্য খুচরা বিক্রেতা ওয়েবসাইটে সর্বশেষ পণ্যের আইটেমগুলি পর্যালোচনা করা হয়েছে,বিজ্ঞাপন পরিসেবা গ্রাহক শপিংয়ের অভ্যাসগুলির ফলাফল রিয়েল-টাইমে প্রতিটি গ্রাহকের জন্য কাস্টমাইজড বিজ্ঞাপন, কুপন ইত্যাদি in
ডকুমেন্ট ওরিয়েন্টেড :
এটি একই মূল মান জোড় অনুসরণ করে তবে এটি এক্সএমএল, জেএসএন, বিএসন এর মতো অর্ধ কাঠামোযুক্ত। এই কাঠামোগুলি নথি হিসাবে বিবেচিত হয়।
ডকুমেন্ট ভিত্তিক ডাটাবেস: অ্যাপাচি কাউচডিবি, ক্লাস্টারপয়েন্ট, কাউচবেস, ডকুমেন্টডিবি, হাইপারডেক্স, আইবিএম ডমিনো, মার্কলজিক, মঙ্গোডিবি, ওরিয়েন্টডিবি, কিজেক্স, রিথিংকডিবি।
ব্যবহারের ক্ষেত্রে
নথি যেমন নমনীয় স্কিমা সমর্থন করে, দ্রুত পঠন লিখন এবং পার্টিশন এটি টুইটার, ই-বাণিজ্য ওয়েবসাইট ইত্যাদি বিভিন্ন পরিষেবাতে ব্যবহারকারীর ডাটাবেস তৈরি করতে উপযুক্ত করে তোলে makes
কলাম ওরিয়েন্টেড:
এই ডাটাবেসে ডেটা সারিগুলির পরিবর্তে কলামে শ্রেণিবদ্ধ করা হয়। কলামগুলি যৌক্তিকভাবে কলাম পরিবারগুলিতে শ্রেণিবদ্ধ করা হয়েছে যা স্কিমা সংজ্ঞা বা রানটাইম সময়ে তৈরি করা যেতে পারে।
এই জাতীয় ডাটাবেসগুলি কলামের সাথে সম্পর্কিত সমস্ত কক্ষকে অবিচ্ছিন্ন ডিস্ক প্রবেশের হিসাবে সংরক্ষণ করে, ফলে অ্যাক্সেস এবং অনুসন্ধান আরও দ্রুত হয়।
কলাম ভিত্তিক ডেটাবেস: এইচবেস, আকুমুলো, ক্যাসান্দ্রা, দ্রুড, ভার্টিকা।
ব্যবহারের ক্ষেত্রে
এটি বিশাল স্টোরেজ সমর্থন করে এবং এটির উপরে দ্রুত পড়ার লিখন অ্যাক্সেসের অনুমতি দেয়। এটি ই-কমার্স ওয়েবসাইটে গ্রাহক আচরণ, গুগল ফিনান্স এবং স্টক মার্কেটের ডেটা, গুগল ম্যাপস ইত্যাদির মতো আর্থিক ব্যবস্থা সংরক্ষণের জন্য কলাম ভিত্তিক ডাটাবেসগুলিকে উপযুক্ত করে তোলে
গ্রাফ ওরিয়েন্টেড:
এটি একটি নিখুঁত নমনীয় গ্রাফিকাল উপস্থাপনা, এসকিউএল এর বিপরীতে ব্যবহৃত। এই ধরণের ডাটাবেসগুলি সহজেই অ্যাড্রেস স্কেলেবিলিটি সমস্যাগুলি সমাধান করে কারণ এতে প্রান্ত এবং নোড রয়েছে যা প্রয়োজনীয়তা অনুসারে বাড়ানো যেতে পারে।
গ্রাফ ভিত্তিক ডাটাবেস: অ্যালেগ্রোগ্রাফ, আরানগোডিবি, ইনফিনিটগ্রাফ, অ্যাপাচি জিরাফ, মার্কলজিক, নিও 4 জে, ওরিয়েন্টডিবি, ভার্টুওসো, স্টারডোগ।
জাভা মান দ্বারা পাস কিভাবে
ব্যবহারের ক্ষেত্রে
এটি মূলত জালিয়াতি সনাক্তকরণ, রিয়েল-টাইম সুপারিশ ইঞ্জিনগুলি (বেশিরভাগ ক্ষেত্রে ই-বাণিজ্য), মাস্টার ডেটা ম্যানেজমেন্ট (এমডিএম), নেটওয়ার্ক এবং আইটি অপারেশন, পরিচয় এবং অ্যাক্সেস ম্যানেজমেন্ট (আইএএম), ইত্যাদিতে ব্যবহৃত হয়
এইচবেস এবং ক্যাসান্দ্রা হ'ল দুটি বিখ্যাত কলাম ওরিয়েন্টেড ডাটাবেস। সুতরাং, এখন এটি একটি উচ্চ স্তরের সাথে কথা বলুন, আসুন আমরা এইচবেজ এবং ক্যাসান্দ্রার মধ্যে স্থাপত্য এবং কার্যকরী পার্থক্যগুলি তুলনা করি এবং বুঝতে পারি।
এইচবেস টিউটোরিয়াল: এইচবিএস ভিএস ক্যাসান্দ্রা
- এইচবেজ বিগ টেবিল (গুগল) তে মডেল করা হয়েছে এবং ক্যাসান্দ্রা প্রাথমিকভাবে ফেসবুকের তৈরি ডায়নামোডিবি (অ্যামাজন) এর উপর ভিত্তি করে তৈরি।
- এইচবিজে হ্যাডোপ অবকাঠামো (এইচডিএফএস, জুকিপার) ব্যবহার করে যখন ক্যাসান্দ্রা পৃথকভাবে বিকশিত হয়েছিল তবে আপনি আপনার প্রয়োজন অনুসারে হাদুপ এবং ক্যাসান্দ্রার সমন্বয় করতে পারেন।
- এইচবিতে বেশ কয়েকটি উপাদান রয়েছে যা এইচবিজে এইচএমাস্টার, চিড়িয়াখানা, নামনোড, অঞ্চল সেভের মতো একসাথে যোগাযোগ করে। যদিও ক্যাসান্দ্রা একটি একক নোড টাইপ, যেখানে সমস্ত নোড সমান এবং সমস্ত কার্য সম্পাদন করে। কোনও নোড সমন্বয়কারী হতে পারে এটি ব্যর্থতার একক পয়েন্টকে সরিয়ে দেয়।
- এইচবেস একক লেখার পাঠের জন্য অনুকূলিত এবং সমর্থন করে যা কঠোর ধারাবাহিকতার দিকে নিয়ে যায়। এইচবেস রেঞ্জ ভিত্তিক স্ক্যানগুলিকে সমর্থন করে যা স্ক্যানিং প্রক্রিয়াটি দ্রুততর করে। যেখানে ক্যাসান্দ্রা একক সারি পাঠকে সমর্থন করে যা চূড়ান্ত ধারাবাহিকতা বজায় রাখে।
- ক্যাসান্দ্রা পরিসীমা ভিত্তিক সারি স্ক্যানগুলি সমর্থন করে না, যা এইচবিজের তুলনায় স্ক্যানিং প্রক্রিয়াটি ধীর করে দেয়।
- এইচবেস আদেশযুক্ত বিভাজনকে সমর্থন করে, যেখানে কলাম পরিবারের সারিগুলি রোকি অর্ডারে সংরক্ষণ করা হয়েছে, যেখানে ক্যাসান্দ্রার আদেশে বিভক্ত হওয়া একটি চ্যালেঞ্জ। রাউকি পার্টিশন করার কারণে ক্যাসান্দ্রার তুলনায় স্ক্যানিং প্রক্রিয়াটি এইচবাসে আরও দ্রুত।
- এইচবেস রিড লোড ভারসাম্য সমর্থন করে না, একটি অঞ্চল সার্ভার রিড অনুরোধটি সরবরাহ করে এবং প্রতিরূপগুলি কেবলমাত্র ব্যর্থতার ক্ষেত্রে ব্যবহৃত হয়। যদিও ক্যাসান্দ্রা পঠন লোড ভারসাম্য সমর্থন করে এবং বিভিন্ন নোড থেকে একই ডেটা পড়তে পারে। এটি ধারাবাহিকতায় আপস করতে পারে।
- সিএপিতে (ধারাবাহিকতা, উপলভ্যতা এবং পার্টিশন-টোলারেন্স) উপপাদ্য এইচবেজ ধারাবাহিকতা এবং উপলব্ধতা বজায় রাখে যখন ক্যাসান্দ্রা উপলভ্যতা এবং পার্টিশন-টোলারেন্সকে কেন্দ্র করে।
এখন আসুন আমরা একটি গভীর ডুব নেব এবং অ্যাপাচি এইচবাসের বৈশিষ্ট্যগুলি বুঝতে পারি যা এটি এত জনপ্রিয় করে তুলেছে।
অ্যাপাচি এইচবিএস টিউটোরিয়াল: এইচবেসের বৈশিষ্ট্য
- পারমাণবিক পড়ুন এবং লিখুন: সারি স্তরে, এইচবেস পারমাণবিক পঠন এবং লেখার সরবরাহ করে। এটি যেমন একটি পড়ার বা লেখার প্রক্রিয়া চলাকালীন ব্যাখ্যা করা যায়, অন্য সমস্ত প্রক্রিয়াগুলি কোনও পড়া বা লেখার ক্রিয়াকলাপ সম্পাদন থেকে বিরত থাকে।
- ধারাবাহিকভাবে পড়া এবং লিখেছেন: উপরের বৈশিষ্ট্যটির কারণে এইচবেস ধারাবাহিকভাবে পড়া এবং লেখার সরবরাহ করে।
- লিনিয়ার এবং মডুলার স্কেলিবিলিটি: যেহেতু ডেটা সেটগুলি এইচডিএফএসের মাধ্যমে বিতরণ করা হয়, তাই এটি বিভিন্ন নোডের মধ্যে লিনিয়ালি স্কেলেবল, পাশাপাশি মডুলারালি স্কেলেবল, কারণ এটি বিভিন্ন নোড জুড়ে বিভক্ত।
- টেবিলগুলির স্বয়ংক্রিয় এবং কনফিগারযোগ্য শার্পিং: এইচবেস টেবিলগুলি ক্লাস্টারগুলিতে বিতরণ করা হয় এবং এই ক্লাস্টারগুলি অঞ্চল জুড়ে বিতরণ করা হয়। এই অঞ্চল এবং ক্লাস্টারগুলি বিভক্ত হয়ে যায় এবং ডেটা বাড়ার সাথে সাথে পুনরায় বিতরণ করা হয়।
- ক্লায়েন্ট অ্যাক্সেসের জন্য জাভা API ব্যবহার করা সহজ: এটি প্রোগ্রাম্যাটিক অ্যাক্সেসের জন্য জাভা এপিআই ব্যবহার করা সহজ সরবরাহ করে।
- থ্রিফ্ট গেটওয়ে এবং একটি রেস্ট-ফুল ওয়েব পরিষেবা: এটি জাভা নন-ফ্রন্ট-এন্ডের জন্য থ্রাইফ্ট এবং আরএসটি এপিআই সমর্থন করে।
- ব্লক ক্যাশে এবং ব্লুম ফিল্টার: এইচবিজে উচ্চ ভলিউম ক্যোয়ারী অপ্টিমাইজেশনের জন্য একটি ব্লক ক্যাশে এবং ব্লুম ফিল্টার সমর্থন করে।
- স্বয়ংক্রিয় ব্যর্থতা সমর্থন: এইচডিএফএস সহ এইচবিএস ক্লাস্টারগুলিতে ওয়াল সরবরাহ করে (হেড লগ লিখুন) দেয় যা স্বয়ংক্রিয় ব্যর্থতা সমর্থন সরবরাহ করে।
- সাজানো রোকি: সারি সারিগুলির মধ্যে অনুসন্ধান করা হিসাবে, এইচবেস একটি শব্দকোষে ক্রমযুক্ত রোউকিগুলি সঞ্চয় করে। এই বাছাই করা রাউকি এবং টাইমস্ট্যাম্প ব্যবহার করে আমরা একটি অনুকূলিতকরণের অনুরোধটি তৈরি করতে পারি।
এই এইচবেস টিউটোরিয়ালে এখন এগিয়ে যাওয়া, আমি আপনাকে বলি যে ব্যবহারের ক্ষেত্রগুলি এবং পরিস্থিতিগুলি যেখানে এইচবিতে ব্যবহার করা যেতে পারে এবং তারপরে, আমি এইচডিএফএস এবং এইচবিজে তুলনা করব।
আমি আপনার দৃষ্টি আকর্ষণ করতে চাই এমন পরিস্থিতিগুলির দিকে যেখানে এইচবেস সবচেয়ে উপযুক্ত।
HBase টিউটোরিয়াল: আমরা এইচবেস কোথায় ব্যবহার করতে পারি?
- আমাদের HBase ব্যবহার করা উচিত যেখানে আমাদের কাছে বড় ডেটা সেট রয়েছে (মিলিয়ন বা বিলিয়ন বা সারি এবং কলাম) এবং আমাদের দ্রুত, এলোমেলো এবং বাস্তব সময় প্রয়োজন, ডেটা পড়তে এবং লেখার অ্যাক্সেসের প্রয়োজন।
- ডেটা সেটগুলি বিভিন্ন ক্লাস্টারে জুড়ে বিতরণ করা হয় এবং ডেটা পরিচালনা করতে আমাদের উচ্চ স্কেলিবিলিটি দরকার।
- ডেটা বিভিন্ন ডেটা উত্স থেকে সংগ্রহ করা হয় এবং এটি হয় অর্ধ কাঠামোগত বা কাঠামোগত ডেটা বা সকলের সংমিশ্রণ। এটি HBase এর সাহায্যে সহজেই পরিচালনা করা যায়।
- আপনি কলাম ওরিয়েন্টেড ডেটা সঞ্চয় করতে চান।
- আপনার কাছে ডেটা সেটগুলির প্রচুর সংস্করণ রয়েছে এবং আপনার এগুলি সমস্ত সংরক্ষণ করতে হবে।
আমি ফেসবুক মেসেঞ্জার কেস স্টাডিতে ঝাঁপ দেওয়ার আগে,এইচবেস এবং এইচডিএফএসের মধ্যে পার্থক্যগুলি কী তা আমি আপনাকে বলি।
এইচবেস টিউটোরিয়াল: এইচবিএস ভিএস এইচডিএফএস
এইচডিএফএস একটি জাভা ভিত্তিক বিতরণ ফাইল সিস্টেম যা আপনাকে হ্যাডোপ ক্লাস্টারে একাধিক নোড জুড়ে বড় ডেটা সংরক্ষণ করতে দেয়। সুতরাং, বিতরণ করা পরিবেশে ডেটা সঞ্চয় করার জন্য এইচডিএফএস একটি অন্তর্নিহিত স্টোরেজ সিস্টেম। এইচডিএফএস একটি ফাইল সিস্টেম, যেখানে এইচবিএস একটি ডাটাবেস (এনটিএফএস এবং মাইএসকিউএলের অনুরূপ)।
যেহেতু এইচডিএফএস এবং এইচবেস উভয়ই বিতরণ করা পরিবেশে যেকোন প্রকারের ডেটা (অর্থাত্ স্ট্রাকচার্ড, অর্ধ-কাঠামোগত এবং কাঠামোগত না করা) সংরক্ষণ করে তাই এইচডিএফএস ফাইল সিস্টেম এবং এইচবিএস-এর একটি পার্থক্য, কোনও নুএসকিউএল ডাটাবেস দেখতে দেয়।
- এইচবিএস বড় ডেটা সেটগুলির মধ্যে স্বল্প পরিমাণে ডেটাতে কম বিলম্বিত অ্যাক্সেস সরবরাহ করে যখন এইচডিএফএস উচ্চ বিলম্বিত ক্রিয়াকলাপ সরবরাহ করে।
- এইচবিএস এলোমেলো পড়া এবং লেখার সমর্থন করে যখন এইচডিএফএস ওয়ার্ম সমর্থন করে (একবারে অনেকবার বা একাধিকবার পড়ুন একবার লিখুন)।
- এইচডিএফএসটি মূলত বা প্রাথমিকভাবে মানচিত্রের কাজগুলির মাধ্যমে অ্যাক্সেস করা হয় যখন শ্বেত কমান্ড, জাভা এপিআই, আরইএসটি, অভ্র বা থ্রিফ্ট এপিআইয়ের মাধ্যমে এইচবিতে অ্যাক্সেস করা হয়।
এইচডিএফএস একটি বিতরণ পরিবেশে বড় ডেটা সেট সংরক্ষণ করে এবং সেই ডেটাতে ব্যাচ প্রসেসিংয়ের সুবিধা দেয়। যেমন এটি কোনও ই-কমার্স ওয়েবসাইটকে কয়েক মিলিয়ন গ্রাহকের ডেটা বিতরণ পরিবেশে সঞ্চয় করতে সহায়তা করবে যা দীর্ঘ সময়ের মধ্যে বেড়েছে (4-5 বছর বা তার বেশি হতে পারে)। তারপরে এটি ব্যাচের প্রসেসিংটিকে সেই ডেটা থেকে উপকৃত করে এবং গ্রাহকের আচরণ, প্যাটার্ন, প্রয়োজনীয়তা বিশ্লেষণ করে। তারপরে সংস্থাটি জানতে পারে যে কোন মাসে কী ধরণের পণ্য, গ্রাহক কেনা হয়। এটি সংরক্ষণাগারভুক্ত ডেটা সঞ্চয় করতে এবং এটির উপর ব্যাচ প্রসেসিং চালাতে সহায়তা করে।
যদিও এইচবেস একটি কলাম ওরিয়েন্টেড উপায়ে ডেটা সংরক্ষণ করে যেখানে প্রতিটি কলাম একসাথে সংরক্ষণ করা হয়, রিডিং রিয়েল টাইম প্রসেসিংয়ে দ্রুততর হয়ে ওঠে। যেমন একই জাতীয় ই-বাণিজ্য পরিবেশে এটি কয়েক মিলিয়ন পণ্যের ডেটা সঞ্চয় করে। সুতরাং আপনি যদি লক্ষ লক্ষ পণ্যের মধ্যে একটি পণ্য অনুসন্ধান করেন, এটি অনুরোধ এবং অনুসন্ধানের প্রক্রিয়াটিকে অনুকূল করে, ফলাফলটি তত্ক্ষণাত্ উত্পাদন করে (বা আপনি রিয়েল টাইমে বলতে পারেন)। বিস্তারিত এইচবাসে আর্কিটেকচারাল ব্যাখ্যা , আমি আমার পরবর্তী ব্লগে আবরণ করা হবে।
যেহেতু আমরা জানি যে এইচবিএস এইচডিএফএসের মাধ্যমে বিতরণ করা হয়েছে, তাই উভয়ের সংমিশ্রণটি একটি উপযুক্ত সমাধানে উভয়ের সুবিধাগুলি ব্যবহার করার একটি দুর্দান্ত সুযোগ দেয়, যেমন আমরা নীচের ফেসবুক মেসেঞ্জার কেস স্টাডিটিতে দেখতে যাচ্ছি।
এইচবিএস টিউটোরিয়াল: ফেসবুক ম্যাসেঞ্জার কেস স্টাডি
ফেসবুক মেসেজিং প্ল্যাটফর্ম ২০১০ সালের নভেম্বরে অ্যাপাচি ক্যাসান্দ্রা থেকে এইচবাসে স্থানান্তরিত হয়েছে।
ফেসবুক ম্যাসেঞ্জার বার্তাগুলি, ইমেল, চ্যাট এবং এসএমএসকে একটি বাস্তব-সময়ের কথোপকথনে সংযুক্ত করে। ফেসবুক এই পরিষেবাগুলির সেট পরিচালনা করতে একটি স্কেলযোগ্য এবং শক্তিশালী অবকাঠামো তৈরির চেষ্টা করছিল।
সেই সময় বার্তাটির অবকাঠামোটি প্রতি মাসে 15 বিলিয়ন ব্যক্তির থেকে ব্যক্তিগত বার্তা প্রেরণকারী 350 মিলিয়ন ব্যবহারকারীকে পরিচালনা করেছিল। চ্যাট পরিষেবাটি 300 মিলিয়নের বেশি ব্যবহারকারীকে সমর্থন করে যারা প্রতি মাসে 120 বিলিয়ন বার্তা প্রেরণ করে।
ব্যবহারটি পর্যবেক্ষণ করে তারা জানতে পেরেছিলেন যে দুটি সাধারণ তথ্য নিদর্শন উদ্ভূত হয়েছে:
- টেম্পোরাল ডেটার একটি সংক্ষিপ্ত সেট যা অস্থির হতে থাকে
- ডেটার একটি ক্রমবর্ধমান সেট যা খুব কমই অ্যাক্সেস পায়
ফেসবুক এই দুটি ব্যবহারের ধরণের জন্য স্টোরেজ সমাধান সন্ধান করতে চেয়েছিল এবং বিদ্যমান বার্তাগুলির অবকাঠামোর জন্য প্রতিস্থাপনের জন্য তারা তদন্ত শুরু করেছে।
২০০৮ এর শুরুর দিকে, তারা ওপেন সোর্স ডাটাবেস, অর্থাৎ ক্যাসান্দ্রা ব্যবহার করেছিল, যা ইনবক্স অনুসন্ধানের জন্য ট্র্যাফিক সরবরাহের জন্য ইতিমধ্যে উত্পাদিত এমন একটি চূড়ান্ত-ধারাবাহিক কী-মান স্টোর। তাদের দলগুলির একটি মাইএসকিউএল ডাটাবেস ব্যবহার এবং পরিচালনা করার ক্ষেত্রে দুর্দান্ত জ্ঞান ছিল, সুতরাং প্রযুক্তিগুলির মধ্যে কোনওটি স্যুইচ করা তাদের জন্য গুরুতর উদ্বেগ ছিল।
তারা মাইএসকিউএল, অ্যাপাচি ক্যাসান্দ্রা, অ্যাপাচি এইচবেস এবং অন্যান্য সিস্টেমগুলির ক্লাস্টারগুলি মূল্যায়নের জন্য বিভিন্ন ফ্রেমওয়ার্কগুলি পরীক্ষা করতে কয়েক সপ্তাহ ব্যয় করেছিল। তারা শেষ পর্যন্ত এইচবেসকে বেছে নিয়েছিল।
মাইএসকিউএল সূচী এবং ডেটা সেটগুলি বড় হওয়ার সাথে সাথে বিশাল ডেটা সেটগুলি দক্ষতার সাথে পরিচালনা করতে ব্যর্থ হওয়ায় কার্যকারিতা ক্ষতিগ্রস্থ হয়েছে। তারা দেখতে পেল যে ক্যাসান্দ্রা তাদের নতুন বার্তাগুলির অবকাঠামোগত পুনরায় সমন্বয় করতে কঠিন প্যাটার্ন পরিচালনা করতে অক্ষম।
প্রধান সমস্যাগুলি হ'ল:
- বিভিন্ন ফেসবুক পরিষেবা থেকে ক্রমাগত ক্রমবর্ধমান ডেটার বড় সেট সংরক্ষণ করা।
- ডেটাবেস প্রয়োজন যা এতে উচ্চতর প্রক্রিয়াজাতকরণের সুবিধা অর্জন করতে পারে।
- লক্ষ লক্ষ অনুরোধ পরিবেশন করতে উচ্চ কার্যকারিতা প্রয়োজন।
- স্টোরেজ এবং পারফরম্যান্সে ধারাবাহিকতা বজায় রাখা।
ঝালর মধ্যে ডেটা মিশ্রন কিভাবে
চিত্র: ফেসবুক মেসেঞ্জারের মুখোমুখি চ্যালেঞ্জগুলি
এই সমস্ত সমস্যার জন্য, ফেসবুক একটি সমাধান অর্থাত্ এইচবাসে নিয়ে আসে। ফেসবুক তার বিভিন্ন বৈশিষ্ট্যের কারণে ফেসবুক মেসেঞ্জার, চ্যাট, ইমেল ইত্যাদির জন্য এইচবিএসকে গ্রহণ করেছে।
এইচবিজে কাসান্দ্রার তুলনায় একটি সহজ ধারাবাহিকতা মডেল সহ এই কাজের চাপের জন্য খুব ভাল স্কেলাবিলিটি এবং পারফরম্যান্স নিয়ে আসে। যদিও তারা প্রয়োজনের তুলনায় এইচবিএসকে সবচেয়ে উপযুক্ত হিসাবে আবিষ্কার করেছে যেমন অটো লোড ভারসাম্য এবং ব্যর্থতা, সংক্ষেপণ সমর্থন, সার্ভারে একাধিক শারড ইত্যাদি etc.
এইচডিএফএস, যা এইচবিএস দ্বারা ব্যবহৃত অন্তর্নিহিত ফাইল সিস্টেম এগুলি এন্ড-টু-এন্ড চেকসাম, প্রতিলিপি এবং স্বয়ংক্রিয় লোড রি-ব্যালান্সিংয়ের মতো প্রয়োজনীয় বৈশিষ্ট্যগুলি সরবরাহ করে।
চিত্র: এইচবাসে ফেসবুক ম্যাসেঞ্জারের সমাধান হিসাবে
যেহেতু তারা এইচবেসকে গ্রহণ করেছে, তারা এইচবিতে নিজেই ফলাফলগুলি প্রতিশ্রুতি দেওয়ার দিকে মনোনিবেশ করেছিল এবং অ্যাপাচি সম্প্রদায়ের সাথে ঘনিষ্ঠভাবে কাজ শুরু করে।
যেহেতু বার্তাগুলি বিভিন্ন উত্স যেমন এসএমএস, চ্যাট এবং ইমেলগুলির ডেটা গ্রহণ করে, তাই তারা কোনও ব্যবহারকারীর বার্তার জন্য সমস্ত সিদ্ধান্ত গ্রহণের জন্য একটি অ্যাপ্লিকেশন সার্ভার লিখেছিল। এটি অন্যান্য সংখ্যক পরিষেবাগুলির সাথে ইন্টারফেস করে। সংযুক্তিগুলি একটি খড়ের ছিটে (যা এইচবেসে কাজ করে) সংরক্ষণ করা হয়। তারা অ্যাপাচি চিড়িয়াচিরের শীর্ষে একটি ব্যবহারকারী আবিষ্কার পরিষেবাও লিখেছিল যা বন্ধুত্বের সম্পর্ক, ইমেল অ্যাকাউন্ট যাচাইকরণ, বিতরণ সংক্রান্ত সিদ্ধান্ত এবং গোপনীয়তার সিদ্ধান্তের জন্য অন্যান্য অবকাঠামো পরিষেবাগুলির সাথে কথা বলে।
ফেসবুক দলটি নিশ্চিত হয়ে অনেক সময় ব্যয় করেছে যে এই প্রতিটি পরিষেবা শক্তিশালী, নির্ভরযোগ্য এবং একটি বাস্তব-সময়ের বার্তাপ্রেরণ পরিচালনা করতে ভাল পারফরম্যান্স সরবরাহ করে।
আমি আশা করি এই এইচবিএস টিউটোরিয়াল ব্লগটি তথ্যবহুল এবং আপনি এটি পছন্দ করেছেন। এই ব্লগে, আপনি HBase এর মূল বিষয়গুলি এবং এর বৈশিষ্ট্যগুলি জানতে পেরেছেন।আমার পরবর্তী ব্লগে , আমি ব্যাখ্যা করা হবে HBase এর আর্কিটেকচার এবং এইচবেসে কাজ করা যা এটি দ্রুত এবং এলোমেলো পড়া / লেখার জন্য জনপ্রিয় করে তোলে।
আপনি যখন এইচবেসের বেসিকগুলি বুঝতে পেরেছেন তবে এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুওপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।
আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।