এইচডিএফএস টিউটোরিয়াল: এইচডিএফএস এবং এর বৈশিষ্ট্যগুলির পরিচিতি

এইচডিএফএস টিউটোরিয়াল

এই এইচডিএফএস টিউটোরিয়াল ব্লগে এগিয়ে যাওয়ার আগে আমাকে আপনাকে এইচডিএফএস সম্পর্কিত কিছু উন্মাদ পরিসংখ্যান নিয়ে যেতে দাও:

• ২ 010 সালে, ফেসবুক সবচেয়ে বড় এইচডিএফএস ক্লাস্টার সঞ্চয় করার দাবি করেছে 21 পেটাবাইট তথ্য।
• ২ 01 ২ সালে, ফেসবুক ঘোষিত যে তাদের চেয়ে বেশি সংখ্যক বৃহত্তম এইচডিএফএস ক্লাস্টার রয়েছে 100 পিবি তথ্য ।
• এবং ইয়াহু ! বেশি আছে 100,000 সিপিইউ ওভারে 40,000 সার্ভার হ্যাডোপ চলমান, এর বৃহত্তম হ্যাডোপ ক্লাস্টার চলছে 4,500 নোড । সবাই বলেছে, ইয়াহু! স্টোর 455 পেটাবাইট এইচডিএফএসে ডেটা।
• প্রকৃতপক্ষে, ২০১৩ সালের মধ্যে, ফরচুনি 50 এর বেশিরভাগ বড় নাম হ্যাডোপ ব্যবহার শুরু করে।

হজম করা খুব কঠিন? ঠিক। যেমন আলোচনা হয়েছে , হাদুপের দুটি মৌলিক ইউনিট রয়েছে - এস রাগাতে এবং প্রক্রিয়াজাতকরণ । আমি যখন হাদুপের স্টোরেজ অংশ বলি, আমি উল্লেখ করছি এইচডিএফএস যার অর্থ দাঁড়ায় হ্যাডোপ বিতরণ ফাইল সিস্টেম । সুতরাং, এই ব্লগে, আমি আপনাকে পরিচয় করিয়ে দেব এইচডিএফএস ।

এখানে, আমি সম্পর্কে কথা বলতে হবে:

প্রয়োগ এবং প্রসারিত মধ্যে জাভা পার্থক্য

• এইচডিএফএস কি?
• এইচডিএফএসের সুবিধা
• এইচডিএফএসের বৈশিষ্ট্য

এইচডিএফএসের কথা বলার আগে আপনাকে বলি, একটি বিতরণকারী ফাইল সিস্টেম কী?

ডিএফএস বা বিতরণ ফাইল সিস্টেম:

বিতরণ ফাইল সিস্টেম সম্পর্কে আলোচনা পরিচালক তথ্য , অর্থাত্ একাধিক কম্পিউটার বা সার্ভার জুড়ে ফাইল বা ফোল্ডার। অন্য কথায়, ডিএফএস হ'ল একটি ফাইল সিস্টেম যা আমাদের ক্লাস্টারে একাধিক নোড বা মেশিনের উপর ডেটা সংরক্ষণ করতে দেয় এবং একাধিক ব্যবহারকারীকে ডেটা অ্যাক্সেস করতে দেয়। সুতরাং মূলত, এটি আপনার মেশিনে থাকা ফাইল সিস্টেমের মতো একই উদ্দেশ্যে কাজ করে যেমন উইন্ডোজ যেমন আপনার এনটিএফএস (নতুন প্রযুক্তি ফাইল সিস্টেম) বা ম্যাকের জন্য আপনার এইচএফএস (হায়ারার্কিকাল ফাইল সিস্টেম) রয়েছে। পার্থক্যটি হ'ল, বিতরণকারী ফাইল সিস্টেমের ক্ষেত্রে, আপনি একক মেশিনের চেয়ে একাধিক মেশিনে ডেটা সঞ্চয় করেন। ফাইলগুলি নেটওয়ার্কের মধ্যে সঞ্চিত থাকলেও, ডিএফএস এমনভাবে ডেটা সংগঠিত করে এবং প্রদর্শন করে যাতে কোনও মেশিনে বসে থাকা কোনও ব্যবহারকারী মনে করেন যে সমস্ত ডেটা সেই মেশিনে সংরক্ষিত রয়েছে।

এইচডিএফএস কি?

হ্যাডোপ ডিস্ট্রিবিউটেড ফাইল সিস্টেম বা এইচডিএফএস একটি জাভা ভিত্তিক বিতরণ ফাইল সিস্টেম যা আপনাকে হ্যাডোপ ক্লাস্টারে একাধিক নোড জুড়ে বড় ডেটা সংরক্ষণ করতে দেয়। সুতরাং, আপনি যদি হ্যাডোপ ইনস্টল করেন তবে আপনি বিতরণ করা পরিবেশে ডেটা সঞ্চয় করার জন্য অন্তর্নিহিত স্টোরেজ সিস্টেম হিসাবে এইচডিএফএস পাবেন।

এটি বুঝতে একটি উদাহরণ নেওয়া যাক। কল্পনা করুন যে আপনার কাছে প্রতিটি মেশিনে 1 টিবি-র হার্ড ড্রাইভ সহ দশটি মেশিন বা দশটি কম্পিউটার রয়েছে। এখন, এইচডিএফএস বলছে যে আপনি যদি এই দশটি মেশিনের উপরে হ্যাডোপ প্ল্যাটফর্ম হিসাবে ইনস্টল করেন তবে আপনি স্টোরেজ পরিষেবা হিসাবে এইচডিএফএস পাবেন। হ্যাডোপ ডিস্ট্রিবিউটেড ফাইল সিস্টেম এমনভাবে বিতরণ করা হয় যাতে প্রতিটি মেশিন যে কোনও ধরণের ডেটা সংরক্ষণের জন্য তাদের স্বতন্ত্র স্টোরেজকে অবদান রাখে।

এইচডিএফএস টিউটোরিয়াল: এইচডিএফএস এর সুবিধা

1. বিতরণ স্টোরেজ:

আপনি যখন হাদুপ ক্লাস্টারের দশটি মেশিনের মধ্যে থেকে হ্যাডোপ বিতরণকারী ফাইল সিস্টেম অ্যাক্সেস করবেন তখন আপনার মনে হবে আপনি যদি একটি একক বৃহত মেশিনে লগ ইন করেছেন যার স্টোরেজ ক্ষমতা 10 টিবি (দশটি মেশিনের উপরে মোট সঞ্চয়স্থান) রয়েছে। এর মানে কী? এর অর্থ হ'ল আপনি 10 টিবি'র একক বৃহত ফাইল সঞ্চয় করতে পারেন যা দশটি মেশিনে বিতরণ করা হবে (প্রতিটি 1 টিবি)।সুতরাং এটাই শারীরিক সীমানায় সীমাবদ্ধ নয় প্রতিটি পৃথক মেশিনের।

2. বিতরণ ও সমান্তরাল গণনা:

যেহেতু ডেটাগুলি মেশিনগুলিতে বিভক্ত, এটি আমাদের সুবিধা নিতে দেয় বিতরণ এবং সমান্তরাল গণনা । আসুন উপরের উদাহরণ দিয়ে এই ধারণাটি বুঝতে পারি। মনে করুন, একক মেশিনে 1 টিবি ফাইল প্রক্রিয়া করতে 43 মিনিট সময় লাগে। সুতরাং, এখন আমাকে বলুন, আপনি যখন একই রকম কনফিগারেশন সহ একটি হাদুপ ক্লাস্টারে 10 মেশিন রাখেন তখন একই 1 টিবি ফাইলের প্রক্রিয়া করতে কত সময় লাগবে - 43 মিনিট বা 4.3 মিনিট? 4.3 মিনিট, ঠিক! সেখানে কি ঘটেছিল? নোডের প্রতিটি সমান্তরালভাবে 1 টিবি ফাইলের অংশ নিয়ে কাজ করছে। সুতরাং, কাজটি যা 43 মিনিট আগে নিয়েছিল, এখন মাত্র 4.3 মিনিটের মধ্যে কাজটি দশটি মেশিনে বিভক্ত হয়ে যাওয়ার সাথে সাথে শেষ হবে।

অনুভূমিক স্কেলিবিলিটি:

বিমূর্ত শ্রেণি এবং ইন্টারফেসের মধ্যে পার্থক্য কী

সর্বশেষ তবে কমপক্ষে নয়, আসুন আমরা কথা বলি অনুভূমিক স্কেলিং বা স্কেলিং আউট হাদুপতে। স্কেলিং দুটি ধরণের রয়েছে: উল্লম্ব এবং অনুভূমিক । উল্লম্ব স্কেলিং (স্কেল আপ) এ, আপনি আপনার সিস্টেমের হার্ডওয়্যার ক্ষমতা বাড়িয়ে তোলেন। অন্য কথায়, আপনি আরও র‌্যাম বা সিপিইউ সংগ্রহ করেন এবং এটিকে আরও শক্তিশালী এবং শক্তিশালী করার জন্য এটি আপনার বিদ্যমান সিস্টেমে যুক্ত করেন। উল্লম্ব স্কেলিং বা স্কেলিংয়ের সাথে সম্পর্কিত চ্যালেঞ্জগুলি রয়েছে:

• সবসময় এমন একটি সীমা থাকে যেখানে আপনি নিজের হার্ডওয়্যার সক্ষমতা বাড়িয়ে দিতে পারেন। সুতরাং, আপনি মেশিনের র‍্যাম বা সিপিইউ বাড়িয়ে রাখতে পারবেন না।
• উল্লম্ব স্কেলিংয়ে আপনি প্রথমে আপনার মেশিনটি থামান। তারপরে আপনি এটিকে আরও শক্তিশালী হার্ডওয়্যার স্ট্যাক তৈরি করতে র‌্যাম বা সিপিইউ বাড়িয়েছেন। আপনি আপনার হার্ডওয়্যার ক্ষমতা বাড়ানোর পরে, আপনি মেশিনটি পুনরায় চালু করবেন। এই ডাউন সময়টি যখন আপনি আপনার সিস্টেম বন্ধ করছেন তখন একটি চ্যালেঞ্জ হয়ে যায়।

জন্য অনুভূমিক স্কেলিং (স্কেল আউট) , আপনি পৃথক মেশিনের হার্ডওয়্যার ক্ষমতা বাড়ানোর পরিবর্তে বিদ্যমান ক্লাস্টারে আরও নোড যুক্ত করেন। এবং সবচেয়ে গুরুত্বপূর্ণ, আপনি করতে পারেন যেতে যেতে আরও মেশিন যুক্ত করুন অর্থাত্ সিস্টেমটি বন্ধ না করে । অতএব, স্কেলিংয়ের সময় আমাদের কোনও নিচে সময় বা সবুজ অঞ্চল নেই, এ জাতীয় ধরণের কিছুই নেই। দিন শেষে, আপনার প্রয়োজনীয়তা মেটাতে আপনার আরও সমান্তরালে কাজ করবে আরও মেশিন।

এইচডিএফএস টিউটোরিয়াল ভিডিও:

আপনি নীচে দেওয়া ভিডিওটি দেখতে পারেন যেখানে এইচডিএফএস সম্পর্কিত সমস্ত ধারণাটি বিস্তারিতভাবে আলোচনা করা হয়েছে:

এইচডিএফএস টিউটোরিয়াল: এইচডিএফএসের বৈশিষ্ট্য

আমরা যখন আমাদের পরবর্তী এইচডিএফএস টিউটোরিয়াল ব্লগে এইচডিএফএস আর্কিটেকচারটি ঘুরে দেখব তখন আমরা এই বৈশিষ্ট্যগুলি বিশদভাবে বুঝতে পারি। তবে, আপাতত, এইচডিএফএসের বৈশিষ্ট্যগুলির উপর একটি ওভারভিউ দেওয়া যাক:

স্ন্যাপশট থেকে ec2 উদাহরণ তৈরি করুন

• ব্যয়: এইচডিএফএস, সাধারণভাবে, আপনার ডেস্কটপ / ল্যাপটপের মতো একটি পণ্য হার্ডওয়ারে স্থাপন করা হয় যা আপনি প্রতিদিন ব্যবহার করেন। সুতরাং, প্রকল্পটির মালিকানা ব্যয়ের ক্ষেত্রে এটি খুব অর্থনৈতিক। যেহেতু, আমরা কম দামের পণ্য হার্ডওয়্যার ব্যবহার করছি, আপনার হ্যাডোপ ক্লাস্টার বের করে দেওয়ার জন্য আপনাকে প্রচুর অর্থ ব্যয় করতে হবে না। অন্য কথায়, আপনার এইচডিএফএসে আরও নোড যুক্ত করা ব্যয়বহুল।

• ডেটা বিভিন্ন এবং ভলিউম: যখন আমরা এইচডিএফএসের বিষয়ে কথা বলি তখন আমরা বিশাল ডেটা যেমন টেরাবাইটস এবং পেটাবাইট এবং বিভিন্ন ধরণের ডেটা সংরক্ষণ করার কথা বলি। সুতরাং, আপনি এইচডিএফএসে যে কোনও ধরণের ডেটা সংরক্ষণ করতে পারেন, এটি কাঠামোগত, কাঠামোগত বা অর্ধ কাঠামোগত হোক।

• নির্ভরযোগ্যতা এবং ফল্ট সহনশীলতা: আপনি যখন এইচডিএফএসে ডেটা সঞ্চয় করেন, এটি অভ্যন্তরীণভাবে প্রদত্ত ডেটাটিকে ব্লকগুলিতে ভাগ করে এবং এটি আপনার হ্যাডোপ ক্লাস্টারে জুড়ে বিতরণ ফ্যাশনে সংরক্ষণ করে। কোন ডাটা ব্লকটি কোন ডেটা নোডের উপরে মেটাডেটাতে রেকর্ড করা হয়েছে সে সম্পর্কিত তথ্য। নাম নোড মেটা ডেটা এবং পরিচালনা করে ডাটানোডস তথ্য সংরক্ষণের জন্য দায়ী।
  নাম নোডও ডেটা প্রতিলিপি করে অর্থাত্ ডেটার একাধিক অনুলিপি বজায় রাখে। ডেটার এই প্রতিলিপি এইচডিএফএসকে খুব নির্ভরযোগ্য এবং ফল্ট সহনশীল করে তোলে। সুতরাং, কোনও নোড ব্যর্থ হলেও, আমরা অন্যান্য ডেটা নোডগুলিতে থাকা প্রতিরূপ থেকে ডেটা উদ্ধার করতে পারি। ডিফল্টরূপে, প্রতিলিপি ফ্যাক্টর 3। সুতরাং, আপনি যদি এইচডিএফএসে 1 জিবি ফাইল সঞ্চয় করেন তবে শেষ পর্যন্ত এটি 3 গিগাবাইট স্থান দখল করবে। নাম নোড পর্যায়ক্রমে মেটাডেটা আপডেট করে এবং রেপ্লিকেশন ফ্যাক্টরটিকে সামঞ্জস্য রাখে।

• তথ্য অখণ্ডতা: আমার এইচডিএফএসে সঞ্চিত ডেটা সঠিক কিনা তা নিয়ে ডেটা ইন্টিগ্রিটি কথা বলে। এইচডিএফএস তার চেকসামের বিরুদ্ধে সঞ্চিত ডেটার অখণ্ডতা ক্রমাগত পরীক্ষা করে। যদি এটি কোনও ত্রুটি খুঁজে পায়, তবে এটি সম্পর্কে নাম নোডকে রিপোর্ট করে। তারপরে, নাম নোড অতিরিক্ত নতুন প্রতিলিপি তৈরি করে এবং তাই দুর্নীতিযুক্ত অনুলিপিগুলি মুছে দেয়।

• উচ্চ থ্রুপুট: থ্রুপুট হ'ল একক সময়ে কাজ করার পরিমাণ। আপনি ফাইল সিস্টেম থেকে ডেটা অ্যাক্সেস করতে পারবেন তা সম্পর্কে এটি আলোচনা করে। মূলত, এটি আপনাকে সিস্টেমের কার্য সম্পাদন সম্পর্কে অন্তর্দৃষ্টি দেয়। যেমন আপনি উপরের উদাহরণে দেখেছেন যেখানে আমরা গণনা বাড়াতে সম্মিলিতভাবে দশটি মেশিন ব্যবহার করেছি। সেখানে আমরা প্রসেসিংয়ের সময়টি কমাতে সক্ষম হয়েছি 43 মিনিট নিছক 4.3 মিনিট সমস্ত মেশিন সমান্তরাল কাজ ছিল। অতএব, সমান্তরালভাবে ডেটা প্রক্রিয়াকরণের মাধ্যমে, আমরা প্রসেসিংয়ের সময়টি প্রচুর পরিমাণে হ্রাস করেছি এবং এইভাবে, উচ্চ থ্রুপুট অর্জন করেছি।

• ডেটা লোকেশন: ডেটা লোকালাই ডেটা প্রসেসিং ইউনিটে পরিবর্তে ডেটাতে প্রসেসিং ইউনিট স্থানান্তরিত করার কথা বলে। আমাদের traditionalতিহ্যবাহী সিস্টেমে আমরা অ্যাপ্লিকেশন স্তরে ডেটা আনতাম এবং তারপরে প্রক্রিয়াজাত করি। কিন্তু এখন, আর্কিটেকচার এবং ডেটার বিশাল পরিমাণের কারণে, অ্যাপ্লিকেশন স্তরে ডেটা আনতে হবেনেটওয়ার্ক কর্মক্ষমতা একটি লক্ষণীয় পরিমাণে হ্রাস।সুতরাং, এইচডিএফএসে, আমরা গণনা অংশটি ডেটা নোডগুলিতে নিয়ে আসি যেখানে ডেটা থাকে। অতএব, আপনি ডেটা সরিয়ে নিচ্ছেন না, আপনি প্রোগ্রাম বা প্রক্রিয়া আনছেনতথ্য অংশ আইএন।

সুতরাং, এখন আপনার এইচডিএফএস এবং এর বৈশিষ্ট্যগুলি সম্পর্কে একটি সংক্ষিপ্ত ধারণা রয়েছে। তবে আমার উপর বিশ্বাস রাখো ছেলেরা, এটি হ'ল আইসবার্গের টিপ মাত্র। আমার পরের , আমি গভীর ডুব দেব এইচডিএফএস আর্কিটেকচার এবং আমি এইচডিএফএসের সাফল্যের পিছনে গোপনীয়তা প্রকাশ করব। আপনারা মাথায় যা ভাবছেন সে সমস্ত প্রশ্নের উত্তর আমরা এক সাথে দেবো যেমন:

• আপনি হ্যাডোপ ডিস্ট্রিবিউটড ফাইল সিস্টেমে ডেটা পড়লে বা লিখলে পর্দার আড়ালে কী ঘটে?
• র‌্যাক সচেতনতার মতো অ্যালগরিদমগুলি কী কী এইচডিএফএসকে এতটা ফল্ট সহনশীল করে তোলে?
• হডুপ বিতরণ ফাইল সিস্টেমটি কীভাবে পরিচালনা করে এবং প্রতিরূপ তৈরি করে?
• ব্লক অপারেশন কি?

আপনি যখন এইচডিএফএস এবং এর বৈশিষ্ট্যগুলি বুঝতে পেরেছেন তবে এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুওপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।