এটি এডিউরেকার মাধ্যমে পাবলিক ওয়েবিনারের সময় সাধারণত জিজ্ঞাসিত প্রশ্নের উত্তর সহ একটি ফলোআপ পোস্ট! চালু ।
হাদুপ সম্পর্কে প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
দীপক:
হাদুপ কী?
অ্যাপাচি হ্যাডোপ হ'ল পণ্য হার্ডওয়্যারগুলির একটি ক্লাস্টারে ডেটা সেটগুলির বৃহত আকারে প্রসেসিংয়ের জন্য একটি ওপেন সোর্স সফ্টওয়্যার কাঠামো। এটি স্কেল-আউট স্টোরেজ এবং বিতরণ প্রক্রিয়াজাতকরণ সহ একটি ওপেন সোর্স ডেটা ম্যানেজমেন্ট সফ্টওয়্যার ফ্রেমওয়ার্ক। এটি অবদানকারী এবং ব্যবহারকারীদের একটি বিশ্ব সম্প্রদায় দ্বারা নির্মিত এবং ব্যবহৃত হচ্ছে।
আমাদের হাদুপ ব্লগ পোস্টে আরও পড়ুন এবং ।
অনুসন্ধান:
বড় ডেটা ভ্রমণ, পরিবহন এবং বিমান সংস্থাতে কেস ব্যবহার করে?
রোদ:
আপনি কি হডোপ বাস্তবায়নের কিছু বাস্তব জীবনের নমুনার দিকে আমাদের ইঙ্গিত করতে পারেন যা আমরা অধ্যয়ন করতে পারি?
আমরা লিভিএরক্রমবর্ধমান চূড়ান্ত জনাকের যুগে। পরিবহন অপারেটররা তাদের পরিবহন বহরকে ভাল অবস্থায় রাখার সময় তাদের পরিষেবাগুলি সরবরাহের জন্য কার্যকর কার্যকর উপায়গুলি সন্ধানের জন্য অনবরত সন্ধান করছেন। এই ডোমেনে বড় ডেটা অ্যানালিটিক্স ব্যবহার এর সাথে সংস্থাকে সহায়তা করতে পারে:
- রুট অপ্টিমাইজেশন
- ভূ-স্থানীয় বিশ্লেষণ
- ট্র্যাফিক নিদর্শন এবং যানজট
- সম্পদ রক্ষণাবেক্ষণ
- রাজস্ব ব্যবস্থাপনা (অর্থাত্ বিমান সংস্থা)
- ইনভেন্টরি ম্যানেজমেন্ট
- জ্বালানী সংরক্ষণ
- লক্ষ্যযুক্ত বিপণন
- ক্রেতা বিশ্বস্ততা
- সক্ষমতা পূর্বাভাস
- নেটওয়ার্ক কর্মক্ষমতা এবং অপ্টিমাইজেশন
রিয়েল-ওয়ার্ল্ড ইউজ কেস হ'ল:
প্রতি) ফ্লাইটের ব্যয় নির্ধারণ করা হচ্ছে
খ) ইনভেন্টরি লজিস্টিকের জন্য পূর্বাভাস মডেলিং
গ) অরবিটজ বিশ্বব্যাপী - গ্রাহক কেনার প্যাটার্নস
d) ছয়টি সুপার-স্কেল হ্যাডোপ মোতায়েন
হয়) হডোপ - অ্যাডের চেয়ে বেশি
চ) এন্টারপ্রাইজে হ্যাডোপ
আপনি হ্যাডোপ রিয়েল-ওয়ার্ল্ড বাস্তবায়ন সম্পর্কে এখানে আরও জানতে পারেন:
হিরदेश:
ডেটা হ্যান্ডলিং এবং প্রক্রিয়াজাতকরণ সম্পর্কে হ্যাডোপ কি সমস্ত? আমরা কীভাবে রিপোর্টিং এবং ভিজ্যুয়াল অ্যানালিটিক্সের জন্য যাই। কিডিক্যভিউ, ঝালর কি হ্যাডোপের উপরে ব্যবহার করা যেতে পারে?
মূল হ্যাডোপ উপাদানগুলি এইচডিএফএস এবং ম্যাপ্রেডিউসগুলি সমস্ত ডেটা স্টোরেজ এবং প্রক্রিয়াজাতকরণ সম্পর্কিত। স্টোরেজ জন্য এইচডিএফএস এবং প্রক্রিয়াজাতকরণের জন্য মানচিত্রের। তবে হিগুপ কোর উপাদান যেমন পিগ এবং হাইভ বিশ্লেষণের জন্য ব্যবহৃত হয়। ভিজ্যুয়াল প্রতিবেদনের ঝকঝকে জন্য, ভিজ্যুয়াল প্রতিবেদনের জন্য ক্লিকভিউ হ্যাডোপের সাথে সংযুক্ত হতে পারে।
অমিত:
হাদুপ বনাম mongoDB
মঙ্গোডিবি 'অপারেশনাল' রিয়েল-টাইম ডেটা স্টোর হিসাবে ব্যবহৃত হয় যেখানে হ্যাডোপ অফলাইন ব্যাচ ডেটা প্রসেসিং এবং বিশ্লেষণের জন্য ব্যবহৃত হয়।
মঙ্গোডিবি হ'ল একটি ডকুমেন্ট ওরিয়েন্টেড, স্কিমা-কম ডাটা স্টোর যা আপনি মাইএসকিউএল এর মতো আরডিবিএমএসের পরিবর্তে ব্যাকএন্ড হিসাবে কোনও ওয়েব অ্যাপ্লিকেশনটিতে ব্যবহার করতে পারেন যেখানে হ্যাডোপ মূলত স্কেল-আউট স্টোরেজ হিসাবে ব্যবহৃত হয় এবং বিপুল পরিমাণে ডেটা বিতরণের প্রক্রিয়াজাতকরণ হিসাবে ব্যবহৃত হয়।
আমাদের আরও পড়ুন মঙ্গোডিবি এবং হাদুপ ব্লগ পোস্ট ।
এখানে:
অ্যাপাচি হ্যাডোপের একটি অংশ স্পার্ক করে ?
বড় আকারের ডেটা প্রক্রিয়াকরণের জন্য অ্যাপাচি স্পার্ক একটি দ্রুত এবং সাধারণ ইঞ্জিন। স্পার্ক দ্রুত এবং ইন-মেমরি প্রসেসিং সমর্থন করে। স্পার্ক এক্সিকিউশন ইঞ্জিন হ্যাডোপ পরিচালনা করতে পারে এমন ধরণের কম্পিউটিং কাজের চাপকে প্রসারিত করে এবং হ্যাডোপ ২.০ ইয়ার্ন ক্লাস্টারে চালাতে পারে। এটি একটি প্রসেসিং ফ্রেমওয়ার্ক সিস্টেম যা স্কেল ক্লোজারগুলি ব্যবহার করে এই বস্তুগুলিকে প্রক্রিয়া করার ক্ষমতা সহ ইন-মেমোরি অবজেক্টগুলি (আরডিডি) সংরক্ষণ করার অনুমতি দেয়। এটি গ্রাফ, ডেটা গুদাম, মেশিন লার্নিং এবং স্ট্রিম প্রসেসিং সমর্থন করে।
আপনার যদি একটি হডোপ 2 ক্লাস্টার থাকে তবে আপনি কোনও ইনস্টলেশন প্রয়োজন ছাড়াই স্পার্ক চালাতে পারেন। অন্যথায়, স্পার্ক একক বা ইসি 2 বা মেসোসে চালানো সহজ। এটি এইচডিএফএস, এইচবেস, ক্যাসান্দ্রা এবং যে কোনও হ্যাডোপ ডেটা উত্স থেকে পড়তে পারে।
স্পার্ক আরও পড়ুন এখানে ।
প্রসাদ:
অ্যাপাচি ফ্লুম কি?
অ্যাপাচি ফ্লুম হ'ল বহুবিধ উত্স থেকে লগের ডেটা বিভিন্ন দক্ষতার সাথে কেন্দ্রীয়ভাবে ডেটা উত্সে দক্ষতার সাথে সংগ্রহ, একত্রিত ও সরানোর জন্য একটি বিতরণযোগ্য, নির্ভরযোগ্য এবং উপলব্ধ সিস্টেম।
অমিত:
এসকিউএল বনাম কোনও-এসকিউএল ডেটাবেসগুলি
নোএসকিউএল ডাটাবেসগুলি নেক্সট জেনারেশন ডেটাবেসগুলি এবং বেশিরভাগ পয়েন্টকে সম্বোধন করে
- অ-সম্পর্কযুক্ত
- বিতরণ
- মুক্ত উৎস
- অনুভূমিকভাবে স্কেলেবল
প্রায়শই আরও বৈশিষ্ট্য প্রয়োগ হয় যেমন স্কিমা-মুক্ত, সহজ প্রতিলিপি সমর্থন, সহজ এপিআই, শেষ পর্যন্ত ধারাবাহিক / বেস (এসিডি নয়), বিপুল পরিমাণে ডেটা এবং আরও অনেক কিছু। উদাহরণস্বরূপ, পৃথককারীগুলির মধ্যে কয়েকটি হ'ল:
- নোএসকিউএল ডাটাবেসগুলি অনুভূমিকভাবে স্কেল করে, বৃহত লোডগুলি মোকাবেলায় আরও সার্ভার যুক্ত করে। অন্যদিকে এসকিউএল ডাটাবেসগুলি সাধারণত উল্লম্বভাবে স্কেল করে ট্র্যাফিক বৃদ্ধি পাওয়ায় একক সার্ভারে আরও বেশি সংস্থান যুক্ত হয়।
- এসকিউএল ডাটাবেসগুলিতে কোনও তথ্য এবং ডেটা যুক্ত করার আগে আপনার স্কিমগুলি সংজ্ঞায়িত করা প্রয়োজন তবে নো এসকিউএল ডাটাবেসগুলি স্কিমা-মুক্ত, আগে স্কিমার সংজ্ঞা প্রয়োজন হয় না require
- এসকিউএল ডাটাবেসগুলি আরডিবিএমএস নীতি অনুসরণ করে সারি এবং কলামগুলির ভিত্তিতে সারণী যেখানে নোএসকিউএল ডাটাবেসগুলি নথি, কী-মান জোড়া, গ্রাফ বা প্রশস্ত কলাম স্টোর।
- এসকিউএল ডেটাবেসগুলি ডেটা সংজ্ঞায়িত ও পরিচালনা করার জন্য এসকিউএল (কাঠামোগত ক্যোয়ারী ভাষা) ব্যবহার করে। নোএসকিউএল ডাটাবেসে কোয়েরি এক ডাটাবেস থেকে অন্য ডাটাবেসে আলাদা হয়।
জনপ্রিয় এসকিউএল ডাটাবেস: মাইএসকিউএল, ওরাকল, পোস্টগ্রিস এবং এমএস-এসকিউএল
জনপ্রিয় নোএসকিউএল ডেটাবেস: মংগোডিবি, বিগ টেবিল, রেডিস, রাভেনডিবি, ক্যাসান্দ্রা, এইচবেস, নিও 4 জ এবং কাউচডিবি
আমাদের ব্লগগুলি পর্যালোচনা করুন হ্যাডোপ এবং নোএসকিউএল ডেটাবেস এবং এই জাতীয় একটি ডাটাবেসের সুবিধা:
কোটেশ্বররাও:
হাদুপের কি অন্তর্নির্মিত ক্লাস্টার প্রযুক্তি আছে?
একটি হডুপ ক্লাস্টার মাস্টার-স্লেভ আর্কিটেকচার ব্যবহার করে। এতে ডেটা সংরক্ষণ এবং প্রক্রিয়াজাতকরণের জন্য একটি একক মাস্টার (নেমনোড) এবং একটি ক্লাস্টার অফ স্লেভ (ডেটা নোড) থাকে। হাদোপ একটি বিশাল সংখ্যক মেশিনে চালিত করার জন্য ডিজাইন করা হয়েছে যা কোনও স্মৃতি বা ডিস্ক ভাগ করে না। এই ডেটা নোডগুলি ক্লাস্টার ব্যবহার করে কনফিগার করা হয়েছে । ক্লাস্টারে সর্বদা কমপক্ষে একটি অনুলিপি উপলব্ধ থাকে তা নিশ্চিত করতে হাদুপ প্রতিলিপিটির ধারণাটি ব্যবহার করে। তথ্যের একাধিক অনুলিপি থাকার কারণে, কোনও সার্ভারে সঞ্চিত ডেটা যা অফলাইনে চলে যায় বা মারা যায় তা কোনও পরিচিত ভাল কপি থেকে স্বয়ংক্রিয়ভাবে প্রতিলিপি করা যেতে পারে।
দীনেশ:
হডোপ-এ চাকরী কী? একটি কাজের মাধ্যমে সমস্ত কি সম্পাদন করা যায়?
হাডোপ-এ, ডেটা প্রক্রিয়াকরণ / বিশ্লেষণের জন্য একটি জব একটি মানচিত্রের প্রোগ্রাম। ম্যাপ্রেডুস শব্দটি হ্যাডোপ প্রোগ্রামগুলি সম্পাদন করে এমন দুটি পৃথক এবং স্বতন্ত্র কার্যকে বোঝায়। প্রথমটি হ'ল মানচিত্র টাস্ক, যা ডেটার একটি সেট নেয় এবং এটিকে মধ্যবর্তী ডেটার একটি সেটে রূপান্তর করে, যেখানে পৃথক উপাদানগুলি মূল-মান জোড়ায় বিভক্ত হয়। মানচিত্রের কাজের দ্বিতীয় অংশ, হ্রাস কার্য, একটি মানচিত্র থেকে আউটপুটটিকে ইনপুট হিসাবে গ্রহণ করে এবং কী-মান জোড়াকে একত্রিত কী-মান জোড়ার একটি ছোট সংখ্যায় সংযুক্ত করে। ম্যাপ্রেডিউস নামের ক্রমটি ইঙ্গিত হিসাবে, হ্রাস কার্যটি সর্বদা মানচিত্রের কাজ শেষ হওয়ার পরে সম্পাদিত হয়। মানচিত্রের কাজটি সম্পর্কে আরও পড়ুন ।
সুকৃত:
নামনোড সম্পর্কে বিশেষ কি ?
নেমনোড একটি এইচডিএফএস ফাইল সিস্টেমের প্রাণকেন্দ্র। এটি মেটাডাটা যেমন ফাইল সিস্টেমের সমস্ত ফাইলের ডিরেক্টরি ট্রি এবং ক্লাস্টার জুড়ে যেখানে ফাইলের ডেটা রাখা আছে তা রাখে। আসল ডেটা এইচডিএফএস ব্লক হিসাবে ডেটা নোডে সঞ্চয় করা হয়।
ক্লায়েন্ট অ্যাপ্লিকেশনগুলি যখনই কোনও ফাইল সন্ধান করতে চায় বা যখনই তারা কোনও ফাইল যুক্ত / অনুলিপি / সরানো / মুছতে চায় নেম নোডের সাথে কথা বলে। নেমনোড যেখানে ডেটা বাস করে সেখানে প্রাসঙ্গিক ডেটা নোড সার্ভারের একটি তালিকা ফিরিয়ে সফল অনুরোধগুলির প্রতিক্রিয়া জানায়। এইচডিএফএস আর্কিটেকচারে আরও পড়ুন ।
দীনেশ:
জাভাতে বেনাম শ্রেণি]
হাডোপ ২.০ কখন বাজারে আসে?
হ্যাডোপ ডেভলপমেন্ট পরিচালনা করে এমন ওপেন সোর্স গ্রুপ অ্যাপাচি সফটওয়্যার ফাউন্ডেশন (এএসএফ) 15 ই অক্টোবর 2013 এ তার ব্লগে ঘোষণা করেছে যে হ্যাডোপ ২.০ এখন সাধারণভাবে উপলব্ধ (জিএ)। এই ঘোষণার অর্থ হ'ল দীর্ঘ প্রতীক্ষার পরে, অ্যাপাচি হ্যাডোপ 2.0 এবং ইয়ারএন এখন উত্পাদন স্থাপনার জন্য প্রস্তুত। আরো ব্লগ
দীনেশ:
বি-ডেটা প্রয়োগের অ-মানচিত্রের কয়েকটি উদাহরণ কী?
বিগ ডেটা সমস্যাগুলি সমাধান করার জন্য ম্যাপ্রেডস অনেকগুলি অ্যাপ্লিকেশনের জন্য দুর্দান্ত তবে গ্রাফ প্রসেসিংয়ের (যেমন, গুগল প্রেগেল / অ্যাপাচি জিরাফ) এবং বার্তা পাসিং ইন্টারফেস (এমপিআই) এর পুনরাবৃত্তি মডেলিংয়ের মতো অন্যান্য প্রোগ্রামিং মডেলগুলির জন্য প্রয়োজনীয় সমস্ত কিছুই নয়।
মেরিশ:
কীভাবে ডেটা সাজানো এবং এইচডিএফএসে সূচিযুক্ত করা হয়?
ডেটা MB৪ এমবি (একটি পরামিতি দ্বারা কনফিগারযোগ্য) এর ব্লকগুলিতে বিভক্ত হয় এবং এইচডিএফএসে সংরক্ষণ করা হয়। নেম নোড এই ব্লকগুলির স্টোরেজ তথ্য ব্লক আইডি এর র্যামে (নেমনোড মেটাডেটা) হিসাবে সঞ্চয় করে। নেমডোড র্যামে সজ্জিত মেটাডেটা ব্যবহার করে মানচিত্রের কাজগুলি এই ব্লকগুলি অ্যাক্সেস করতে পারে।
শাশ্বত:
আমরা কি একই ক্লাস্টারে মানচিত্রে (এমআরভি 1) এবং এমআরভি 2 (ইয়ার্ন সহ) উভয় ব্যবহার করতে পারি?
হ্যাডোপ ২.০ হ্যাডোপে বিভিন্ন অ্যাপ্লিকেশন লিখতে এবং সম্পাদন করতে একটি নতুন ফ্রেমওয়ার্ক ইয়ার্ন চালু করেছে। সুতরাং, ইয়ার্ন এবং ম্যাপ্রেডস হ্যাডোপ ২.০ এ দুটি পৃথক ধারণা এবং এগুলি মিশ্রিত এবং বিনিময়যোগ্যভাবে ব্যবহার করা উচিত নয়। সঠিক প্রশ্ন 'এমআরভি 1 এবং এমআরভি 2 উভয়ই কি ইয়ার্ন সক্ষম হ্যাডোপ 2.0 ক্লাস্টারে চালানো সম্ভব?' এই প্রশ্নের উত্তর হ'ল ক 'না' যদিও একটি হ্যাডোপ ক্লাস্টার এমআরভি 1 এবং এমআরভি 2 উভয়ই চালনার জন্য কনফিগার করা যেতে পারে তবে যে কোনও সময় কেবলমাত্র একটি সেট ডেমন চালাতে পারে। এই দুটি ফ্রেমওয়ার্কই শেষ পর্যন্ত একই কনফিগারেশন ফাইলগুলি ব্যবহার করে ( সুতা-সাইট.xml এবং mapred-site.xml ) ডেমনগুলি চালাতে, সুতরাং, দুটি কনফিগারেশনের মধ্যে একটি হ্যাডোপ ক্লাস্টারে সক্ষম হতে পারে।
পুতুল:
নেক্সট জেনারেশন ম্যাপ্রেডিউস (এমআরভি 2) এবং ইয়ার্নের মধ্যে পার্থক্য কী?
ইয়ার্ন এবং নেক্সট জেনারেশন ম্যাপ্রেডিউস (এমআরভি 2) হ্যাডোপ ২.০ এ দুটি ভিন্ন ধারণা এবং প্রযুক্তি। ইয়ার্ন একটি সফ্টওয়্যার ফ্রেমওয়ার্ক যা কেবল এমআরভি 2 নয় অন্যান্য অ্যাপ্লিকেশনগুলিতেও চালিত হতে পারে। এমআরভি 2 হ'ল ইয়ার্ন এপিআই ব্যবহার করে রচিত একটি অ্যাপ্লিকেশন ফ্রেমওয়ার্ক এবং এটি ইয়ার্নের মধ্যে চলে within
ভরত:
হ্যাডোপ 2.0 কি হ্যাডোপ 1.x অ্যাপ্লিকেশনগুলির জন্য পশ্চাদপটে সামঞ্জস্যতা সরবরাহ করে?
নেহা:
হ্যাডোপ 1.0 থেকে 2.0 মাইগ্রেশনের জন্য ভারী অ্যাপ্লিকেশন কোড প্রয়োজন মাইগ্রেশন?
না, বেশিরভাগ অ্যাপ্লিকেশনটি 'org.apache.hadoop.mapred' API গুলি ব্যবহার করে বিকাশ করা হয়েছে, কোনও পুনঃসংশোধন ছাড়াই YARN এ চলতে পারে। ইআরএন এমআরভি 1 অ্যাপ্লিকেশনগুলির সাথে বাইনারি সুসংগত এবং 'বিন / হ্যাডোপ' এই অ্যাপ্লিকেশনগুলিকে YARN এ জমা দেওয়ার জন্য ব্যবহার করা যেতে পারে। এই আরও পড়ুন এখানে ।
শেরিন:
রিসোর্স ম্যানেজার নোড হ্যাডোপ ২.০ এ ব্যর্থ হলে কী হবে?
হডোপ রিলিজ ২.৪.০ থেকে শুরু করে, রিসোর্স ম্যানেজারের জন্য উচ্চ উপলভ্যতা সমর্থন উপলব্ধ। রিসোর্স ম্যানেজার ব্যর্থতার জন্য অ্যাপাচি চিড়িয়াখানা ব্যবহার করে eep যখন রিসোর্স ম্যানেজার নোড ব্যর্থ হয়, তখন একটি গৌণ নোড চিড়িয়াখানায় সংরক্ষিত ক্লাস্টার রাজ্যের মাধ্যমে দ্রুত পুনরুদ্ধার করতে পারে। রিসোর্স ম্যানেজার, একটি ব্যর্থতার পরে, সারিবদ্ধ এবং চলমান সমস্ত অ্যাপ্লিকেশন পুনরায় আরম্ভ করে।
সাব্বিরালি:
ক্লাডেরা হাদুপতে অ্যাপাচি-এর হ্যাডোপ ফ্রেমওয়ার্ক কাজ করে?
এইচডিএফএসে সঞ্চিত বৃহত আকারের ডেটা ওয়ার্কলোডগুলির বিতরণ প্রক্রিয়াকরণকে সমর্থন করার জন্য কোর ম্যাপ্রেডস প্রসেসিং ইঞ্জিনের সাহায্যে অ্যাপাচি হাদুপ 2005 সালে চালু হয়েছিল। এটি একটি ওপেন সোর্স প্রকল্প এবং এর একাধিক বিতরণ (লিনাক্সের সমান) has ক্লৌডের হাদুপ (সিডিএইচ) হ'ল ক্লাউডেরার থেকে এমনই একটি বিতরণ। অন্যান্য অনুরূপ বিতরণগুলি হর্টন ওয়ার্কস, ম্যাপআর, মাইক্রোসফ্ট এইচডি ইনসাইট, আইবিএম ইনফোস্পিয়ার বিগআইনসাইটস ইত্যাদি are
অরুলবাদিভেল:
আমার ল্যাপটপে হ্যাডোপ ইনস্টল করার কোনও সহজ উপায় এবং ওডাকল ডাটাবেসের হ্যাডোপে স্থানান্তরের চেষ্টা করবেন?
আপনি পারেন শুরু সঙ্গে আপনার ল্যাপটপে একটি হর্টন ওয়ার্কস স্যান্ডবক্স বা ক্লৌডেরা কুইক ভিএম (কমপক্ষে 4 জিবি র্যাম এবং আই 3 বা ততোধিক প্রসেসর সহ)। বর্ণিত হিসাবে ওরাকল থেকে হ্যাডোপে ডেটা স্থানান্তর করতে এসকিউওপি ব্যবহার করুন এখানে ।
Bhabani:
হ্যাডোপ শিখতে সবচেয়ে ভাল বইগুলি কী কী?
শুরু করা হাদুপ: সংজ্ঞাবহ গাইড টম হোয়াইট এবং দ্বারা হ্যাডোপ অপারেশনস এরিক সামার দ্বারা।
মহেন্দ্র:
হ্যাডোপ ২.০-এর জন্য হ্যাডোপের মতো চূড়ান্ত গাইডের মতো কোনও পাঠ্য উপলব্ধ?
পর্যালোচনা সর্বশেষ আগমন হাদোপ ২.০ এর স্রষ্টাদের কয়েকটি দ্বারা রচিত পুস্তকাগুলিতে।
এই সিরিজের আরও প্রশ্নের জন্য যোগাযোগ করুন।