অ্যাপাচি ফ্লুম টিউটোরিয়াল: টুইটার ডেটা স্ট্রিমিং

এই অ্যাপাচি ফ্লুম টিউটোরিয়াল ব্লগে, আমরা বুঝতে পারি যে ফ্লুম কীভাবে বিভিন্ন উত্স থেকে ডেটা স্ট্রিমিংয়ে সহায়তা করে। তবে তার আগে আসুন ডেটা খাওয়ার গুরুত্বটি বুঝতে পারি। ডেটা প্রক্রিয়াকরণ এবং বিশ্লেষণের জন্য ডেটা ইনজেশন হল প্রাথমিক এবং গুরুত্বপূর্ণ পদক্ষেপ এবং এরপরে ব্যবসায়িক মানগুলি বের করা। এমন একাধিক উত্স রয়েছে যা থেকে কোনও সংস্থায় ডেটা সংগ্রহ করা হয়।

ফ্লুম এত জনপ্রিয় হয়ে ওঠার আরেকটি গুরুত্বপূর্ণ কারণ সম্পর্কে কথা বলা যাক। আমি আশা করি আপনার সাথে পরিচিত হতে পারেন , যা শিল্পে দুর্দান্ত ব্যবহার হচ্ছে কারণ এটি সমস্ত ধরণের ডেটা সঞ্চয় করতে পারে। ফ্লুমটি সহজেই হ্যাডুপের সাথে সংহত করতে পারে এবং এইচডিএফএসে অস্ট্রাস্ট্রাক্টড পাশাপাশি আধা-কাঠামোগত ডেটা, হ্যাডুপের শক্তি প্রশংসা করতে পারে। এ কারণেই অ্যাপাচি ফ্লুম হ্যাডোপ ইকোসিস্টেমের একটি গুরুত্বপূর্ণ অঙ্গ।

এই অ্যাপাচি ফ্লুম টিউটোরিয়াল ব্লগে আমরা আবরণ করব:

• অ্যাপাচি ফ্লুমের পরিচিতি
• অ্যাপাচি ফ্লুমের উপকারিতা
• ফ্লুম আর্কিটেকচার
• ফ্লুম ব্যবহার করে টুইটার ডেটা স্ট্রিমিং করা

অ্যাপাচি ফ্লুম কি তা নিয়ে আলোচনা করে আমরা এই ফ্লুম টিউটোরিয়ালটি শুরু করব। তারপরে এগিয়ে যাওয়া, আমরা ফ্লুম ব্যবহারের সুবিধাগুলি বুঝতে পারি।

অ্যাপাচি ফ্লুম টিউটোরিয়াল: অ্যাপাচি ফ্লুমের পরিচিতি

অ্যাপাচি ফ্লুম, এইচডিএফএসে ডেটা ইনজেশন করার একটি সরঞ্জাম। এটি প্রচুর পরিমাণে স্ট্রিমিং ডেটা যেমন লগ ফাইলগুলি, নেটওয়ার্ক ট্র্যাফিক, সোশ্যাল মিডিয়া, ইমেল বার্তাগুলি ইত্যাদি বিভিন্ন উত্স থেকে এইচডিএফএসে প্রেরণ করে, সংগ্রহ করে এবং পরিবহন করে।ফ্লুম একটি অত্যন্ত নির্ভরযোগ্য এবং বিতরণ করা হয়।

ফ্লুমের ডিজাইনের পেছনের মূল ধারণাটি বিভিন্ন ওয়েব সার্ভার থেকে এইচডিএফএসে স্ট্রিমিং ডেটা ক্যাপচার করা। এটি স্ট্রিমিং ডেটা প্রবাহের উপর ভিত্তি করে সহজ এবং নমনীয় আর্কিটেকচার রয়েছে। এটি ত্রুটি-সহনশীল এবং ফল্ট সহনশীলতা এবং ব্যর্থতা পুনরুদ্ধারের জন্য নির্ভরযোগ্যতা ব্যবস্থা সরবরাহ করে।

ফ্লুম কী কী তা বোঝার পরে এখন আসুন আমরা এই ফ্লুম টিউটোরিয়াল ব্লগে এগিয়ে যাই এবং অ্যাপাচি ফ্লুমের উপকারিতা বুঝতে পারি। তারপরে এগিয়ে চলার পরে আমরা ফ্লুমের আর্কিটেকচারটি দেখব এবং এটি কীভাবে মৌলিকভাবে কাজ করে তা বোঝার চেষ্টা করব।

জাবাতে চরাটের ব্যবহার

অ্যাপাচি ফ্লুম টিউটোরিয়াল: অ্যাপাচি ফ্লুমের উপকারিতা

অ্যাপাচি ফ্লুমের বেশ কয়েকটি সুবিধা রয়েছে যা এটি অন্যদের চেয়ে আরও ভাল পছন্দ করে তোলে। সুবিধাগুলি হ'ল:

• ফ্লুমটি স্কেলযোগ্য, নির্ভরযোগ্য, ফল্ট সহনশীল এবং বিভিন্ন উত্স এবং ডুবির জন্য অনুকূলিতযোগ্য।
• অ্যাবাচি ফ্লুম এইচবিএস এবং এইচডিএফএসের মতো সেন্ট্রালাইজড স্টোরগুলিতে (অর্থাত একক স্টোর থেকে ডেটা সরবরাহ করা হয়) ডেটা সঞ্চয় করতে পারে।
• ফ্লুম অনুভূমিকভাবে স্কেলযোগ্য।
• যদি পড়ার হার লেখার হারকে ছাড়িয়ে যায় তবে ফ্লুম পড়ুন এবং লেখার ক্রিয়াকলাপগুলির মধ্যে অবিরাম ডেটা প্রবাহ সরবরাহ করে।
• ফ্লুমটি নির্ভরযোগ্য বার্তা সরবরাহ করে। ফ্লুমে লেনদেনগুলি চ্যানেল-ভিত্তিক যেখানে প্রতিটি বার্তার জন্য দুটি লেনদেন (এক প্রেরক এবং একজন গ্রহণকারী) রক্ষণাবেক্ষণ করা হয়।
• ফ্লুম ব্যবহার করে, আমরা একাধিক সার্ভার থেকে ডেটা হ্যাডোপে আটকানো যেতে পারি।
• এটি আমাদের একটি সমাধান দেয় যা নির্ভরযোগ্য এবং বিতরণযোগ্য এবং ফেসবুক, টুইটার এবং ই-কমার্স ওয়েবসাইটের মতো প্রচুর পরিমাণে ডেটা সেট সংগ্রহ, একত্রিত এবং সরিয়ে নিতে আমাদের সহায়তা করে।
• এটি আমাদের এইচডিএফএসে নেটওয়ার্ক ট্র্যাফিক, সোশ্যাল মিডিয়া, ইমেল বার্তা, লগ ফাইল ইত্যাদির বিভিন্ন উত্স থেকে অনলাইন স্ট্রিমিং ডেটা নিবন্ধে সহায়তা করে।
• এটি উত্স এবং গন্তব্য প্রকারের একটি বড় সেট সমর্থন করে।

আর্কিটেকচার এমন একটি যা এই সুবিধাগুলির সাথে অ্যাপাচি ফ্লুমকে ক্ষমতায়িত করছে। এখন, আমরা যেমন অ্যাপাচি ফ্লুমের সুবিধাগুলি জানি, এগিয়ে চলুন এবং অ্যাপাচি ফ্লুম আর্কিটেকচারটি বুঝতে পারি।

অ্যাপাচি ফ্লুম টিউটোরিয়াল: ফ্লুম আর্কিটেকচার

এখন, আসুন নীচের চিত্রটি থেকে ফ্লুমের আর্কিটেকচারটি বুঝতে পারি:

এমন ফ্লুম এজেন্ট রয়েছে যা বিভিন্ন ডেটা উত্স থেকে এইচডিএফএসে স্ট্রিমিং ডেটা যুক্ত করে। চিত্রটি থেকে আপনি সহজেই বুঝতে পারবেন যে ওয়েব সার্ভারটি ডেটা উত্সকে নির্দেশ করে। টুইটার স্ট্রিমিং ডেটার জন্য অন্যতম বিখ্যাত উত্স।

ফ্লুম এজেন্টের 3 টি উপাদান রয়েছে: উত্স, সিঙ্ক এবং চ্যানেল।

1. 1. উৎস : এটি আগত স্ট্রিমলাইন থেকে ডেটা গ্রহণ করে এবং চ্যানেলে ডেটা সঞ্চয় করে।
   2. চ্যানেল : সাধারণভাবে, লেখার গতির চেয়ে পড়ার গতি দ্রুত faster সুতরাং, পড়ার এবং লেখার গতির পার্থক্যের সাথে মেলে আমাদের কিছু বাফার দরকার। মূলত, বাফার একটি মধ্যস্থতাকারী স্টোরেজ হিসাবে কাজ করে যা ডেটা অস্থায়ীভাবে স্থানান্তরিত হয় এবং তাই ডেটা ক্ষতি রোধ করে। একইভাবে, চ্যানেল স্থানীয় স্টোরেজ বা এইচডিএফএসে ডেটা উত্স এবং অবিরাম ডেটার মধ্যে অস্থায়ী স্টোরেজ হিসাবে কাজ করে।
   3. ডোবা : তারপরে, আমাদের শেষ উপাদানটি ডুবে যায়, চ্যানেল থেকে ডেটা সংগ্রহ করে এবং স্থায়ীভাবে এইচডিএফএসে ডেটা কমিট করে বা লিখে দেয়।

এখন যেমন আমরা জানি যে অ্যাপাচি ফ্লুম কীভাবে কাজ করে, আসুন আমরা এমন একটি ব্যবহারিক দিকে নজর নেওয়া যাক যেখানে আমরা টুইটারের ডেটা ডুবিয়ে দেব এবং এটি এইচডিএফএসে সঞ্চয় করব।

অ্যাপাচি ফ্লুম টিউটোরিয়াল: স্ট্রিমিং টুইটার ডেটা

এই ব্যবহারিক ক্ষেত্রে, আমরা ফ্লুমকে টুইটার ব্যবহার করে ডেটা স্ট্রিম করব এবং তারপরে নীচের চিত্রটিতে প্রদর্শিত হিসাবে এইচডিএফএসে ডেটা সংরক্ষণ করব।

প্রথম পদক্ষেপটি একটি টুইটার অ্যাপ্লিকেশন তৈরি করা হয়। এর জন্য আপনাকে প্রথমে এই url এ যেতে হবে: https://apps.twitter.com/ এবং আপনার টুইটার অ্যাকাউন্টে সাইন ইন করুন। নীচের ছবিতে প্রদর্শিত অ্যাপ্লিকেশন ট্যাব তৈরি করতে যান।

তারপরে, নীচের চিত্রের মতো প্রদর্শিত একটি অ্যাপ্লিকেশন তৈরি করুন।

এই অ্যাপ্লিকেশনটি তৈরি করার পরে আপনি কী এবং অ্যাক্সেস টোকেন পাবেন। কী এবং অ্যাক্সেস টোকেনটি অনুলিপি করুন। এই অ্যাপ্লিকেশনটির সাথে সংযোগ রাখতে আমরা এই ফ্লোক কনফিগারেশন ফাইলে এই টোকেনগুলি পাস করব।

নীচের চিত্রের মতো এখন ফ্লুমের রুট ডিরেক্টরিতে একটি flume.conf ফাইল তৈরি করুন। যেমনটি আমরা আলোচনা করেছি, ফ্লুমের আর্কিটেকচারে, আমরা আমাদের উত্স, সিঙ্ক এবং চ্যানেলটি কনফিগার করব। আমাদের উত্স হল টুইটার, যেখান থেকে আমরা ডেটা প্রবাহিত করছি এবং আমাদের সিনকটি এইচডিএফএস, যেখানে আমরা ডেটা লিখছি।

উত্স কনফিগারেশন আমরা টুইটার উত্স টাইপ হিসাবে পাস করছি org.apache.flume.source.twitter.TwitterSource। তারপরে, আমরা টুইটার থেকে প্রাপ্ত চারটি টোকনই পাস করছি। সর্বশেষে উত্সের কনফিগারেশনটিতে আমরা কীওয়ার্ডগুলি দিয়ে যাচ্ছি যার উপর আমরা টুইটগুলি আনতে চলেছি।

সিঙ্ক কনফিগারেশনে আমরা এইচডিএফএস বৈশিষ্ট্য কনফিগার করতে চলেছি। আমরা এইচডিএফএসের পথ নির্ধারণ করব, ফর্ম্যাট লিখি, ফাইলের ধরণ, ব্যাচের আকার ইত্যাদি। শেষ পর্যন্ত আমরা নীচের চিত্রটিতে প্রদর্শিত মেমরি চ্যানেল সেট করতে যাচ্ছি।

এখন আমরা সবাই ফাঁসি কার্যকর করার জন্য প্রস্তুত are আসুন এবং এই আদেশটি কার্যকর করি:

$ FLUME_Home / bin / flume-ng এজেন্ট --conf ./conf/ -f L FLUME_Home / flume.conf

কিছুক্ষণের জন্য এই কমান্ডটি কার্যকর করার পরে, এবং তারপরে আপনি CTRL + C ব্যবহার করে টার্মিনাল থেকে প্রস্থান করতে পারেন। তারপরে আপনি আপনার হ্যাডোপ ডিরেক্টরিতে এগিয়ে যেতে এবং উল্লিখিত পথটি পরীক্ষা করতে পারেন, ফাইলটি তৈরি হয়েছে কিনা whether

জাভা একীকরণ কি

ফাইলটি ডাউনলোড করুন এবং এটি খুলুন। নীচের ছবিতে প্রদর্শিত হিসাবে আপনি কিছু পাবেন।

আমি আশা করি এই ব্লগটি তথ্যবহুল এবং আপনার কাছে মূল্য সংযোজনযোগ্য। আপনি যদি আরও জানতে আগ্রহী হন তবে আপনি এটির মাধ্যমে যেতে পারেন যা আপনাকে বিগ ডেটা এবং হ্যাডুপ কীভাবে বিগ ডেটা সম্পর্কিত চ্যালেঞ্জগুলি সমাধান করছে সে সম্পর্কে আপনাকে জানায়।

আপনি এখন অ্যাপাচি ফ্লুমকে বুঝতে পেরেছেন, এটিকে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুওপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।