ক্লৌডের হাদোপ: সিডিএইচ বিতরণ দিয়ে শুরু করা



ক্লৌডেরার হ্যাডোপ টিউটোরিয়ালের এই এডুরেকা ব্লগটি আপনাকে ক্লৌডেরার ম্যানেজার, পার্সেলস, হিউ ইত্যাদির মতো বিভিন্ন ক্লৌডের উপাদানগুলির সম্পূর্ণ অন্তর্দৃষ্টি দেবে

বিগ ডেটার ক্রমবর্ধমান চাহিদা সহ, এবং অ্যাপাচি হ্যাডোপatবিপ্লবের হৃদয়, এটি আমাদের সংগঠনের এবং ডেটা গণনার পদ্ধতিতে পরিবর্তন এসেছে। প্রতিষ্ঠানের হাদোপকে তাদের ব্যবসায়ের প্রয়োজনের সাথে সারিবদ্ধ করার প্রয়োজনীয়তা বাণিজ্যিক বিতরণগুলির উত্থানকে বাড়িয়ে তুলেছে। কমার্শিয়াল হ্যাডোপ ডিস্ট্রিবিউশনগুলি সাধারণত বৈশিষ্ট্যগুলি সহ প্যাকেজ করা হয়, যা হ্যাডুপের স্থাপনাকে প্রবাহিত করার জন্য নকশাকৃত। ক্লৌডেরা হাদোপ বিতরণ একটি স্কেলযোগ্য, নমনীয়, সংহত প্ল্যাটফর্ম সরবরাহ করে যা আপনার এন্টারপ্রাইজে দ্রুত বর্ধমান ভলিউম এবং বিভিন্ন ধরণের ডেটা পরিচালনা করতে সহজ করে তোলে।

ক্লৌডেরার হাদুপ ডিস্ট্রিবিউশনের এই ব্লগে আমরা নীচের বিষয়গুলি আবরণ করব:





ক্লৌডের হাদোপ: হাদোপের পরিচয়

হাদুপ একটি অ্যাপাচি ওপেন সোর্স ফ্রেমওয়ার্ক যা বিতরণ পরিবেশে বিগ ডেটা সঞ্চয় করে এবং প্রক্রিয়া করেসম্মুখীনসহজ প্রোগ্রামিং মডেল ব্যবহার করে গুচ্ছ। হাদুপ বিতরণ স্টোরেজের শীর্ষে সমান্তরাল গণনা সরবরাহ করে।থেকে হাডোপ সম্পর্কে বিস্তারিত জানার জন্য আপনি এটি উল্লেখ করতে পারেন

হাদুপের সাথে এই সংক্ষিপ্ত পরিচিতির পরে, এখন আমি হাদোপ বিতরণের বিভিন্ন ধরণের ব্যাখ্যা করি।



ক্লৌডের হাদুপ: হডোপ বিতরণ

অ্যাপাচি হ্যাডোপ ওপেন সোর্স হওয়ার কারণে, অনেকগুলি সংস্থার বিতরণগুলি তৈরি করা হয়েছে যা মূল ওপেন সোর্স কোডের বাইরে। এটি লিনাক্স বিতরণ যেমন রেডহ্যাট, ফেডোরা এবং উবুন্টুর মতোই। লিনাক্সের প্রতিটি বিতরণ উবুন্টুতে ব্যবহারকারী-বান্ধব জিইউআইয়ের মতো নিজস্ব কার্যকারিতা এবং বৈশিষ্ট্যগুলি সমর্থন করে। একইভাবে, লাল টুপি উদ্যোগের মধ্যে জনপ্রিয় কারণ এটি সমর্থন সরবরাহ করে এবং ইচ্ছামত সিস্টেমের যে কোনও অংশে পরিবর্তন আনতে আদর্শ প্রদান করে। রেড হ্যাট আপনাকে সফ্টওয়্যার সামঞ্জস্যতা সমস্যা থেকে মুক্তি দেয়। এটি সাধারণত ব্যবহারকারীদের জন্য একটি বড় সমস্যাযারা উইন্ডোজ থেকে স্থানান্তরিত হয়।

তেমনিভাবে, এখানে 3 প্রধান ধরণের হডুপ বিতরণ রয়েছে যার নিজস্ব কার্যকারিতা এবং বৈশিষ্ট্যগুলির সেট রয়েছে এবং এটি এইচডিএফএস ভিত্তিতে নির্মিত।

ক্লৌডেরা বনাম ম্যাপআর বনাম হর্টন ওয়ার্কস

চিত্র: ম্যাপআর বনাম হর্টনওয়ার্কস বনাম ক্লৌডেরা

চিত্র: ম্যাপআর বনাম হর্টনওয়ার্কস বনাম ক্লৌডেরা



ক্লাউদের হাদুপ বিতরণ

ক্লোডেরা হ্যাডোপ স্পেসের বাজারের প্রবণতা এবং বাণিজ্যিকভাবে হাদুপ বিতরণ প্রকাশকারী এটি প্রথম। এটি 'অ্যাপাচি হাদুপ কী সরবরাহ করে' এবং 'সংস্থাগুলির প্রয়োজন' - এর মধ্যে ব্যবধানটি পূরণ করার জন্য পরামর্শ পরিষেবা সরবরাহ করে।

ক্লৌডের বিতরণটি হ'ল:

  • ব্যবসায়ের জন্য দ্রুত : বিশ্লেষণ থেকে শুরু করে ডেটা বিজ্ঞান এবং এর মধ্যে থাকা সমস্ত কিছু পর্যন্ত, ক্লাউডেরা আপনার সীমাহীন ডেটার সম্ভাব্যতা আনলক করার জন্য প্রয়োজনীয় কার্য সম্পাদন সরবরাহ করে।
  • হাদুপকে পরিচালনা করা সহজ করে তোলে : ক্লৌডেরার ম্যানেজারের সাহায্যে, স্বয়ংক্রিয় উইজার্ডগুলি স্কেল বা স্থাপনার পরিবেশ নির্বিশেষে আপনাকে দ্রুত আপনার ক্লাস্টার স্থাপন করতে দেয়।
  • আপোস ছাড়াই সুরক্ষিত: ব্যবসায়ের তত্পরতা ত্যাগ না করে কঠোর ডেটা সুরক্ষা এবং সম্মতি সংক্রান্ত প্রয়োজনীয়তা পূরণ করে। ক্লৌডেরা তথ্য সুরক্ষা এবং প্রশাসনের জন্য একটি সমন্বিত পদ্ধতির সরবরাহ করে।

হর্টন-ওয়ার্কস বিতরণ

হর্টন-ওয়ার্কস ডেটা প্ল্যাটফর্ম (এইচডিপি) পুরোপুরি একটি উন্মুক্ত উত্স প্ল্যাটফর্ম যা অনেক উত্স এবং ফর্ম্যাট থেকে ডেটা ক্যান্সার করার জন্য ডিজাইন করা হয়েছে। প্ল্যাটফর্মটিতে হ্যাডোপ ডিস্ট্রিবিউটড ফাইল সিস্টেম (এইচডিএফএস), ম্যাপ্রেডিউস, চিড়িয়াখানা, এইচবেস, পিগ, হাইভ এবং অতিরিক্ত উপাদানগুলির মতো বিভিন্ন হ্যাডোপ সরঞ্জাম রয়েছে।

এটি যেমন বৈশিষ্ট্যগুলি সমর্থন করে:

  • এইচডিপি হিভ করে তোলে দ্রুত এটির নতুন স্টিংগার প্রকল্পের মাধ্যমে।
  • এইচডিপি বিক্রেতা লক-ইন এড়ানো হাদোপের একটি কাঁটাযুক্ত সংস্করণে অঙ্গীকার করে।
  • এইচডিপি উন্নত করার উপর দৃষ্টি নিবদ্ধ করে ব্যবহারযোগ্যতা হাদুপ প্ল্যাটফর্মের।

ম্যাপআর বিতরণ

ম্যাপআর হর্টন ওয়ার্কস এবং ক্লৌডেরার মতো একটি প্ল্যাটফর্ম কেন্দ্রিক হাদুপ সমাধান সমাধান সরবরাহকারী। ম্যাপআর তার নিজস্ব ডাটাবেস সিস্টেমকে সংহত করে, যা হ্যাডোপ বিতরণ পরিষেবা দেওয়ার সময় ম্যাপআর-ডিবি নামে পরিচিত। ম্যাপআর-ডিবি স্টক হ্যাডোপ ডাটাবেস, অর্থাৎ এইচবেস, যা অন্যান্য বিতরণে কার্যকর করা হয় তার চেয়ে চার থেকে সাতগুণ দ্রুত বলে দাবি করা হয়।

এটির আকর্ষণীয় বৈশিষ্ট্যগুলি রয়েছে:

  • এটি একমাত্র হাদুপ বিতরণ যা কোনও জাভা নির্ভরতা ছাড়াই পিগ, হাইভ এবং স্কুওপকে অন্তর্ভুক্ত করে - যেহেতু এটি ম্যাপআর-ফাইল সিস্টেমের উপর নির্ভর করে।
  • ম্যাপআর হ'লডোপ উত্পাদন সবচেয়ে প্রস্তুত যা অনেকগুলি বর্ধনের সাথে এটি আরও ব্যবহারকারী-বান্ধব, দ্রুত এবং নির্ভরযোগ্য করে তোলে।

এখন আসুন আমরা ক্লাউডেরার হ্যাডোপ বিতরণ গভীরতার সাথে আলোচনা করি।

নতুন আপডেট পেতে আমাদের ইউটিউব চ্যানেলে সাবস্ক্রাইব করুন ...

ক্লৌডের হাদুপ: ক্লৌডের বিতরণ

ক্লোডেরা হাদোপ স্থানের প্রথম বাণিজ্যিক হাদুপ বিতরণ প্রকাশের জন্য সর্বাধিক পরিচিত খেলোয়াড়।

চিত্র: ক্লৌডের হাদুপ বিতরণ

ক্লৌডেরা হ্যাডোপ বিতরণ নিম্নলিখিত বৈশিষ্ট্যগুলির সেটকে সমর্থন করে:

  1. ক্লৌডেরার সিডিএইচে সমস্ত ওপেন সোর্স উপাদান রয়েছে, এন্টারপ্রাইজ-শ্রেণির মোতায়েনগুলি লক্ষ্যবস্তু করা হয় এবং এটি অন্যতম জনপ্রিয় বাণিজ্যিক হ্যাডোপ বিতরণ।
  2. এর উদ্ভাবনের জন্য পরিচিত, ক্লৌডেরা সর্বপ্রথম অফার করেছিল SQL-for-Hadoop সঙ্গে তার ইমপালা ক্যোয়ারী ইঞ্জিন।
  3. ম্যানেজমেন্ট কনসোল - ক্লৌডের ম্যানেজার মো , সমৃদ্ধ ব্যবহারকারী ইন্টারফেসটি একটি গোছানো এবং পরিষ্কার উপায়ে সমস্ত ক্লাস্টারের তথ্য প্রদর্শন করে, ব্যবহার করা সহজ এবং কার্যকর করা যায়।
  4. সিডিএইচে আপনি কোনও বাধা ছাড়াই আপ এবং চলমান ক্লাস্টারে পরিষেবা যুক্ত করতে পারেন।
  5. ক্লৌডেরার অন্যান্য সংযোজনগুলির মধ্যে সুরক্ষা, ব্যবহারকারী ইন্টারফেস এবং তৃতীয় পক্ষের অ্যাপ্লিকেশনগুলির সাথে সংহতকরণের জন্য ইন্টারফেস অন্তর্ভুক্ত রয়েছে।
  6. সিডিএইচ সরবরাহ করে নোড টেমপ্লেট অর্থাৎ এটি বিভিন্ন কনফিগারেশন সহ একটি হ্যাডোপ ক্লাস্টারে নোডের একটি গ্রুপ তৈরি করার অনুমতি দেয়। এটি হ্যাডোপ ক্লাস্টারে জুড়ে একই কনফিগারেশনের ব্যবহারকে নির্মূল করে।
  7. এটি সমর্থন করে:
    • নির্ভরযোগ্যতা
      যখনই কোনও বাগ সনাক্ত হয় তখন হ্যাডোপ বিক্রেতারা তাৎক্ষণিক প্রতিক্রিয়াতে কাজ করে। বাণিজ্যিক সমাধান আরও স্থিতিশীল করার অভিপ্রায়ের সাথে সাথে প্যাচগুলি এবং সংশোধনগুলি অবিলম্বে মোতায়েন করা হয়।
    • সমর্থন
      ক্লোডেরা হ্যাডোপ বিক্রেতারা প্রযুক্তিগত দিকনির্দেশ এবং সহায়তা সরবরাহ করে যা গ্রাহকদের এন্টারপ্রাইজ স্তরের কাজ এবং মিশন-সমালোচনামূলক অ্যাপ্লিকেশনগুলির জন্য হাদোপ গ্রহণ করা সহজ করে তোলে।

    • সম্পূর্ণতা
      হ্যাডোপ বিক্রেতারা তাদের বিতরণটিকে বিভিন্ন অন্যান্য অ্যাড-অন সরঞ্জামগুলির সাথে জুটি দেয় যা গ্রাহকদের তাদের নির্দিষ্ট কাজগুলিকে সম্বোধন করতে হডোপ অ্যাপ্লিকেশনটি কাস্টমাইজ করতে সহায়তা করে।

ক্লৌডের বিতরণে 2 টি বিভিন্ন ধরণের সংস্করণ আসে।

  1. ক্লাউদের এক্সপ্রেস সংস্করণ
  2. ক্লৌডের এন্টারপ্রাইজ সংস্করণ

এখন আসুন তাদের মধ্যে পার্থক্যগুলি দেখুন।

বৈশিষ্ট্য ক্লৌদেরা-এক্সপ্রেস ক্লৌডেরা-এন্টারপ্রাইজ
ক্লাস্টার ম্যানেজমেন্ট
1. মাল্টি ক্লাস্টার ম্যানেজমেন্টহ্যাঁহ্যাঁ
২. রিসোর্স ম্যানেজমেন্টহ্যাঁহ্যাঁ
মোতায়েন
1. সিডিএইচ 4 এবং 5 এর জন্য সমর্থনহ্যাঁহ্যাঁ
2. সিডিএইচ রোলিং আপগ্রেডনাহ্যাঁ
পরিষেবা এবং কনফিগারেশন পরিচালনা
1. এইচডিএফএস, ম্যাপ্রেডিউস, ইয়ার্ন, ইমপালা, এইচবি, হুভ, হিউ, ওজি, চিড়িয়াখানা, সোলার, স্পার্ক এবং অ্যাকুমুলো পরিষেবাগুলি পরিচালনা করুনহ্যাঁহ্যাঁ
2. পরিষেবাগুলি রোলিং পুনঃসূচনানাহ্যাঁ
সুরক্ষা
1. এলডিএপি প্রমাণীকরণনাহ্যাঁ
2. বিক্রয় প্রমাণীকরণনাহ্যাঁ
মনিটরিং এবং ডায়াগনস্টিক্স
1. স্বাস্থ্য ইতিহাসহ্যাঁহ্যাঁ
সতর্কতা পরিচালনা
1. ইমেল মাধ্যমে সতর্কতাহ্যাঁহ্যাঁ
2. এসএনএমপি এর মাধ্যমে সতর্কতানাহ্যাঁ
উন্নত পরিচালনার বৈশিষ্ট্য
1. স্বয়ংক্রিয় ব্যাকআপ এবং পুনরুদ্ধারনাহ্যাঁ
2. ফাইল ব্রাউজিং এবং অনুসন্ধাননাহ্যাঁ
৩. ম্যাপ্রেডিউস, ইম্পালা, এইচবেস, সুতার ব্যবহারের প্রতিবেদননাহ্যাঁ

ক্লৌডের হাদোপ: ক্লৌডের ম্যানেজার

ক্লৌডের মতে, ক্লৌডের ম্যানেজার হ'ল সেরা উপায় ইনস্টল , সজ্জিত করা , পরিচালনা , এবং নিরীক্ষণ হ্যাডোপ স্ট্যাক

এটি উপলব্ধ করা হয়:

  1. স্বয়ংক্রিয় স্থাপনা এবং কনফিগারেশন
  2. কাস্টমাইজযোগ্য পর্যবেক্ষণ এবং প্রতিবেদন করা
  3. প্রয়াসহীন শক্তিশালী সমস্যার সমাধান
  4. শূন্য - ডাউনটাইম রক্ষণাবেক্ষণ

ক্লৌডেরা হাদুপ এবং এর বিভিন্ন সরঞ্জাম সম্পর্কে গভীরতর জ্ঞান পান

ক্লৌডের ম্যানেজারের বিক্ষোভ

আসুন ক্লাউডেরার পরিচালককে অন্বেষণ করি।

1. চিত্রের নীচে বর্তমানে ক্লাউডেরা ম্যানেজারে চলছে এমন পরিষেবাগুলির সংখ্যা দেখায়। আপনি ক্লাস্টার সিপিইউ ব্যবহার, ডিস্ক আইও ব্যবহার ইত্যাদি সম্পর্কে চার্টগুলিও দেখতে পারেন

চিত্র: ক্লৌডের ম্যানেজারের হোমপেজ

২. চিত্রের নীচে এইচবেস ক্লাস্টার প্রদর্শিত হচ্ছে। এটি আপনাকে বর্তমানে চলমান HBase REST সার্ভারের স্বাস্থ্যের অবস্থার বিষয়ে চার্ট এবং গ্রাফ দেয়।

চিত্র: HBase সার্ভারের স্বাস্থ্য শর্ত

৩. এখন, আসুন এইচબેজ ক্লাস্টারের উদাহরণ ট্যাবটি দেখুন যেখানে আপনি স্থিতি এবং আইপি কনফিগারেশন পরীক্ষা করতে পারেন।

চিত্র: এইচবেস ক্লাস্টারের হোস্ট সার্ভারের স্থিতি এবং আইপি ঠিকানা

৪. পরবর্তী, আপনার কাছে কনফিগারেশন ট্যাব রয়েছে। এখানে আপনি সমস্ত কনফিগারেশন প্যারামিটার দেখতে এবং তাদের মান পরিবর্তন করতে পারেন।

চিত্র: এইচবিএস ক্লাস্টারের কনফিগারেশন

এখন, ক্লাউডেরার পার্সেলগুলি কী তা বুঝতে পারি।

ক্লৌডের হাদোপ: পার্সেলস

একটি পার্সেল ক্লুডেরা ম্যানেজার দ্বারা ব্যবহৃত অতিরিক্ত মেটাডেটা সহ প্রোগ্রাম ফাইলগুলি সহ একটি বাইনারি বিতরণ ফর্ম্যাট।

পার্সেলগুলি স্বাবলম্বিত এবং একটি সংস্করণযুক্ত ডিরেক্টরিতে ইনস্টল করা হয় যার অর্থ একটি প্রদত্ত পরিষেবার একাধিক সংস্করণ পাশাপাশি পাশাপাশি ইনস্টল করা যেতে পারে।

নীচে পার্সেল ব্যবহারের সুবিধা রয়েছে:

  • এটি সিডিএইচকে একটি একক বস্তু হিসাবে বিতরণ সরবরাহ করে অর্থাৎ সিডিএইচের প্রতিটি অংশের জন্য পৃথক প্যাকেজ না করে, পার্সেলগুলিতে ইনস্টল করার জন্য কেবল একটি একক অবজেক্ট রয়েছে।

  • এটি অভ্যন্তরীণ ধারাবাহিকতা সরবরাহ করে (সম্পূর্ণ সিডিএইচ একক পার্সেল হিসাবে বিতরণ করার সাথে সাথে সমস্ত সিডিএইচ উপাদান মিলে গেছে এবং সিডিএইচের বিভিন্ন সংস্করণ থেকে বিভিন্ন অংশ আসার ঝুঁকি থাকবে না)।

  • আপনি কয়েকটি ক্লিক ব্যবহার করে সিডিএইচে পার্সেলগুলি ইনস্টল, আপগ্রেড, ডাউনগ্রেড, বিতরণ এবং সক্রিয় করতে পারেন।

এখন, আসুন দেখুন কীভাবে পার্সেলগুলি ব্যবহার করে সিডিএইচে কাফকা পরিষেবাটি ইনস্টল করা এবং সক্রিয় করতে হয়।

  1. ক্লৌডের ম্যানেজার হোমপেজে >> হোস্টস >> পার্সেলগুলি নীচে দেখানো হয়েছে তে যান

    চিত্র: হোস্ট থেকে পার্সেল নির্বাচন করা

২. আপনি যদি পার্সেলের তালিকায় কাফকা না দেখতে পান তবে আপনি পার্সেলটিকে তালিকায় যুক্ত করতে পারেন।

  1. আপনি যে কাফকা সংস্করণটি ব্যবহার করতে চান তার পার্সেলটি সন্ধান করুন। যদি আপনি এটি না দেখেন তবে আপনি পার্সেল সংগ্রহস্থলটি তালিকায় যুক্ত করতে পারেন।
  2. আপনি কাফকার সংস্করণটি ইনস্টল করতে চান তার জন্য পার্সেলটি সন্ধান করুন - আপাচে কাফকা সংস্করণগুলির ক্লাউডের বিতরণ
    চিত্রের নীচে একই প্রদর্শন করে।

চিত্র: পার্সেলের জন্য সংগ্রহস্থল পথ।

। উপরের চিত্রের মতো দেখানো লিঙ্কটি অনুলিপি করুন এবং এটি নীচে দেখানো হিসাবে দূরবর্তী পার্সেল সংগ্রহস্থলটিতে যুক্ত করুন।

চিত্র: সংগ্রহশালা থেকে কাফকা পথ সংযোজন

চার।পথ যোগ করার পরে, কাফকা ডাউনলোডের জন্য প্রস্তুত হবে। আপনি কেবল ডাউনলোড বোতামে ক্লিক করতে পারেন এবং কাফকা ডাউনলোড করতে পারেন।

চিত্র: কাফকা ডাউনলোড হচ্ছে Download

5. কাফকা ডাউনলোড হয়ে গেলে আপনার বিতরণ এবং সক্রিয়করণের জন্য যা যা করা দরকার তা হ'ল।

চিত্র: কাফকা সক্রিয় করা হচ্ছে

এটি সক্রিয় হয়ে গেলে, আপনি এগিয়ে যেতে পারেন এবং ক্লাউডেরার ম্যানেজারের পরিষেবা ট্যাবে কাফকা দেখতে পারেন।

চিত্র: কাফকা পরিষেবা

ক্লৌডের হাদোপ: একটি ওজি ওয়ার্কফ্লো তৈরি করা

এক্সএমএল কোডটি ম্যানুয়ালি লিখে এবং তারপরে এটি কার্যকর করে একটি ওয়ার্কফ্লো তৈরি করা জটিল। আপনি এটি উল্লেখ করতে পারেন ওজির কাজের সময় নির্ধারণ করা ব্লগ, traditionalতিহ্যগত পদ্ধতির সম্পর্কে জানতে।

আপনি নীচের চিত্রটি দেখতে পারেন, যেখানে আমরা একটি সাধারণ ওজি ওয়ার্কফ্লো তৈরি করতে একটি এক্সএমএল ফাইল লিখেছি। চিত্র: ditionতিহ্যগত পদ্ধতির সাহায্যে একটি ওজি ওয়ার্কফ্লো তৈরি করা

আপনি দেখতে পাচ্ছেন যে একটি সহজ ওজি শিডিয়ুলার তৈরি করতে গেলে আমাদের সময়সাপেক্ষে বিশাল এক্সএমএল কোড লিখতে হয়েছিল এবং প্রতিটি লাইন ডিবাগ করা জটিল হয়ে ওঠে। এটি কাটিয়ে উঠতে ক্লৌডের ম্যানেজার নামে একটি নতুন বৈশিষ্ট্য প্রবর্তন করেছিল হিউ যা ওজি ওয়ার্কফ্লোগুলি তৈরি এবং সম্পাদন করতে একটি জিইউআই এবং একটি সাধারণ টানা এবং ড্রপ বৈশিষ্ট্য সরবরাহ করে।

এখন আসুন দেখুন হিউ কীভাবে সরলকরণে একই কাজটি সম্পাদন করে।

একটি কার্যপ্রবাহ তৈরি করার আগে আসুন প্রথমে ইনপুট ফাইলগুলি তৈরি করা যাক, ক্লিক স্ট্রিম.টেক্সট এবং ইউজারআর টেক্সট।
User.txt ফাইলে, আমাদের নীচের মত ইউজার আইডি, নাম, বয়স, দেশ, লিঙ্গ রয়েছে। ইউজার আইডির উপর ভিত্তি করে ইউআরএল (ক্লিক স্ট্রিম ফাইলে উল্লিখিত) ব্যবহারকারীর গণনা এবং ক্লিকগুলি জানতে আমাদের এই ব্যবহারকারী ফাইলটি প্রয়োজন।

চিত্র: একটি পাঠ্য ফাইল তৈরি করা হচ্ছে

প্রতিটি ইউআরএলটিতে ব্যবহারকারীর ক্লিকের সংখ্যা জানতে, আমাদের কাছে ইউজার আইডি এবং ইউআরএল রয়েছে এমন একটি ক্লিক স্ট্রিম রয়েছে।

চিত্র: ক্লিক স্ট্রিম ফাইল

স্ক্রিপ্ট ফাইলে কোয়েরি লিখি।

চিত্র: স্ক্রিপ্ট ফাইল

ব্যবহারকারী ফাইল, ক্লিক স্ট্রিম ফাইল এবং স্ক্রিপ্ট ফাইল তৈরি করার পরে, আমরা এগিয়ে গিয়ে ওওজি ওয়ার্কফ্লো তৈরি করতে পারি।

১. আপনি চিত্রটিতে প্রদর্শিত হিসাবে ওজি ওয়ার্কফ্লোটি কেবল টেনে আনতে পারেন।

চিত্র: ওজি ওয়ার্কফ্লো তৈরির বৈশিষ্ট্য টেনে আনুন

কীভাবে পাইথনের জন্য পরমাণু ব্যবহার করবেন

২. আপনার ক্রিয়াটি বাদ দেওয়ার পরে শীঘ্রই আপনাকে স্ক্রিপ্ট ফাইলের পাথ নির্দিষ্ট করতে হবে এবং স্ক্রিপ্ট ফাইলে উল্লিখিত পরামিতিগুলি যুক্ত করতে হবে। এখানে আপনাকে OUTPUT, CLICKSTREAM, এবং ব্যবহারকারী পরামিতি যুক্ত করতে হবে এবং প্রতিটি পরামিতিগুলির জন্য পথ নির্দিষ্ট করতে হবে।

চিত্র: ক্রিয়া সম্পাদন করার জন্য একটি স্ক্রিপ্ট ফাইল এবং প্রয়োজনীয় প্যারামিটার যুক্ত করা হচ্ছে

৩. একবার আপনি পাথগুলি নির্দিষ্ট করে নিলে এবং প্যারামিটারগুলি যুক্ত করার পরে, এখন কেবল নীচের চিত্রের মতো ওয়ার্কফ্লো সংরক্ষণ করুন এবং জমা দিন।

চিত্র: ওজি ক্রিয়াটি সংরক্ষণ এবং জমা দেওয়া হচ্ছে

৪. একবার আপনি কাজটি জমা দেওয়ার পরে, আপনার কাজ শেষ হবে। মৃত্যুদন্ড কার্যকর করা এবং অন্যান্য পদক্ষেপগুলি হিউ যত্ন নিয়েছে।

চিত্র: ওজি কাজের ফাঁসির স্থিতি

৫।এখন যেহেতু আমরা ওজি কাজটি সম্পাদন করেছি, এর ক্রিয়া ট্যাবটি একবার দেখে নেওয়া যাক। এতে ব্যবহারকারীর আইডি এবং কর্মপ্রবাহের স্থিতি রয়েছে। এটি ত্রুটি কোডগুলিও যদি থাকে তবে অ্যাকশন আইটেমটির শুরু এবং শেষ সময় তাও দেখায়।

চিত্র: ওজির কর্মপ্রবাহের অ্যাকশন ট্যাবে উপস্থিত উপাদানগুলি

The. অ্যাকশন ট্যাবের পাশে বিশদ ট্যাব। এটিতে আমরা কাজের সময় শুরুর সময় এবং শেষ পরিবর্তিত সময় দেখতে পাচ্ছি।

চিত্র: ওওজি কর্মপ্রবাহের বিশদ।

Details. বিশদ ট্যাবের পাশে, আমাদের কাছে কার্যপ্রবাহের কনফিগারেশন ট্যাব রয়েছে।

চিত্র: ওজি ওয়ার্কফ্লো কনফিগারেশন সেটিংস

The. অ্যাকশন আইটেমটি কার্যকর করার সময়, যদি কোনও ত্রুটি থাকে তবে এটি লগ ট্যাবে তালিকাভুক্ত করা হবে। আপনি ত্রুটির বিবৃতি উল্লেখ করতে পারেন এবং সেই অনুযায়ী এটি ডিবাগ করতে পারেন।

চিত্র: লগ ফাইল যাতে ত্রুটি কোড এবং ত্রুটির বিবৃতি থাকে

৮. এখানে ওয়ার্কফ্লোটির এক্সএমএল কোড যা হিউ দ্বারা স্বয়ংক্রিয়ভাবে উত্পন্ন হয়।

চিত্র: ওওজি কর্মপ্রবাহের এক্সএমএল কোড

9.1। যেমন আপনি ইতিমধ্যে দ্বিতীয় ধাপে আউটপুট ডিরেক্টরিটির জন্য পথটি নির্দিষ্ট করেছেন, নীচের চিত্র অনুসারে এখানে আপনার কাছে এইচডিএফএস ব্রাউজারে আউটপুট ডিরেক্টরি রয়েছে।

চিত্র: এইচডিএফএস ব্রাউজারের আউটপুট ডিরেক্টরি

9.2 একবার আপনি আউটপুট ডিরেক্টরিতে ক্লিক করুন, আপনি আউটপুট.txt নামে একটি পাঠ্য ফাইল পাবেন এবং সেই পাঠ্য ফাইলটিতে আসল আউটপুট থাকবে নীচের চিত্রের মতো।

চিত্র: চূড়ান্ত আউটপুট পাঠ্য

ওউজি ওয়ার্কফ্লো তৈরি করতে ড্রাগ এবং ড্রপ বিকল্পগুলি সরবরাহ করে হিউ এভাবেই আমাদের কাজকে সহজ করে তোলে।

আমি আশা করি এই ব্লগটি ক্লৌডের বিতরণ এবং বিভিন্ন ক্লৌডের উপাদানগুলি বোঝার জন্য দরকারী ছিল।

বিগ ডেটা বিপ্লবে অংশ নিতে চান?

আপনি যে ক্লাউডেরার হ্যাডোপ বিতরণ বুঝতে পেরেছেন তা এখন দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুওপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।