এই অ্যাপাচি ওজি টিউটোরিয়ালটি শুরু করার আগে, শিডিয়ুলার সিস্টেমটি কোথায় ব্যবহৃত হয় তা বুঝতে দিন। রিয়েল টাইম পরিস্থিতিতে, একটি কাজ অন্যান্য কাজের উপর নির্ভরশীল, যেমন একটি মানচিত্রার টাস্কের আউটপুটটি আরও প্রক্রিয়াজাতকরণের জন্য হাইভ জবকে দেওয়া যেতে পারে। পরবর্তী পরিস্থিতি হতে পারে, সময়ের ভিত্তিতে প্রতিদিনের মতো সাপ্তাহিক, মাসিক বা ডেটা উপলভ্যতার ভিত্তিতে কোনও কাজের সেট নির্ধারণ করে। অ্যাপাচি ওজি আপনাকে এই ধরণের পরিস্থিতিগুলি সহজেই হ্যান্ডেল করার শক্তি সরবরাহ করে। এ কারণেই অ্যাপাচি ওজি একটি গুরুত্বপূর্ণ অঙ্গ ।
এই অ্যাপাচি ওজি টিউটোরিয়াল ব্লগে, আমরা আবরণ করব:
- আপাচে ওজি পরিচয়
- ওজি ওয়ার্কফ্লো
- ওউজি সমন্বয়কারী
- ওজি বান্ডিল
- শব্দ গণনা কর্মপ্রবাহ জব
- সময় ভিত্তিক শব্দ গণনা সমন্বয়কারী কাজ
আমরা অ্যাপাচি ওজির সাথে পরিচয় করিয়ে এই ওজি টিউটোরিয়ালটি শুরু করব। তারপরে এগিয়ে চলার পরে, আমরা অ্যাপাচি ওওজি ব্যবহার করে তৈরি এবং সম্পাদিত হতে পারে এমন ধরণের কাজগুলি বুঝতে পারি।
অ্যাপাচি ওজি টিউটোরিয়াল: অ্যাপাচি ওজির পরিচিতি
অ্যাপাচি ওজি হ'ল ডিস্ট্রিবিউটেড পরিবেশে হ্যাডোপ কাজ পরিচালনা ও সম্পাদন করার জন্য একটি শিডিয়ুলার সিস্টেম। আমরা বিভিন্ন ধরণের কাজ সংমিশ্রনের সাথে একটি কাঙ্ক্ষিত পাইপলাইন তৈরি করতে পারি। এটি আপনার হাইভ, পিগ, স্কুওপ বা মানচিত্রের কাজ হতে পারে। অ্যাপাচি ওজি ব্যবহার করে আপনি আপনার কাজের সময় নির্ধারণ করতে পারেন। কাজের ক্রমের মধ্যে দু'একটি বেশি কর্মকে একে অপরের সমান্তরালভাবে চালানোর জন্যও প্রোগ্রাম করা যেতে পারে। এটি একটি স্কেলযোগ্য, নির্ভরযোগ্য এবং এক্সটেনসিবল সিস্টেম।
ওজি হ'ল একটি ওপেন সোর্স জাভা ওয়েব-অ্যাপ্লিকেশন, যা ওয়ার্কফ্লো ক্রিয়াগুলি ট্রিগার করার জন্য দায়ী। এটি, পরিবর্তে, কার্যগুলি সম্পাদন করতে হ্যাডোপ এক্সিকিউশন ইঞ্জিন ব্যবহার করে।
আপাচি ওজি কলব্যাক এবং ভোটগ্রহণের মাধ্যমে কাজগুলির সমাপ্তি সনাক্ত করে। যখন ওজি কোনও কাজ শুরু করে, এটি কার্যকে একটি অনন্য কলব্যাক এইচটিটিপি ইউআরএল সরবরাহ করে এবং টাস্কটি শেষ হয়ে গেলে সেই URL টি সূচিত করে if যদি টাস্কটি কলব্যাক ইউআরএল শুরু করতে ব্যর্থ হয়, তবে ওজি কাজ শেষ করার জন্য পোল করতে পারে।
অ্যাপাচি ওজিতে তিন ধরণের কাজ রয়েছে:
- ওজি ওয়ার্কফ্লো জবস & বিয়োগগুলি হ'ল ডাইরেক্টেড অ্যাসাইক্লিক গ্রাফ (ডিএজি) যা সম্পাদন করার জন্য ক্রমগুলির ক্রম নির্দিষ্ট করে।
- ওজি সমন্বয়কারী চাকরী & বিয়োগ এ সময় এবং ডেটা উপলভ্যতা দ্বারা ট্রিগারযুক্ত ওয়ার্কফ্লো কাজগুলি নিয়ে গঠিত।
- ওজি বান্ডিলস & বিয়োগ এটিকে একাধিক সমন্বয়কারী এবং কর্মপ্রবাহের কাজের প্যাকেজ হিসাবে উল্লেখ করা যেতে পারে।
এখন, আসুন একের পর এক এই সমস্ত কাজ বুঝতে পারি।
অ্যাপাচি ওজি টিউটোরিয়াল: ওজি ওয়ার্কফ্লো
ওয়ার্কফ্লো একটি ডাইরেক্ট অ্যাসাইক্লিক গ্রাফ (ডিএজি) এ সজ্জিত ক্রিয়াকলাপ। ক্রিয়াগুলি একে অপরের উপর নির্ভরশীল, কারণ পরবর্তী ক্রিয়াটি কেবলমাত্র বর্তমান ক্রিয়াকলাপের ফলাফলের পরে কার্যকর করা যায়। একটি ওয়ার্কফ্লো অ্যাকশন হ'ল পিগ অ্যাকশন, হাইভ অ্যাকশন, ম্যাপ্রেডিউস অ্যাকশন, শেল অ্যাকশন, জাভা অ্যাকশন ইত্যাদি হতে পারে কোনও কাজ কীভাবে এবং কোন অবস্থাতে চালানো উচিত তা সিদ্ধান্ত নেওয়ার সিদ্ধান্ত নিতে পারে।
আমরা কাজের উপর ভিত্তি করে বিভিন্ন ধরণের ক্রিয়া তৈরি করতে পারি এবং প্রতিটি ধরণের ক্রিয়ায় নিজস্ব ধরণের ট্যাগ থাকতে পারে।কর্মপ্রবাহ চালানোর আগে কর্মপ্রবাহ এবং স্ক্রিপ্ট বা জারগুলি এইচডিএফএস পথে রাখতে হবে।
আদেশ: oozie কাজ –oozie http: // লোকালহোস্ট: 11000 / oozie -config জব.প্রপ্রেটিস -আর
কাজের স্থিতি পরীক্ষা করার জন্য, আপনি ওজি ওয়েব কনসোলে যেতে পারেন, যথা। http: // হোস্ট_নাম: 11000 । কাজের উপর ক্লিক করে আপনি কাজের স্থিতি দেখতে পাবেন।
পরিস্থিতিগুলিতে, যেখানে আমরা সমানভাবে একাধিক কাজ চালাতে চাই, আমরা এটি ব্যবহার করতে পারি কাঁটাচামচ । যখনই আমরা কাঁটাচামচ ব্যবহার করি, কাঁটাচামচ করার জন্য আমাদের শেষ নোড হিসাবে যুক্ত ব্যবহার করতে হবে। প্রতিটি কাঁটাচামচ জন্য একটি যোগদান করা উচিত। যোগদান অনুমান করুন যে সমস্ত নোড সমান্তরালভাবে সম্পাদন করে, এটি একটি একক কাঁটাচালার সন্তান। উদাহরণস্বরূপ, আমরা সমান্তরালভাবে একই সময়ে দুটি টেবিল তৈরি করতে পারি।
যদি আমরা সিদ্ধান্তের ফলাফলের উপর ভিত্তি করে কোনও অ্যাকশন চালাতে চাই, আমরা সিদ্ধান্ত ট্যাগগুলি যুক্ত করতে পারি। উদাহরণস্বরূপ, যদি আমাদের কাছে ইতিমধ্যে মাতাল টেবিল থাকে তবে আমাদের এটি আবার তৈরি করার দরকার হবে না। এই পরিস্থিতিতে, আমরা টেবিলটি ইতিমধ্যে বিদ্যমান থাকলে তৈরি টেবিল পদক্ষেপগুলি না চালানোর জন্য একটি সিদ্ধান্ত ট্যাগ যুক্ত করতে পারি। সিদ্ধান্ত নোডের সুইচ কেসের সাথে স্যুইচ ট্যাগ রয়েছে।
জব-ট্র্যাকার, নাম-নোড, স্ক্রিপ্ট এবং পরমের মান সরাসরি পাস করা যেতে পারে। কিন্তু, এটি পরিচালনা করা কঠিন হয়ে পড়ে। এখানেই একটি কনফিগার ফাইল (অর্থাত্। প্রপার্টি ফাইল) আসে।
অ্যাপাচি ওজি টিউটোরিয়াল: ওজি সমন্বয়কারী
আপনি জটিল ওয়ার্কফ্লোগুলির পাশাপাশি ওয়ার্কফ্লোগুলি সময়সূচী করতে পারেন যা নিয়মিত সমন্বয়কারী ব্যবহার করে নিয়মিত নির্ধারিত হয়। ওজি সমন্বয়কারীরা সময়, ডেটা বা ইভেন্টের পূর্বাভাসের ভিত্তিতে ওয়ার্কফ্লো জবগুলিকে ট্রিগার করে। প্রদত্ত শর্তটি সন্তুষ্ট হলে চাকরীর সমন্বয়কের অভ্যন্তরে কর্মপ্রবাহ শুরু হয়।
সমন্বয়কারী কাজের জন্য প্রয়োজনীয় সংজ্ঞাগুলি হ'ল:
- শুরু & বিয়োগ কাজের জন্য ডেটটাইম শুরু করুন।
- শেষ কাজের জন্য বিয়োগের শেষ তারিখের সময়।
- সময় অঞ্চল সমন্বয়কারী অ্যাপ্লিকেশনটির বিয়োগফল টাইমজোন।
- ফ্রিকোয়েন্সি & বিয়োগ কাজগুলি সম্পাদন করার জন্য কয়েক মিনিটের মধ্যে ফ্রিকোয়েন্সি।
নিয়ন্ত্রণ তথ্যের জন্য আরও কয়েকটি বৈশিষ্ট্য উপলব্ধ:
- সময় শেষ & বিয়োগ সর্বনিম্ন সময়, মিনিটের মধ্যে, যার জন্য একটি ক্রিয়া ছাড়ার আগে অতিরিক্ত শর্তাদি পূরণ করার জন্য অপেক্ষা করবে। 0 ইঙ্গিত দেয় যে যদি ক্রম উপাদানকরণের সময় সমস্ত ইনপুট ইভেন্টগুলি সন্তুষ্ট না হয় তবে ক্রিয়াটি তত্ক্ষণাতই সমাপ্ত হবে। -1 কোনও সময়সীমা স্থির করে না, ক্রিয়াটি চিরকাল অপেক্ষা করবে। ডিফল্ট মান -1।
- সম্মতি & বিয়োগ সমান্তরালভাবে চলতে পারে এমন কোনও কাজের সর্বাধিক সংখ্যক ক্রিয়াকলাপ। ডিফল্ট মান 1।
- কার্যকর করা - যদি সমন্বয়কারী কাজের একাধিক উদাহরণ তাদের কার্য সম্পাদনের মানদণ্ডকে সন্তুষ্ট করে থাকে তবে এটি কার্যকর করার আদেশ নির্দিষ্ট করে। এটা হতে পারে:
- ফিফো (ডিফল্ট)
- লাইফো
- LAST_ONLY
আদেশ: oozie কাজ –oozie http: // লোকালহোস্ট: 11000 / oozie -config -run
সমন্বয়কারী কাজ জমা দেওয়ার সময় যদি সংজ্ঞাটিতে ব্যবহৃত একটি কনফিগারেশন সম্পত্তি জব কনফিগারেশনের সাথে সরবরাহ না করা হয় তবে কাজ জমা দেওয়া ব্যর্থ হবে will
অ্যাপাচি ওজি টিউটোরিয়াল: ওজি বান্ডিল
ওজি বান্ডিল সিস্টেমআপনাকে সমন্বয়কারী অ্যাপ্লিকেশনগুলির একটি সেট সংজ্ঞায়িত ও সম্পাদন করতে দেয়, প্রায়শই একটি ডেটা পাইপলাইন বলে। একটি ওজি বান্ডেলে, সমন্বয়কারী অ্যাপ্লিকেশনগুলির মধ্যে সুস্পষ্ট নির্ভরতা নেই। তবে, আপনি একটি সমন্বিত ডেটা অ্যাপ্লিকেশন পাইপলাইন তৈরি করতে সমন্বয়কারী অ্যাপ্লিকেশনগুলির ডেটা নির্ভরতা ব্যবহার করতে পারেন।আপনি শুরু করতে / থামাতে / স্থগিত / পুনরায় শুরু / বান্ডেলটি পুনরায় চালু করতে পারেন। এটি একটি আরও ভাল এবং সহজ অপারেশনাল নিয়ন্ত্রণ দেয়।
অ্যারে পিএইচপি মধ্যে বস্তু পরিণত
কিক অফ-টাইম & বিয়োগ সময় যখন একটি বান্ডিল সমন্বয়কারী অ্যাপ্লিকেশন শুরু এবং জমা দেওয়া উচিত।
এই অ্যাপাচি ওজি টিউটোরিয়ালটিতে অগ্রসর হওয়া, আমরা কীভাবে ওয়ার্কফ্লো জব তৈরি করবেন তা বুঝব।
অ্যাপাচি ওজি টিউটোরিয়াল: ওয়ার্ড কাউন্ট ওয়ার্কফ্লো জব
এই উদাহরণে, আমরা অ্যাপাচি ওওজি ব্যবহার করে একটি ওয়ার্ড কাউন্ট জব এক্সিকিউট করতে যাচ্ছি। এখানে আমরা কীভাবে মানচিত্রের শব্দ গণনা প্রোগ্রাম লিখতে হবে তা নিয়ে আলোচনা করব না। সুতরাং, এই অ্যাপাচি ওজি টিউটোরিয়ালটি অনুসরণ করার আগে আপনাকে এটি ডাউনলোড করতে হবে শব্দ গণনা জার ফাইল। এখন, একটি ওয়ার্ডকাউন্টস্টেস্ট ডিরেক্টরি তৈরি করুন যেখানে আমরা সমস্ত ফাইল রাখব। নীচের চিত্রগুলিতে দেখানো হিসাবে আমরা একটি শালীন ডিরেক্টরি তৈরি করব যেখানে শব্দ গণনা জারটি রাখব।
এখন, এগিয়ে যান এবং তৈরি করুন জব.প্রপ্রেটিস & workflow.xml ফাইল, যেখানে আমরা এর সাথে যুক্ত কাজ এবং পরামিতি নির্দিষ্ট করব।
জব.প্রপ্রেটিস
প্রথমত, আমরা একটি তৈরি করছি জব.প্রপ্রেটিস ফাইল, যেখানে আমরা নাম নোড এবং রিসোর্স ম্যানেজারের পথটি নির্ধারণ করছি। ওয়ার্কফ্লো ডিরেক্টরি ডিরেক্টরিটি সমাধানের জন্য নেমনোড পাথ প্রয়োজন এবং জব ট্র্যাকার পথটি YARN এ কাজ জমা দেওয়ার ক্ষেত্রে সহায়তা করবে। আমাদেরকে পথ সরবরাহ করতে হবে workflow.xml ফাইল, যা এইচডিএফএসে সংরক্ষণ করা উচিত।
workflow.xml
এর পরে, আমাদের এটি তৈরি করতে হবে workflow.xml ফাইল, যেখানে আমরা আমাদের সমস্ত ক্রিয়া সংজ্ঞায়িত করব এবং তাদের সম্পাদন করব। প্রথমত, আমাদের ওয়ার্কফ্লো-অ্যাপ্লিকেশন নামটি নির্দিষ্ট করতে হবে অর্থাৎ। ওয়ার্কফ্লোআরনারটেষ্ট । তারপরে, আমরা উল্লেখ করছি নোড শুরু করুন । শুরু নোড ( ভিতরে দ্য শুরু ট্যাগ ) একটি ওয়ার্কফ্লো কাজের জন্য প্রবেশের পয়েন্ট। এটি প্রথম কর্মপ্রবাহ নোডের দিকে নির্দেশ করে যেখানে কাজ শুরু করা উচিত। আপনি নীচের চিত্রটিতে দেখতে পাচ্ছেন, পরবর্তী নোডটি ছেদ 0 যেখান থেকে কাজ শুরু হবে।
এর পরে, আমরা অ্যাকশন নোডে, সম্পাদন করা টাস্কটি নির্দিষ্ট করছি। আমরা এখানে একটি মানচিত্রের ওয়ার্ডকাউন্ট কার্য সম্পাদন করছি। এই মানচিত্রের কাজটি সম্পাদনের জন্য আমাদের প্রয়োজনীয় কনফিগারেশন নির্দিষ্ট করতে হবে। আমরা কাজের ট্র্যাকার এবং নেম নোড ঠিকানাটি সংজ্ঞায়িত করছি।
এর পরে প্রস্তুত উপাদানটি রয়েছে, যা ক্রিয়াটি কার্যকর করার আগে ডিরেক্টরি পরিষ্কার করার জন্য একচেটিয়াভাবে ব্যবহৃত হয়। এখানে আমরা মুছে ফেলার জন্য এইচডিএফএসে মুছুন অপারেশন করছি আউট 1 যদি এটি ইতিমধ্যে তৈরি হয় ফোল্ডার। কাজটি চালানোর আগে একটি ফোল্ডার তৈরি বা মুছতে তৈরি ট্যাগ ব্যবহার করা হয়। তারপরে আমরা মানচিত্রের বৈশিষ্ট্যগুলি যেমন কাজের সারি নাম, ম্যাপার ক্লাস, রিডুসার শ্রেণি, আউটপুট কী শ্রেণি এবং আউটপুট মান শ্রেণি উল্লেখ করছি।
সর্বশেষ মানচিত্রের টাস্ক কনফিগারেশন হ'ল এইচডিএফএসের ইনপুট এবং আউটপুট ডিরেক্টরি। ইনপুট ডিরেক্টরিটি হ'ল তথ্য ডিরেক্টরি, যা নেমনোডের মূল পথে সঞ্চিত রয়েছে । কাজটি ব্যর্থ হলে শেষ পর্যন্ত আমরা হত্যার উপাদানটি নির্দিষ্ট করব।
এখন আমাদের সরানো দরকার ওয়ার্ডকাউন্টটেষ্ট এইচডিএফএসে ফোল্ডার, যেমন আমরা নির্দিষ্ট করেছি oozie.wf.application.path সম্পত্তি মধ্যে জব.প্রপ্রেটিস ফাইল। সুতরাং, আমরা কপি করছি ওয়ার্ডকাউন্টটেষ্ট হডোপ রুট ডিরেক্টরিতে ফোল্ডার।
আদেশ: হ্যাডোপ এফএস -প্রেড ওয়ার্ডকাউন্ট টেস্ট /
যাচাই করতে, আপনি নেমনোড ওয়েব ইউআইতে গিয়ে ফোল্ডারটি এইচডিএফএস রুট ডিরেক্টরিতে আপলোড হয়েছে কিনা তা পরীক্ষা করতে পারেন।
এখন, আমরা সবাই এগিয়ে যাওয়ার এবং ওয়ার্কফ্লো কাজটি কার্যকর করতে প্রস্তুত are
আদেশ: oozie কাজ –oozie http: // লোকালহোস্ট: 11000 / oozie -config জব.প্রপ্রেটিস -আর
একবার আমরা আমাদের কাজটি সম্পাদন করে নিলে আমরা কাজের আইডি পেয়ে যাব (উদাঃ 0000009-171219160449620-oozie-edur-W ) উপরের চিত্র হিসাবে প্রদর্শিত। ওজি ওয়েব ইউআইতে আপনি যে কাজটি জমা দিয়েছেন তা আপনি গিয়ে পরীক্ষা করতে পারেন i লোকালহোস্ট: 11000 । আপনি নীচের চিত্রটিতে দেখতে পারেন, আমরা যে কাজটি জমা দিয়েছি তা নীচে তালিকাভুক্ত করা হবে।
আপনি যদি উপরের চিত্রটিতে পর্যবেক্ষণ করেন তবে আপনি जॉব আইডি, কাজের নাম, কাজের স্থিতি, যে ব্যবহারকারী চাকরীটি জমা দিয়েছেন, তৈরির সময়, শুরু এবং শেষ পরিবর্তনটি দেখতে পাবেন। আরও বিশদ পেতে আপনি চাকরিতে ক্লিক করতে পারেন:
- কাজের তথ্য
- কাজের সংজ্ঞা
- কাজের কনফিগারেশন
কাজের স্থিতি সফল হওয়ার সাথে সাথে আমাদের এইচডিএফএস রুট ডিরেক্টরিতে যেতে হবে এবং আউটপুট ডিরেক্টরিটি তৈরি করা হয়েছে কিনা তা পরীক্ষা করে দেখতে হবে।
আপনি দেখতে পারেন যে oozieout ডিরেক্টরি এইচডিএফএসে তৈরি করা হয়েছে, সুতরাং এখন তৈরি করা হয়েছে আউটপুট ফাইলটি দেখুন।
যেমন আমরা কীভাবে ওজি ওয়ার্কফ্লো জব তৈরি করবেন তা আমরা দেখেছি, এখন আমরা এই অ্যাপাচি ওজি টিউটোরিয়াল ব্লগে এগিয়ে যাব এবং কীভাবে একটি সমন্বয়কারী কাজ তৈরি করবেন তা বুঝতে পারি।
অ্যাপাচি ওজি টিউটোরিয়াল: সময় ভিত্তিক শব্দ গণনা সমন্বয়কারী কাজ
এই উদাহরণে, আমরা একটি সময় ভিত্তিক শব্দ গণনা সমন্বয়কারী কাজ তৈরি করব যা একটি নির্দিষ্ট সময়ের ব্যবধানের পরে কার্যকর করা হবে। আপনি অ্যাপাচি ওজি ব্যবহার করে একটি কাজ তৈরি এবং সময়সূচী তৈরি করতে পারেন যা প্রতিদিন বা পর্যায়ক্রমে কার্যকর করা দরকার।
আসুন আমরা এই অ্যাপাচি ওজি টিউটোরিয়ালে দ্রুত অগ্রসর হই এবং একটি সমন্বয়কারী কাজ তৈরি করি। এখানে আমরা তিনটি ফাইল তৈরি করব অর্থাৎ। সমন্বয়কারী , সমন্বয়কারী। xml & workflow.xml ফাইল। আবার, আমরা এখানে ডাব্লু রাখব অর্ডকাউন্ট ভিতরে জার lib নীচের ছবিতে প্রদর্শিত ডিরেক্টরি হিসাবে।
এখন আসুন স্বতন্ত্রভাবে এই ফাইলগুলি দেখুন। প্রথমে আমরা সমন্বয়কারী.প্রোপার্টি ফাইল দিয়ে শুরু করব।
এখানে, আমরা ফ্রিকোয়েন্সি নির্দিষ্ট করে দিচ্ছি যেখানে কার্যপ্রবাহ কার্যকর হবে। ফ্রিকোয়েন্সি সর্বদা কয়েক মিনিটে প্রকাশিত হয়। আমাদের ক্ষেত্রে, এই সমন্বয়কারী কাজ নির্দিষ্ট সময়ের মধ্যে প্রতি ঘন্টার মধ্যে একবার কার্যকর করা হবে। ফ্রিকোয়েন্সি পর্যায়ক্রমিক অন্তরগুলিতে ক্যাপচার জন্য ব্যবহৃত হয় যেখানে ডেটা সেটগুলি উত্পাদিত হয় এবং সমন্বয়কারী অ্যাপ্লিকেশনগুলি চালানোর সময় নির্ধারিত হয়।
মিনিট, ঘন্টা, দিন এবং মাসগুলিতে ফ্রিকোয়েন্সি সংজ্ঞায়নের জন্য নিম্নলিখিত ফর্ম্যাটটি ব্যবহার করুন:
| {{স্থানাঙ্ক: মিনিট (int এন)} | এন | $ {সমন্বয়: মিনিট (45)} -> 45 |
| {{সমন্বয়: ঘন্টা (int এন)} | n * 60 | {{সমন্বয়: ঘন্টা (3)} -> 180 |
| {{সমন্বয়: দিন (int এন)} | পরিবর্তনশীল | {{সমন্বয়: দিন (2)} -> বর্তমান তারিখ থেকে 2 পূর্ণ দিনগুলিতে মিনিট |
| {{সমন্বয়: মাস (int এন)} | পরিবর্তনশীল | {{সমন্বয়: মাস (1)} -> বর্তমান তারিখ থেকে পুরো 1 মিনিটে মিনিট |
এরপরে, আমরা উপরের চিত্রটিতে দেখানো হিসাবে কাজের শুরু এবং শেষের সময়টি সংজ্ঞায়িত করছি। সময় শুরু কাজের জন্য শুরু তারিখের সময় & শেষ সময় কাজের শেষ তারিখ।
এরপরে, আমরা নেমনোড এবং রিসোর্সস ম্যানেজার ইউআরএল উল্লেখ করছি, যা এইচডিএফএসে ওয়ার্কফ্লো.এক্সএমএল ফাইলটি উল্লেখ করতে এবং যথাক্রমে YARN এ কাজ জমা দিতে ব্যবহৃত হবে। শেষ অবধি, আমরা ওয়ার্কফ্লো.এক্সএমএল পাথ উল্লেখ করছি, যা আমরা এইচডিএফএসে সঞ্চয় করব। আমরা অ্যাপ্লিকেশনের পথটিও নির্দিষ্ট করব যেখানে সমস্ত ফাইল ও lib ডিরেক্টরি সংরক্ষণ করা হবে।
দ্বিতীয় ফাইলটি সমন্বয়কারী। xml যেখানে আমরা উল্লেখ করেছি যে সমস্ত বৈশিষ্ট্য আমরা ব্যবহার করব সমন্বয়কারী ফাইল। এখন, প্রথমে আমরা সমন্বয়কারী অ্যাপ্লিকেশনটির নাম উল্লেখ করব, যেমন নাম, ফ্রিকোয়েন্সি এবং সময় অঞ্চল। এরপরে, আমরা একে একে ওয়ার্কফ্লোগুলি নির্দিষ্ট করব। এখানে, আমাদের কেবল একটি কর্মপ্রবাহ রয়েছে। সুতরাং, অ্যাকশন উপাদানটির ভিতরে আমরা ওয়ার্কফ্লো উপাদান তৈরি করব, যেখানে আমরা অ্যাপ্লিকেশনের পথটি নির্দিষ্ট করব।
পরবর্তী, এগিয়ে আমাদের তৈরি করতে হবে workflow.xml ফাইলটি যেখানে আমরা কাজটি নির্দিষ্ট করব। এটি অনুরূপ workflow.xml ফাইল, যা আমরা ওয়ার্কফ্লো কাজের মধ্যে তৈরি করেছি।
এখন আবার, আমরা এটি সরানো হবে ওয়ার্ডকাউন্টটিস্ট_মাইজড বেসড এইচডিএফএস-এ ডিরেক্টরি।
কমান্ড : হ্যাডোপ এফএস -পুট ওয়ার্ডকাউন্টটেষ্ট_টাইম বেস /
এখন, আমরা সবাই এই ওওজি টিউটোরিয়ালে এই সমন্বয়কারী কাজটি এগিয়ে নিয়ে যেতে এবং কার্যকর করার জন্য প্রস্তুত আছি। আসুন এগিয়ে যান এবং এটি সম্পাদন করা যাক।
কমান্ড : oozie কাজ –oozie http: // লোকালহোস্ট: 11000 / oozie -config সমন্বয়কারী.প্রোপার্টি -আর
এই সমন্বয়কারী কাজের আইডি নোট করুন (উদাঃ 0000010-171219160449620-oozie-edur-C)। এটি আপনাকে ওজি ওয়েব ইউআই-তে আপনার কাজ সন্ধান করতে সহায়তা করবে।
ওওজি ওয়েব ইউআই-তে আপনার সমন্বয়কারী চাকরীর ট্যাবে আপনি নীচে তালিকাভুক্ত কাজটি দেখতে পাচ্ছেন। ওয়ার্কফ্লো কাজের মতোই আমাদের নাম, স্থিতি, ব্যবহারকারী, ফ্রিকোয়েন্সি, কাজের শুরু এবং শেষ সময় রয়েছে। আপনি যখন একটি নির্দিষ্ট কাজের উপর ক্লিক করবেন, আপনি নীচের চিত্রগুলিতে দেখানো হিসাবে কাজের বিবরণ দেখতে পাবেন।
- সমন্বয়কারী কাজের তথ্য
- সমন্বয়কারী জব সংজ্ঞা
- সমন্বয়কারী জব কনফিগারেশন
এখন, আমরা বিভিন্ন ট্যাব মাধ্যমে দেখেছি। আমরা এইচডিএফএস মূল ডিরেক্টরিতে ফিরে যাব যেখানে আউটপুট ফোল্ডার তৈরি হবে। আপনি নীচের ছবিতে দেখতে পারেন, #ZieTimeBasedout ডিরেক্টরিটি তৈরি করা হয়েছে, যেমন আমরা উল্লেখ করেছি workflow.xml ফাইল।
এখন, তৈরি করা হয়েছে আউটপুট ফাইলটি একবার দেখে নেওয়া যাক।
আমি আশা করি আপনি এটি অ্যাপাচি ওজি টিউটোরিয়াল ব্লগটি তথ্যপূর্ণ পেয়েছেন। আপনি যদি আরও জানতে আগ্রহী হন তবে আপনি এটির মাধ্যমে যেতে পারেন যা আপনাকে বিগ ডেটা এবং হ্যাডুপ কীভাবে বিগ ডেটা সম্পর্কিত চ্যালেঞ্জগুলি সমাধান করছে সে সম্পর্কে আপনাকে জানায়।
এখন আপনি অ্যাপাচি ওজি বুঝতে পেরেছেন, দেখুন check বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুুপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।
আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।