সাম্প্রতিক সময়ে বড় ডেটা সত্যই যথেষ্ট পরিমাণে হাইপ হয়েছে, যাতে দক্ষ পেশাদাররা এটির জ্ঞান নিয়ে আসে। আপনার প্রাথমিক দক্ষতা ব্যবহার না করা এবং গ্রাউন্ড শূন্য থেকে শুরু করা সবসময় সহজ কাজ নয়। তবে, আপনার বর্গক্ষেত্রের কাটগুলি ব্যবহার করা এবং বাউন্সারদের সাথে মানিয়ে নেওয়া আপনার জন্য বিস্ময়কর কাজ করবে। বিঙ্গো, আমরা ইটিএল প্রযুক্তি ব্যবহার করে বিগ ডেটা শিখার কথা বলছি।
ETL বিকাশকারীরা যারা ডেটা ট্রান্সফর্মেশন ওয়ার্কফ্লো ডিজাইন করেন তারা খুব ভাল সরঞ্জাম ব্যবহার করতে পারেন এবং ওয়ার্কফ্লোগুলি হ্যাডোপ জবগুলিতে অনুবাদ করতে পারেন। হ্যাডোপ একটি ওপেন সোর্স ফ্রেমওয়ার্ক যা ম্যাপ্রেডস প্রোগ্রাম ব্যবহার করে বিগডাটা প্রক্রিয়াজাতকরণের জন্য ব্যাপকভাবে ব্যবহৃত হয় (এটি হ্যান্ডোপের উপর বৃহত পরিমাণে ডেটা প্রক্রিয়া করতে সহায়তা করে এমন আরও একটি ওপেন সোর্স প্রযুক্তি)। বেশিরভাগ সময়, বিগ ডেটাতে দক্ষ সংস্থানগুলি খুঁজে পাওয়া চ্যালেঞ্জ হতে পারে।
যদি কোনও ইটিএল বিকাশকারীকে সেই আইপি ঠিকানাগুলি সন্ধান করতে হয় যা ব্যাঙ্কের ওয়েবসাইটে এক মিলিয়নেরও বেশি অনুরোধ করেছে, তবে তাকে একটি মানচিত্রের কাজ লিখতে হবে যা হ্যাডোপে সংরক্ষিত ওয়েব-লগ ডেটা প্রক্রিয়া করে write । তবে, ইটিএল প্রযুক্তির অগ্রগতির সাথে সাথে একজন চাকরির বিকাশকারী একটি ইটিএল প্রবাহ তৈরি করতে স্ট্যান্ডার্ড ইটিএল ডিজাইন সরঞ্জাম ব্যবহার করতে পারে যা হ্যাডোপ (ফাইলস, মধু, এইচবিজে) এর একাধিক উত্স থেকে ডেটা পড়তে, যোগ করতে, সমষ্টি, ফিল্টার করতে এবং ডেটা রূপান্তর করতে পারে আইপি ঠিকানাগুলিতে প্রশ্নের উত্তর খুঁজে পেতে।
টেল্যান্ডগুলি হ'ল গ্রাফিকাল ইউজার ইন্টারফেস সরঞ্জাম যা কোনও ইপিএল জবকে একটি মানচিত্রে চাকরিতে 'অনুবাদ' করতে যথেষ্ট সক্ষম। সুতরাং, টেলেন্ডস ইটিএল কাজটি হ্যাডোপের একটি মানচিত্রের কাজ হিসাবে কার্যকর হয়েছিল এবং কয়েক মিনিটের মধ্যে বড় ডেটা কাজ শেষ করে। এটি একটি মূল উদ্ভাবন যা বিগ ডেটা প্রযুক্তিতে প্রবেশের বাধা হ্রাস করতে সহায়তা করে এবং ইটিএল চাকরি বিকাশকারীদের (নতুন এবং অগ্রণী) আরও বেশি পরিমাণে ডেটা ওয়্যারহাউস অফলোডিং চালানোর অনুমতি দেয়।
চারপাশে ট্যালেন্ডারে বিগ ডেটা সিটির জীবন অনেক সহজ
হ্যাডোপ অ্যাপ্লিকেশনগুলির শীর্ষের উপরে একটি গ্রাফিকাল অ্যাবস্ট্রাকশন স্তর - এটি বিগ ডেটা বিশ্বে জীবনকে এত সহজ করে তোলে।
টেল্যান্ড কী বলবে: 'ওপেন সোর্স ডেটা ইন্টিগ্রেশনে একজন উদ্ভাবক এবং নেতা হিসাবে আমাদের ইতিহাসের সাথে তাল মিলিয়ে, টেল্যান্ড প্রথম সক্ষম যিনি খাঁটি ওপেন সোর্স সমাধানটি সক্ষম করার জন্য সরবরাহ করেছেন বড় ডেটা ইন্টিগ্রেশন । শক্তিশালী হ্যাডোপ অ্যাপ্লিকেশনগুলির শীর্ষে গ্রাফিকাল বিকাশ পরিবেশ ব্যবহারের জন্য সহজ স্তর রেখে বড় ডেটার জন্য ট্যালেন্ডার ওপেন স্টুডিও তৈরি করে বড় ডেটা ম্যানেজমেন্ট আগের তুলনায় আরও সংস্থাগুলি এবং আরও বিকাশকারীদের অ্যাক্সেসযোগ্য।
এর গ্রহপ-ভিত্তিক গ্রাফিকাল ওয়ার্কস্পেসের সাহায্যে, বড় ডেটার জন্য ট্যালেন্ডার ওপেন স্টুডিও বিকাশকারী এবং ডেটা বিজ্ঞানীকে এইচডিএফএস, এইচবেস, হাইভ এবং পিগের মতো হ্যাডোপ লোডিং এবং প্রসেসিং প্রযুক্তি যেমন লাভবান করতে পারে তেমন লাভ করতে সক্ষম করে হ্যাডোপ অ্যাপ্লিকেশন কোড প্যালেট থেকে কেবল গ্রাফিকাল উপাদানগুলি নির্বাচন করে সেগুলি সাজানো ও কনফিগার করে আপনি হ্যাডোপ কাজ তৈরি করতে পারেন। উদাহরণ স্বরূপ:
- এইচডিএফএসে ডেটা লোড করুন (হ্যাডোপ বিতরণকারী ফাইল সিস্টেম)
- ব্যবহার হাদুপ পিগ এইচডিএফএসে ডেটা রূপান্তর করতে
- এটিতে ডেটা লোড করুন হাদুপ হাইভ ভিত্তিক তথ্য গুদাম
- হিভে ইএলটি (এক্সট্র্যাক্ট, লোড, ট্রান্সফর্ম) সমষ্টিগুলি সম্পাদন করুন
- উত্তোলন স্কুওপ রিলেশনাল ডাটাবেস এবং হাদুপ একীভূত করতে
হ্যাডোপ অ্যাপ্লিকেশনস, টেলেন্ড ব্যবহার করে কয়েক মিনিটের মধ্যে নির্বিঘ্নে সংহত করা।
হাদুপ অ্যাপ্লিকেশনগুলি সত্যই আপনার সংস্থায় অ্যাক্সেসযোগ্য হওয়ার জন্য, আপনার সামগ্রিক ডেটা প্রবাহগুলিতে তাদের মসৃণভাবে সংহত করা দরকার। বড় ডেটার জন্য ক্যালেন্ডার ওপেন স্টুডিও আপনার বিস্তৃত ডেটা আর্কিটেকচারে হ্যাডোপ অ্যাপ্লিকেশনগুলিকে সংহত করার জন্য আদর্শ সরঞ্জাম tool টেল্যান্ডগুলি অন্য যে কোনও ডেটা ইন্টিগ্রেশন সলিউশন উপলভ্য, এর চেয়ে আরও বেশি বিল্ট-ইন সংযোগকারী উপাদান সরবরাহ করে 800 সংযোগকারী যা কোনও বড় ফাইল ফর্ম্যাট, ডাটাবেস, বা প্যাকেজযুক্ত এন্টারপ্রাইজ অ্যাপ্লিকেশন থেকে পড়তে বা লিখতে সহজ করে। উদাহরণস্বরূপ, বিগ ডেটার জন্য টেলেন্ডার ওপেন স্টুডিওতে, আপনি ডেগ্রি ইন্টিগ্রেশন ফ্লোগুলি তৈরি করতে ড্রেগের এন ড্রপ কনফিগারযোগ্য উপাদানগুলি ব্যবহার করতে পারেন যা ডেটিমিট লগ ফাইলগুলি থেকে হ্যাডোপ হাইভের মধ্যে ডেটা সরিয়ে নিয়ে যায়, হাইভে ক্রিয়াকলাপ চালায় এবং মাইএসকিউএল ডেটাবেসে হিভ থেকে ডেটা উত্তোলন করতে পারে (বা ওরাকল, সিবাস, এসকিউএল সার্ভার এবং আরও কিছু)।
হ্যাডোপ অ্যাপ্লিকেশনগুলির সাথে কাটিংয়ের কাজটি কত সহজ হতে পারে তা দেখতে চান?
অপেক্ষা করার দরকার নেই - বড় ডেটার জন্য ট্যালেন্ডার ওপেন স্টুডিও একটি ওপেন সোর্স সফ্টওয়্যার, ডাউনলোডের জন্য নিখরচায় এবং অ্যাপাচি লাইসেন্সের আওতায় ব্যবহার করা হয়।
টাউন ইন টক
পঞ্জিকা হয়েছে aডেটা ইন্টিগ্রেশন সরঞ্জামগুলির জন্য ম্যাজিক কোয়াড্রেন্টে ভিশনারি২০০৯ সাল থেকে সম্প্রতি একটি দুর্দান্ত বিগ ডাটা থালা রান্না করার জন্য তারা ডেটা কোয়ালিটি এবং এমডিএম অঞ্চলে অগ্রগামী হিসাবে পাশাপাশি সমস্ত উপাদান হিসাবে আত্মপ্রকাশ করেছে।
তাদের দাবি যে: 'বিগ ডেটা ইন্টিগ্রেশন আপনার সংস্থার পারফরম্যান্স এবং স্কেলাবিলিটি 45 শতাংশ বৃদ্ধি করে'।
কেবল টেলেন্ড 5.5 (এবং উচ্চতর) বিকাশকারীদের ম্যাপ্রেডুস বা পিগের বিশেষজ্ঞ হওয়ার প্রয়োজন ছাড়াই উচ্চ কার্যকারিতা হাদোপ কোড তৈরি করতে দেয়।
কয়েক মাস আগে, টেল্যান্ডের একটি নিবন্ধে বলা হয়েছিল: 'হাদোপকে দত্তক নেওয়া আকাশচুম্বী এবং বড় এবং ছোট সংস্থাগুলি এই বর্ধমান চাহিদা মেটাতে পর্যাপ্ত জ্ঞানী হাদোপ বিকাশকারীদের সন্ধান করার জন্য লড়াই করছে।' শুধুমাত্র টেল্যান্ড 5.5 কোনও ডেটা ইন্টিগ্রেশন বিকাশকারীকে ভিজ্যুয়াল বিকাশ পরিবেশ ব্যবহারের জন্য স্থানীয়, উচ্চ কার্যকারিতা এবং অত্যন্ত স্কেলযোগ্য হ্যাডোপ কোড তৈরি করতে দেয়। এটি উন্নত সংস্থানগুলির একটি বৃহত পুলটি আনলক করে যা এখন বড় ডেটা প্রকল্পগুলিতে অবদান রাখতে পারে। তদুপরি, ট্যালেন্ডারগুলি হ্যাডোপে নতুন বিকাশের সূচনাপ্রান্তে অবস্থান করছে যা বড় ডেটা বিশ্লেষণ প্রকল্পগুলিকে রিয়েল-টাইম গ্রাহকের মিথস্ক্রিয়াকে শক্তিশালী করতে দেয়।
বিগ ডেটার জন্য ক্যালেন্ডারগুলি বিজাতীয় উত্স সিস্টেমগুলি - যেমন তৃতীয় পক্ষ, এপিআই এবং সোশ্যাল নেটওয়ার্কিং ফিডগুলি থেকে ডেটাসেট সংগ্রহ করে এবং সেই ডেটাটিকে শেষ থেকে শেষের গ্রাহক ভ্রমণের ভিজ্যুয়াল ছবিতে রূপান্তর করে সংস্থাগুলি বুঝতে সহায়তা করতে পারে।
ব্যাংকিং ইন্ডাস্ট্রি, ফার্মাসিউটিক্যালস, ই-বাণিজ্য, বীমা - ট্যালেন্ডার হ্যাডোপকে বর্তমান এবং ভবিষ্যতের চাহিদা মেটাতে সবচেয়ে আধুনিক প্রযুক্তি হিসাবে প্রমাণিত একটি সহজ মিশ্রণের সাথে যে কোনও স্কেলে ডেটা সংহত করতে পারে।
সি ++ এ ফাংশন ওভারলোডিং
বিশ্বজুড়ে কেসগুলি ব্যবহার করুন
ব্যাংকিং শিল্পে গ্রাহক পরিষেবা থেকে বিপণন প্রচার শুরু করে জালিয়াতি সনাক্তকরণ, বড় ডেটা সর্বত্র।
তাদের ওপেন সোর্স সংস্করণে 800+ এরও বেশি সংযোজক থাকার কারণে এটি যে কোনও কিছুর সাথে সংযোগ স্থাপনের জন্য সবচেয়ে বড় সমর্থিত প্ল্যাটফর্ম বলে দাবি করে এবং সবকিছু আনতে পারে।
পরিবর্তিত প্যাটার্নের সাথে এবং নোএসকিউএল, ওপেন সোর্স, হ্যাডোপের দিকে সংযুক্ত হয়ে, টেলেন্ড ব্যবহার করে বিগ ডেটা এবং ইটিএল স্টাইল শেখার পছন্দ যে কোনও ফর্ম এবং যে কোনও সময় ডেটা নিয়ে কাজ করে এমন যে কোনও ব্যক্তির পক্ষে সবচেয়ে যুক্তিযুক্ত সিদ্ধান্ত হবে।
সংক্ষেপে, ETL সরঞ্জামগুলি পাস করা থেকে দূরে é এগুলি বিগ ডেটা ইকোসিস্টেমের কেন্দ্রীয় এবং ডেটা অ্যানালিটিকাগুলি সক্ষম করার ক্ষেত্রে গুরুত্বপূর্ণ ভূমিকা পালন করে।
এ কারণেই টেল্যান্ডগুলি 'জিনো বিগ ডেটাতে কোডিং ছাড়াই, 10 মিনিটের মধ্যে' বলে উজ্জ্বল করে।
আমাদের জন্য একটি প্রশ্ন আছে? তাদের মন্তব্য বিভাগে উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।
সম্পর্কিত পোস্ট: