এইচকিউএল-এর উদাহরণ সহ শীর্ষস্থানীয় হাইভ কমান্ড

এই ব্লগ পোস্টে, উদাহরণগুলির সাথে শীর্ষ হাইভ কমান্ডগুলি নিয়ে আলোচনা করা যাক। এই Hive কমান্ডগুলির ভিত্তি স্থাপনের জন্য খুব গুরুত্বপূর্ণ ।

মধু কি?

অ্যাপাচি হিভ একটি ডেটা গুদাম সিস্টেম যা হাদুপে কাজ করার জন্য নির্মিত। এটি বিতরণকৃত স্টোরেজে থাকা বড় ডেটাসেটগুলি অনুসন্ধান এবং পরিচালনা করতে ব্যবহৃত হয়। অ্যাপাচি হাদুপের ওপেন সোর্স প্রকল্পে পরিণত হওয়ার আগে ফেসবুকে হাইভের উদ্ভব হয়েছিল। এটি হ্যাডোপের ডেটাগুলিতে কাঠামো প্রজেক্ট করার জন্য এবং হিভকিউএল (এইচকিউএল) নামক এসকিউএল-জাতীয় ভাষা ব্যবহার করে সেই ডেটাটি অনুসন্ধান করার জন্য একটি প্রক্রিয়া সরবরাহ করে।

মধুচোষ ব্যবহার করা হয় কারণ হিভে টেবিলগুলি একটি সম্পর্কিত ডেটাবেসের টেবিলের সমান। আপনি যদি এসকিউএল এর সাথে পরিচিত হন তবে এটি একটি কেকওয়াক। অনেক ব্যবহারকারী একযোগে Hive-QL ব্যবহার করে ডেটাটি জিজ্ঞাসা করতে পারেন।

এইচকিউএল কি?

হাইভ হাইভ-কিউএল (এইচকিউএল) নামে বড় ডেটাসেটগুলি অনুসন্ধান এবং পরিচালনা করার জন্য একটি সাধারণ এসকিউএল-এর মতো কোয়েরি ভাষার সংজ্ঞা দেয়। আপনি এসকিউএল ভাষার সাথে পরিচিত হলে এটি ব্যবহার করা সহজ। এইচআইভি ভাষার সাথে পরিচিত প্রোগ্রামারগুলিকে কাস্টম ম্যাপ্রেডস ফ্রেমওয়ার্কটি আরও পরিশীলিত বিশ্লেষণ করার জন্য অনুমতি দেয়।

মুরগির ব্যবহার:

1. অ্যাপাচি হাইভ স্টোরেজ বিতরণ।

২. হাইভ সহজেই ডেটা এক্সট্র্যাক্ট / ট্রান্সফর্ম / লোড (ইটিএল) সক্ষম করার জন্য সরঞ্জাম সরবরাহ করে

জাভা মধ্যে একটি সম্পর্ক

৩. এটি বিভিন্ন ডেটা ফর্ম্যাটের কাঠামো সরবরাহ করে।

৪. হাইভ ব্যবহার করে, আমরা হ্যাডোপ ডিস্ট্রিবিউটেড ফাইল সিস্টেমে সংরক্ষিত ফাইলগুলিতে অ্যাক্সেস করতে পারি (এইচডিএফএসে থাকা বড় ডেটাসেটগুলি অনুসন্ধান এবং পরিচালনা করতে ব্যবহৃত হয়) বা অন্য ডেটা স্টোরেজ সিস্টেমে যেমন অ্যাপাচি এইচবিএস।

মধুর সীমাবদ্ধতা:

& বুলি এইচআইভি অনলাইন লেনদেন প্রক্রিয়াজাতকরণ (ওলটিপি) এর জন্য ডিজাইন করা হয়নি, এটি কেবল অনলাইন অ্যানালিটিকাল প্রসেসিংয়ের জন্য ব্যবহৃত হয়।

& বুল Hive তথ্য ওভাররাইটিং বা ক্যাপচারিং সমর্থন করে, তবে আপডেট এবং মুছে ফেলা হয় না।

& বুলি হিভে, সাব-কোয়েরিগুলি সমর্থন করে না।

মুরগীর বাচ্চা কেন পিগ হিসাবে ব্যবহার করা হয়?

পিগের সহজলভ্যতা সত্ত্বেও এইচআইভি ব্যবহারের জন্য নিম্নলিখিত কারণগুলি রয়েছে:

• Hive-QL একটি ঘোষিত ভাষা লাইন এসকিউএল, পিগল্যাটিন একটি তথ্য প্রবাহের ভাষা।
• পিগ: খুব বড় ডেটাসেটগুলি অন্বেষণের জন্য একটি ডেটা-প্রবাহের ভাষা এবং পরিবেশ।
• Hive: একটি বিতরণ ডেটা গুদাম

মৌচাকের উপাদান:

মেটাস্টোর:

হাইভ মাইভ মেটাস্টোরে হাইভ টেবিলগুলির স্কিমা সংরক্ষণ করে। গুদামে থাকা টেবিল এবং পার্টিশন সম্পর্কিত সমস্ত তথ্য রাখার জন্য মেটাস্টোর ব্যবহার করা হয়। ডিফল্টরূপে, মেটাস্টোর হুই পরিষেবা হিসাবে একই প্রক্রিয়াতে চালিত হয় এবং ডিফল্ট মেটাস্টোর হ'ল ডার্বাই ডেটাবেস।

সেরডি:

সিরিয়ালাইজার, ডিসরিযালার রেকর্ডটি কীভাবে প্রক্রিয়াকরণ করবেন সে সম্পর্কে মধুচক্রের নির্দেশনা দেয়।

মৌচাকী আদেশ:

ডেটা সংজ্ঞা ভাষা (ডিডিএল)

ডিডিএল স্টেটমেন্টগুলি ডাটাবেসে সারণী এবং অন্যান্য অবজেক্ট তৈরি এবং সংশোধন করতে ব্যবহৃত হয়।

কমান্ড sudo Hive দিয়ে Hive শেল এ যান এবং কমান্ডটি প্রবেশ করুন 'সৃষ্টি তথ্যশালা নাম> ’ মাইনে নতুন ডাটাবেস তৈরি করতে।

Hive গুদামে ডাটাবেসগুলি তালিকাভুক্ত করতে, কমান্ডটি প্রবেশ করুন ' ডাটাবেসগুলি দেখান ’।

ডেটাবেস এইচআইভি গুদামের একটি ডিফল্ট অবস্থান তৈরি করে। ক্লৌডেরায়, একজন / ব্যবহারকারী / মধুশিল্প / গুদামে মধুজীবের ডাটাবেস স্টোর।

ডাটাবেস ব্যবহার করার কমান্ডটি হ'ল ব্যবহার করুন

লোকাল কমান্ড থেকে অনুলিপিটি ব্যবহার করে স্থানীয় থেকে এইচডিএফএসে ইনপুট ডেটা অনুলিপি করুন।

যখন আমরা মাতালিতে একটি টেবিল তৈরি করি, তখন এটি মধুশিল্পের গুদামের ডিফল্ট অবস্থানে তৈরি করে। - '/ ব্যবহারকারীর / মধুশিল্প / গুদাম', সারণী তৈরির পরে আমরা এইচডিএফএস থেকে ডেটা মুরগির টেবিলের দিকে নিয়ে যেতে পারি।

নিম্নলিখিত কমান্ডটি '/user/hive/warehouse/retail.db' এর অবস্থান সহ একটি সারণী তৈরি করে

বিঃদ্রঃ : রিয়েল.ডিবি হ'ল হুইভ গুদামে তৈরি ডাটাবেস।

বর্ণনা করুন সারণীর স্কিমা সম্পর্কে তথ্য সরবরাহ করে।

ডেটা ম্যানিপুলেশন ল্যাঙ্গুয়েজ (ডিএমএল)

ডিএমএল স্টেটমেন্টগুলি ডেটাবেজে ডেটা পুনরুদ্ধার, সঞ্চয়, সংশোধন, মুছা, সন্নিবেশ এবং আপডেট করতে ব্যবহৃত হয়।

উদাহরণ:

লোড, INSERT বিবৃতি।

বাক্য গঠন :

টেবিলের মধ্যে লোড ডেটা ইনপথ [টেবিলের নাম]

লোড ক্রিয়াকলাপটি ডেটা সংশ্লিষ্ট হাইভ টেবিলের মধ্যে সরাতে ব্যবহৃত হয়। কীওয়ার্ড হলে স্থানীয় নির্দিষ্ট করা হয়, তারপরে লোড কমান্ডে স্থানীয় ফাইল সিস্টেমের পথ দেয়। স্থানীয় কীওয়ার্ডটি নির্দিষ্ট না করা থাকলে আমাদের ফাইলের এইচডিএফএস পথ ব্যবহার করতে হবে।

LOAD ডেটা LOCAL কমান্ডের জন্য এখানে কয়েকটি উদাহরণ রয়েছে

সি ++ একটি নামস্থান কী

হাইভ টেবিলটিতে ডেটা লোড করার পরে আমরা ডেটা ম্যানিপুলেশন স্টেটমেন্টগুলি প্রয়োগ করতে পারি বা সামগ্রিক ফাংশনগুলি ডেটা পুনরুদ্ধার করতে পারি।

রেকর্ড সংখ্যা গণনা উদাহরণ:

গণনা সামগ্রিক কার্য একটি সারণীতে রেকর্ডের মোট সংখ্যা গণনা করা হয়।

‘বাহ্যিক তৈরি’ সারণী:

দ্য বাহ্যিক তৈরি কীওয়ার্ডটি একটি সারণী তৈরি করতে ব্যবহৃত হয় এবং একটি অবস্থান সরবরাহ করে যেখানে টেবিলটি তৈরি করবে, যাতে এইচটিভ এই টেবিলের জন্য কোনও ডিফল্ট অবস্থান ব্যবহার না করে। একটি বাহ্যিক সারণী ডিফল্ট স্টোরেজের পরিবর্তে কোনও স্টোরের জন্য এইচডিএফএসের অবস্থানের দিকে নির্দেশ করে।

সন্নিবেশ কমান্ড:

দ্য .োকান কমান্ডটি ডেটা হাইভ টেবিল লোড করতে ব্যবহৃত হয়। সারণি বা একটি বিভাজনে সন্নিবেশ করা যেতে পারে।

& bull INSERT OVERWRITE টেবিল বা পার্টিশনে বিদ্যমান ডেটা ওভাররাইট করতে ব্যবহৃত হয়।

& বুল INSERT INTO কোনও সারণীতে বিদ্যমান ডেটাতে ডেটা যুক্ত করতে ব্যবহৃত হয়। (দ্রষ্টব্য: INSERT INTO সিনট্যাক্সটি 0.8 সংস্করণ থেকে কাজ করছে)

‘পার্টিশন বাই বাই’ এবং ‘ক্লাস্টার্ড বাই’ কমান্ডের উদাহরণ:

‘পার্টিশন করে ‘টেবিলটিকে পার্টিশনে বিভক্ত করার জন্য ব্যবহৃত হয় এবং ব্যবহার করে বালতিতে ভাগ করা যায়‘ ক্লাস্টার্ড দ্বারা ‘আদেশ।

যখন আমরা ডেভ হাইভ নিক্ষেপ করার ত্রুটিগুলি সন্নিবেশ করি তখন গতিশীল পার্টিশন মোডটি কঠোর এবং গতিশীল পার্টিশন সক্ষম হয় না (দ্বারা) জেফ at পোষাক ওয়েবসাইট )। সুতরাং আমাদের নীচের পরামিতিগুলি হাইভ শেলের মধ্যে সেট করা দরকার।

hive.exec.dynamic.partition = সত্য সেট করুন

গতিশীল পার্টিশন সক্ষম করতে, ডিফল্টরূপে এটি মিথ্যা

hive.exec.dynamic.partition.mode = অস্ট্রিক্ট সেট করুন

পার্টিশনটি বিভাগ দ্বারা করা হয় এবং ‘ক্লাস্টার বাই’ কমান্ডটি ব্যবহার করে বালতিগুলিতে ভাগ করা যায়।

‘ড্রপ টেবিল’ বিবৃতিটি কোনও টেবিলের জন্য ডেটা এবং মেটাডেটা মুছে দেয়। বাহ্যিক সারণীর ক্ষেত্রে কেবল মেটাডেটা মোছা হয়।

‘ড্রপ টেবিল’ বিবৃতিটি কোনও টেবিলের জন্য ডেটা এবং মেটাডেটা মুছে দেয়। বাহ্যিক সারণীর ক্ষেত্রে কেবল মেটাডেটা মোছা হয়।

স্থানীয় তথ্য ইনপথ ‘aru.txt’ টেবিলের টেবিলের নামে লোড করুন এবং তারপরে আমরা টেবিলের নাম কমান্ড থেকে নির্বাচন করুন * ব্যবহার করে কর্মচারী 1 টেবিলটি চেক করি

নির্বাচন করে টেবিলে রেকর্ডের সংখ্যা গণনা করতে গণনা (*) txnrecords থেকে

সমষ্টি:

টেবিলের নাম থেকে গণনা (DISTINCT বিভাগ) নির্বাচন করুন

এই কমান্ডটি বিভিন্ন ক্যাটাগরির ‘ক্যাট’ সারণীর গণনা করবে। এখানে 3 টি বিভিন্ন বিভাগ রয়েছে।

ধরুন এখানে আরও একটি টেবিল কেট আছে যেখানে f1 বিভাগের ক্ষেত্রের নাম।

দলবদ্ধকরণ:

এক বা একাধিক কলাম দ্বারা ফলাফল-সেটকে গোষ্ঠী করতে গ্রুপ কমান্ড ব্যবহার করা হয়।

বিভাগ অনুসারে txt রেকর্ড গ্রুপ থেকে বিভাগ, যোগ (পরিমাণ) নির্বাচন করুন

এটি একই বিভাগের পরিমাণ গণনা করে।

ফলস্বরূপ এক সারণি অন্য টেবিলে সংরক্ষণ করা হয়।

পুরানো টেবিল নাম থেকে * টেবিলের নতুন টেবিলের নামটি নির্বাচন করুন

কমান্ড যোগ দিন:

এখানে নামে আরও একটি টেবিল তৈরি করা হয়েছে ‘মেল’

অপারেশন যোগ দিন :

একটি জোড় অপারেশন প্রতিটি সারণির মান দুটি ব্যবহার করে দুটি টেবিল থেকে ক্ষেত্রের সংমিশ্রণে সঞ্চালিত হয়।

বাম বাইরের যোগদান :

A এবং B টেবিলের জন্য বাম বাহিরের যোগদানের (বা কেবল বাম যোগদান) এর ফলাফলটিতে সর্বদা 'বাম' টেবিলের সমস্ত রেকর্ড থাকে (A), যদিও জো-শর্তটি 'ডান' সারণীতে কোনও মিলের রেকর্ড না খুঁজে পেয়েও (খ)।

রাইট আউটার জয়েন করুন :

বিপরীত সারণীর চিকিত্সা বাদে ডান বাহিরের জোড় (বা ডান যোগদান) বাম বাহিরের জোড়ার সাথে সাদৃশ্যপূর্ণ। 'ডান' সারণী (বি) থেকে প্রতিটি সারি অন্তত একবার যোগদান করা টেবিলটিতে উপস্থিত হবে।

সম্পূর্ণ যোগদান :

যোগদান করা টেবিলটিতে উভয় টেবিলের সমস্ত রেকর্ড থাকবে এবং দুপাশে হারিয়ে যাওয়া ম্যাচগুলির জন্য NULL পূরণ করবে।

একবার হাইভ দিয়ে সম্পন্ন করার পরে আমরা হাইভ শেল থেকে প্রস্থান করার জন্য ছাড়ার আদেশটি ব্যবহার করতে পারি।

মধুশক্তি বিগ ডেটা এবং হ্যাডোপ নামে একটি বড় ধাঁধার একটি অংশ। হাদুপ কেবলমাত্র মধুচক্রের চেয়ে অনেক বেশি। হাদুপে আপনাকে কী কী দক্ষতা অর্জন করতে হবে তা দেখতে নীচে ক্লিক করুন।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।

সম্পর্কিত পোস্ট:

7 টি উপায় বিগ ডেটা প্রশিক্ষণ আপনার সংস্থা পরিবর্তন করতে পারে

জাভা এলোমেলো স্ট্রিং উত্পন্ন

মুরগীর ডেটা মডেল