হ্যাডোপ ইকোসিস্টেমের অ্যাপাচি হাইভ অন্যতম গুরুত্বপূর্ণ কাঠামো, যার ফলে এটি খুব গুরুত্বপূর্ণ হয়ে ওঠে । এই ব্লগে আমরা উবুন্টুতে অ্যাপাচি হাইভ এবং মাইভ ইনস্টলেশন সম্পর্কে শিখব।
আপাচে মধু কি?
অ্যাপাচি হিভ এমন একটি ডেটা গুদাম পরিকাঠামো যা বিতরণ স্টোরেজ সিস্টেমে থাকা বড় ডেটা সেটগুলি অনুসন্ধান এবং পরিচালনা করতে সহায়তা করে। এটি হাদোপের শীর্ষে নির্মিত এবং ফেসবুক দ্বারা বিকাশ করা হয়েছে। মধু বলা একটি এসকিউএল-জাতীয় কোয়েরি ভাষা ব্যবহার করে ডেটা জিজ্ঞাসা করার একটি উপায় সরবরাহ করে HiveQL (Hive ক্যোয়ারী ভাষা)।
অভ্যন্তরীণভাবে, একটি সংকলক অনুবাদ করে HiveQL মধ্যে বিবৃতি মানচিত্র কমাতে কাজ, যা তারপরে জমা দেওয়া হয় হ্যাডোপ কাঠামো মৃত্যুদণ্ড কার্যকর করার জন্য
হাইভ এবং এসকিউএল মধ্যে পার্থক্য:
মধু প্রচলিত ডাটাবেসের সাথে দেখতে অনেকটা অনুরূপ এসকিউএল অ্যাক্সেস। তবে, কারণ মধু উপর ভিত্তি করে হাদুপ এবং মানচিত্র কমাতে অপারেশন, বিভিন্ন মূল পার্থক্য রয়েছে:
যেমন হ্যাডোপ দীর্ঘ অনুক্রমিক স্ক্যানগুলির জন্য তৈরি মধু উপর ভিত্তি করে হাদুপ , আপনি জিজ্ঞাসা খুব উচ্চ বিলম্বিত হতে হবে আশা করবে। এটা যে মধু যে অ্যাপ্লিকেশনগুলির খুব দ্রুত প্রতিক্রিয়ার সময় প্রয়োজন তাদের জন্য উপযুক্ত হবে না, কারণ আপনি একটি traditionalতিহ্যবাহী আরডিবিএমএস ডাটাবেস দিয়ে আশা করতে পারেন।
অবশেষে, মধু পাঠভিত্তিক এবং তাই লেনদেন প্রক্রিয়াজাতকরণের জন্য উপযুক্ত নয় যা সাধারণত লেখার কাজগুলির একটি উচ্চ শতাংশ জড়িত percentage
একটি বাফারড্রেডার জাভা কি?
উবুন্টুতে মজাদার ইনস্টলেশন:
ইনস্টল করতে দয়া করে নীচের পদক্ষেপগুলি অনুসরণ করুন অ্যাপাচি হিভ উবুন্টুতে:
ধাপ 1: ডাউনলোড করুন Hive tar.
আদেশ: উইজেট http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
ধাপ ২: এক্সট্রাক্ট তার ফাইল।
আদেশ: tar -xzf apache-hive-2.1.0-bin.tar.gz
আদেশ: ls
ধাপ 3: সম্পাদনা করুন '.Bashrc' ব্যবহারকারীর জন্য পরিবেশ পরিবর্তনশীল আপডেট করার জন্য ফাইল।
আদেশ: sudo gedit .bashrc
ফাইলের শেষে নিম্নলিখিতটি যুক্ত করুন:
# HIVE_Home সেট করুন
HIVE_Home = / home / edureka / apache-hive-2.1.0-bin রপ্তানি করুন
PATH = $ पथ রফতানি করুন: / home/edureka/apache-hive-2.1.0- বিন / বিন
এছাড়াও, নিশ্চিত হয়ে নিন যে হ্যাডোপ পথটিও সেট করা আছে।
পরিবর্তনগুলি একই টার্মিনালে কাজ করতে নীচের কমান্ডটি চালান।
আদেশ: উত্স .bashrc
পদক্ষেপ 4: মাতাল সংস্করণ পরীক্ষা করুন।
স্নাতকোত্তর শংসাপত্র কি
পদক্ষেপ 5: সৃষ্টি মধু ডিরেক্টরি ভিতরে এইচডিএফএস । ডিরেক্টরি ‘গুদাম’ মাতাল সম্পর্কিত টেবিল বা ডেটা সংরক্ষণ করার অবস্থান।
আদেশ:
- hdfs dfs -mkdir -p / ইউজার / মধুশিল্প / গুদাম
- hdfs dfs -mkdir / tmp
পদক্ষেপ:: টেবিলের জন্য পড়ার / লেখার অনুমতি সেট করুন।
আদেশ:
এই আদেশে, আমরা দলটিকে লেখার অনুমতি দিচ্ছি:
- এইচডিএফএস ডিএফএস -চোডাম জি + ডাব্লু / ইউজার / হাইভ / গুদাম
- hdfs dfs -chmod g + w / tmp
পদক্ষেপ 7: সেট হাদুপ পথ এইচ ive-env.sh
আদেশ: সিডি অ্যাপাচি-হাইভ-২.১.০-বিন /
আদেশ: gedit conf / hive-env.sh
নীচের স্ন্যাপশটে প্রদর্শিত হিসাবে পরামিতি সেট করুন।
পদক্ষেপ 8: সম্পাদনা করুন hive-site.xML
আদেশ: gedit conf / hive-site.xml
javax.jdo.option.ConnicationURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = একটি জেডিবিসি মেটাস্টোরের জন্য সত্য জেডিবিসি সংযোগ স্ট্রিং। সংযোগটি এনক্রিপ্ট / প্রমাণীকরণ করতে এসএসএল ব্যবহার করতে, সংযোগ URL এ ডাটাবেস-নির্দিষ্ট এসএসএল পতাকা সরবরাহ করুন। উদাহরণস্বরূপ, jdbc: postgresql: // myhost / db? Ssl = পোস্টগ্রিস ডাটাবেসের জন্য সত্য। hive.metastore.warehouse.dir / ব্যবহারকারীর / এইচআইভি / গুদামের জন্য ডিফল্ট ডাটাবেসের গুদাম অবস্থান hive.metastore.uris রিমোট মেটাস্টোরের জন্য থ্রিফ্ট ইউআরআই। দূরবর্তী মেটাস্টোরের সাথে সংযোগ করতে মেটাস্টোর ক্লায়েন্ট দ্বারা ব্যবহৃত। javax.jdo.option.ConnicationDriverName org.apache.derby.jdbc. একটি এমডিবিএস মেটাস্টোর জাভ্যাক্স.জডো.পরিসটি ম্যানেজারফ্যাক্টরি ক্লাস org.datanucleus.api.jdo.JDPersistanceManagerFactory শ্রেণি প্রয়োগের জন্য এম্বেডড্রাইভার ড্রাইভার শ্রেণীর নাম
পদক্ষেপ 9: ডিফল্টরূপে, Hive ব্যবহার করে ডার্বি তথ্যশালা. ডার্বি ডাটাবেস সূচনা করুন।
আদেশ: বিন / স্কিমাটোল -আইনটিস্কেমা -ডিবিটাইপ ডার্বি
পদক্ষেপ 10 :শুরু করা মধু
আদেশ: মধু
পদক্ষেপ 11 :হাইভ শেলটিতে কয়েকটি অনুসন্ধান চালান।
আদেশ: ডাটাবেস দেখান
আদেশ: টেবিল কর্মচারী তৈরি করুন (আইডি স্ট্রিং, নেম স্ট্রিং, ডিপ্ট স্ট্রিং) সারি ফর্ম্যাটটি সীমানাযুক্ত ক্ষেত্রগুলি ‘‘ দ্বারা পাঠ্যপথ হিসাবে সঞ্চিত
আদেশ: টেবিল প্রদর্শন করুন
পদক্ষেপ 12: থেকে প্রস্থান করতে মধু:
আদেশ: প্রস্থান
জাভাতে কী পরিবর্তনযোগ্য
আপনারা এখন হাইভ ইনস্টলেশনটি সম্পন্ন করেছেন, পরবর্তী ধাপটি হাইভ শেলের উপর Hive কমান্ড ব্যবহার করে দেখুন। অতএব, আমাদের পরবর্তী ব্লগ ' এইচকিউএল-এর উদাহরণ সহ শীর্ষস্থানীয় হাইভ কমান্ড 'আপনাকে Hive আদেশগুলি আয়ত্ত করতে সহায়তা করবে।
সম্পর্কিত পোস্ট: