অ্যাপাচি স্কুওপ টিউটোরিয়াল - এইচডিএফএস এবং আরডিবিএমএসের মধ্যে ডেটা আমদানি / রফতানি করুন



অ্যাপাচি স্কুওপ টিউটোরিয়াল: স্কুওপ হ্যাডোপ এবং রিলেশনাল ডাটাবেসের মধ্যে ডেটা স্থানান্তর করার জন্য একটি সরঞ্জাম is এই ব্লগটি মাইএসকিউএল থেকে সওপ আমদানি ও রফতানিকে কভার করে।

এই অ্যাপাচি স্কুওপ টিউটোরিয়ালটি শুরু করার আগে আসুন আমরা একটি পদক্ষেপ ফিরে নিই। আপনি কি আমাদের ডেটা খাওয়ার গুরুত্বটি স্মরণ করতে পারেন, যেমন আমরা এটি আমাদের পূর্ববর্তী ব্লগে আলোচনা করেছি অ্যাপাচি ফ্লুম । এখন, যেমনটি আমরা জানি যে অ্যাপাচি ফ্লুম হ'ল কাঠামোগত উত্সগুলির জন্য একটি ডেটা ইনজেশন সরঞ্জাম, তবে সংস্থাগুলি তাদের অপারেশনাল ডেটাগুলি সম্পর্কিত ডেটাবেসে সংরক্ষণ করে। সুতরাং, এমন একটি সরঞ্জামের প্রয়োজন ছিল যা সম্পর্কিত ডেটাবেসগুলি থেকে ডেটা আমদানি এবং রফতানি করতে পারে। এ কারণেই অ্যাপাচি স্কুপের জন্ম হয়েছিল। স্কুওপ হ্যাডোপের সাথে সহজেই সংহত করতে পারে এবং এইচডিএফএসে সম্পর্কিত ডেটাবেসগুলি থেকে স্ট্রাকচার্ড ডেটা হডোপের শক্তি প্রশংসা করতে পারে। এই কারনে, অ্যাপাচি স্কুুপ এবং ফ্লুমের শব্দ জ্ঞানকে আদেশ দেয়।

প্রাথমিকভাবে, স্কুওপ ক্লৌডেরার দ্বারা বিকাশিত এবং রক্ষণাবেক্ষণ করা হয়েছিল। পরে, 23 জুলাই 2011, এ এটি আপাচি দ্বারা উত্সাহিত হয়েছিল। এপ্রিল ২০১২ এ, স্কুওপ প্রকল্পটি অ্যাপাচি শীর্ষ স্তরের প্রকল্প হিসাবে প্রচারিত হয়েছিল।





এই অ্যাপাচি ফ্লুম টিউটোরিয়াল ব্লগে আমরা আবরণ করব:



আমরা এই অ্যাপাচি স্কুওপ টিউটোরিয়ালটি শুরু করব অ্যাপাচি স্কুওপ প্রবর্তন করে। তারপরে এগিয়ে যাওয়া, আমরা অ্যাপাচি স্কুওপ ব্যবহারের সুবিধাগুলি বুঝতে পারি।

ডাবলকে কীভাবে ইনটকে রূপান্তর করতে হয়

অ্যাপাচি স্কুওপ টিউটোরিয়াল: স্কুওপ পরিচিতি

অ্যাপাচি স্কুওপ - অ্যাপাচি স্কুওপ টিউটোরিয়াল - এডুরেকাসাধারণত, অ্যাপ্লিকেশনগুলি আরডিবিএমএস ব্যবহার করে রিলেশনাল ডাটাবেসের সাথে যোগাযোগ করে এবং এর ফলে এটি রিলেশনাল ডাটাবেসগুলিকে বিগ ডেটা তৈরি করে এমন একটি গুরুত্বপূর্ণ উত্স হিসাবে তৈরি করে। এই জাতীয় ডেটা আপেক্ষিক কাঠামোতে আরডিবি সার্ভারে সংরক্ষণ করা হয়। এখানে, অ্যাপাচি স্কুওপ একটি গুরুত্বপূর্ণ ভূমিকা পালন করে , রিলেশনাল ডাটাবেস সার্ভার এবং এইচডিএফএসের মধ্যে সম্ভাব্য ইন্টারঅ্যাকশন সরবরাহ করে।

সুতরাং, অ্যাপাচি স্কুওপ একটি সরঞ্জাম যার মধ্যে ডেটা স্থানান্তর করার জন্য ডিজাইন করা হয়েছে এইচডিএফএস (হ্যাডোপ স্টোরেজ) এবং মাইএসকিউএল, ওরাকল আরডিবি, এসকিউএলাইট, টেরাদাতা, নেতেজা, পোস্টগ্রিস ইত্যাদি সম্পর্কিত রিলেশনাল ডাটাবেস সার্ভারগুলি সম্পর্কিত ডেটাবেজগুলি থেকে এইচডিএফএসে ডেটা আমদানি করে, এবং এইচডিএফএস থেকে সম্পর্কিত ডেটাবেজে ডেটা রফতানি করে। এটি দক্ষতার সাথে হডোপ এবং বহিরাগত ডেটা স্টোরগুলির মধ্যে যেমন এন্টারপ্রাইজ ডেটা গুদাম, রিলেশনাল ডাটাবেস ইত্যাদির মধ্যে বাল্ক ডেটা স্থানান্তর করে efficient



এভাবেই স্কুওপ এর নাম পেল - ' এসকিউ এল টু হ্যাড খোলা & এসকিউএল-এ হ্যাডোপ করুন ”।

অতিরিক্ত হিসাবে, স্কুওপ হ্যাডোপ ইকোসিস্টেমের সরঞ্জামগুলিতে বাহ্যিক ডেটাস্টোরগুলি থেকে ডেটা আমদানি করতে ব্যবহৃত হয় মধু & এইচবেস

এখন, আমরা যেমন আপাচি স্কুওপ জানি is সুতরাং, আসুন আমরা আমাদের অ্যাপাচি স্কুওপ টিউটোরিয়ালে এগিয়ে যাই এবং বুঝতে পারি যে স্কোয়াপগুলি সংস্থাগুলি দ্বারা কেন ব্যাপকভাবে ব্যবহৃত হয়।

অ্যাপাচি স্কুওপ টিউটোরিয়াল: স্কুওপ কেন?

হ্যাডোপ বিকাশকারীদের জন্য, এইচডিএফএসে ডেটা লোড হওয়ার পরে আসল গেমটি শুরু হয়। এইচডিএফএসে সঞ্চিত ডেটাতে লুকানো বিভিন্ন অন্তর্দৃষ্টি অর্জন করার জন্য তারা এই ডেটাটির চারপাশে খেলেন।

সুতরাং, এই বিশ্লেষণের জন্য, রিলেশনাল ডাটাবেস ম্যানেজমেন্ট সিস্টেমগুলিতে থাকা ডেটা এইচডিএফএসে স্থানান্তরিত হওয়া দরকার। লেখার কাজ এইচডিএফএসে সম্পর্কিত ডেটাবেস থেকে ডেটা আমদানি ও রফতানি করার কোডটি উদ্বেগজনক এবং ক্লান্তিকর। এখানেই অ্যাপাচি স্কুওপ উদ্ধার করতে আসে এবং তাদের ব্যথা সরিয়ে দেয়। এটি ডেটা আমদানি ও রফতানি করার প্রক্রিয়াটিকে স্বয়ংক্রিয় করে তোলে।

স্কোয়াপ ডেটা আমদানি ও রফতানির জন্য সিএলআই সরবরাহ করে বিকাশকারীদের জীবনকে সহজ করে তোলে। তাদের কেবলমাত্র ডাটাবেস প্রমাণীকরণ, উত্স, গন্তব্য, অপারেশন ইত্যাদির মতো প্রাথমিক তথ্য সরবরাহ করতে হবে এটি বাকী অংশটির যত্ন নেয় takes

স্কুুপ অভ্যন্তরীণভাবে কমান্ডটিকে ম্যাপ্রেডিউস কার্যগুলিতে রূপান্তর করে, যা পরে এইচডিএফএসের মাধ্যমে কার্যকর করা হয়। এটি ডেটা আমদানি ও রফতানি করতে YARN ফ্রেমওয়ার্ক ব্যবহার করে, যা সমান্তরালতার শীর্ষে ফল্ট সহনশীলতা সরবরাহ করে।

এই স্কুুপ টিউটোরিয়াল ব্লগে এগিয়ে যাওয়া, আমরা স্কুওপের মূল বৈশিষ্ট্যগুলি বুঝতে পারি এবং তারপরে আমরা অ্যাপাচি স্কুওপ আর্কিটেকচারের দিকে এগিয়ে যাব।

অ্যাপাচি স্কুওপ টিউটোরিয়াল: স্কুপের মূল বৈশিষ্ট্য

স্কুুপ অনেকগুলি প্রধান বৈশিষ্ট্য সরবরাহ করে:

  1. সম্পূর্ণ লোড : অ্যাপাচি স্কুওপ একটি একক আদেশ দ্বারা পুরো টেবিলটি লোড করতে পারে। আপনি একটি একক কমান্ড ব্যবহার করে একটি ডাটাবেস থেকে সমস্ত সারণী লোড করতে পারেন।
  2. ক্রমবর্ধমান ভার : অ্যাপাচি স্কুওপ ইনক্রিমেন্টাল লোডের সুবিধাও সরবরাহ করে যেখানে আপনি যখনই টেবিলের কিছু অংশ আপডেট হয় এটি লোড করতে পারেন।
  3. সমান্তরাল আমদানি রপ্তানি : স্কিউুপ ডেটা আমদানি ও রফতানি করতে YARN কাঠামো ব্যবহার করে যা সমান্তরালতার শীর্ষে ফল্ট সহনশীলতা সরবরাহ করে।
  4. আমদানি করুন ফলাফল এর এসকিউএল প্রশ্ন : আপনি এইচডিএফএসের এসকিউএল কোয়েরি থেকে প্রাপ্ত ফলাফলটিও আমদানি করতে পারেন।
  5. সঙ্কোচন : আপনি কমপ্রেস আর্গুমেন্টের সাথে ডিফলেট (গাজিপ) অ্যালগরিদম ব্যবহার করে বা সংক্ষেপণ-কোডেক যুক্তি নির্দিষ্ট করে আপনার ডেটা সংকোচন করতে পারেন। আপনি সংকোচিত টেবিলটি এতে লোড করতে পারেন অ্যাপাচি হিভ
  6. সংযোজক জন্য সব মেজর আরডিবিএমএস ডাটাবেস : অ্যাপাচি স্কুওপ একাধিক আরডিবিএমএস ডাটাবেসের জন্য সংযোগকারীগুলিকে সরবরাহ করে, প্রায় পুরো পরিধি পরিবেষ্টন করে।
  7. কারবেরোস সুরক্ষা মিশ্রণ : কার্বেরোস একটি কম্পিউটার নেটওয়ার্ক প্রমাণীকরণ প্রোটোকল যা কোনও সুরক্ষিত নেটওয়ার্কের মাধ্যমে নোডগুলিকে যোগাযোগ করে একে অপরের সাথে সুরক্ষিতভাবে তাদের পরিচয় প্রমাণ করার জন্য ‘টিকিট’ এর ভিত্তিতে কাজ করে works স্কিউুপ কার্বেরোস প্রমাণীকরণ সমর্থন করে।
  8. ভার তথ্য সরাসরি মধ্যে এইচআইভি / এইচবিএস : আপনি সরাসরি ডেটা লোড করতে পারেন অ্যাপাচি হিভ বিশ্লেষণের জন্য এবং এইচবিতে আপনার ডেটা ডাম্প করুন যা একটি নোএসকিউএল ডাটাবেস।
  9. সমর্থন জন্য আহরণ : আপনি এসকিউপকে এইচডিএফএসের ডিরেক্টরি না করে আকুমুলোতে সারণি আমদানির নির্দেশ দিতে পারেন।

আর্কিটেকচারটি হ'ল যা এই সুবিধাগুলির সাথে অ্যাপাচি স্কুওপকে শক্তিশালী করছে। এখন, আমরা যেমন অ্যাপাচি স্কুওপের বৈশিষ্ট্যগুলি জানি, আসুন আমরা এগিয়ে চলুন এবং অ্যাপাচি স্কুওপের আর্কিটেকচার এবং কর্মরত বুঝতে পারি।

অ্যাপাচি স্কুওপ টিউটোরিয়াল: স্কুওপ আর্কিটেকচার এবং ওয়ার্কিং

আসুন নীচের চিত্রটি ব্যবহার করে কীভাবে অ্যাপাচি স্কুওপ কাজ করে তা বুঝতে দিন:

আমদানি সরঞ্জামটি আরডিবিএমএস থেকে এইচডিএফএসে পৃথক সারণী আমদানি করে। টেবিলের প্রতিটি সারি এইচডিএফএসে রেকর্ড হিসাবে বিবেচিত হয়।

যখন আমরা স্কুওপ কমান্ড জমা দিই, আমাদের মূল কাজটি সাব টাস্কগুলিতে বিভক্ত হয়ে যায় যা অভ্যন্তরীণভাবে পৃথক মানচিত্র টাস্ক দ্বারা পরিচালিত হয়। মানচিত্র টাস্ক হ'ল সাবটাস্ক, যা হ্যাডোপ ইকোসিস্টেমটিতে ডেটার অংশ আমদানি করে। সম্মিলিতভাবে, সমস্ত মানচিত্রের কার্য সম্পূর্ণ ডেটা আমদানি করে।

রফতানিও একই পদ্ধতিতে কাজ করে।

রফতানি সরঞ্জামটি এইচডিএফএস থেকে একটি আরডিবিএমএসে ফাইলের একটি সেট রফতানি করে। এসকিউপকে ইনপুট হিসাবে দেওয়া ফাইলগুলিতে রেকর্ড রয়েছে, যা সারণীতে সারি হিসাবে ডাকা হয়।

যখন আমরা আমাদের কাজটি জমা দেই, এটি মানচিত্রের টাস্কগুলিতে ম্যাপ করা হয় যা এইচডিএফএস থেকে ডেটা যোগ করে দেয় brings এই অংশগুলি কাঠামোগত ডেটা গন্তব্যে রফতানি করা হয়। এই সমস্ত রফতানি হওয়া তথ্যের সংমিশ্রণে আমরা গন্তব্যে পুরো তথ্যটি পাই, যা বেশিরভাগ ক্ষেত্রেই একটি আরডিবিএমএস (এমওয়াইএসকিউএল / ওরাকল / এসকিউএল সার্ভার)।

সংহতকরণের ক্ষেত্রে হ্রাস পর্বের প্রয়োজন। তবে, অ্যাপাচি স্কুওপ কেবলমাত্র ডেটা আমদানি করে রফতানি করে যা কোনও জোগাড় করে না। ব্যবহারকারীর দ্বারা সংজ্ঞায়িত সংখ্যার উপর নির্ভর করে মানচিত্রের কাজ একাধিক ম্যাপার চালু করে। স্কুওপ আমদানির জন্য, প্রতিটি ম্যাপার টাস্কটি আমদানির জন্য ডেটার একটি অংশের সাথে বরাদ্দ করা হবে। স্কুওপ উচ্চ কার্যকারিতা পেতে ম্যাপারদের মধ্যে সমানভাবে ইনপুট ডেটা বিতরণ করে। তারপরে প্রতিটি ম্যাপার জেডিবিসি ব্যবহার করে ডাটাবেসের সাথে একটি সংযোগ তৈরি করে এবং স্কুওপের দ্বারা অর্পিত ডেটার অংশটি নিয়ে আসে এবং সিএলআই-তে সরবরাহ করা যুক্তির ভিত্তিতে এটি এইচডিএফএস বা হিভ বা এইচবেসে লিখে দেয়।

এখন যেহেতু আমরা আর্কিটেকচার এবং অ্যাপাচি স্কুওপের কাজ বুঝতে পেরেছি, আসুন আমরা অ্যাপাচি ফ্লুম এবং অ্যাপাচি স্কুওপের মধ্যে পার্থক্যটি বুঝতে পারি।

অ্যাপাচি স্কুওপ টিউটোরিয়াল: ফ্লুম বনাম স্কুওপ

ফ্লুম এবং স্কিউপের মধ্যে প্রধান পার্থক্য হ'ল:

  • ফ্লুমটি কেবল এইচডিএফএসে অরক্ষিত ডেটা বা আধা-কাঠামোগত ডেটা যুক্ত করে।
  • যদিও স্কুুপ আরডিবিএমএস বা এন্টারপ্রাইজ ডেটা গুদামগুলি থেকে এইচডিএফএস বা তদ্বিপরীত থেকে স্ট্রাকচার্ড ডেটা রফতানি করতে পারে।

এখন, আমাদের অ্যাপাচি স্কুওপ টিউটোরিয়ালে অগ্রসর হওয়ার সময়টি অ্যাপাচি স্কুওপ কমান্ডগুলির মধ্য দিয়ে যাওয়ার সময় high

অ্যাপাচি স্কুওপ টিউটোরিয়াল: স্কুওপ কমান্ডস

  • স্কোয়াপ - ইমপোর্ট কমান্ড

আমদানি কমান্ডটি এইচডিএফএসে সম্পর্কিত ডেটাবেস থেকে একটি সারণি আমদানিতে ব্যবহৃত হয় used আমাদের ক্ষেত্রে, আমরা মাইএসকিউএল ডাটাবেস থেকে এইচডিএফএসে টেবিলগুলি আমদানি করতে যাচ্ছি।

আপনি নীচের চিত্রটিতে দেখতে পাচ্ছেন, কর্মচারীদের ডাটাবেসে আমাদের কর্মচারী টেবিল রয়েছে যা আমরা এইচডিএফএসে আমদানি করব।

সারণি আমদানির জন্য কমান্ডটি হ'ল:

sqoop আমদানি - সংযোগ jdbc: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম edureka - টেবিল কর্মচারী

আপনি নীচের চিত্রটিতে দেখতে পাচ্ছেন, এই কমান্ডটি কার্যকর করার পরে মানচিত্রের কার্যগুলি শেষ প্রান্তে কার্যকর করা হবে।

কোডটি কার্যকর হওয়ার পরে, আপনি এইচডিএফএস অর্থাত্ লোকালহোস্ট: 50070 এর ওয়েব ইউআই পরীক্ষা করতে পারেন যেখানে ডেটা আমদানি করা হয়।

  • স্কোয়াপ - টার্গেট ডিরেক্টরি সহ ইমপোর্ট কমান্ড

আপনি নীচের কমান্ডটি ব্যবহার করে এইচডিএফএসের একটি নির্দিষ্ট ডিরেক্টরিতে টেবিলটি আমদানি করতে পারেন:

sqoop আমদানি - সংযোগ জেডিবিসি: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম এডুরিকা - টেবিল কর্মচারী - এম 1 - তারেটেজ-দির / কর্মচারী

সিকুপ বেশিরভাগ ডাটাবেস উত্স থেকে সমান্তরালে ডেটা আমদানি করে। -ম সম্পত্তি কার্যকর করা হবে ম্যাপার সংখ্যা নির্দিষ্ট করতে ব্যবহৃত হয়।

সিকুপ বেশিরভাগ ডাটাবেস উত্স থেকে সমান্তরালে ডেটা আমদানি করে। ব্যবহার করে আমদানি সম্পাদন করতে আপনি মানচিত্রের কাজগুলি (সমান্তরাল প্রক্রিয়াগুলি) নির্দিষ্ট করতে পারেন -ম বা Umnum-mappers যুক্তি. এই প্রতিটি আর্গুমেন্ট একটি পূর্ণসংখ্যার মান নেয় যা নিয়োগের সমান্তরালতার ডিগ্রির সাথে মিলে যায়।

আপনি ডিরেক্টরিতে উপস্থিত ফাইলের সংখ্যা থেকে স্বতন্ত্রভাবে ম্যাপারগুলির সংখ্যা নিয়ন্ত্রণ করতে পারেন। রফতান পারফরম্যান্স সমান্তরালতা ডিগ্রি উপর নির্ভর করে। ডিফল্টরূপে, স্কুওপ রফতানি প্রক্রিয়ার জন্য সমান্তরালভাবে চারটি কার্য ব্যবহার করবে। এটি অনুকূল নাও হতে পারে, আপনাকে নিজের নির্দিষ্ট সেটআপ নিয়ে পরীক্ষা-নিরীক্ষা করতে হবে। অতিরিক্ত কাজগুলি আরও ভাল সংমিশ্রণের প্রস্তাব দিতে পারে, তবে ডাটাবেসগুলি ইতিমধ্যে সূচকগুলি আপডেট করতে, ট্রিগারগুলি শুরু করার অনুরোধ করা এবং এই জাতীয় কিছু বিষয়ে যদি ইতিমধ্যে বাধা হয়ে থাকে তবে অতিরিক্ত লোডের কর্মক্ষমতা হ্রাস হতে পারে।

আপনি নীচের চিত্রটিতে দেখতে পারেন যে ম্যাপার টাস্কটির সংখ্যা 1।

মাইএসকিউএল টেবিলগুলি আমদানির সময় তৈরি হওয়া ফাইলগুলির সংখ্যা ম্যাপার তৈরির সংখ্যার সমান।

  • স্কোয়াপ - যেখানে ক্লোজ সহ ইমপোর্ট কমান্ড

স্কুওপ আমদানি সরঞ্জামের ‘যেখানে’ ধারাটি ব্যবহার করে আপনি কোনও টেবিলের একটি উপসেট আমদানি করতে পারেন। এটি সম্পর্কিত ডাটাবেস সার্ভারে সম্পর্কিত এসকিউএল কোয়েরি সম্পাদন করে এবং ফলাফলটি এইচডিএফএসে একটি লক্ষ্য ডিরেক্টরিতে সঞ্চয় করে। আপনি নিম্নলিখিত কমান্ডটি দিয়ে ডেটা আমদানি করতে ব্যবহার করতে পারেন কোথায় ‘ধারা:

sqoop আমদানি - সংযোগ জেডিবিসি: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম এডুরিকা - টেবিল কর্মচারী - এম 3 - কোথাও 'এমপ_নো & জিটি 49000' --তারেটর-ডির / সর্বশেষ_এম্পলয়েস

সেলেনিয়াম ওয়েবড্রাইভার টেস্টং কাঠামোর উদাহরণ

  • স্কুওপ - বর্ধিত আমদানি

স্কুুপ একটি ইনক্রিমেন্টাল আমদানি মোড সরবরাহ করে যা কিছু পূর্ববর্তী-আমদানি করা সারিগুলির চেয়ে নতুন সারিগুলি পুনরুদ্ধার করতে ব্যবহৃত হতে পারে। স্কুুপ দুটি ধরণের ইনক্রিমেন্টাল আমদানি সমর্থন করে: সংযোজন এবং সর্বশেষ পরিবর্তিত । আপনি ক্রমবর্ধমান আমদানির ধরণটি সম্পাদন করতে সংযোজনীয় যুক্তি ব্যবহার করতে পারেন।

আপনার নির্দিষ্ট করা উচিত সংযোজন একটি সারণী আমদানি করার সময় মোড যেখানে ক্রমবর্ধমান সারি আইডি মানগুলির সাথে ক্রমাগত নতুন সারি যুক্ত করা হয়। আপনি সারিটির আইডি সহ কলামটি নির্দিষ্ট করেছেন চেক-কলাম । স্কুুপ সারিগুলি আমদানি করে যেখানে চেক কলামটির সাথে উল্লেখ করা তার চেয়ে বেশি মান রয়েছে খালি মূল্য

স্কুুপ দ্বারা সমর্থিত একটি বিকল্প টেবিল আপডেট কৌশল বলা হয় সর্বশেষ পরিবর্তিত মোড. উত্স সারণীর সারিগুলি আপডেট হতে পারে তখন আপনার এটি ব্যবহার করা উচিত এবং এ জাতীয় প্রতিটি আপডেট সর্বশেষ টাইমস্ট্যাম্পে সর্বশেষ-পরিবর্তিত কলামের মান সেট করবে।

পরবর্তী আমদানি চলাকালীন আপনার নির্দিষ্ট করা উচিত খালি মূল্য আপনি কেবলমাত্র নতুন বা আপডেট হওয়া ডেটা আমদানি করে তা নিশ্চিত করতে এই পদ্ধতিতে। এটি একটি সংরক্ষিত কাজ হিসাবে একটি ইনক্রিমেন্টাল আমদানি তৈরি করে স্বয়ংক্রিয়ভাবে পরিচালিত হয়, যা পুনরাবৃত্তীয় ইনক্রিমেন্টাল আমদানি করার জন্য পছন্দসই পদ্ধতি।

প্রথমত, আমরা একটি নতুন সারি সন্নিবেশ করছি যা আমাদের এইচডিএফএসে আপডেট হবে।

বর্ধিত আমদানির জন্য আদেশটি হ'ল:

sqoop আমদানি - সংযোগ jdbc: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম edureka - টেবিল কর্মচারী --target-dir / সর্বশেষ_Employees - সংযোজনীয় সংযোজন - চেক-কলাম emp_no - মূল্য-মান 499999

আপনি নীচের চিত্রটিতে দেখতে পারেন, আপডেট হওয়া ডেটা দিয়ে একটি নতুন ফাইল তৈরি করা হবে।

  • স্কোয়াপ - সমস্ত টেবিল আমদানি করুন

আপনি আরডিবিএমএস ডাটাবেস সার্ভার থেকে এইচডিএফএসে সমস্ত টেবিল আমদানি করতে পারেন। প্রতিটি টেবিলের ডেটা আলাদা ডিরেক্টরিতে সংরক্ষণ করা হয় এবং ডিরেক্টরিটির নাম টেবিলের নামের সমান। এটি বাধ্যতামূলক যে সেই ডাটাবেসের প্রতিটি টেবিলে একটি প্রাথমিক কী ক্ষেত্র থাকতে হবে। ডাটাবেস থেকে সমস্ত সারণী আমদানির আদেশটি হ'ল:

sqoop আমদানি-সমস্ত-সারণী - jdbc সংযোগ করুন: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম এডুরেকা

  • Sqoop - তালিকা ডাটাবেস

আপনি Sqoop ব্যবহার করে সম্পর্কিত ডাটাবেসে উপস্থিত ডাটাবেসগুলি তালিকাভুক্ত করতে পারেন। Sqoop list-databases সরঞ্জামটি ডেটাবেস সার্ভারের বিপরীতে ‘শো ডেটাবেস’ ক্যোয়ারী পার্স করে এবং কার্যকর করে। ডাটাবেস তালিকাভুক্ত করার জন্য কমান্ডটি হ'ল:

sqoop list-databases - jdbc সংযোগ করুন: mysql: // লোকালহোস্ট / - ব্যবহারকারীর নাম

  • Sqoop - তালিকা সারণী

আপনি এসকিউওপি ব্যবহার করে মাইএসকিউএল ডাটাবেস সার্ভারে একটি নির্দিষ্ট ডাটাবেসের সারণিগুলিও তালিকাভুক্ত করতে পারেন। স্কুওপ তালিকা-সারণী সরঞ্জামগুলি 'শো টেবিলগুলি' ক্যোয়ারী পার্স করে এবং কার্যকর করে। টেবিল তালিকা করার জন্য কমান্ডটি একটি ডাটাবেস হ'ল:

sqoop list-tables - সংযুক্ত jdbc: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম এডুরেকা

  • স্কোয়াপ - এক্সপোর্ট

যেমন আমরা উপরে আলোচনা করেছি, আপনি এইচডিএফএস থেকে আরডিবিএমএস ডাটাবেসেও ডেটা রফতানি করতে পারেন। লক্ষ্য ডাটাবেসে লক্ষ্য সারণী উপস্থিত থাকতে হবে।ডেটা এইচডিএফএসে রেকর্ড হিসাবে সংরক্ষণ করা হয়। এই রেকর্ডগুলি পড়ার এবং পার্স করা হয় এবং ব্যবহারকারী-নির্দিষ্ট ডিলিমিটারের সাথে সীমিত করা হয়।ডিফল্ট অপারেশনটি ইনসার্ট স্টেটমেন্টটি ব্যবহার করে ইনপুট ফাইল থেকে ডাটাবেস টেবিলের সমস্ত রেকর্ড সন্নিবেশ করানো হয়। আপডেট মোডে, স্কুুপ আপডেট আপডেটটি জেনারেট করে যা ডাটাবেসে বিদ্যমান রেকর্ডকে প্রতিস্থাপন করে।

সুতরাং, প্রথমে আমরা একটি খালি টেবিল তৈরি করছি, যেখানে আমরা আমাদের ডেটা রফতানি করব।

সম্পর্কিত এই ডাটাবেসে এইচডিএফএস থেকে ডেটা রফতানি করার আদেশটি হ'ল:

এসকিউপি রফতানি - সংযোগ জেডিবিসি: মাইএসকিএল: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম এডুরিকা - টেবিল এম্প - এক্সপোর্ট-ডির / ইউজার / এডুরেকা / কর্মচারী

  • স্কুওপ - কোডজেন

অবজেক্ট-ওরিয়েন্টেড অ্যাপ্লিকেশনটিতে, প্রতিটি ডাটাবেস সারণিতে একটি ডেটা অ্যাক্সেস অবজেক্ট ক্লাস থাকে যাতে অবজেক্টটি আরম্ভ করার জন্য 'গেটর' এবং 'সেটার' পদ্ধতি থাকে। কোডজেন স্বয়ংক্রিয়ভাবে ডিএও ক্লাস উত্পন্ন করে। এটি টেবিল স্কিমা কাঠামোর ভিত্তিতে জাভাতে ডিএও ক্লাস তৈরি করে।

জাভা কোড উত্পন্ন করার কমান্ডটি হ'ল:

sqoop codegen - সংযোগ jdbc: mysql: // লোকালহস্ট / কর্মচারী - ব্যবহারকারীর নাম edureka - টেবিল কর্মচারী

গিট কমিট লগ কীভাবে প্রিন্ট করবেন

আপনি উপরের চিত্রটিতে পাথ দেখতে পাবেন যেখানে কোড উত্পন্ন হয়েছে। আসুন আমরা পথে চলুন এবং তৈরি করা ফাইলগুলি পরীক্ষা করে দেখি।

আমি আশা করি এই ব্লগটি তথ্যবহুল এবং আপনার কাছে মূল্য সংযোজনযোগ্য। আপনি যদি আরও জানতে আগ্রহী হন তবে আপনি এটির মাধ্যমে যেতে পারেন যা আপনাকে বিগ ডেটা এবং হ্যাডুপ কীভাবে বিগ ডেটা সম্পর্কিত চ্যালেঞ্জগুলি সমাধান করছে সে সম্পর্কে আপনাকে জানায়।

আপনি যখন অ্যাপাচি স্কুুপ বুঝতে পেরেছেন, তখন এটি পরীক্ষা করে দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা এডুরেকা দ্বারা। এডুরেকা বিগ ডেটা হ্যাডোপ শংসাপত্র প্রশিক্ষণ কোর্সটি শিখরদেরকে এইচডিএফএস, সুতা, ম্যাপ্রেইডুস, পিগ, হাইভ, এইচবি, ওউজি, ফ্লুম এবং স্কুুপ রিয়েল, সোশ্যাল মিডিয়া, এভিয়েশন, ট্যুরিজম, ফিনান্স ডোমেইনে রিয়েল-টাইম ব্যবহারের ক্ষেত্রে বিশেষজ্ঞ হতে সহায়তা করে।

আমাদের জন্য একটি প্রশ্ন আছে? দয়া করে মন্তব্য বিভাগে এটি উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।