পৃথ্বীরাজ বোস অবদান রেখেছেন
যখন বড় ডেটাসেটগুলি এক্সিকিউটারগুলিতে ক্যাশে করা দরকার তখন ব্রডকাস্ট ভেরিয়েবলগুলি কার্যকর হয়। এই ব্লগটি কীভাবে শুরু করবেন তা ব্যাখ্যা করে।
ব্রডকাস্ট ভেরিয়েবলগুলি কী কী?
অ্যাপাচি স্পার্কে ব্রডকাস্ট ভেরিয়েবলগুলি এক্সিকিউটিউটরগুলিতে কেবলমাত্র পঠনযোগ্য বলে বোঝানো যায় তার মধ্যে ভেরিয়েবলগুলি ভাগ করার একটি প্রক্রিয়া। সম্প্রচার ভেরিয়েবলগুলি ব্যতীত এই পরিবর্তনগুলি প্রতিটি রূপান্তর এবং কর্মের জন্য প্রতিটি নির্বাহকের কাছে প্রেরণ করা হত এবং এটি নেটওয়ার্ক ওভারহেডের কারণ হতে পারে। তবে ব্রডকাস্ট ভেরিয়েবলের সাহায্যে এগুলি একবার সকল নির্বাহকের কাছে প্রেরণ করা হয় এবং ভবিষ্যতের রেফারেন্সের জন্য ক্যাশে করা হয়।
ব্রডকাস্ট ভেরিয়েবলগুলি ব্যবহারের ক্ষেত্রে
কল্পনা করুন যে কোনও রূপান্তর করার সময় আমাদের জিপ কোডগুলি / পিন কোডগুলির একটি বৃহত টেবিলটি সন্ধান করতে হবে। এখানে, প্রতিটি সময় এক্সিকিউটিউটরদের কাছে বড় লুকের টেবিল প্রেরণ করা সম্ভব নয় এবং প্রতিবারই আমরা ডাটাবেসটি জিজ্ঞাসা করতে পারি না। সমাধানটি হওয়া উচিত এই লুক টেবিলটিকে একটি সম্প্রচার ভেরিয়েবলে রূপান্তর করা এবং স্পার্ক ভবিষ্যতের রেফারেন্সের জন্য প্রতিটি নির্বাহকের কাছে এটি ক্যাশে করবে।
আসুন উপরের ধারণাটি বোঝার জন্য একটি সাধারণ উদাহরণ গ্রহণ করি। আমাদের কাছে একটি সিএসভি ফাইল রয়েছে যার নাম দেশ এবং তাদের রাজধানী। সিএসভি ফাইলটি পাওয়া যাবে এখানে ।
ধরে নিই আমরা দেশগুলির ডেমোগ্রাফিক ডেটা প্রক্রিয়া করছি এবং আমাদের সেই দেশের রাজধানী পাওয়া দরকার। এই ক্ষেত্রে আমরা সিএসভি ফাইলের ডেটাটিকে একটি সম্প্রচার ভেরিয়েবলে রূপান্তর করতে পারি।
প্রথমে আমরা একটি মানচিত্রে সিএসভি ফাইল লোড করি, যদি ফাইলটি পাওয়া যায় তবে পদ্ধতিটি ফিরে আসে কিছু দেশ) অন্যথায় এটি ফিরে আসে কিছুই না ।
এর ভেতরে কি আছে__
সিএসভি ফাইল সফলভাবে লোড হওয়ার পরে আমরা মানচিত্রটিকে একটি সম্প্রচার ভেরিয়েবলে রূপান্তর করি এবং এটি আমাদের প্রোগ্রামে ব্যবহার করি।
উপরের কোড স্নিপেটে আমরা একটি মানচিত্রে সিএসভি ফাইল লোড করি দেশ তারপরে আমরা সেই মানচিত্রটিকে সম্প্রচার ভেরিয়েবলে রূপান্তর করি দেশসামগ্রী । পরবর্তীকালে, আমরা এর কীগুলি থেকে একটি আরডিডি তৈরি করি দেশ । মধ্যে অনুসন্ধানকন্ট্রিডিটেলস আমরা ব্যবহারকারীদের সংজ্ঞায়িত অক্ষর দিয়ে শুরু করে সমস্ত দেশ অনুসন্ধান করি এবং পদ্ধতিটি তাদের রাজধানী সহ দেশগুলির একটি আরডিডি প্রদান করে। সম্প্রচারের পরিবর্তনশীল গণনা রাজধানী সন্ধানের জন্য ব্যবহৃত হয়।
এই সময় আমাদের অনুসন্ধানের দরকার পড়লে পুরো সিএসভি ডেটা প্রেরণ করার দরকার নেই।
জন্য কোড অনুসন্ধানকন্ট্রিডিটেলস নীচে দেখানো হয়েছে,
পুরো উত্স কোডটি পাওয়া যাবে এখানে ।
জাভা স্ক্যানার ব্যবহার
আমাদের জন্য একটি প্রশ্ন আছে? তাদের মন্তব্য বিভাগে উল্লেখ করুন এবং আমরা আপনার কাছে ফিরে আসব।
সম্পর্কিত পোস্ট: