ভিতরে , কোনও মডেলের পারফরম্যান্স তার পূর্বাভাসগুলির উপর ভিত্তি করে এবং এটি অদৃশ্য, স্বতন্ত্র ডেটার দিকে কতটা জেনারেল করে। কোনও মডেলের নির্ভুলতা পরিমাপ করার একটি উপায় হ'ল মডেলটির পক্ষপাত এবং অ্যাকাউন্টের হিসাব রাখা। এই নিবন্ধে, আমরা শিখব যে কীভাবে পক্ষপাত-বৈকল্পিকতা মডেলটির সত্যতা নির্ধারণে গুরুত্বপূর্ণ ভূমিকা পালন করে। নিম্নলিখিত নিবন্ধগুলি এই নিবন্ধে আলোচনা করা হয়েছে:
- অপ্রয়োজনীয় ত্রুটি
- বায়াস ইন মেশিন লার্নিং কী?
- একটি মেশিন লার্নিং মডেল মধ্যে বৈকল্পিক?
- এটি কীভাবে মেশিন লার্নিং মডেলকে প্রভাবিত করে?
- বায়াস-ভেরিয়েন্স ট্রেড অফ
- মোট ত্রুটি
অপ্রয়োজনীয় ত্রুটি
যে কোনও মডেল একটি নতুন স্বাধীন, অদেখা ডেটা সেটটিতে পূর্বাভাস ত্রুটির ভিত্তিতে মূল্যায়ন করা হয়। ত্রুটি প্রকৃত আউটপুট এবং পূর্বাভাসযুক্ত আউটপুট মধ্যে পার্থক্য ছাড়া কিছুই নয়। ত্রুটিটি গণনা করার জন্য, আমরা হ্রাসযোগ্য এবং অপরিবর্তনীয় ত্রুটির সংমিশ্রণ করি a.k.a পক্ষপাতিত্ব-প্রকরণের ক্ষয়।
অপরিবর্তনীয় ত্রুটি হ'ল সেই ত্রুটিগুলি ছাড়া আর কিছুই নয় যা কোনও বিবেচনা ছাড়াই হ্রাস করা যায় না যে আপনি মডেল ব্যবহার। এটি আউটপুট ভেরিয়েবলের উপর প্রত্যক্ষ প্রভাব রাখে এমন অস্বাভাবিক ভেরিয়েবলের কারণে ঘটে। সুতরাং আপনার মডেলকে দক্ষ করে তোলার জন্য, আমাদের সর্বনিম্ন মূল্যায়ন করতে হবে এমন ক্ষুদ্র ত্রুটিটি আমরা রেখেছি।
একটি হ্রাসযোগ্য ত্রুটির দুটি উপাদান রয়েছে - বায়াস এবং ভেরিয়েন্স , পক্ষপাত এবং উপস্থিতি উপস্থিতি মডেলটির যথার্থতাকে বিভিন্নভাবে প্রভাবিত করে overfitting, আন্ডারফিটিং ইত্যাদিএর মধ্যে কীভাবে হ্রাসযোগ্য ত্রুটি মোকাবেলা করতে হবে তা বোঝার জন্য আমাদের পক্ষপাত এবং বৈকল্পিক এক নজর দেওয়া যাক ।
বায়াস ইন মেশিন লার্নিং কী?
বায়াস মূলত আমরা আসল মান থেকে কতটা পূর্বাভাস দিয়েছি। আমরা বলি যদি গড় পূর্বাভাস প্রকৃত মান থেকে দূরে থাকে তবে পক্ষপাতটি খুব বেশি।
একটি উচ্চ পক্ষপাতের ফলে অ্যালগরিদম একটি প্রভাবশালী প্যাটার্ন বা ইনপুট এবং আউটপুট ভেরিয়েবলের মধ্যে সম্পর্ক মিস করতে পারে। পক্ষপাতদুটি খুব বেশি হলে, ধরে নেওয়া হয় যে মডেলটি বেশ সহজ এবং সম্পর্ক নির্ধারণের জন্য সেট সেট করা ডেটাগুলির জটিলতা অনুধাবন করে না এবং এইভাবে,আন্ডারফিটিং কারণ।
একটি মেশিন লার্নিং মডেল মধ্যে বৈকল্পিক?
একটি স্বতন্ত্র, অদেখা ডেটা সেট বা একটি বৈধকরণ সেট এ। যখন কোনও মডেল প্রশিক্ষণপ্রাপ্ত ডেটা সেটের মতো সঞ্চালন করে না, তখন মডেলটির কোনও বৈকল্পিকতা থাকতে পারে। এটি মূলত বলে দেয় যে পূর্বাভাসিত মানগুলি প্রকৃত মানগুলি থেকে কতটা ছড়িয়ে ছিটিয়ে থাকে।
ডেটা সেটে উচ্চতর পরিবর্তনের অর্থ এই মডেলটি প্রচুর শব্দ এবং অপ্রাসঙ্গিক ডেটা দিয়ে প্রশিক্ষণ নিয়েছে। এইভাবে মডেল মধ্যে overfitting কারণ। যখন কোনও মডেলের উচ্চতর বৈকল্পিকতা থাকে, তখন এটি খুব নমনীয় হয় এবং নতুন ডেটা পয়েন্টগুলির জন্য ভুল পূর্বাভাস দেয়। কারণ এটি প্রশিক্ষণ সংস্থার ডেটা পয়েন্টগুলিতে নিজেকে যুক্ত করেছে।
আসুন আমরা গণিতগতভাবেও পক্ষপাত-বৈকল্পিক ধারণাটি বোঝার চেষ্টা করি। আমরা যে ভেরিয়েবলটি ওয়াই এবং অন্যান্য স্বতন্ত্র ভেরিয়েবলকে এক্স হওয়ার পূর্বাভাস দিচ্ছি তা এখন আসুন ধরে নেওয়া যাক দুটি ভেরিয়েবলের মধ্যে একটি সম্পর্ক রয়েছে যেমন:
Y = f (X) + e
উপরের সমীকরণে, এখানে হয় একটি গড় মান 0 দিয়ে অনুমান করা ত্রুটি When যখন আমরা পছন্দ মতো অ্যালগরিদম ব্যবহার করে শ্রেণিবদ্ধ করি লিনিয়ার রিগ্রেশন , , ইত্যাদি, এক্স পয়েন্টের প্রত্যাশিত স্কোয়ার ত্রুটিটি হ'ল:
err (x) = বায়াসঘ+ বৈকল্পিক + অপরিবর্তনীয় ত্রুটি
আসুন আমরা বুঝতে পারি যে বায়াস-ভেরিয়েন্সটি কীভাবে প্রভাব ফেলবে মেশিন লার্নিং মডেল এর কর্মক্ষমতা।
জাভা প্রোগ্রামটি মাইএসকিএল ডাটাবেসে সংযুক্ত হতে
এটি কীভাবে মেশিন লার্নিং মডেলকে প্রভাবিত করে?
আমরা নীচে তালিকাভুক্ত চারটি বিভাগে পক্ষপাত-বৈচিত্রের মধ্যে সম্পর্ক স্থাপন করতে পারি:
- উচ্চ ভেরিয়েন্স-হাই বায়াস - মডেলটি বেমানান এবং গড় হিসাবেও অসম্পূর্ণ
- নিম্ন ভেরিয়েন্স-হাই বায়াস - মডেলগুলি সামঞ্জস্যপূর্ণ তবে গড়ে কম
- উচ্চ ভেরিয়েন্স-লো বায়াস - কিছুটা সঠিক তবে গড়পড়তা ক্ষেত্রে অসম্পূর্ণ
- লো ভেরিয়েন্স-লো বায়াস - এটি আদর্শ দৃশ্যাবলী, মডেলটি গড়পড়তাভাবে সামঞ্জস্যপূর্ণ এবং নির্ভুল।
যদিও একটি মডেলের পক্ষপাত এবং বৈকল্পিক সনাক্তকরণ যথেষ্ট স্পষ্ট। উচ্চ বৈকল্পিক সহ একটি মডেলটিতে একটি নিম্ন প্রশিক্ষণের ত্রুটি এবং উচ্চ বৈধতা ত্রুটি থাকবে। এবং উচ্চ পক্ষপাতের ক্ষেত্রে, মডেলটিতে উচ্চ প্রশিক্ষণের ত্রুটি থাকবে এবং বৈধতা ত্রুটি প্রশিক্ষণের ত্রুটির মতোই।
সনাক্তকরণটি সহজ বলে মনে হচ্ছে, আসল কাজটি হ'ল এটি সর্বনিম্ন হ্রাস করা। সেক্ষেত্রে আমরা নিম্নলিখিতটি করতে পারি:
- আরও ইনপুট বৈশিষ্ট্য যুক্ত করুন
- বহুপদী বৈশিষ্ট্যগুলি প্রবর্তন করে আরও জটিলতা
- নিয়মিতকরণের মেয়াদ হ্রাস করুন
- আরও প্রশিক্ষণের ডেটা প্রাপ্ত
পক্ষপাতিত্ব এবং বৈকল্পিকতা এবং এটি কীভাবে আমাদের মডেলকে প্রভাবিত করে তা আমরা জানি, এখন আমাদের পক্ষপাতিত্ব-বৈচিত্র্য বাণিজ্য বন্ধের দিকে একবার নজর দেওয়া উচিত।
বায়াস-ভেরিয়েন্স ট্রেড-অফ
মডেলের পক্ষপাত এবং বৈকল্পিকের মধ্যে সঠিক ভারসাম্য সন্ধানকে বায়াস-ভেরিয়েন্স ট্রেড অফ বলে। মূলত এটি নিশ্চিত করার একটি উপায় যা কোনও অবস্থাতেই মডেলটি অত্যধিক ফিটফাট বা পোশাকযুক্ত নয়।
যদি মডেলটি খুব সাধারণ হয় এবং খুব কম প্যারামিটার থাকে তবে এটি উচ্চ পক্ষপাত এবং কম বৈকল্পিকতায় ভুগবে। অন্যদিকে, যদি মডেলটিতে প্রচুর পরিমাণে প্যারামিটার থাকে, তবে এটির উচ্চতর বৈকল্পিকতা এবং কম পক্ষপাত থাকবে। এই বাণিজ্য বন্ধের ফলে দুজনের মধ্যে পুরোপুরি সুষম সম্পর্ক তৈরি হওয়া উচিত। আদর্শভাবে, নিম্ন পক্ষপাত এবং নিম্ন বৈকল্পিকতা যেকোন মেশিন লার্নিং মডেলের লক্ষ্য।
মোট ত্রুটি
যে কোনও মেশিন লার্নিং মডেলটিতে, পক্ষপাত এবং বৈচিত্রের মধ্যে একটি ভাল ভারসাম্য ভবিষ্যদ্বাণীমূলক নির্ভুলতার এবং পুরোপুরি আন্ডারফিটিংকে এড়িয়ে চলার ক্ষেত্রে নিখুঁত দৃশ্যের হিসাবে কাজ করে। পক্ষপাত এবং বৈকল্পের মধ্যে একটি সর্বোত্তম ভারসাম্য, অ্যালগরিদম জটিলতার ক্ষেত্রে, তা নিশ্চিত করবে যে মডেলটি কখনই অত্যধিক মানানসই বা নিম্নচাপযুক্ত নয়।
একটি পরিসংখ্যানের মডেলটিতে গড় স্কোয়ার ত্রুটিটিকে স্কোয়ার পক্ষপাত এবং ত্রুটির বৈকল্পিকতা এবং তারতম্যের যোগফল হিসাবে বিবেচনা করা হয়। এগুলিকে মোট ত্রুটির ভিতরে রেখে দেওয়া যেতে পারে যেখানে কোনও মডেলটিতে পক্ষপাত, বৈকল্পিক এবং অপরিবর্তনীয় ত্রুটি রয়েছে।
আসুন আমরা বুঝতে পারি কীভাবে আমরা ব্যবহারিক প্রয়োগের সাহায্যে মোট ত্রুটি হ্রাস করতে পারি।
আমরা একটি তৈরি করেছি লিনিয়ার রিগ্রেশন শ্রেণিবদ্ধ মধ্যে মেশিন লার্নিংয়ে লিনিয়ার রিগ্রেশন এর ডেটাসেট মডিউলে ডায়াবেটিস ডেটা সেট ব্যবহার করে এডুরেকা সম্পর্কিত নিবন্ধ বিজ্ঞান শিখুন গ্রন্থাগার
আমরা যখন শ্রেণিবদ্ধের গড় স্কোয়ার ত্রুটিটি মূল্যায়ন করি তখন আমরা প্রায় 2500 এর মধ্যে মোট ত্রুটি পেয়েছি।
মোট ত্রুটি কমাতে, আমরা শ্রেণিবদ্ধকারীকে আরও ডেটা সরবরাহ করেছি এবং এর বিনিময়ে গড় স্কোয়ার ত্রুটি 2000 এ কমিয়ে আনা হয়েছিল।
মডেলটিতে আরও প্রশিক্ষণের ডেটা খাওয়ানোর মাধ্যমে মোট ত্রুটি হ্রাস করার এটি একটি সহজ বাস্তবায়ন। একইভাবে আমরা ত্রুটি কমাতে এবং দক্ষ মেশিন লার্নিং মডেলের পক্ষপাত এবং বৈকল্পিকতার মধ্যে ভারসাম্য বজায় রাখতে অন্যান্য কৌশল প্রয়োগ করতে পারি।
এটি আমাদের এই নিবন্ধের শেষের দিকে নিয়ে আসে যেখানে আমরা মাচে বায়াস-ভেরিয়েন্স শিখেছিits এর বাস্তবায়ন এবং ব্যবহারের ক্ষেত্রে শেখা। আমি আশা করি এই টিউটোরিয়ালে আপনার সাথে যা ভাগ করা হয়েছে তার সাথে আপনি পরিষ্কার হয়ে গেছেন।
আপনি যদি 'মেশিন লার্নিংয়ের ক্ষেত্রে বায়াস-ভেরিয়েন্স' সম্পর্কিত এই নিবন্ধটি খুঁজে পেয়ে থাকেন তবে এটি দেখুন বিশ্বজুড়ে ছড়িয়ে থাকা 250,000 এরও বেশি সন্তুষ্ট শিক্ষার্থীর নেটওয়ার্ক সহ একটি বিশ্বস্ত অনলাইন লার্নিং সংস্থা।
আমরা এখানে আপনার যাত্রার প্রতিটি পদক্ষেপে আপনাকে সহায়তা করতে এবং এমন একটি পাঠ্যক্রম নিয়ে এসেছি যা শিক্ষার্থী এবং পেশাদারদের জন্য ডিজাইন করা হয়েছে । কোথাকারটি আপনাকে পাইথন প্রোগ্রামিংয়ে একটি প্রধান সূচনা দেওয়ার জন্য এবং বিভিন্ন এবং মূল এবং উন্নত পাইথন উভয় ধারণার পাশাপাশি প্রশিক্ষণের জন্য ডিজাইন করা হয়েছে পছন্দ , ইত্যাদি
যদি আপনার কোনও প্রশ্ন আসে তবে বিনা দ্বিধায় আপনার সমস্ত প্রশ্ন 'মেশিন লার্নিং-এ বায়াস-ভার্চিয়েন্স ইন' এর বিভাগে এবং আমাদের টিমের জবাব দিতে পেরে আনন্দিত হবে।