আলোচনা করা ‘বিরোধী উদাহরণগুলি বাগ নয়, তারা বৈশিষ্ট্য’: ভুল লেবেল করা ডেটা থেকে শেখা

ইলিয়াস এট আল এর ধারা 3.2। (2019) দেখায় যে শুধুমাত্র প্রতিপক্ষের ত্রুটির উপর একটি মডেলকে প্রশিক্ষণ দিলে তা মূল পরীক্ষার সেটে অ-তুচ্ছ অন্তর্ভুক্তির দিকে নিয়ে যায়। আমরা দেখাই যে এই পরীক্ষাগুলি ত্রুটি থেকে শেখার একটি নির্দিষ্ট ক্ষেত্রে। আমরা একটি কাউন্টারইন্টুইটিভ ফলাফল দিয়ে শুরু করি – আমরা একটি সম্পূর্ণ ভুল লেবেলযুক্ত প্রশিক্ষণ সেট নিই (ইনপুটগুলি পরিবর্তন না করে) এবং এটিকে একটি মডেল প্রশিক্ষণের জন্য ব্যবহার করি যা মূল পরীক্ষার সেটটিকে সাধারণীকরণ করে। আমরা তখন দেখাই যে এই ফলাফল, এবং ইলিয়াস এট আল এর ফলাফল। (2019), মডেল পরিমার্জনের একটি বিশেষ ক্ষেত্রে। বিশেষ করে, যেহেতু একটি প্রশিক্ষিত মডেল ব্যবহার করে ভুল লেবেল তৈরি করা হয়, তাই প্রশিক্ষিত মডেলের তথ্য ডেটাসেটে “লিক” হয়ে যায়। চলুন নিচের প্রশ্নটি দিয়ে শুরু করা যাক: আমরা যদি ট্রেনিং সেটে ছবি তুলি (কোন প্রতিপক্ষের হস্তক্ষেপ ছাড়াই) এবং ভুল লেবেল করি? যেহেতু ইনপুটগুলি অপরিবর্তনীয় এবং ভুল লেবেলযুক্ত, অন্তর্জ্ঞান বলে যে এই ডেটা সেটে প্রশিক্ষিত একটি মডেল সঠিকভাবে লেবেলযুক্ত পরীক্ষার সেটে সাধারণীকরণ করা উচিত নয়। যাইহোক, আমরা দেখাই যে এই অন্তর্দৃষ্টি ব্যর্থ হয় – একটি মডেল টিন সাধারণীকরণ আমরা প্রথমে দুটি যুগের জন্য CIFAR-10 প্রশিক্ষণ সেটে ResNet-18 প্রশিক্ষণ দিই। মডেলটি 62.5% এর একটি প্রশিক্ষণ নির্ভুলতা এবং 63.1% এর একটি পরীক্ষা নির্ভুলতা পৌঁছেছে। তারপরে আমরা সমস্ত 50,000 প্রশিক্ষণ ডেটা পয়েন্টে মডেলটি চালাই এবং মডেলের ভবিষ্যদ্বাণী অনুসারে সেগুলিকে পুনরায় লেবেল করি। তারপর, আমরা ফিল্টার সমস্ত সঠিক ভবিষ্যদ্বাণী. আমাদের কাছে এখন 18,768 আকারের একটি ভুল লেবেলযুক্ত প্রশিক্ষণ সেট রয়েছে। আমরা নীচের চিত্রের বাম দিকে চারটি উদাহরণ দেখাই:

তারপরে আমরা এলোমেলোভাবে একটি নতুন ResNet-18 শুরু করি এবং এটিকে শুধুমাত্র ভুল শ্রেণিবদ্ধ ডেটাসেটে প্রশিক্ষণ দিই। আমরা 50টি যুগের জন্য প্রশিক্ষণ দিই এবং 49.7% এর নির্ভুলতায় পৌঁছাই মূল পরীক্ষার সেট। নতুন মডেলটি কখনও হস্তক্ষেপ ছাড়াই ভুল শ্রেণিবদ্ধ চিত্রগুলি দেখেছে, তবে এখনও অ-তুচ্ছভাবে সাধারণীকরণ করতে পারে।

এটি ভুল ভবিষ্যদ্বাণী ব্যবহার করে মডেল পরিমার্জন

কিভাবে এই মডেল এবং ইলিয়াস et al. (2019) সঠিকভাবে লেবেল করা ডেটা না দেখে সাধারণীকরণ করবেন? এখানে, আমরা দেখাই যে ভুল লেবেলগুলি একটি প্রশিক্ষিত মডেল ব্যবহার করে তৈরি করা হয়, সেই প্রশিক্ষিত মডেলের তথ্য লেবেলযুক্ত উদাহরণগুলিতে “ফাঁস” হয়৷ বিশেষ করে, এটি মডেল পরিমার্জনের একটি পরোক্ষ রূপ– এই ডেটা সেটের প্রশিক্ষণ একটি নতুন মডেলকে কিছুটা মূল মডেলের বৈশিষ্ট্যগুলি পুনরুত্পাদন করতে দেয়৷

আমরা প্রথমে একটি দ্বি-মাত্রিক সমস্যা ব্যবহার করে এই পাতনের ঘটনাটি চিত্রিত করব। এর পরে, আমরা নিউরাল নেটওয়ার্কগুলির জন্য পরিমার্জনার অন্যান্য অদ্ভুত রূপগুলি অন্বেষণ করি- আমরা জ্ঞান স্থানান্তর করি যদিও রেকর্ডিংগুলি একটি ভিন্ন কাজ থেকে হয়।

মডেল পাতনের 2D চিত্র

আমরা দ্বি-মাত্রিক বাইনারি শ্রেণীবিভাগ সমস্যা ব্যবহার করে প্রতিপক্ষের নমুনার একটি ডেটাসেট তৈরি করি। আমরা 32 এলোমেলো 2D ডেটা পয়েন্ট তৈরি করি $[0,1]^2$

এর পরে, আমরা একটি ব্যবহার করে মূল মডেলের জন্য প্রতিকূল উদাহরণ তৈরি করি $l_{\infty}$

যদিও এই নতুন মডেলটি কখনই সঠিকভাবে শ্রেণীবদ্ধ উদাহরণ দেখেনি, এটি মূল ডেটাসেটে অ-তুচ্ছভাবে পারফর্ম করতে সক্ষম, ভবিষ্যদ্বাণী করে $23/32$ সঠিকভাবে ইনপুটগুলির (চিত্রে প্যানেল (ডি))। নতুন মডেলের সিদ্ধান্তের সীমা মূল মডেলের সিদ্ধান্তের সীমার সাথে ঢিলেঢালাভাবে মেলে, অর্থাৎ, মূল মডেলটি তার পাল্টা উদাহরণগুলির প্রশিক্ষণের পরে কিছুটা পরিমার্জিত হয়। এই দ্বি-মাত্রিক সমস্যাটি কৌতূহলী ফলাফলের একটি দৃষ্টান্তমূলক সংস্করণ উপস্থাপন করে যা ভুল ভবিষ্যদ্বাণী ব্যবহার করে পরিমার্জন করা যেতে পারে।

পাতন অন্যান্য অদ্ভুত ফর্ম

আমাদের পরীক্ষাগুলি দেখায় যে আমরা ভুল উদাহরণ ব্যবহার করে মডেলগুলিকে পরিমার্জন করতে পারি। অন্য কোন অদ্ভুত উপায়ে আমরা আসল মডেল সম্পর্কে জানতে পারি? আমরা শুধুমাত্র ব্যবহার করতে পারেন সীমার বাইরে তথ্য?

আমরা 99.1% নির্ভুলতা অর্জন করে MNIST-এ একটি সাধারণ CNN মডেল প্রশিক্ষণ দিই। তারপরে আমরা এই মডেলটিকে FashionMNIST ট্রেনিং সেটে চালাই এবং এর argmax ভবিষ্যদ্বাণীগুলি সংরক্ষণ করি। ফলস্বরূপ ডেটা সেট মানুষের কাছে কোন অর্থবোধ করে না – “ড্রেস” “8” হিসাবে লেবেল করা হয়েছে।

তারপরে আমরা একটি নতুন CNN মডেল শুরু করি এবং এটিকে ভুল লেবেলযুক্ত FashionMNIST ডেটাতে প্রশিক্ষণ দিই। ফলস্বরূপ মডেলটি MNIST পরীক্ষা সেটে 91.04% এর নির্ভুলতায় পৌঁছেছে। অধিকন্তু, যদি আমরা MNIST-এর গড় এবং প্রকরণ পরিসংখ্যান ব্যবহার করে FashionMNIST চিত্রগুলিকে স্বাভাবিক করি, তাহলে মডেলটি MNIST পরীক্ষার সেটে 94.5% নির্ভুলতায় পৌঁছে। নতুন মডেলটি শুধুমাত্র ভুল ভবিষ্যদ্বাণীতে প্রশিক্ষিত হলেও আসলটির মতো কার্যকরীভাবে একটি মডেলকে পুনর্গঠন করার এটি আরেকটি কেস।

সারাংশ

এই ফলাফলগুলি দেখায় যে ভুল প্রতিপক্ষ উদাহরণ ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দেওয়া হল ভবিষ্যদ্বাণী ত্রুটি থেকে শেখার একটি বিশেষ ক্ষেত্রে। অন্য কথায়, ইলিয়াস এট আল-এর অধ্যায় 3.2-তে প্রতিকূল উদাহরণ যোগ করা হয়েছে। (2019) শেখার সক্ষম করার জন্য প্রয়োজনীয় নয়।