‘প্রতিদ্বন্দ্বী উদাহরণগুলি বাগ নয়, তারা বৈশিষ্ট্য’ নিয়ে আলোচনা: দরকারী, শক্তিশালী নয়, বৈশিষ্ট্যের দুটি উদাহরণ

ইলিয়াস প্রমুখ। সংজ্ঞায়িত a বৈশিষ্ট্য একটি ফাংশন হিসাবে $এবং$ এটা লাগে $x$ কি ডেটা বিতরণ $(x,y) \sim \mathcal{D}$ একটি বাস্তব সংখ্যা, শূন্য গড় এবং একক বৈচিত্র্যের মধ্যে সীমাবদ্ধ। তারা বলে যে একটি বৈশিষ্ট্য সহায়ক যদি লেবেলের সাথে এটির উচ্চ সম্পর্ক থাকে। কিন্তু একজন প্রতিপক্ষ ইলিয়াসের উপস্থিতিতে, &c. দাবি করে যে পরিমাপটি সত্যিই গুরুত্বপূর্ণ তা হল একটি বৈশিষ্ট্য শক্তিশালী ব্যবহারযোগ্যতা,

আক্রমণের সময় লেবেলের সাথে এর সম্পর্ক। ইলিয়াস প্রমুখ।
পরামর্শ দেয় যে পথচারীদের দৃঢ় বৈশিষ্ট্যগুলি ছাড়াও আমরা যা জানি এবং ভালবাসি (যেমন আকাশের রঙ), আমাদের মডেলগুলি দরকারী, অ-শক্তিশালী বৈশিষ্ট্যগুলিকেও কাজে লাগাতে পারে, যার মধ্যে কিছু মানুষের অন্তর্দৃষ্টির সীমার বাইরেও। এটি প্রশ্ন তোলে: এই ধরনের দুর্বল বৈশিষ্ট্যগুলি দেখতে কেমন হতে পারে?

রৈখিক মডেলগুলিতে অ-শক্তিশালী বৈশিষ্ট্য

আমাদের অনুসন্ধানটি সরলীকৃত হয় যখন আমরা নিম্নলিখিতগুলি উপলব্ধি করি: অ-শক্তিশালী বৈশিষ্ট্যগুলি গভীর শিক্ষার সম্মুখীন হওয়া জটিল, নন-লিনিয়ার মডেলগুলির জন্য অনন্য নয়। যেমন ইলিয়াস প্রমুখ
মনোযোগ দিন, তারা এমনকি সবচেয়ে বিনয়ী মডেলের মধ্যে উত্থিত হয় – রৈখিক। সুতরাং, আমরা ফর্মের রৈখিক বৈশিষ্ট্যগুলিতে আমাদের মনোযোগ সীমাবদ্ধ করি:

একটি রৈখিক বৈশিষ্ট্যের শক্তিশালী উপযোগিতা একটি মার্জিত পচন স্বীকার করে
এই

\begin{aligned} \mathbf{E}\left[\inf_{\|\delta\|\leq\epsilon}yf(x+\delta)\right] & =\mathbf{E}\বাম[yf(x)+\inf_{\|\delta\|\leq\epsilon}yf(\delta)\right]\\ & =\mathbf{E}\বাম[yf(x)+\inf_{\|\delta\|\leq\epsilon}y\frac{a^{T}\delta}{\|a\|_{\Sigma}}\right]\\ & =\mathbf{E}\বাম[yf(x)+\frac{\inf_{\|\delta\|\leq\epsilon}a^{T}\delta}{\|a\|_{\Sigma}}\right]=\mathop{\mathbf{E}[yf(x)]}-\epsilon\frac{\|a\|_{*}}{\|a\|_{\Sigma}} \end{aligned} দ[∥δ∥≤ϵinf​yf(x+δ)],=দ[yf(x)+∥δ∥≤ϵinf​yf(δ)]=দ[yf(x)+∥δ∥≤ϵinf​y∥a∥Σ​aTδ​]=দ[yf(x)+∥a∥Σ​inf∥δ∥≤ϵ​aTδ​]=দ[yf(x)]–ϵ∥ক∥Σ,∥ক∥∗,,,
দুটি পদের জন্য:

উপরের সমীকরণে $\|\cdot\|_*$

বিচ্ছেদ বাইনারি শ্রেণীবিভাগের কাজটি নীচে বর্ণিত হয়েছে ট্রাক এবং ব্যাঙ বৈশিষ্ট্য সেটে CIFAR-10-এ $a_i$

যাইহোক, অধরা এবং অ-শক্তিশালী দরকারী বৈশিষ্ট্যগুলি উপরের প্লট থেকে অনুপস্থিত বলে মনে হচ্ছে। সৌভাগ্যবশত, আমরা এই ফাউন্ডেশনের উপাদানগুলোকে কৌশলগতভাবে একত্রিত করে এই ধরনের বৈশিষ্ট্য তৈরি করতে পারি।

আমরা দুটি কাঠামো প্রদর্শন করি:

এটা আশ্চর্যজনক, অতএব, মাদ্রি এট আল-এর পরীক্ষাগুলি।
(নিয়ন্ত্রক বিভ্রান্তি সহ) করতে যানবাহন এবং ঘের থেকে তৈরি অ-শক্তিশালী দরকারী বৈশিষ্ট্যগুলির মধ্যে পার্থক্য করুন। একটি শক্তিশালী বৈশিষ্ট্যের একটি সংক্ষিপ্ত সংজ্ঞা যা এই দুটি জগতকে আলাদা করে দেয় এখনও বিদ্যমান নেই এবং এটি মেশিন লার্নিং সম্প্রদায়ের জন্য একটি উন্মুক্ত সমস্যা হিসাবে রয়ে গেছে।

ধন্যবাদ

শান কার্টার (ডিজাইন ওভারহল), প্রীতম (প্রযুক্তিগত আলোচনা), ক্রিস ওলা (প্রযুক্তিগত আলোচনা), লুডভিগ (সাধারণ প্রতিক্রিয়া), রিয়া (প্রতিক্রিয়া) আদিতিয়া (প্রতিক্রিয়া)

লেখক অবদান

গবেষণা: অ্যালেক্স বিকাশ করেছে…

লেখা এবং ডায়াগ্রাম: পাঠ্যটি মূলত দ্বারা খসড়া করা হয়েছিল…

তথ্যসূত্র

1. প্রতিদ্বন্দ্বী উদাহরণ বাগ নয়, তারা বৈশিষ্ট্য
   ইলিয়াস, এ., সান্টুরকার, এস., সিপ্রাস, ডি., ইংস্ট্রম, এল., ট্রান, বি. এবং মাদ্রি, এ., 2019. arXiv প্রিপ্রিন্ট arXiv:1905.02175.

আপডেট এবং সংশোধন

আপনি যদি ভুল দেখতে পান বা পরিবর্তনের পরামর্শ দিতে চান তবে অনুগ্রহ করে GitHub-এ একটি সমস্যা তৈরি করুন।

পুনরায় ব্যবহার

ডায়াগ্রাম এবং টেক্সট ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন CC-BY 4.0-এর অধীনে লাইসেন্সপ্রাপ্ত, GitHub-এ উপলব্ধ উৎস সহ, যদি না অন্যথায় উল্লেখ করা হয়। অন্যান্য উত্স থেকে পুনঃব্যবহৃত ডেটা এই লাইসেন্সের আওতায় পড়ে না এবং তাদের ক্যাপশনে একটি নোট দ্বারা চিহ্নিত করা যেতে পারে: “এর থেকে ছবি…”।

উদ্ধৃতি

একাডেমিক প্রেক্ষাপটে অ্যাট্রিবিউশনের জন্য, অনুগ্রহ করে এই কাজটি উল্লেখ করুন

Goh, "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Two Examples of Useful, Non-Robust Features", Distill, 2019.

BibTeX উদ্ধৃতি

@article{goh2019a,
  author = {Goh, Gabriel},
  title = {A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Two Examples of Useful, Non-Robust Features},
  journal = {Distill},
  year = {2019},
  note = {https://distill.pub/2019/advex-bugs-discussion/response-3},
  doi = {10.23915/distill.00019.3}
}