ইলিয়াস এট হাইপোথিসিস। থেকে এটি একটি আরও সাধারণ নীতির একটি বিশেষ কেস যা বিতরণমূলক দৃঢ়তা সাহিত্যে ভালভাবে গৃহীত হয়- মডেলগুলি বিতরণের পরিবর্তনের জন্য শক্তিশালী নয় কারণ তারা ডেটার উপরিভাগের সম্পর্ককে আঁকড়ে থাকে। স্বাভাবিকভাবেই, একই নীতিটি প্রতিকূল উদাহরণও ব্যাখ্যা করে কারণ সেগুলি বন্টন পরিবর্তনের সবচেয়ে খারাপ-বিশ্লেষণ থেকে উদ্ভূত হয়। দৃঢ়তার একটি পূর্ণাঙ্গ বোঝার জন্য, কাউন্টার উদাহরণ গবেষকদের তাদের কাজকে কেবলমাত্র ছোট গ্রেডিয়েন্ট বিশৃঙ্খলতার উপর স্থির থাকার পরিবর্তে বিতরণমূলক দৃঢ়তার আরও সাধারণ সমস্যার সাথে সংযুক্ত করা উচিত।
বিস্তারিত প্রতিক্রিয়া
ইলিয়াস এট আল-এর প্রধান অনুমান। (2019) আরও সাধারণ নীতির একটি বিশেষ ক্ষেত্রে বিতরণমূলক পরিবর্তন সাহিত্যের দৃঢ়তায় গৃহীত
দেখায় যে মডেলগুলি উচ্চ-ফ্রিকোয়েন্সি তথ্য থেকে শিখে নমুনা পরীক্ষা করতে সাধারণীকরণ করতে পারে যা স্বাভাবিকভাবেই ঘটছে এবং অস্পষ্ট। সুনির্দিষ্টভাবে, মডেলগুলিকে প্রশিক্ষণ দেওয়া হয়েছিল এবং ডেটাতে প্রয়োগ করা একটি চরম উচ্চ-পাস ফিল্টার দিয়ে পরীক্ষা করা হয়েছিল। ফলস্বরূপ উচ্চ-ফ্রিকোয়েন্সি বৈশিষ্ট্যগুলি সম্পূর্ণরূপে মানুষের কাছে দৃশ্যমান গ্রেস্কেল, তবুও মডেলগুলি শুধুমাত্র এই প্রাকৃতিক বৈশিষ্ট্যগুলি থেকে যা সাধারণত “অদৃশ্য” হয় তা থেকে ImageNet-1K-তে শীর্ষ 50% নির্ভুলতা অর্জন করতে সক্ষম হয়। নীচের চিত্রে একক বৈচিত্র্য পিক্সেল পরিসংখ্যানের জন্য ফিল্টার করা চিত্রটিকে স্বাভাবিক করার দ্বারা কঠিন-থেকে-বিবেচনা বৈশিষ্ট্যগুলিকে গুরুত্বপূর্ণ করা যেতে পারে।
1 মডেল ইনপুট তথ্য ব্যবহার করে উচ্চ নির্ভুলতা অর্জন করতে পারে যা মানুষের কাছে সনাক্ত করা যায় না। উপরে দেখানো মডেলগুলি প্রশিক্ষিত এবং ইনপুটগুলিতে প্রয়োগ করা আক্রমণাত্মক উচ্চ এবং নিম্ন ফিল্টারিং সহ পরীক্ষিত। আক্রমনাত্মক লো-পাস ফিল্টারিংয়ের সাথে, মডেলটি এখনও ইমেজনেটে 30% এর উপরে থাকে যখন চিত্রগুলি রঙের সাধারণ বল হিসাবে প্রদর্শিত হয়। হাই-পাস (HP) ফিল্টারিংয়ের ক্ষেত্রে, মডেলগুলি ইনপুটে এমন বৈশিষ্ট্যগুলি ব্যবহার করে 50% এর বেশি নির্ভুলতা অর্জন করতে পারে যা মানুষের কাছে প্রায় অদৃশ্য। ডানদিকে দেখানো হিসাবে, উচ্চ-ফ্রিকোয়েন্সি বৈশিষ্ট্যগুলিকে সঠিকভাবে কল্পনা করার জন্য উচ্চ-পাস ফিল্টার করা চিত্রগুলিকে স্বাভাবিক করতে হবে।
প্রাকৃতিক ডেটাতে বিদ্যমান দরকারী পারস্পরিক সম্পর্কগুলির প্রাচুর্যের পরিপ্রেক্ষিতে, আমাদের আশা করা উচিত যে আমাদের মডেলগুলি তাদের শোষণ করতে শিখবে। যাইহোক, যে মডেলগুলি সুপারফিশিয়াল পরিসংখ্যানের উপর নির্ভর করে সেগুলি খারাপভাবে সাধারণীকরণ করতে পারে যদি সেই পরিসংখ্যানগুলি স্থাপনের পরে দূষিত হয়। মডেলের দৃঢ়তা সম্পর্কে আরও সম্পূর্ণ বোঝার জন্য,
2 CIFAR-10-এ বিভিন্ন ফুরিয়ার বেসিস ভেক্টরের সাথে সারিবদ্ধ অতিরিক্ত শব্দের প্রতি মডেলের সংবেদনশীলতা। আমরা বিদ্যমান অতিরিক্ত গোলমাল ঠিক করি নর্ম 4 এবং তিনটি মডেলের মূল্যায়ন করুন: একটি প্রাকৃতিকভাবে প্রশিক্ষিত মডেল, একটি প্রতিকূলভাবে প্রশিক্ষিত মডেল এবং গাউসিয়ান ডেটা বৃদ্ধির সাথে প্রশিক্ষিত একটি মডেল। পরীক্ষার সেট থেকে 1000 টিরও বেশি এলোমেলোভাবে নমুনা করা চিত্রের গড় ত্রুটির হার। নীচের সারিতে আমরা সংশ্লিষ্ট ফুরিয়ার ভিত্তি ভেক্টর বরাবর গোলমাল সহ বিরক্তিকর চিত্রগুলি দেখাই। স্বাভাবিকভাবে প্রশিক্ষিত মডেলটি সর্বনিম্ন ফ্রিকোয়েন্সি বাদে অতিরিক্ত শব্দের প্রতি খুবই সংবেদনশীল। প্রতিপক্ষের প্রশিক্ষণ এবং গাউসিয়ান ডেটা অগমেন্টেশন উভয়ই নাটকীয়ভাবে উচ্চতর ফ্রিকোয়েন্সিতে দৃঢ়তা উন্নত করে যখন সর্বনিম্ন ফ্রিকোয়েন্সিতে স্বাভাবিকভাবে প্রশিক্ষিত মডেলের দৃঢ়তাকে বলিদান করে (অর্থাৎ উভয় মডেলের মধ্যে, স্বাভাবিকভাবে প্রশিক্ষিত মডেলের তুলনায় মাঝখানের নীল এলাকা ছোট)।
তাহলে, গবেষণা সম্প্রদায় কীভাবে এমন মডেল তৈরি করতে পারে যা বাস্তব জগতের কাছে দৃঢ়ভাবে সাধারণীকরণ করে, প্রতিপক্ষের প্রশিক্ষণ বন্টনগত পরিবর্তনের দৃঢ়তাকে বাধা দিতে পারে? এটি করার জন্য, গবেষণা সম্প্রদায়কে স্থিতিস্থাপকতার একটি বিস্তৃত দৃষ্টিভঙ্গি নিতে হবে এবং এটি গ্রহণ করতে হবে প্রতিপক্ষের স্থিতিস্থাপকতা খুবই সীমিত এবং বেশিরভাগই বাস্তব-বিশ্বের নিরাপত্তা এবং অনাক্রম্যতা থেকে সংযোগ বিচ্ছিন্ন
প্রতিক্রিয়া সারাংশ: ডেটার উচ্চ ফ্রিকোয়েন্সি উপাদানগুলি থেকে শেখার মডেলগুলির প্রদর্শনী আকর্ষণীয় এবং আমাদের অনুসন্ধানের সাথে সুন্দরভাবে সারিবদ্ধ। এখন, যদিও শব্দের প্রতি সংবেদনশীলতা প্রকৃতপক্ষে অ-শক্তিশালী ইউটিলিটি বৈশিষ্ট্যের কারণে হতে পারে, এমএল মডেলের এই ধরনের ভঙ্গুরতা (প্রতিদ্বন্দ্বী উদাহরণের মতো) এখন পর্যন্ত প্রধানত মডেল “বাগ” এর ফলাফল হিসাবে দেখা গেছে যা “উন্নত” মডেল দ্বারা নির্মূল করা হবে। পরিশেষে, আমরা সম্মত যে আমাদের মডেলগুলিকে আরও বিস্তৃত বিশৃঙ্খল সেটের জন্য শক্তিশালী হওয়া উচিত — প্রাসঙ্গিক বিভ্রান্তির সেটকে প্রসারিত করা আরও বেশি অ-শক্তিশালী বৈশিষ্ট্যগুলি সনাক্ত করতে সাহায্য করবে এবং আমরা আসলে আমাদের মডেলগুলিকে নির্ভর করতে চাই এমন দরকারী বৈশিষ্ট্যগুলিকে আরও পরিমার্জিত করতে সাহায্য করবে৷
প্রতিক্রিয়া: প্রশিক্ষণ সেটের উচ্চ ফ্রিকোয়েন্সি উপাদানের উপর ভিত্তি করে মডেলগুলি সঠিকভাবে শ্রেণীবদ্ধ করতে শিখতে পারে তা পরিষ্কার! এটি আমাদের বিকল্পগুলির মধ্যে একটিকে সুন্দরভাবে পরিপূরক করে: মডেলগুলি দরকারী বৈশিষ্ট্যগুলির উপর নির্ভর করবে যদিও সেই বৈশিষ্ট্যগুলি মানুষের কাছে বোধগম্য মনে হয়৷
এছাড়াও, যদিও শব্দের প্রতি দৃঢ়তার অভাব কম শক্তিযুক্ত ইউটিলিটি বৈশিষ্ট্যগুলি ব্যবহার করে মডেলগুলির একটি সূচক হতে পারে, ঘটনাটি বেশিরভাগ ক্ষেত্রেই দেখা যায় না। প্রায়শই নয়, ML মডেলগুলির গোলমালের দুর্বলতা পরিবর্তে মডেলগুলির একটি সহজাত ত্রুটি হিসাবে বিবেচিত হয়েছে, উদাহরণস্বরূপ, দুর্বল মার্জিনের কারণে। (এই দৃষ্টিভঙ্গি প্রতিপক্ষের দৃঢ়তা সম্প্রদায়ের মধ্যে আরও বেশি সাধারণ।) সুতরাং, প্রায়শই এটি প্রত্যাশিত ছিল যে “উন্নত”/”বাগ-মুক্ত” মডেলগুলির দিকে অগ্রগতি তাদের গোলমাল এবং প্রতিপক্ষের নমুনাগুলির জন্য আরও শক্তিশালী হবে।
অবশেষে, আমরা সম্পূর্ণরূপে একমত যে সেট আবদ্ধ বিভ্রান্তিগুলি হল একটি খুব ছোট উপসেট যা আমরা আমাদের মডেলগুলিকে শক্তিশালী করতে চাই। যাইহোক, মনে রাখবেন যে আমাদের কাজের ফোকাস হল মানুষের সারিবদ্ধতা – এই লক্ষ্যে, আমরা দেখাই যে মডেলগুলি প্যাটার্ন-সংবেদনশীল বৈশিষ্ট্যগুলির উপর নির্ভর করে যা মানুষের কাছে উপলব্ধি করা যায় না। এইভাবে, দুর্বলভাবে বোঝার কিন্তু দরকারী বৈশিষ্ট্যের অন্যান্য পরিবারের অস্তিত্ব আমাদের থিসিসের জন্য আরও সহায়তা প্রদান করবে – এই ধরনের বৈশিষ্ট্যগুলি সনাক্ত করা এবং চিহ্নিত করা ভবিষ্যতের গবেষণার জন্য একটি আকর্ষণীয় ক্ষেত্র।
তথ্যসূত্র
- সাধারণ দুর্নীতি এবং ঝামেলার সাথে নিউরাল নেটওয়ার্কের দৃঢ়তার তুলনা[PDF]
হেন্ড্রিক্স, ডি. এবং ডিয়েটেরিচ, টিজি, 2019। CoRR, ভল এবিএস/1903.12261। - পরিসংখ্যানগত স্থানিক আদেশ শিখতে CNN-এর প্রবণতা পরিমাপ করা[PDF]
Jo, J. এবং Bengio, Y., 2017. CoRR, Vol abs/1711.11561। - একটি পরীক্ষার সময় দুঃস্বপ্ন: বৈশিষ্ট্য মুছে ফেলার মাধ্যমে শক্তিশালী শিক্ষাhttps://distill.pub/2019/advex-bugs-discussion/response-1
Globerson, A. and Roweis, S., 2006. Proceedings of the 23rd International Conference on Machine Learning, pp. 353–360. এসিএম DOI: 10.1145/1143844.1143889 - শ্রেণীবিভাগের জন্য একটি শক্তিশালী minimax পদ্ধতিhttps://distill.pub/2019/advex-bugs-discussion/response-1
ল্যাঙ্করিয়েট, জিআর, ঘাউই, এলই, ভট্টাচার্য, সি. এবং জর্ডান, এমআই, 2003. জে. মাচ। শিখতে শো. ভলিউম III, পৃষ্ঠা 555–582। JMLR.org. DOI: 10.1162/153244303321897726 - মানুষ এবং গভীর নিউরাল নেটওয়ার্কে সাধারণীকরণ[PDF]
Geirhos, R., Temme, CRM, Rauber, J., Sch{\”{u}}tt, HH, Bethge, M. এবং Wichmann, FA, 2018. CoRR, Vol abs/1808.08750। - কম্পিউটার দৃষ্টিতে মডেল স্থিতিশীলতার উপর একটি উর্বর দৃষ্টিকোণ[PDF]
Yin, D., Lopes, RG, Shlens, J., Cubuk, ED এবং Gilmer, J., 2019. CoRR, Vol abs/1906.08988. - খেলার নিয়ম ড্রাইভিং একটি প্রতিদ্বন্দ্বী উদাহরণ গবেষণা[PDF]
গিলমার, জে., অ্যাডামস, আরপি, গুডফেলো, আইজে, অ্যান্ডারসন, ডি. এবং ডাহল, জিই, 2018. CoRR, Vol abs/1807.06732। - প্রতিদ্বন্দ্বী নমুনাগুলি গোলমালের পরীক্ষার ত্রুটির একটি স্বাভাবিক পরিণতি[PDF]
Ford, N., Gilmer, J., Carlini, N. এবং Cubuk, ED, 2019. CoRR, Vol abs/1901.10513. - শ্রেণিবিন্যাসকারীদের দৃঢ়তা: প্রতিপক্ষের গোলমাল থেকে এলোমেলো শব্দ পর্যন্ত[PDF]
ফাওজি, এ., মুসাভি-ডেজফুলি, এস. এবং ফ্রসার্ড, পি., 2016. নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমের অগ্রগতি 29, পৃ. 1632–1640। Curran Associates, Inc. - প্রাকৃতিক প্রতিদ্বন্দ্বিতা উদাহরণ[PDF]
Hendrycks, D., Zhao, K., Basart, S., Steinhardt, J. and Song, D., 2019. ICML 2019 ওয়ার্কশপ অন আন্ডারস্ট্যান্ডিং এবং ইমপ্রুভিং জেনারেলাইজেশন ইন ডিপ লার্নিং। - {MNIST-C:} {A} কম্পিউটার দৃষ্টির জন্য দৃঢ়তার পরিমাপ[PDF]
Mu, N. এবং Gilmer, J., 2019. CoRR, Vol abs/1906.02337. - {NICO:} {A} ডেটাসেট আইআইডি-মুক্ত চিত্র শ্রেণিবিন্যাসের দিকে[PDF]
He, Y., Shen, Z. এবং Cui, P., 2019. CoRR, Vol abs/1906.02899. - ইমেজনেট ক্লাসিফায়াররা কি ইমেজনেটে সাধারণীকরণ করে?[PDF]
Recht, B., Roelofs, R., Schmidt, L. এবং Shankar, V., 2019. CoRR, Vol abs/1902.10811. - ঘরে হাতি[PDF]
Rosenfeld, A., Zemel, RS এবং Tsotsos, JK, 2018. CoRR, Vol abs/1808.03305. - ইমেজ মডেল স্থায়িত্ব মূল্যায়ন ভিডিও ব্যবহার করে[PDF]
গু, কে., ইয়াং, বি., এনগিয়াম, জে., লে, কিউভি এবং শ্লেন্স, জে., 2019. CoRR, Vol abs/1904.10076.
আপডেট এবং সংশোধন
আপনি যদি ভুল দেখতে পান বা পরিবর্তনের পরামর্শ দিতে চান তবে অনুগ্রহ করে GitHub-এ একটি সমস্যা তৈরি করুন।
পুনরায় ব্যবহার
ডায়াগ্রাম এবং টেক্সট ক্রিয়েটিভ কমন্স অ্যাট্রিবিউশন CC-BY 4.0-এর অধীনে লাইসেন্সপ্রাপ্ত, GitHub-এ উপলব্ধ উৎস সহ, যদি না অন্যথায় উল্লেখ করা হয়। অন্যান্য উত্স থেকে পুনঃব্যবহৃত ডেটা এই লাইসেন্সের আওতায় পড়ে না এবং তাদের ক্যাপশনে একটি নোট দ্বারা চিহ্নিত করা যেতে পারে: “এর থেকে ছবি…”।
উদ্ধৃতি
একাডেমিক প্রেক্ষাপটে অ্যাট্রিবিউশনের জন্য, অনুগ্রহ করে এই কাজটি উল্লেখ করুন
Gilmer & Hendrycks, "A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'", Distill, 2019.
BibTeX উদ্ধৃতি
@article{gilmer2019a,
author = {Gilmer, Justin and Hendrycks, Dan},
title = {A Discussion of 'Adversarial Examples Are Not Bugs, They Are Features': Adversarial Example Researchers Need to Expand What is Meant by 'Robustness'},
journal = {Distill},
year = {2019},
note = {https://distill.pub/2019/advex-bugs-discussion/response-1},
doi = {10.23915/distill.00019.1}
}