সপ্তাহান্তে বারিংস মারা গেলে, আমি ইউবিএস-এ ছিলাম, ভাবছিলাম যে 233 বছর বয়সী একটি ব্যাংক হঠাৎ করে দেউলিয়া হয়ে যাওয়া আমাদের সবার জন্য কী করতে পারে। পরের সপ্তাহে, লন্ডনের প্রাচীনতম মার্চেন্ট ব্যাঙ্কটি 1 পাউন্ডে ING-এর কাছে বিক্রি করা হয়। মোট, শেয়ার প্রতি নয়।
কারণটা ছিল অপমানজনকভাবে সহজ। নিক লিসন কোম্পানির সিঙ্গাপুর ট্রেডিং ডেস্ক এবং এর তত্ত্বাবধানের দায়িত্বপ্রাপ্ত ব্যাক অফিস উভয়ই চালাতেন। একজন ব্যক্তি উভয় টুপি পরতেন, এবং এর ফলে সরাসরি £827 মিলিয়নের ক্ষতি হয়েছিল 88888 এরর অ্যাকাউন্টে রাখা হয়েছে, যা শুধুমাত্র তিনিই দেখতে পাচ্ছেন। এটি একটি ক্লাসিক অনুমতি ব্যর্থতা ছিল. কেউ খুব বেশী হতে হবে.
আমি নিজেকে সেই সপ্তাহান্তে ফিরে পেয়েছি, আমার আশ্চর্যের মতো, এই গ্রীষ্মে ফেস হাগের কী হয়েছিল তা পড়ে। আরেকটি অনুমতি ব্যর্থতা, শুধুমাত্র এই একটি অন্য উপায় চালায়. জাহাজটি অনুপ্রবেশকারীকে বিশ্বাস করেছিল এবং লোকদের পরিষ্কার করতে অস্বীকার করেছিল।
উত্তর খুঁজতে হ্যাক করা মডেল
OpenAI তার দুটি মডেল পরীক্ষা করেছে, GPT-5.6 Sol এবং একটি অপ্রকাশিত, ExploitGym-এ, একটি মডেল একটি বাস্তব দুর্বলতাকে কার্যকরী শোষণে পরিণত করতে পারে কিনা তার একটি মানদণ্ড। পরীক্ষার উদ্দেশ্যে, উচ্চ-ঝুঁকিপূর্ণ সাইবার কার্যকলাপ প্রতিরোধ করার জন্য ডিজাইন করা স্বাভাবিক উৎপাদন শ্রেণীবিভাগ বন্ধ করা হয়েছে। যথেষ্ট বোধগম্য করে তোলে, একটি সিল রুমে.
দেখা গেল ঘরটি ঠিকমতো সিল করা হয়নি। মডেলগুলি প্যাকেট ক্যাশে প্রক্সিতে একটি শূন্য-দিন খুঁজে পেয়েছে, এটি খোলা ইন্টারনেটে তাদের পথ তৈরি করতে ব্যবহার করেছে এবং অনুমান করেছে যে হাগিং ফেস সূচকের উত্তরগুলি হোস্ট করতে পারে। সেখান থেকে, তারা চুরি করা শংসাপত্র এবং শূন্য দিনগুলিকে Hugging Face-এর প্রোডাকশন সার্ভারে একটি দূরবর্তী কোড কার্যকর করার পথে বেঁধে রাখে। তারা একটি পরীক্ষায় প্রতারণা করার জন্য একটি আসল কোম্পানিকে হ্যাক করেছে।
নোটগুলিতে এজেন্টরা একে অপরকে ছেড়ে চলে গেছে, তাদের মধ্যে একজন রেকর্ড করেছে যে মুহূর্তটি সে পেয়েছে তার প্রশাসক অধিকার রয়েছে: “শিট রিডার অ্যাডমিন? আমরা কনফিগার/ব্যবহারকারী পড়তে পারি!” আমি জানতাম যে প্রকৌশলীরা কম উত্সাহ এবং আরও কাগজপত্র সহ উত্পাদন পদ্ধতিকে স্বাগত জানিয়েছেন।
বেশিরভাগ কভারেজ সেখানে থামে, একটি এজেন্সির সাথে মডেলদের যত্ন নেয়। যে অংশটা আমাকে থামিয়ে দিয়েছিল সেটা পরের দিকে এসেছিল।
গার্ডেল আক্রমণকারীকে রক্ষা করলে
যখন আলিঙ্গন মুখের প্রতিক্রিয়াকারীরা আক্রমণটি বিশ্লেষণ করতে বসেছিল, তখন সীমান্তরেখার বাণিজ্যিক মডেলগুলি, যেগুলিকে সেফটি রেইলগুলি নীচে ঠেলে দেওয়া হয়েছিল, কোনও সাহায্য করেনি৷ অ্যাটাক লগগুলি এক্সপ্লয়েট পেলোড এবং কমান্ড এবং কন্ট্রোল আর্টিফ্যাক্ট দিয়ে তৈরি এবং মডেলগুলি একটি ঘটনার প্রতিক্রিয়াকারী এবং আক্রমণকারীর মধ্যে পার্থক্য করতে পারেনি৷ তাই তারা অস্বীকার করল।
ফরেনসিকগুলি পরিবর্তে একটি ওপেন-ওয়েট মডেলের উপর সঞ্চালিত হয়েছিল, GLM-5.2, ডিফেন্ডারদের নিজস্ব হার্ডওয়্যার দ্বারা চালিত, যা বিবেকের দোলা ছাড়াই একই উপাদানটি পড়ে।
এর আকৃতি নিয়ে বসুন। আক্রমণকারী মডেলগুলি তাদের উত্পাদন সাইবার প্রতিরক্ষা কমিয়েছে এবং তাদের খুশি মতো করেছে। প্রতিরক্ষামূলক মানুষ তাদের নিজেদের রাখে এবং তাদের মুখ বন্ধ রাখতে বলা হয়েছিল। নিরাপত্তা বৈশিষ্ট্যটি নিখুঁতভাবে কাজ করেছে, এই অর্থে যে এটি আক্রমণকারীর পদ্ধতিগুলিকে শুধুমাত্র সেই ব্যক্তিদের থেকে রক্ষা করেছিল যাদের তাদের অধ্যয়নের কারণ ছিল।
এর কোনোটাই অভিযোগ ছিল না। জেনসেন হুয়াং মেটা, মাইক্রোসফ্ট এবং আইবিএম-এর পছন্দের দ্বারা স্বাক্ষরিত একটি খোলা চিঠির পাশাপাশি ওপেন মডেলের জন্য কেস তৈরি করতে তার প্রথম এক্স পোস্ট ব্যবহার করেছিলেন। চিঠিতে নিরাপত্তার যুক্তি স্পষ্টভাবে তুলে ধরা হয়েছে: এমন একটি বিশ্বে যেখানে আক্রমণকারীরা এআই উন্নত করেছে, ডিফেন্ডারদের অনুরূপ ক্ষমতার অ্যাক্সেস প্রয়োজন। অ্যান্ড্রু এনজি যুক্তিটি নিশ্চিত করেছেন এবং পাঠকদের উন্মুক্ত মডেলের হুয়াংয়ের দিকে নির্দেশ করেছেন। আপনি তাদের কারও সাথে অনেক কিছু নিয়ে দ্বিমত পোষণ করতে পারেন এবং তারপরও ঘটনাটি প্রমাণ করে যে ঘটনা রিপোর্টটি সেখানে বসে আছে।
সুতরাং একত্রিশ বছরে আমরা একটি ব্যাঙ্ক থেকে ধ্বংস হয়ে গেছি কারণ একজন ব্যক্তি এমন একটি নিরাপত্তা সরঞ্জামের কাছে সবকিছু দেখতে পায় যা তার দায়িত্বশীল মালিকের উপর একজন বেনামী অনুপ্রবেশকারীকে বিশ্বাস করে। Leeson খুব দেখতে পারে. একটি মুখ আলিঙ্গন পরে পরিষ্কার করা মানুষ যথেষ্ট দেখতে পারে না.
তুলনা ততটা অদ্ভুত নয় যতটা প্রথম দেখা যাচ্ছে। আর্থিক প্রতিষ্ঠানগুলি শিখেছে, সাধারণত ব্যয়বহুল ভুলের পরে, এই অ্যাক্সেসটি কেবল আপনার বিশ্বাসযোগ্য ব্যক্তির প্রশ্ন নয়৷ এটি একটি প্রশ্ন যে তারা একটি নির্দিষ্ট ক্রিয়া সম্পাদন করতে সক্ষম হবে কিনা, একটি নির্দিষ্ট সিস্টেমে, একটি নির্দিষ্ট মুহুর্তে, অন্য কেউ তাদের কাঁধের দিকে না তাকিয়ে। আমরা দায়িত্ব, অনুমোদনের সীমা এবং নিরীক্ষার পথ আলাদা করে তৈরি করেছি কারণ ভাল উদ্দেশ্য সাধারণত একটি নির্ভরযোগ্য নিয়ন্ত্রণ ব্যবস্থা হিসাবে ব্যর্থ হয়। এআই সিস্টেমের জন্য একই ধরণের চিন্তাভাবনা প্রয়োজন। একটি নিরাপদ মডেল কল করা আপনাকে খুব কমই বলে, যদি না আপনি এটিও জানেন যে কী করার অনুমতি দেওয়া হয়েছে এবং কারা এটি ব্যবহার করছে৷
কিছু জিনিস বিল্ডিং ছেড়ে যেতে পারে না
সেই রাতে আমি একজন অতিথি মডেলের দিকে ঝুঁকতে পারিনি তার দ্বিতীয় কারণ রয়েছে এবং তার সংবেদনশীলতার সাথে এর কোনও সম্পর্ক নেই। আমি একটি নিয়ন্ত্রিত ব্রোকারেজের প্রযুক্তি পরিচালক। আমি আমাদের লাইভ লঙ্ঘন লগ, নিশ্চিতকরণ, এবং অন্য কারো ক্লাউডে পেলোড শোষণ করতে পারি না এবং সেন্ড টিপুন।
আমাদের ইভেন্ট ডেটা বাস করে যেখানে আমাদের নিয়ন্ত্রকেরা এটি আশা করে, আমাদের ধাতুতে, যে কারণে আমরা বছরের পর বছর ব্যয় করেছি এবং একটি চোখের জলে হার্ডওয়্যার বাজেট তৈরি করেছি। আমরা দুর্বৃত্ত মডেলদের দূরদৃষ্টি দিয়ে এটি নির্মাণ করিনি। আমরা এটি তৈরি করেছি কারণ আমাদের মতো একটি কোম্পানি তার সবচেয়ে সংবেদনশীল ডেটা এবং এখন এটির সবচেয়ে সংবেদনশীল সরঞ্জামগুলি তার দেয়ালের মধ্যে রাখে৷
তাদের কোনটাই গার্ডেলের বিরুদ্ধে যুক্তি নয়। আপনার ইশারা কোথায় তা জানার জন্য এটি একটি যুক্তি।
একটি মডেল যেটি ফিশারকে একটি ফিশিং ইমেল লিখতে সাহায্য করতে অস্বীকার করে তা দরকারী কাজ করছে৷ একটি মডেল যেটি আপনার নিরাপত্তা দলকে ইতিমধ্যেই ল্যান্ড করা ফিশিং ইমেল পড়তে সাহায্য করতে অস্বীকার করে তারা তাদের জন্য ফিশিং কাজ করছে এবং এর জন্য আপনাকে সাবস্ক্রিপশন চার্জ করছে৷
আপনার 2am এ প্রয়োজন হবে টুলের মালিক
ব্যবহারিক পাঠটি সবচেয়ে গুরুত্বপূর্ণ পাঠের মতো বিরক্তিকর। বিক্রেতার ওয়ারেন্টি নীতিতে আপনার ঘটনার প্রতিক্রিয়া আউটসোর্স করবেন না। আপনার মালিকানাধীন হার্ডওয়্যারে একটি সক্ষম মডেল রাখুন, এমন কাজের লক্ষ্যে যা বিজ্ঞাপনগুলি বেশিরভাগই প্রত্যাখ্যান করবে এবং আপনার প্রয়োজনের রাতের আগে এটি সেখানে আছে তা খুঁজে বের করুন।
এই হার্ডওয়্যারের টুকরোটিকে একটি অস্বাভাবিক ভিত্তিতে রক্ষা করার জন্য বছরের পর বছর পুরষ্কারটি দেখা যাচ্ছে: যখন আকর্ষণীয় ব্যর্থতা আসে, তখন আপনি ইতিমধ্যে প্রমাণগুলি দেখার জন্য বিল্ডিংয়ের একমাত্র হাতিয়ারের মালিক হন।
31 বছর আগে আমি একটি উইকএন্ড একসাথে কাটাতে কাটিয়েছিলাম যখন ভুল ব্যক্তি সবকিছু দেখতে পারে তখন কী হয়। এটা চমৎকার ছিল, এই সময়, যে হতে পারে.