পূর্বের ল্যাবগুলি ট্যাবুলার বেস মডেলের নতুন সংস্করণ TabPFN-3.5 প্রকাশ করেছে। এটি কোনো ডেটা সেটের জন্য প্রশিক্ষণ বা টিউনিং ছাড়াই ফরোয়ার্ড পাসের একটি টেবিলে ভবিষ্যদ্বাণী করে। পূর্বের ল্যাবগুলি 7টি টেবিল বেঞ্চমার্ক জুড়ে প্রথম স্থানের রিপোর্ট করে। একটি পৃথক ডেমো দেখায় যে এটি একটি বিখ্যাত 2015 কাগল প্রতিযোগিতার বিজয়ী সমাধানকে পরাজিত করেছে।
স্থাপনযোগ্য? হ্যাঁ, লাইসেন্স সহ। ওপেন ওয়েটগুলি গবেষণা, মূল্যায়ন এবং কাগলের জন্য নেটিভভাবে কাজ করে, তবে উত্পাদন ব্যবহারের জন্য একটি পূর্বের ল্যাবস API বা একটি বাণিজ্যিক লাইসেন্স প্রয়োজন।
ফলাফল অটো
অটো গ্রুপ প্রোডাক্ট ক্লাসিফিকেশন চ্যালেঞ্জ 2015 সালে Kaggle এ চলে। এটি $10,000 এর জন্য প্রতিদ্বন্দ্বিতাকারী 3,505 টি দলকে আকৃষ্ট করেছিল। অংশগ্রহণকারীরা 93টি অস্পষ্ট গণনা বৈশিষ্ট্য ব্যবহার করে 9টি বিভাগে পণ্যগুলিকে সাজিয়েছে। জমাগুলি মাল্টিক্লাস লগ ক্ষতির সাথে স্কোর করা হয়েছিল, যেখানে কম ভাল।
বিজয়ী সমাধান এসেছে গিলবার্তো তিত্রিচ এবং স্ট্যানিস্লাভ সেমানভের কাছ থেকে। দুজনেই বিশ্বের সবচেয়ে বড় কাগল র্যাঙ্কিংয়ের অধিকারী। তাদের এন্ট্রি হস্তশিল্প বৈশিষ্ট্যের উপর নির্মিত 36 মডেলের একটি বহু-স্তরযুক্ত স্ট্যাক ছিল।
নিক এরিকসন, অটোগ্লুওনের সহ-নির্মাতা এবং প্রাইর ল্যাবসের একজন কৃত্রিম বুদ্ধিমত্তা গবেষক, বছরের পর বছর ধরে এই স্কোরটি অনুসরণ করছেন। এরিকসনের মতে, অটোগ্লুওন তার 2020 কাগজে 23 তম স্থানে ছিল। অটোগ্লুওন 1.0 2023 সালে 14 তম স্থানে পৌঁছেছে এবং অটোগ্লুওন 1.6 2026 সালের আগস্টে 9 নম্বরে পৌঁছেছে।
শেষ বিভাগটি সবচেয়ে কঠিন ছিল। 50 র্যাঙ্ক থেকে 10 র্যাঙ্কে যাওয়া লগ লস 0.41 থেকে 0.40 এ কাটছে৷ 0.382 পেতে 10 তম ডিগ্রী বিজয়ী আরও 0.018 নিয়েছিল, প্রায় দ্বিগুণ।
TabPFN-3.5 স্কোর 0.375 ব্যক্তিগত লিডারবোর্ডে। এরিকসন বলে যে এটি ডিফল্ট সেটিংস সহ কাঁচা ডেটাতে চলে। এটি একটি RTX PRO 6000 GPU-তে প্রায় এক মিনিট সময় নিয়েছে। মডেলটি শুধুমাত্র সিন্থেটিক ডেটার উপর প্রাক-প্রশিক্ষিত ছিল এবং কখনও অটো বা কাগল ডেটাসেট দেখেনি। প্রজননযোগ্য কাগল নোটবুক সর্বজনীন।
বেঞ্চমার্ক ফলাফল
প্রযুক্তিগত প্রতিবেদনে TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT এবং ScoringBench-এ প্রথম স্থানের তালিকা রয়েছে। শীর্ষ এন্ট্রি সবসময় বেস মডেল হয় না. TabPFN-3.5-চিন্তা করার জন্য প্রথমে TabArena, BeyondArena, STRABLE এবং MulTaBench লাগে। TabPFN-Rel জোতা-এর একটি অভ্যন্তরীণ পূর্বরূপ RelArena-α নেয়।
TabArena-এ, 51টি ডেটাসেটের একটি লাইভ বেঞ্চমার্ক, চিন্তা 1910 এলোতে পৌঁছেছে। বেস মডেলটি 1866 এর স্কোর পায়, 1823-এ TabFM+ এর চেয়ে এগিয়ে। পূর্বের ল্যাবস দাবি করে যে বেস মডেলটি অটোগ্লুওন 1.6 এক্সট্রিমকে 130 ইলোতে পরাজিত করেছে সময়ের এক পঞ্চমাংশে।
BeyondArena ক্লাস্টারড, টেম্পোরাল, প্রশস্ত, টেক্সট সমৃদ্ধ, এবং উচ্চ-কার্ডিনালিটি ডেটা সহ 142টি ডেটাসেট বিস্তৃত করে৷ TabPFN-3.5 আগের সামগ্রিক নেতা থেকে প্রায় 150 পয়েন্ট এগিয়ে শেষ করেছে। নির্দেশিত এবং এনসেম্বল এমএলপি এখনও এর ক্লাস্টারড, টেম্পোরাল এবং বড় স্লাইসগুলিতে নেতৃত্ব দেয়।
ফণা অধীনে কি পরিবর্তন হয়েছে?
- বিস্তৃত মডেল: ইন-কনটেক্সট ট্রান্সফরমার 512 থেকে 1024 মাত্রা বৃদ্ধি পেয়েছে। TabPFN-3 শ্রেণীবিভাগের জন্য পরামিতিগুলি 53M থেকে বেড়ে 220M হয়েছে।
- বাধা 1: একটি একক মাল্টিটাস্কিং বাধা এখন শ্রেণীবিভাগ এবং রিগ্রেশন কভার করে।
- নতুন সেল কোডিং: মানগুলি প্রেক্ষাপটের মধ্যে শেখা ফুরিয়ার বৈশিষ্ট্য এবং ECDF ডিগ্রির মধ্য দিয়ে যায়। লগ স্কেলিং যেমন একঘেয়ে রূপান্তরের অধীনে র্যাঙ্কগুলি অপরিবর্তনীয়।
- সহজ প্রিপ্রসেসিং: কোয়ান্টাইল রূপান্তর, শক্তিশালী স্কেলিং এবং SVD বৈশিষ্ট্যগুলি সরানো হয়।
- মই: 6,000 প্রস্তাবিত এবং 20,000 সমর্থিত বৈশিষ্ট্য সহ 1 মিলিয়ন সারি পর্যন্ত।
- প্রথম টিউন করা হয়েছে: সিন্থেটিক ডেটা এখন উচ্চ কার্ডিনালিটি, প্রশস্ত, এবং ক্লাস্টার টেবিল হাইলাইট করে।
প্রায় 4x বেশি পরামিতি থাকা সত্ত্বেও KV ক্যাশে TabPFN-3-এর মতো একই আকারে রয়ে গেছে। একটি সংরক্ষিত ফাইলে এক-লাইনের পূর্বাভাস TabPFN-3 গতির সাথে মেলে। যাইহোক, বড় প্রশিক্ষণ ব্যবস্থায়, বেস মডেল TabPFN-3 এর চেয়ে 2x ধীর গতিতে চলে।
