ইউনিফাইড মাল্টিমোডাল মডেল যা সমন্বিত টেক্সট-ইমেজ সিকোয়েন্স বোঝে, যুক্তি দেয় এবং তৈরি করে সেগুলি কাঠামোগতভাবে খণ্ডিত থাকে: বিদ্যমান পন্থাগুলি বিচ্ছিন্ন টোকেনাইজেশনের মাধ্যমে চাক্ষুষ বিশ্বস্ততাকে বলিদান করে, কার্যকারণ পাঠ্য প্রজন্মকে পুনরাবৃত্তিমূলক বিচ্ছুরণ-ভিত্তিক ডিনোইসিংয়ের সাথে সমন্বয় করে কাঠামোগত অসাম্যতা আরোপ করে, বা মডেলকে বোঝার জন্য ‘প্রি-ট্র্যাক্টেড জেনারেশন’-এর জন্য মডেল তৈরি করে। আমরা দেখতে পাই যে অটোরিগ্রেসিভ নর্মালাইজেশন প্রবাহ হল অটোরিগ্রেসিভ ট্রান্সফরমার—একই কার্যকারণ মাস্ক, কেভি-ক্যাশ মেকানিজম, এবং LLM-এর মতো বাঁ-থেকে-ডান কাঠামো ভাগ করে—এগুলিকে সত্যিকারের একীভূত মাল্টিমোডাল তৈরি করার জন্য সবচেয়ে স্বাভাবিক দৃষ্টান্ত তৈরি করে যা ক্রমাগত, একক-পাস, এবং সম্পূর্ণরূপে কার্যকারণ। আমরা STARFlow2 উপস্থাপন করছি, প্রিটজেল আর্কিটেকচারের উপর নির্মিত যা একটি পূর্বপ্রশিক্ষিত হিমায়িত VLM স্ট্রীমকে একটি TARFlow স্ট্রীমের সাথে অবশিষ্ট স্কিপ সংযোগের মাধ্যমে একত্রিত করে, উভয়ই একই কার্যকারণ মুখোশের অধীনে কাজ করে। এই নকশাটি একই সাথে পূর্বপ্রশিক্ষিত মাল্টিমোডাল বোঝার সংরক্ষণ করে, অবিচ্ছিন্ন উচ্চ-বিশ্বস্ততার চিত্র তৈরি করতে সক্ষম করে এবং একটি একক কার্যকারণ প্রক্রিয়ার অধীনে কাঠামোগত একীকরণ অর্জন করে। গভীর-অগভীর প্রবাহ নকশা এবং FAE ইউনিফাইড সুপ্ত স্থানের সাথে মিলিত, STARFlow2 ক্যাশে-বান্ধব ইন্টারলিভিং সমর্থন করে যেখানে টেক্সট এবং ভিজ্যুয়াল আউটপুট উভয়ই পুনরায় এনকোডিং ছাড়াই সরাসরি KV-ক্যাশে যায়। পরীক্ষাগুলি ইমেজ জেনারেশন এবং মাল্টিমোডাল বোঝার বেঞ্চমার্ক জুড়ে শক্তিশালী কর্মক্ষমতা প্রদর্শন করে, ইউনিফাইড মাল্টিমডাল মডেলিংয়ের জন্য একটি কার্যকর ভিত্তি হিসাবে অটোরিগ্রেসিভ প্রবাহকে বৈধ করে।
- †ইউআইইউসি
- ** অ্যাপলের সময় করা কাজ