ترانسفورماتورها معمولاً به دلیل پیچیدگی توجه درجه دوم و نیاز به پهنای باند حافظه زیاد، هزینههای آموزش بالایی را متحمل میشوند، در حالی که مدلهای فضای حالت به سبک مامبا با جایگزینی توجه با تکامل ساختاریافته حالت و اسکن انتخابی در زمان خطی، کارایی را بهبود میبخشند. نتیجه، یک تغییر اساسی در نحوه مقیاسبندی مدلهای توالی در طول آموزش در زمینههای طولانی است.
معماریهای عصبی مبتنی بر توجه که روابط بین تمام جفتهای توکن را در یک توالی با استفاده از خودتوجهی مدلسازی میکنند.
مدلهای توالی مبتنی بر دینامیک فضای حالت ساختاریافته و اسکن انتخابی برای پردازش کارآمد توالیهای طولانی
| ویژگی | ترانسفورماتورها | مامبا (مدلهای فضای ایالتی) |
|---|---|---|
| محاسبات هسته | خودتوجهی جفتی در تمام نشانهها | تکامل فضای حالت با اسکن انتخابی |
| پیچیدگی آموزش | درجه دوم با طول دنباله | تقریباً خطی با طول دنباله |
| میزان استفاده از حافظه | به دلیل ماتریسهای توجه بالا است | به دلیل نمایش فشرده حالت، کمتر است |
| موازیسازی | موازیسازی بالا در توکنها | ترتیبیتر اما بهینهسازیشده برای هسته |
| مدیریت متن طولانی | با افزایش توالی، گران میشود | مقیاسبندی کارآمد برای توالیهای طولانی |
| کارایی سختافزار | محاسبات سنگین، پهنای باند فشرده | برای اسکن آگاهانه از حافظه بهینه شده است |
| پیچیدگی پیادهسازی | چارچوبها و ابزارهای تثبیتشده | پیادهسازیهای جدیدتر و تخصصیتر هسته |
| استراتژی مقیاسپذیری | مقیاسبندی از طریق اندازه مدل و محاسبه | مقیاسپذیری از طریق کارایی توالی و دینامیک ساختاریافته |
ترانسفورماتورها به خود-توجهی متکی هستند، که در آن هر نشانه با هر نشانه دیگر در یک دنباله تعامل دارد. این امر با طولانیتر شدن دنبالهها، رشد درجه دوم در محاسبات و حافظه ایجاد میکند. مدلهای Mamba این مکانیسم را با بهروزرسانیهای فضای حالت ساختاریافته جایگزین میکنند و به اطلاعات اجازه میدهند تا از طریق یک حالت پنهان فشرده جریان یابند، که با افزایش طول دنباله، رشد هزینه آموزش را به میزان قابل توجهی کاهش میدهد.
در طول آموزش، ترانسفورماتورها باید نقشههای توجه میانی بزرگی را برای پسانتشار ذخیره کنند، که میتواند به یک گلوگاه در بارهای کاری با حافظه فشرده تبدیل شود. مامبا از ماتریسهای توجه جفتی صریح اجتناب میکند و در عوض از یک مکانیسم مبتنی بر اسکن استفاده میکند که استفاده از حافظه را به مقیاسبندی خطی نزدیکتر نگه میدارد و کارایی را به ویژه در توالیهای طولانی بهبود میبخشد.
ترانسفورماتورها قابلیت موازیسازی بالایی دارند و از هستههای تنسور GPU بهره میبرند، اما عملیات توجه آنها میتواند به پهنای باند حافظه در مقیاس محدود شود. مدلهای سبک Mamba طوری طراحی شدهاند که با الگوهای دسترسی متوالی به حافظه بهتر همسو شوند و آنها را برای هستههای سختافزاری مدرن که برای محاسبات جریانی بهینه شدهاند، کارآمدتر میکنند.
با افزایش طول توالی، هزینه آموزش Transformer به دلیل گسترش ماتریس توجه به سرعت افزایش مییابد. در مقابل، Mamba رفتار مقیاسبندی پایدارتری را حفظ میکند زیرا تعاملات صریح توکن به توکن را محاسبه نمیکند و آن را برای زمینههای بسیار طولانی یا جریانهای داده پیوسته مناسبتر میکند.
ترانسفورماتورها به دلیل اینکه هر توکن میتواند مستقیماً با هر توکن دیگر تعامل داشته باشد، بیانگری قوی ارائه میدهند که اغلب منجر به عملکرد بهتر در وظایف استدلال پیچیده میشود. مامبا کارایی و مدلسازی طولانی مدت را در اولویت قرار میدهد و مقداری انعطافپذیری تعامل صریح را با ویژگیهای هزینه آموزش بهبود یافته قابل توجه، معاوضه میکند.
آموزش ترانسفورماتورها برای استفاده عملی همیشه بسیار گران است.
اگرچه ترانسفورماتورها میتوانند در طول توالیهای بسیار طولانی پرهزینه باشند، اما بسیار بهینه هستند و برای بسیاری از بارهای کاری دنیای واقعی، به ویژه با سختافزارهای مدرن و انواع توجه بهینه، کارآمد باقی میمانند.
مدلهای Mamba نیاز به منابع محاسباتی بزرگ را کاملاً از بین میبرند
مامبا هزینههای مقیاسبندی را کاهش میدهد، اما همچنان برای مدلهای بزرگ به محاسبات قابل توجهی نیاز دارد. بهبود کارایی عمدتاً از مدیریت توالی حاصل میشود، نه از حذف کامل پیچیدگی آموزش.
ترانسفورماتورها به هیچ وجه نمیتوانند توالیهای طولانی را مدیریت کنند
ترانسفورماتورها میتوانند توالیهای طولانی را با استفاده از بهینهسازیهایی مانند توجه پراکنده یا پنجرههای کشویی مدیریت کنند، اگرچه این موارد اغلب باعث ایجاد بدهبستان در دقت یا انعطافپذیری میشوند.
مامبا فقط یک ترانسفورماتور سریعتر است
مامبا بر اساس یک چارچوب ریاضی متفاوت با استفاده از مدلهای فضای حالت به جای توجه ساخته شده است، بنابراین به جای بهینهسازی مستقیم ترانسفورماتورها، یک رویکرد معماری متمایز را نشان میدهد.
ترانسفورماتورها همچنان قدرتمند هستند اما آموزش آنها در مقیاس بزرگ، به خصوص با توالیهای طولانی به دلیل هزینههای توجه درجه دوم، گران است. مدلهای سبک Mamba با استفاده از تکامل حالت در زمان خطی، جایگزین کارآمدتری برای آموزش ارائه میدهند و آنها را برای بارهای کاری با زمینه طولانی جذاب میکنند. بهترین انتخاب به این بستگی دارد که آیا بیان خام یا کارایی آموزش محدودیت اصلی است یا خیر.
احساسات انسانی یک تجربه پیچیده، بیولوژیکی و روانشناختی است که توسط حافظه، زمینه و ادراک ذهنی شکل میگیرد، در حالی که تفسیر الگوریتمی سیگنالهای احساسی را از طریق الگوهای داده و احتمالات تجزیه و تحلیل میکند. تفاوت در تجربه زیسته در مقابل استنتاج محاسباتی نهفته است، جایی که یکی احساس میکند و دیگری پیشبینی میکند.
ادراک انسان یک فرآیند بیولوژیکی عمیقاً یکپارچه است که حواس، حافظه و زمینه را برای ایجاد درک مداوم از جهان ترکیب میکند، در حالی که تشخیص الگو در هوش مصنوعی برای شناسایی ساختارها و همبستگیها بدون آگاهی یا تجربه زیسته، به یادگیری آماری از دادهها متکی است. هر دو سیستم الگوها را تشخیص میدهند، اما اساساً در سازگاری، معناسازی و مکانیسمهای اساسی متفاوت هستند.
سیستمهای ادغام حسگر، دادههای چندین حسگر مانند دوربینها، لیدار و رادار را برای ایجاد درک قوی از محیط ترکیب میکنند، در حالی که سیستمهای تک حسگر به یک منبع ادراک متکی هستند. این بده بستان بر قابلیت اطمینان در مقابل سادگی متمرکز است و نحوه درک، تفسیر و واکنش خودروهای خودران به شرایط رانندگی در دنیای واقعی را شکل میدهد.
اقتصادهای هوش مصنوعی خودمختار، سیستمهای نوظهوری هستند که در آنها عوامل هوش مصنوعی، تولید، قیمتگذاری و تخصیص منابع را با حداقل دخالت انسان هماهنگ میکنند، در حالی که اقتصادهای تحت مدیریت انسان برای تصمیمگیریهای اقتصادی به نهادها، دولتها و مردم متکی هستند. هدف هر دو بهینهسازی کارایی و رفاه است، اما در کنترل، سازگاری، شفافیت و تأثیر اجتماعی بلندمدت، اساساً متفاوت هستند.
الگوهای توجه ایستا بر روشهای ثابت یا از نظر ساختاری محدود برای توزیع تمرکز بین ورودیها متکی هستند، در حالی که مدلهای تکامل حالت پویا، یک حالت داخلی را گام به گام بر اساس دادههای ورودی بهروزرسانی میکنند. این رویکردها دو الگوی اساساً متفاوت برای مدیریت زمینه، حافظه و استدلال با توالی طولانی در سیستمهای هوش مصنوعی مدرن ارائه میدهند.
