مکانیسمهای خود-توجهی و مدلهای فضای حالت، دو رویکرد اساسی برای مدلسازی توالی در هوش مصنوعی مدرن هستند. خود-توجهی در ثبت روابط غنی توکن-به-توکن عالی عمل میکند، اما با توالیهای طولانی، گران میشود، در حالی که مدلهای فضای حالت، توالیها را با مقیاسبندی خطی، کارآمدتر پردازش میکنند و آنها را برای برنامههای کاربردی با زمینه طولانی و بلادرنگ جذاب میکنند.
یک رویکرد مدلسازی توالی که در آن هر توکن به صورت پویا به همه توکنهای دیگر توجه میکند تا بازنماییهای زمینهای را محاسبه کند.
یک چارچوب مدلسازی توالی که ورودیها را به عنوان حالتهای پنهان در حال تکامل در طول زمان نشان میدهد.
| ویژگی | مکانیسمهای خود-توجهی (ترانسفورماتورها) | مدلهای فضای حالت |
|---|---|---|
| ایده اصلی | توجه توکن به توکن در کل توالی | تکامل حالت پنهان در طول زمان |
| پیچیدگی محاسباتی | مقیاسبندی درجه دوم | مقیاسبندی خطی |
| میزان استفاده از حافظه | برای توالیهای طولانی بالا است | حافظه کارآمدتر |
| مدیریت توالیهای طولانی | گران بودن فراتر از طول متن خاص | طراحی شده برای توالیهای طولانی |
| موازیسازی | موازی بودن بالا در طول آموزش | ماهیت ترتیبیتر |
| تفسیرپذیری | نقشههای توجه تا حدی قابل تفسیر هستند | دینامیک حالت کمتر به طور مستقیم قابل تفسیر است |
| کارایی آموزش | در شتابدهندههای مدرن بسیار کارآمد است | کارآمد اما کمتر سازگار با موازیسازی |
| موارد استفاده معمول | مدلهای زبان بزرگ، مبدلهای بینایی، سیستمهای چندوجهی | سریهای زمانی، صدا، مدلسازی با زمینه طولانی |
مکانیسمهای خودتوجهی، همانطور که در ترانسفورماتورها استفاده میشود، به طور صریح هر نشانه را با هر نشانه دیگر مقایسه میکنند تا نمایشهای زمینهای ایجاد کنند. این یک سیستم بسیار گویا ایجاد میکند که روابط را مستقیماً ثبت میکند. در عوض، مدلهای فضای حالت، توالیها را به عنوان سیستمهای در حال تکامل در نظر میگیرند، جایی که اطلاعات از طریق یک حالت پنهان که گام به گام بهروزرسانی میشود، جریان مییابد و از مقایسههای جفتی صریح اجتناب میکند.
خودتوجهی با توالیهای طولانی به خوبی مقیاسپذیر نیست، زیرا هر نشانه اضافی تعداد تعاملات جفتی را به طرز چشمگیری افزایش میدهد. مدلهای فضای حالت با افزایش طول توالی، هزینه محاسباتی پایدارتری را حفظ میکنند و این امر آنها را برای ورودیهای بسیار طولانی مانند اسناد، جریانهای صوتی یا دادههای سری زمانی مناسبتر میکند.
خودتوجهی میتواند مستقیماً توکنهای دور را به هم متصل کند، که آن را برای ثبت روابط دوربرد قدرتمند میکند، اما این کار هزینه محاسباتی بالایی دارد. مدلهای فضای حالت، حافظه دوربرد را از طریق بهروزرسانیهای مداوم حالت حفظ میکنند و شکلی کارآمدتر اما گاهی اوقات کمتر مستقیم از استدلال در زمینه طولانی ارائه میدهند.
خودتوجهی به شدت از موازیسازی GPU و TPU سود میبرد، به همین دلیل است که ترانسفورماتورها بر آموزش در مقیاس بزرگ تسلط دارند. مدلهای فضای حالت اغلب ماهیت ترتیبیتری دارند که میتواند کارایی موازی را محدود کند، اما آنها با استنتاج سریعتر در سناریوهای توالی طولانی جبران میکنند.
خود-توجهی عمیقاً در سیستمهای هوش مصنوعی مدرن ادغام شده است و اکثر مدلهای پیشرفته زبان و بینایی را تقویت میکند. مدلهای فضای حالت در کاربردهای یادگیری عمیق جدیدتر هستند، اما به عنوان یک جایگزین مقیاسپذیر برای حوزههایی که کارایی در زمینههای طولانی حیاتی است، مورد توجه قرار گرفتهاند.
مدلهای فضای حالت، صرفاً مبدلهای سادهشدهای هستند
مدلهای فضای حالت اساساً متفاوت هستند. آنها مبتنی بر سیستمهای دینامیکی پیوسته هستند و نه توجه صریح توکن به توکن، که آنها را به یک چارچوب ریاضی جداگانه تبدیل میکند تا یک نسخه سادهشده از مبدلها.
توجه به خود به هیچ وجه نمیتواند توالیهای طولانی را تحمل کند.
خود-توجهی میتواند توالیهای طولانی را مدیریت کند، اما از نظر محاسباتی پرهزینه میشود. بهینهسازیها و تقریبهای مختلفی وجود دارد، اگرچه محدودیتهای مقیاسبندی را به طور کامل برطرف نمیکنند.
مدلهای فضای حالت نمیتوانند وابستگیهای دوربرد را در نظر بگیرند
مدلهای فضای حالت بهطور خاص برای ثبت وابستگیهای بلندمدت از طریق حالتهای پنهان پایدار طراحی شدهاند، اگرچه این کار را بهطور غیرمستقیم و نه از طریق مقایسههای صریح توکن انجام میدهند.
توجه به خود همیشه از سایر روشها بهتر عمل میکند
اگرچه خود-توجهی بسیار مؤثر است، اما همیشه بهینه نیست. در محیطهای با توالی طولانی یا با محدودیت منابع، مدلهای فضای حالت میتوانند کارآمدتر و رقابتیتر باشند.
مدلهای فضای حالت قدیمی هستند زیرا از نظریه کنترل میآیند.
اگرچه مدلهای فضای حالت مدرن ریشه در نظریه کنترل کلاسیک دارند، اما برای یادگیری عمیق دوباره طراحی شدهاند و به عنوان جایگزینهای مقیاسپذیر برای معماریهای مبتنی بر توجه، به طور فعال مورد تحقیق قرار گرفتهاند.
مکانیسمهای خودتوجهی به دلیل قدرت بیان و پشتیبانی قوی از اکوسیستم، به ویژه در مدلهای زبانی بزرگ، همچنان رویکرد غالب هستند. مدلهای فضای حالت، جایگزین قانعکنندهای برای کاربردهای حیاتی از نظر کارایی ارائه میدهند، به ویژه در مواردی که طول توالیهای طولانی، توجه را به طور سرسامآوری گران میکند. هر دو رویکرد احتمالاً در کنار هم وجود خواهند داشت و هر کدام نیازهای محاسباتی و کاربردی متفاوتی را برآورده میکنند.
احساسات انسانی یک تجربه پیچیده، بیولوژیکی و روانشناختی است که توسط حافظه، زمینه و ادراک ذهنی شکل میگیرد، در حالی که تفسیر الگوریتمی سیگنالهای احساسی را از طریق الگوهای داده و احتمالات تجزیه و تحلیل میکند. تفاوت در تجربه زیسته در مقابل استنتاج محاسباتی نهفته است، جایی که یکی احساس میکند و دیگری پیشبینی میکند.
ادراک انسان یک فرآیند بیولوژیکی عمیقاً یکپارچه است که حواس، حافظه و زمینه را برای ایجاد درک مداوم از جهان ترکیب میکند، در حالی که تشخیص الگو در هوش مصنوعی برای شناسایی ساختارها و همبستگیها بدون آگاهی یا تجربه زیسته، به یادگیری آماری از دادهها متکی است. هر دو سیستم الگوها را تشخیص میدهند، اما اساساً در سازگاری، معناسازی و مکانیسمهای اساسی متفاوت هستند.
سیستمهای ادغام حسگر، دادههای چندین حسگر مانند دوربینها، لیدار و رادار را برای ایجاد درک قوی از محیط ترکیب میکنند، در حالی که سیستمهای تک حسگر به یک منبع ادراک متکی هستند. این بده بستان بر قابلیت اطمینان در مقابل سادگی متمرکز است و نحوه درک، تفسیر و واکنش خودروهای خودران به شرایط رانندگی در دنیای واقعی را شکل میدهد.
اقتصادهای هوش مصنوعی خودمختار، سیستمهای نوظهوری هستند که در آنها عوامل هوش مصنوعی، تولید، قیمتگذاری و تخصیص منابع را با حداقل دخالت انسان هماهنگ میکنند، در حالی که اقتصادهای تحت مدیریت انسان برای تصمیمگیریهای اقتصادی به نهادها، دولتها و مردم متکی هستند. هدف هر دو بهینهسازی کارایی و رفاه است، اما در کنترل، سازگاری، شفافیت و تأثیر اجتماعی بلندمدت، اساساً متفاوت هستند.
الگوهای توجه ایستا بر روشهای ثابت یا از نظر ساختاری محدود برای توزیع تمرکز بین ورودیها متکی هستند، در حالی که مدلهای تکامل حالت پویا، یک حالت داخلی را گام به گام بر اساس دادههای ورودی بهروزرسانی میکنند. این رویکردها دو الگوی اساساً متفاوت برای مدیریت زمینه، حافظه و استدلال با توالی طولانی در سیستمهای هوش مصنوعی مدرن ارائه میدهند.
