کارایی سیستم در سیستمهای توصیهگر بر کاهش تأخیر، هزینه محاسباتی و استفاده از منابع در عین حفظ کیفیت توصیه قابل قبول تمرکز دارد. بهینهسازی دقیق مدل، معیارهای عملکرد پیشبینی مانند AUC، NDCG و فراخوانی را در اولویت قرار میدهد، که اغلب به قیمت سربار محاسباتی تمام میشود. انتخاب بین آنها بستگی به این دارد که آیا استقرار شما برای مقیاسپذیری و هزینه ارزش قائل است یا کیفیت رتبهبندی خام.
یک رویکرد مهندسی که تأخیر، توان عملیاتی، حافظه و مصرف انرژی را در کل خط لوله توصیه بهینه میکند.
یک رویکرد مبتنی بر تحقیق که معیارهای دقت آفلاین و آنلاین را بدون نگرانی اصلی در مورد هزینه محاسباتی به حداکثر میرساند.
| ویژگی | کارایی سیستم در توصیهگرها | بهینهسازی دقیق مدل |
|---|---|---|
| هدف اصلی | به حداقل رساندن تأخیر، هزینه و استفاده از منابع | معیارهای دقت پیشبینی را به حداکثر برسانید |
| معیارهای کلیدی | تأخیر P99، QPS، هزینه به ازای هر درخواست ۱۰۰۰ تایی، میزان اشغال فضای حافظه | AUC، NDCG@K، فراخوانی@K، از دست دادن لگاریتم، MAP |
| تکنیکهای معمول | کوانتیزاسیون، جستجوی شبکه عصبی مصنوعی، ذخیرهسازی، مدلهای دو برجی، تقطیر | شبکههای عمیقتر، ویژگیهای متقاطع، GNNها، تبدیلکنندهها، ادغام |
| محاسبه بودجه | محدود و بهینه شده | اغلب بیقید و بند یا سخاوتمند |
| تمرکز استقرار | تولید با میلیاردها درخواست در روز ارائه میشود | معیارهای تحقیق و ارزیابی آفلاین |
| تأثیر تجاری | صرفهجویی مستقیم در هزینه و تجربه کاربری از طریق سرعت | توصیههای بهتر اگر در محدوده بودجه ارائه شوند |
| خطر بیشبرازش | پایینتر، زیرا مدلهای سادهتر اغلب استفاده میشوند | بالاتر، زیرا مدلهای پیچیده میتوانند الگوها را به خاطر بسپارند |
| حساسیت سختافزار | تنظیم بالا برای شتابدهندههای خاص | پایینتر - هر جا که محاسبات در دسترس باشد، اجرا میشود |
بهرهوری سیستم، کیفیت توصیه را به عنوان یک متغیر در میان متغیرهای بسیار دیگر در نظر میگیرد و آن را در برابر تأخیر، هزینه و قابلیت اطمینان متعادل میکند. بهینهسازی دقت محض، کیفیت را به عنوان متغیر غالب در نظر میگیرد و فرض میکند که محاسبات را میتوان برای مطابقت با آن آماده کرد. در عمل، این دو رویکرد در دو انتهای یک طیف قرار میگیرند و اکثر تیمهای تولید در نهایت در جایی در وسط قرار میگیرند و مقدار کمی از دقت را با افزایش قابل توجه بهرهوری مبادله میکنند.
تیمهای متمرکز بر کارایی به سمت معماریهایی گرایش دارند که تولید کاندیدا را از رتبهبندی جدا میکنند، مانند مدلهای دو برجی که در آنها جاسازیهای کاربر و آیتم به طور مستقل از قبل محاسبه میشوند. تیمهای متمرکز بر دقت اغلب تعاملات بین ویژگیها، مکانیسمهای توجه و انباشت عمیق را ترجیح میدهند که سیگنالهای غنیتری را ثبت میکنند اما در زمان ارائه خدمات به محاسبات مشترک نیاز دارند. انتخاب معماری به همه چیز از فروشگاههای ویژگی گرفته تا زیرساختهای ارائه خدمات سرایت میکند.
وقتی کارایی در اولویت باشد، موفقیت با معیارهایی مانند تأخیر در دنباله، توان عملیاتی به ازای هر پردازنده گرافیکی و هزینه کل مالکیت سنجیده میشود. تیمهای دقت محور با امتیازات جدول امتیازات آفلاین و افزایش تعامل یا درآمد در تستهای آنلاین A/B زنده میمانند و میمیرند. مدلی که در NDCG برنده میشود اما بودجه تأخیر را از دست میدهد، در فرهنگ کارایی محور شکست خورده است و مدلی که در 5 میلیثانیه سرویس میدهد اما رتبه ضعیفی دارد، در فرهنگ دقت محور شکست خورده است.
در شرکتهایی مانند متا، گوگل و تیکتاک، سیستمهای توصیهگر تریلیونها درخواست را مدیریت میکنند، بنابراین حتی بهبودهای کوچک در بهرهوری به میلیونها صرفهجویی در زیرساختها منجر میشود. محیطهای دانشگاهی و استارتاپی اغلب فاقد این محدودیتهای مقیاس هستند و به آنها اجازه میدهد بدون نگرانی در مورد هزینه ارائه خدمات، دقت را بیشتر کنند. نتیجه این است که معیارهای دقت منتشر شده اغلب از مدلهایی استفاده میکنند که هرگز در یک بررسی تولید در یک ابرمقیاسساز دوام نمیآورند.
کارایی زمانی برنده میشود که هزینه ارائه خدمات بر بودجه غلبه کند، زمانی که تأخیر ادراکشده توسط کاربر مستقیماً بر تعامل تأثیر بگذارد، یا زمانی که سیستم باید به کاتالوگهای عظیم مقیاسپذیر شود. دقت محض زمانی برنده میشود که کاتالوگ کوچک باشد، زمانی که توصیهها از قبل به صورت آفلاین محاسبه شده باشند، یا زمانی که توجیه تجاری برای افزایش کیفیت حاشیهای، هزینه محاسبات را توجیه کند. رویکردهای ترکیبی مانند توصیهگرهای آبشاری، که در آن یک مدل ارزان، نامزدها را قبل از اینکه یک مدل گرانقیمت آنها را دوباره رتبهبندی کند، فیلتر میکند، به طور فزایندهای رایج شدهاند.
یک مدل دقیقتر، همیشه پس از استقرار، معیارهای کسبوکار را بهبود میبخشد.
اگر مدل، تأخیر یا هزینه سرویسدهی را اضافه کند، کاربران ممکن است جلسات را قبل از دیدن توصیهها ترک کنند. بسیاری از تستهای A/B نشان دادهاند که یک مدل کمی کمتر دقیق اما سریعتر، در معیارهای تعامل واقعی، از یک مدل کندتر و دقیقتر بهتر عمل میکند.
توصیهگرهای متمرکز بر کارایی لزوماً سادهتر و کمقدرتتر هستند.
سیستمهای کارآمد مدرن از تکنیکهای پیچیدهای مانند شاخصهای آموختهشده، آموزش مبتنی بر کوانتیزاسیون و جستجوی تقریبی نزدیکترین همسایه استفاده میکنند. آنها ساده نیستند - آنها با دقت مهندسی شدهاند تا قدرت را در بودجههای محدود منابع ارائه دهند.
معیارهای دقت آفلاین، عملکرد آنلاین را به طور قابل اعتمادی پیشبینی میکنند.
معیارهای آفلاین مانند AUC و NDCG با موفقیت آنلاین همبستگی دارند اما به هیچ وجه کامل نیستند. مدلی که در حالت آفلاین با 0.5٪ اختلاف در NDCG برنده میشود، اگر 20 میلیثانیه به تأخیر آن اضافه شود، میتواند در حالت آنلاین شکست بخورد، به همین دلیل است که تیمهای تولید، کارایی را به شدت مورد توجه قرار میدهند.
شما باید بین دقت و کارایی یکی را انتخاب کنید.
این دو کاملاً در تضاد نیستند. تکنیکهایی مانند تقطیر دانش، هرس کردن و کوانتیزاسیون میتوانند بیشتر دقت یک مدل بزرگ را در یک بسته بسیار کوچکتر بازیابی کنند و هر دو را در اختیار شما قرار دهند.
معیارهای آکادمیک نشان میدهند که چه چیزی در عمل جواب میدهد.
تحقیقات دانشگاهی در زمینه سیستمهای توصیهگر، به طور چشمگیری دقت را در مجموعه دادههای ایستا بهینه میکنند و محدودیتهای سرویسدهی را نادیده میگیرند. سیستمهای تولید در شرکتهایی مانند نتفلیکس و متا با معیارهای منتشر شده بسیار متفاوت به نظر میرسند.
وقتی در مقیاس وسیع کار میکنید و هزینه یا تأخیر سرویسدهی مستقیماً بر سود خالص شما تأثیر میگذارد، که واقعیت اکثر پلتفرمهای بزرگ است، بهرهوری سیستم را انتخاب کنید. وقتی در یک محیط تحقیقاتی هستید، کاتالوگ کوچکی دارید یا میتوانید از عهده محاسبات سنگین برآیید و به هر بخش از یک بالابر کیفیت نیاز دارید، بهینهسازی دقیق را انتخاب کنید. در تولید، باهوشترین تیمها ابتدا برای بهرهوری طراحی میکنند و سپس بودجه دقت را در جایی که بیشترین اهمیت را دارد، خرج میکنند.
این مقایسه به بررسی خدمات وب آمازون و گوگل کلود میپردازد و با تحلیل پیشنهادات خدماتی، مدلهای قیمتگذاری، زیرساخت جهانی، عملکرد، تجربه توسعهدهندگان و موارد استفاده ایدهآل، به سازمانها کمک میکند تا پلتفرم ابری را انتخاب کنند که بهترین تطابق را با نیازهای فنی و تجاری آنها داشته باشد.
محاسبات لبهای یادگیری ماشینی (ML) استنتاج را مستقیماً روی دستگاههای محلی اجرا میکند و تأخیر و استفاده از پهنای باند را کاهش میدهد، در حالی که آموزش یادگیری ماشینی مبتنی بر ابر، از سرورهای قدرتمند از راه دور برای ساخت و اصلاح مدلهای عظیم استفاده میکند. هر رویکرد متناسب با مراحل مختلف چرخه عمر یادگیری ماشینی و تقاضاهای عملیاتی مختلف است.
استراتژیهای ذخیرهسازی در سیستمهای یادگیری ماشین، خروجیهای مدل از پیش محاسبهشده یا دادههای میانی را برای تسریع پرسوجوهای مکرر ذخیره میکنند، در حالی که محاسبات بر اساس تقاضا، هر بار نتایج تازهای تولید میکنند و سرعت را فدای سادگی و سربار ذخیرهسازی کمتر میکنند.
اشکالزدایی سیستمهای توزیعشده، به بررسی خرابیها در چندین ماشین و سرویس شبکهای میپردازد، در حالی که اشکالزدایی سیستم محلی بر مشکلات درون یک ماشین یا برنامه واحد تمرکز دارد. هر رویکرد، ابزارها، مدلهای ذهنی و استراتژیهای متفاوتی را برای جداسازی و حل مؤثر مشکلات میطلبد.
برنامهریزی زیرساخت بلاکچین بر طراحی شبکههای غیرمتمرکز و توزیعشده با دفترکلهای تغییرناپذیر و سازوکارهای اجماع تمرکز دارد، در حالی که برنامهریزی زیرساخت ابری بر ساخت منابع محاسباتی مقیاسپذیر و بر اساس تقاضا از طریق ارائهدهندگان متمرکز مانند AWS، Azure و Google Cloud متمرکز است.
