تقسیمبندی دادهها بر اساس شناسه کاربری، رکوردها را بر اساس شناسههای منحصر به فرد کاربر برای الگوهای دسترسی قابل پیشبینی توزیع میکند، در حالی که تقسیمبندی موقعیت جغرافیایی، دادهها را بر اساس منطقه تقسیم میکند تا تأخیر را به حداقل برساند و با قوانین حاکمیت دادهها مطابقت داشته باشد. هر دو استراتژی چالشهای مقیاسپذیری را حل میکنند، اما برای اولویتهای اساساً متفاوت بهینهسازی میشوند.
دادهها را با استفاده از شناسههای منحصر به فرد کاربر به عنوان کلید توزیع، بین Shardها (بخشهای مختلف) تقسیم میکند.
دادهها را بر اساس موقعیت فیزیکی یا نزدیکی، در بین Shardهای منطقهای توزیع میکند.
| ویژگی | تقسیمبندی دادهها بر اساس شناسه کاربری | شاردینگ بر اساس موقعیت جغرافیایی |
|---|---|---|
| کلید توزیع اولیه | شناسه کاربری (هش یا محدوده) | منطقه جغرافیایی یا مرکز داده |
| بهینهسازی تأخیر | برای همه کاربران صرف نظر از موقعیت مکانی، سازگار است | برای کاربران نزدیک به شارد اختصاص داده شده به آنها بهینه شده است |
| حاکمیت دادهها | برای اجرای انطباق منطقهای به منطق بیشتری نیاز است | به طور طبیعی، اقامت منطقهای دادهها را اعمال میکند |
| کارایی الگوی پرسوجو | عالی برای عملیات در محدوده کاربر | عالی برای تجزیه و تحلیل مبتنی بر مکان |
| ریسک نقاط داغ | اگر فعالیت کاربر به طور ناموزون توزیع شود، بالا است | اگر تراکم جمعیت به طور قابل توجهی تغییر کند، بالا است |
| پیچیدگی بین شاردی | حداقل برای پرسوجوهای کاربر؛ بالا برای تجمیعهای جهانی | حداقل برای پرسوجوهای منطقهای؛ بالا برای گزارشهای جهانی |
| سربار عملیاتی | پایینتر؛ مدیریت سادهتر شارد | بالاتر؛ نیازمند هماهنگی چند منطقهای است |
| رفتار غلبه بر خرابی | دادههای کاربر از هر کپی از shard قابل دسترسی باقی میماند. | قطع منطقهای ممکن است نیاز به تغییر مسیر بین منطقهای داشته باشد |
تقسیمبندی شناسه کاربری عملکرد فوقالعاده قابل پیشبینی ارائه میدهد زیرا هر پرسوجو یک شارد واحد را هدف قرار میدهد. هنگامی که سیستم یک user_id را هش میکند و درخواست را مسیریابی میکند، هیچ ابهامی در مورد محل نگهداری دادهها وجود ندارد. از سوی دیگر، تقسیمبندی جغرافیایی زمانی میدرخشد که میلیثانیهها برای تجربه کاربر مهم هستند. کاربری در توکیو که به شارد مستقر در توکیو دسترسی پیدا میکند، تأخیر بسیار کمتری نسبت به زمانی که دادههایش در یک مرکز داده ویرجینیا ذخیره شده است، مشاهده خواهد کرد. این بدهبستان زمانی آشکار میشود که شخصی سفر میکند: دادههای او در جای خود باقی میمانند، بنابراین درخواستهای دور، جریمه تأخیر را میپردازند.
GDPR و چارچوبهای مشابه، شاردینگ جغرافیایی را به طور فزایندهای جذاب کردهاند. وقتی دادههای کاربران فرانسوی هرگز از شارد منطقه پاریس خارج نمیشوند، تیمهای انطباق راحتتر میخوابند. شاردینگ شناسه کاربری هنوز هم میتواند مقررات را برآورده کند، اما به منطق لایه کاربردی اضافی برای برچسبگذاری، ردیابی و محدود کردن جابجایی دادهها نیاز دارد. برخی سازمانها رویکردهای ترکیبی - شاردینگ بر اساس شناسه کاربر در محدودههای جغرافیایی - را برای بهرهمندی از مزایای هر دو استراتژی اجرا میکنند.
اجرای یک کلاستر شارد شده با شناسه کاربری از نظر عملیاتی سادهتر است. شما شاردهایی اضافه میکنید، محدودههای هش را دوباره توزیع میکنید و عدم تعادل را رصد میکنید. شارد کردن جغرافیایی، مساحت سطح عملیاتی را چند برابر میکند: چندین منطقه ابری، شبکهسازی بین آنها، نظارت بر تأخیر تکثیر در قارهها و حالتهای خرابی واگرا. تیمها برای مدیریت مؤثر استقرارهای جغرافیایی به شیوههای مشاهدهپذیری بالغ و اغلب منابع مهندسی پلتفرم اختصاصی نیاز دارند.
برنامههایی با مدلهای عمیقاً کاربرمحور - پروفایلهای اجتماعی، تاریخچه پیامرسانی، داشبوردهای شخصی - به طور طبیعی بر روی تقسیمبندی شناسه کاربری نگاشت میشوند. هر درخواست ویژگی با «برای این کاربر» آغاز میشود، که کلید تقسیمبندی را آشکار میکند. تقسیمبندی جغرافیایی زمانی مناسبتر است که خودِ مکان، ارزش را تعیین کند: شبکههای تحویل محتوا، بازارهای منطقهای یا پلتفرمهای اینترنت اشیا که دادههای حسگر، موقعیت مکانی قوی دارند. انتخاب اشتباه اغلب شش ماه بعد به عنوان راهحلهای دردناک ظاهر میشود.
شاردینگ شناسه کاربری به صورت خطی با رشد پایگاه کاربر مقیاسپذیر میشود. هر شارد جدید بخشی از کاربران را جذب میکند و سیستم به طور قابل پیشبینی رشد میکند. شاردینگ جغرافیایی با تقاضای منطقهای مقیاسپذیر میشود: افزایش ناگهانی کاربران در آسیای جنوب شرقی به معنای مقیاسپذیری آن خوشه شارد خاص است. مورد دوم میتواند منجر به ظرفیت بلااستفاده در بازارهای بالغ شود، در حالی که تلاش برای تأمین منابع در بازارهای نوظهور ادامه دارد. برنامهریزی هوشمند ظرفیت ضروری میشود.
تقسیم شناسه کاربری نمیتواند الزامات حاکمیت دادهها را برآورده کند.
با کنترلهای کافی در لایه کاربرد - برچسبگذاری رکوردها با الزامات اقامت و اجرای قوانین مسیریابی - سیستمهای خرد شده شناسه کاربری میتوانند با مقررات مطابقت داشته باشند. بار این امر به جای عدم امکان معماری، بر دوش نظم مهندسی است. بسیاری از شرکتها با موفقیت این کار را اجرا میکنند، اگرچه به پیچیدگی کد بیشتری نسبت به خرد کردن جغرافیایی نیاز دارد.
تقسیمبندی جغرافیایی همیشه عملکرد بهتری ارائه میدهد.
افزایش عملکرد فقط برای کاربرانی که در نزدیکی شارد اختصاص داده شده به آنها هستند، محقق میشود. یک کاربر برزیلی که در سائوپائولو داده دارد، تأخیر بسیار خوبی را تجربه میکند، اما همان کاربر در توکیو از این بابت رنج میبرد. بدون مسیریابی هوشمند یا تکثیر دادهها، شاردینگ جغرافیایی میتواند عملکرد را برای جمعیتهای سیار یا در حال سفر به طور قابل توجهی کاهش دهد.
انتخاب کلید Shard دائمی و برگشتناپذیر است.
اگرچه تغییر کلیدهای Shard واقعاً دردناک و پرخطر است، اما غیرممکن نیست. سازمانها از طریق دورههای دقیق نوشتن دوگانه، مهاجرت دادهها و استراتژیهای Cutover، از شناسه کاربری به Sharding جغرافیایی و برعکس مهاجرت کردهاند. هزینه این کار بالاست - اغلب ماهها تلاش مهندسی - اما معماری میتواند با نیازهای تجاری تکامل یابد.
تقسیم شناسه کاربری به طور خودکار از بروز نقاط داغ جلوگیری میکند.
هش کردن شناسههای کاربری، کلیدها را تنها در صورتی به طور یکنواخت پخش میکند که توزیع زیربنایی یکنواخت باشد. تخصیص متوالی شناسه کاربری، واردات انبوه یا کاربران پرمصرف که فعالیت نامتناسبی ایجاد میکنند، همگی باعث ایجاد عدم تعادل میشوند. نظارت و متعادلسازی مجدد، صرف نظر از انتخاب کلید شارد، همچنان وظایف عملیاتی ضروری هستند.
تقسیمبندی جغرافیایی تمام جنبههای مدیریت پایگاه داده را ساده میکند.
در حالی که انطباق و تأخیر محلی بهبود مییابد، شاردینگ جغرافیایی پیچیدگی قابل توجهی را در مدلهای سازگاری، حل تعارض در طول پارتیشنها و نظارت عملیاتی در مناطق مختلف ایجاد میکند. سادهسازی در یک بعد اغلب هزینههای پنهانی را در ابعاد دیگر ایجاد میکند که در طول پاسخ به حادثه ظاهر میشوند.
زمانی که برنامه شما اساساً کاربر محور است، تأخیر برای هر کاربر جهانی قابل قبول است و سادگی عملیاتی اهمیت دارد، تقسیمبندی شناسه کاربری را انتخاب کنید. زمانی که انطباق منطقهای غیرقابل مذاکره است، تجربه کاربری مستلزم حضور محلی است یا دادههای شما روابط مکانی ذاتی دارند، تقسیمبندی جغرافیایی را انتخاب کنید. بسیاری از پلتفرمهای بالغ در نهایت به سمت یک رویکرد دو لایه تکامل مییابند: مرزهای جغرافیایی حاوی خوشههای تقسیمبندی شده با شناسه کاربری.
این مقایسه به بررسی خدمات وب آمازون و گوگل کلود میپردازد و با تحلیل پیشنهادات خدماتی، مدلهای قیمتگذاری، زیرساخت جهانی، عملکرد، تجربه توسعهدهندگان و موارد استفاده ایدهآل، به سازمانها کمک میکند تا پلتفرم ابری را انتخاب کنند که بهترین تطابق را با نیازهای فنی و تجاری آنها داشته باشد.
محاسبات لبهای یادگیری ماشینی (ML) استنتاج را مستقیماً روی دستگاههای محلی اجرا میکند و تأخیر و استفاده از پهنای باند را کاهش میدهد، در حالی که آموزش یادگیری ماشینی مبتنی بر ابر، از سرورهای قدرتمند از راه دور برای ساخت و اصلاح مدلهای عظیم استفاده میکند. هر رویکرد متناسب با مراحل مختلف چرخه عمر یادگیری ماشینی و تقاضاهای عملیاتی مختلف است.
استراتژیهای ذخیرهسازی در سیستمهای یادگیری ماشین، خروجیهای مدل از پیش محاسبهشده یا دادههای میانی را برای تسریع پرسوجوهای مکرر ذخیره میکنند، در حالی که محاسبات بر اساس تقاضا، هر بار نتایج تازهای تولید میکنند و سرعت را فدای سادگی و سربار ذخیرهسازی کمتر میکنند.
اشکالزدایی سیستمهای توزیعشده، به بررسی خرابیها در چندین ماشین و سرویس شبکهای میپردازد، در حالی که اشکالزدایی سیستم محلی بر مشکلات درون یک ماشین یا برنامه واحد تمرکز دارد. هر رویکرد، ابزارها، مدلهای ذهنی و استراتژیهای متفاوتی را برای جداسازی و حل مؤثر مشکلات میطلبد.
برنامهریزی زیرساخت بلاکچین بر طراحی شبکههای غیرمتمرکز و توزیعشده با دفترکلهای تغییرناپذیر و سازوکارهای اجماع تمرکز دارد، در حالی که برنامهریزی زیرساخت ابری بر ساخت منابع محاسباتی مقیاسپذیر و بر اساس تقاضا از طریق ارائهدهندگان متمرکز مانند AWS، Azure و Google Cloud متمرکز است.
