تتولى طبقة البنية التحتية للبيانات تخزين ومعالجة وإدارة مسارات البيانات الأولية، بينما تركز طبقة تدريب النماذج على تشغيل الخوارزميات لتدريب نماذج التعلم الآلي. كلاهما ضروري في أنظمة الذكاء الاصطناعي، لكنهما يؤديان أدوارًا مختلفة تمامًا في دورة حياة التطوير.
النظام الأساسي المسؤول عن جمع البيانات وتخزينها ومعالجتها وتقديمها إلى التطبيقات النهائية وخطوط أنابيب التعلم الآلي.
الطبقة الحسابية التي تتعلم فيها نماذج التعلم الآلي الأنماط من البيانات المُعدة مسبقًا من خلال عمليات التحسين التكرارية.
| الميزة | طبقة البنية التحتية للبيانات | طبقة تدريب النموذج |
|---|---|---|
| الغرض الأساسي | تخزين البيانات ومعالجتها وتقديمها بشكل موثوق | تدريب نماذج التعلم الآلي وتحسينها على البيانات |
| التقنيات الأساسية | كافكا، سبارك، إيرفلو، سنوفليك، إس 3 | باي تورتش، تنسور فلو، كودا، هوروفود، راي |
| متطلبات الحوسبة | مُحسَّن لوحدة المعالجة المركزية، إنتاجية إدخال/إخراج عالية | مُحسَّن لوحدات معالجة الرسومات/وحدات معالجة الموتر، نطاق ترددي عالي للذاكرة |
| مقياس البيانات | بيتابايت من البيانات الخام والمعالجة | من جيجابايت إلى تيرابايت من مجموعات التدريب |
| المؤشرات الرئيسية | زمن الاستجابة، الإنتاجية، حداثة البيانات | الخسارة، الدقة، وقت التدريب، التقارب |
| تأثير الفشل | تتعطل خطوط الأنابيب في اتجاه المصب أو تنتج بيانات قديمة | إعادة تشغيل وظائف التدريب أو إنتاج نماذج رديئة |
| المستخدمون النموذجيون | مهندسو البيانات، فرق المنصات | مهندسو التعلم الآلي، وعلماء الأبحاث |
| عوامل التكلفة | حجم التخزين ومخرج الشبكة | ساعات استخدام وحدة معالجة الرسومات واستخدام المُسرِّع |
تقع طبقة البنية التحتية للبيانات في المراحل الأولى، حيث تُغذي مسار التدريب بمجموعات بيانات نظيفة وموثوقة. وبدونها، لن تجد طبقة تدريب النموذج أي بيانات مفيدة للتعلم منها. في المقابل، تستهلك طبقة تدريب النموذج هذه البيانات المُجهزة وتُنتج نماذج مُدربة يتم نشرها لاحقًا. وتشكل هاتان الطبقتان تبعية تسلسلية وليستا بديلتين متنافستين.
تُفضّل أحمال عمل البنية التحتية للبيانات عادةً وحدات المعالجة المركزية ذات سعة الذاكرة العالية والشبكات السريعة، نظرًا لأن معظم العمليات تتضمن نقل وتحويل كميات كبيرة من البيانات. من ناحية أخرى، يتطلب تدريب النماذج مُسرّعات متخصصة مثل وحدات معالجة الرسومات (GPUs) أو وحدات معالجة الموتر (TPUs) التي تتفوق في عمليات ضرب المصفوفات التي تُعدّ جوهر التعلّم العميق. تختلف مواصفات الأجهزة اختلافًا كبيرًا لدرجة أن مُزوّدي الخدمات السحابية غالبًا ما يُسعّرونها على أساس مجموعات مثيلات منفصلة تمامًا.
عادةً ما يعني توسيع نطاق طبقة البنية التحتية للبيانات إضافة المزيد من وحدات التخزين، أو زيادة عدد الأقسام، أو توزيع البيانات على مناطق متعددة. أما طبقة تدريب النماذج فتتوسع بشكل مختلف، غالبًا عن طريق توزيع أوزان النموذج على العديد من وحدات معالجة الرسومات أو توزيع نموذج واحد كبير على عدة مسرعات. يواجه كلا النوعين من الطبقات اختناقات، لكن حلولهما نادرًا ما تتداخل.
تُعنى فرق البيانات بتغيرات المخططات، وتأخر وصول البيانات، وإعادة ملء خطوط المعالجة. بينما تُعنى فرق التعلم الآلي بتضخم التدرجات، وتلف نقاط التحقق، وإمكانية تكرار النتائج بين عمليات التشغيل. لكل طبقة مجموعة أدوات مراقبة خاصة بها، باستخدام أدوات مثل Great Expectations أو Monte Carlo في جانب البيانات، وWeights & Biases أو MLflow في جانب التدريب.
تتسم تكاليف البنية التحتية للبيانات بالثبات وإمكانية التنبؤ بها، مدفوعةً بشكل أساسي بحجم التخزين واستمرارية استيعاب البيانات. أما تكاليف تدريب النماذج فتتفاوت بشكل حاد وتعتمد على المشروع، إذ قد تستهلك عملية تدريب واحدة آلاف الساعات من وحدة معالجة الرسومات (GPU) في فترة وجيزة. غالباً ما تجد المؤسسات أن تكاليف التدريب هي المهيمنة خلال مرحلة تطوير النموذج، بينما تهيمن تكاليف البيانات في مرحلة الإنتاج المستقر.
عادةً ما يكون لدى المهندسين العاملين على طبقة البنية التحتية للبيانات خلفيات في هندسة البيانات أو الأنظمة الموزعة، مع معرفة متعمقة بلغة SQL وأنظمة البث ومحركات التخزين. أما العاملون على طبقة تدريب النماذج، فعادةً ما يكون لديهم خلفيات في الرياضيات التطبيقية أو أبحاث التعلم الآلي، مع خبرة في التحسين العددي، وهياكل الشبكات العصبية، وبرمجة المسرعات.
يمكنك تخطي بناء طبقة بيانات قوية إذا كان لديك عدد كافٍ من وحدات معالجة الرسومات (GPUs).
حتى أقوى أنظمة التدريب تُنتج نماذج ضعيفة عند تغذيتها ببيانات مشوشة أو قديمة أو مصنفة بشكل خاطئ. معظم حالات فشل التعلم الآلي في الإنتاج تعود إلى مشاكل في البيانات وليس إلى نقص في موارد الحوسبة. إن وجود قاعدة بيانات متينة هو ما يجعل استخدام وحدة معالجة الرسومات (GPU) مُجديًا بالفعل.
تدريب النموذج هو مجرد تشغيل برنامج نصي على جهاز كبير.
يشمل التدريب على الإنتاج التنسيق الموزع، ونقاط التحقق، وإدارة المعلمات الفائقة، وتتبع التجارب، واستعادة النظام بعد الأعطال. إن التعامل معه كبرنامج نصي بسيط يؤدي إلى ضياع التقدم، ونتائج غير قابلة للتكرار، وهدر موارد الحوسبة.
يمكن تحسين بنية البيانات وتدريب النماذج بشكل مستقل.
الطبقتان مترابطتان بشكل وثيق. فالتغييرات في مخطط البيانات أو تصنيفها أو توزيعها تؤثر بشكل مباشر على أداء النموذج. وغالبًا ما تجد الفرق التي تعمل على تحسين كل طبقة على حدة أن نماذجها تتدهور تدريجيًا عند حدوث تغييرات في البيانات الأولية.
زيادة البيانات تؤدي دائماً إلى تحسين دقة النموذج.
الجودة أهم بكثير من الكمية. فإضافة ملايين السجلات المصنفة بشكل خاطئ أو غير ذات الصلة قد يضر بأداء النموذج. وتتفوق مجموعات البيانات المُنسقة والمُدارة بشكل جيد في أغلب الأحيان على مجموعات البيانات الخام غير المُفلترة، بغض النظر عن حجمها.
تُغني الخدمات المُدارة عبر السحابة عن الحاجة إلى الخبرة الداخلية في أي من الطبقتين.
تُدير المنصات المُدارة العمليات الروتينية بكفاءة، لكن لا تزال الفرق بحاجة إلى فهم عميق لكلا الطبقتين لتحسين الأداء، والتحكم في التكاليف، وتصحيح الأخطاء. يُقلل التجريد من الجهد المبذول، لكنه لا يُغني عن المعرفة الأساسية.
اختر طبقة البنية التحتية للبيانات عندما تكون أولويتك هي نقل البيانات بشكل موثوق، وحوكمتها، وتقديم التحليلات على نطاق واسع. اختر طبقة تدريب النماذج عندما يكون تركيزك على بناء نماذج التعلم الآلي وتجربتها وتحسينها. عمليًا، تحتاج أنظمة الذكاء الاصطناعي المتطورة إلى كلا الطبقتين تعملان بتناغم، مع بنية تحتية قوية للبيانات تُمكّن من تدريب النماذج بشكل أسرع وأكثر قابلية للتكرار.
هذا المقارنة تتناول خدمات أمازون ويب وسيرفيس وجوجل كلاود من خلال تحليل عروض الخدمات لديهما، ونماذج التسعير، والبنية التحتية العالمية، والأداء، وتجربة المطورين، وحالات الاستخدام المثالية، لمساعدة المؤسسات في اختيار منصة الحوسبة السحابية التي تناسب متطلباتها التقنية والتجارية على أفضل وجه.
تُشغّل أنظمة الاستدلال القابلة للتوسع نماذج الذكاء الاصطناعي على بنية تحتية سحابية موزعة تنمو مع الطلب، بينما تعالج أنظمة الاستدلال المحلية البيانات على أجهزة قريبة أو على الجهاز نفسه لتقليل زمن الاستجابة وزيادة التحكم. ويعتمد الاختيار بينهما على حجم عبء العمل، واحتياجات الخصوصية، ومتطلبات الأداء في الوقت الفعلي.
تعالج أنظمة التعلم الآلي في الوقت الفعلي البيانات وتقدم التنبؤات في غضون أجزاء من الثانية إلى ثوانٍ، مما يجعلها مثالية لكشف الاحتيال وأنظمة التوصية. أما أنظمة التعلم الآلي الدفعية فتتعامل مع مجموعات البيانات الضخمة بشكل دوري، وتتفوق في تدريب النماذج المعقدة وإنشاء التقارير الدورية حيث لا تكون الاستجابات الفورية ضرورية.
تُعطي أنظمة التعلم الآلي الإنتاجية الأولوية للموثوقية وقابلية التوسع والتوافر المستمر للمستخدمين في العالم الحقيقي، بينما تركز أنظمة التعلم الآلي البحثية على التجريب والهياكل المبتكرة وتوسيع حدود قدرات النموذج. ويختلف هذان النوعان من البيئات اختلافًا كبيرًا في البنية التحتية والمراقبة وأولويات الهندسة.
تُنسق أنظمة إدارة الذكاء الاصطناعي نماذج وأدوات وخطوط بيانات متعددة من خلال إطار عمل موحد، بينما يتضمن استخدام النموذج المستقل استدعاء نموذج ذكاء اصطناعي واحد مباشرةً لكل مهمة. وعادةً ما تختار المؤسسات بين هذين النهجين بناءً على التعقيد والحجم والحاجة إلى أتمتة متعددة الخطوات.
