يكشف نظام كشف الشذوذ عن الأحداث النادرة وغير المألوفة التي تنحرف عن السلوك المتوقع، بينما يركز نظام التعرف على الأنماط العادية على تعلم وتصنيف أنماط البيانات النموذجية. وكلاهما من مناهج التعلم الآلي الأساسية ذات الأهداف والتطبيقات والمنهجيات المتميزة في مختلف القطاعات مثل الأمن السيبراني والرعاية الصحية والتصنيع.
يحدد القيم الشاذة والانحرافات النادرة التي تشير إلى مشاكل محتملة أو عمليات احتيال أو أعطال في النظام.
يتعلم ويصنف الأنماط القياسية لتصنيف البيانات، والتعرف على الأشياء، وإجراء التنبؤات.
| الميزة | الكشف عن الحالات الشاذة | التعرف على الأنماط العادية |
|---|---|---|
| الهدف الرئيسي | ابحث عن الانحرافات النادرة والقيم الشاذة | تعلم وتصنيف الأنماط النموذجية |
| بيانات التدريب | أمثلة طبيعية في الغالب، وقليل من الحالات الشاذة أو لا توجد حالات شاذة على الإطلاق | مجموعات بيانات كبيرة مصنفة تمثل جميع الفئات |
| الناتج | درجة الشذوذ أو علامة ثنائية | تصنيف الفئة أو التوزيع الاحتمالي |
| الخوارزميات النموذجية | غابة العزل، آلة المتجهات الداعمة أحادية الفئة، المشفرات التلقائية | سي إن إن، غابة عشوائية، SVM، k-NN |
| معايير التقييم | الدقة، الاستدعاء، مساحة تحت منحنى ROC، درجة F1 | الدقة، والضبط، والاستدعاء، ودرجة F1 |
| عدم توازن البيانات | اختلال شديد في التوازن (1:1000 أو أسوأ) | متوازن أو قابل للإدارة نسبياً |
| حالات الاستخدام | كشف الاحتيال، تشخيص الأعطال، كشف الاختراقات | تصنيف الصور، والتعرف على الكلام، والتوصية |
| قابلية التفسير | غالباً ما يتطلب الأمر شرحاً لسبب كون شيء ما غير عادي | يركز على النمط الذي تمت مطابقته |
يعتمد اكتشاف الشذوذ على افتراض أن السلوك الطبيعي شائع ومحدد جيدًا، مما يجعل الانحرافات ذات دلالة إحصائية. يسأل النظام أساسًا: "ما الذي لا ينتمي إلى هنا؟". في المقابل، يسأل التعرف على الأنماط الطبيعية: "إلى أي فئة ينتمي هذا؟". يتعلق الأمر ببناء نماذج شاملة للأنماط المتوقعة بدلًا من البحث عن الاستثناءات. هذا الاختلاف الجوهري يؤثر على كل شيء بدءًا من جمع البيانات وصولًا إلى بنية النموذج.
غالباً ما يواجه اكتشاف الحالات الشاذة معضلة الحاجة إلى أمثلة لمشاكل لم تُشاهد من قبل. يلجأ المهندسون عادةً إلى تدريب هذه الأنظمة على بيانات نظيفة وعادية، آملين أن يتمكن النموذج من التعميم على الحالات الشاذة غير المعروفة. يتطلب التعرف على الأنماط العادية عادةً وفرة من الأمثلة المصنفة بدقة عبر جميع الفئات المستهدفة. تحتوي مجموعة بيانات MNIST على 70,000 رقم مصنف؛ بينما قد تحتوي مجموعة بيانات مماثلة لاكتشاف الحالات الشاذة على عدد قليل فقط من الحالات الشاذة المؤكدة.
تعمل خوارزمية غابة العزل عن طريق تقسيم البيانات عشوائيًا وقياس سرعة عزل النقاط - حيث تنفصل النقاط الشاذة أسرع من النقاط العادية. أما خوارزمية آلة المتجهات الداعمة أحادية الفئة، فتبني حدودًا محكمة حول البيانات العادية وتُحدد النقاط الخارجة عنها. يعتمد التعرف على الأنماط العادية بشكل كبير على بنى التعلم العميق، مثل الشبكات العصبية الالتفافية، التي تتعلم تلقائيًا السمات الهرمية. قد تتطلب هذه الشبكات ملايين المعاملات وموارد حاسوبية ضخمة.
تواجه أنظمة كشف الشذوذ تهديدًا مستمرًا بتغير المفاهيم، فما هو طبيعي اليوم قد لا يكون كذلك غدًا. قد يتسبب خط إنتاج ينتج عنه تغيرات موسمية في إطلاق إنذارات خاطئة في غياب التعلم التكيفي. أما التعرف على الأنماط العادية فيواجه تحديات مختلفة: الهجمات الخصومية التي تُغير المدخلات بشكل طفيف مما يؤدي إلى تصنيف خاطئ، والهشاشة الناتجة عن الإفراط في التخصيص لبيانات التدريب التي لا تمثل التنوع الواقعي.
يُحقق اكتشاف الحالات الشاذة قيمةً من خلال الحد من المخاطر، وذلك بمنع الاحتيال، وتجنب الأعطال الكارثية، أو إيقاف الاختراقات الأمنية قبل تفاقمها. وغالبًا ما يُقاس العائد بعدد الكوارث التي تم تجنبها. أما التعرف على الأنماط العادية فيُحقق الإيرادات من خلال الأتمتة والتخصيص، وذلك بتبسيط معالجة المستندات، وتفعيل واجهات الصوت، أو التوصية بمنتجات تزيد المبيعات. ويتكامل هذان النهجان بشكل متزايد في أنظمة الإنتاج.
إن اكتشاف الشذوذ والتعرف على الأنماط الطبيعية هما تقنيتان قابلتان للتبادل لحل نفس المشاكل.
تخدم هذه الأساليب أغراضًا مختلفة جوهريًا. غالبًا ما يفشل استخدام تقنية التعرف على الأنماط للكشف عن الحالات الشاذة لأن المصنفات القياسية تفترض بيانات تدريب متوازنة وممثلة. في المقابل، يؤدي تطبيق تقنية الكشف عن الحالات الشاذة على مهام التصنيف المعروفة جيدًا إلى إهدار نقاط قوتها الفريدة، وعادةً ما يكون أداؤها ضعيفًا.
يتطلب اكتشاف الحالات الشاذة أمثلة على الحالات الشاذة للتعلم منها.
تعتمد العديد من طرق الكشف عن الحالات الشاذة الفعالة على التعلم غير الخاضع للإشراف أو شبه الخاضع للإشراف، حيث تتعلم فقط من البيانات الطبيعية. وتقوم خوارزمية SVM أحادية الفئة وخوارزمية غابة العزل بنمذجة الحالة الطبيعية بشكل صريح دون الحاجة إلى أمثلة شاذة، وهو أمر بالغ الأهمية لأن الحالات الشاذة نادرة بطبيعتها وقد لا تُرى من قبل.
لا تستطيع أنظمة التعرف على الأنماط العادية اكتشاف الحالات الشاذة على الإطلاق.
على الرغم من أن التعرف على الأنماط ليس من صميم وظيفته، إلا أنه قد يُشير إلى الحالات الشاذة من خلال انخفاض درجات الثقة أو تصنيفها ضمن فئة "غير معروفة". ومع ذلك، فإن هذا الأسلوب أقل موثوقية بشكل عام من الكشف المُخصص عن الحالات الشاذة، لا سيما بالنسبة للانحرافات الطفيفة التي لا تنتمي بوضوح إلى أي فئة معروفة.
لقد جعل التعلم العميق أساليب الكشف عن الشذوذ التقليدية عتيقة.
لا تزال الأساليب التقليدية، مثل خوارزمية غابة العزل والأساليب الإحصائية، تتمتع بقدرة تنافسية عالية، لا سيما مع محدودية البيانات أو متطلبات زمن الاستجابة الصارمة. ويُظهر الكشف العميق عن الحالات الشاذة نتائج واعدة، ولكنه غالبًا ما يتطلب المزيد من البيانات والحسابات دون تحقيق مكاسب متناسبة في العديد من سيناريوهات العالم الحقيقي.
أنظمة الكشف عن الحالات الشاذة هي حلول يتم ضبطها وتركها.
يتطلب الكشف الفعال عن الحالات الشاذة مراقبة وتكييفًا مستمرين. فمع تغير المفاهيم، وتطور أنماط الهجمات، وتغير ظروف العمل، تتدهور النماذج دون صيانة. وتتضمن أنجح عمليات النشر حلقات التغذية الراجعة وبروتوكولات إعادة التدريب المنتظمة.
تشير درجات الشذوذ الأعلى دائمًا إلى وجود شذوذات أكثر أهمية.
تشير درجات الشذوذ إلى الانحراف الإحصائي، وليس إلى التأثير على الأعمال. قد يحصل خلل بسيط في المستشعر على درجة أعلى من نمط احتيال دقيق يكلف ملايين الدولارات. تظل الخبرة في المجال ضرورية لتحديد أولويات التنبيهات وضبط العتبات بما يتناسب مع مدى تحمل المؤسسة للمخاطر.
اختر تقنية كشف الشذوذ عند الحماية من الأحداث النادرة ولكن المكلفة التي لا يمكنك التنبؤ بكل تهديد مسبقًا. اختر تقنية التعرف على الأنماط العادية عندما يكون لديك بيانات تمثيلية عبر الفئات وتحتاج إلى أداء تصنيف موثوق. تستخدم العديد من الأنظمة المتطورة الآن كلا النهجين، حيث تستخدم التعرف على الأنماط للعمليات القياسية وكشف الشذوذ كشبكة أمان للأحداث غير المتوقعة.
يُحسّن كلٌّ من RAG ونماذج LLM المُحسّنة جودة مخرجات الذكاء الاصطناعي، لكنهما يعملان بطرق مختلفة تمامًا. يستخلص RAG المعلومات الخارجية عند الاستعلام، بينما يُدمج التحسين المعرفة الجديدة مباشرةً في أوزان النموذج. ويعتمد الاختيار بينهما على مدى تكرار تغيّر البيانات ومستوى الدقة المطلوب.
تُعد آليات الانتباه الذاتي ونماذج فضاء الحالة من المناهج الأساسية لنمذجة التسلسلات في الذكاء الاصطناعي الحديث. يتفوق الانتباه الذاتي في التقاط العلاقات الغنية بين الرموز، ولكنه يصبح مكلفًا مع التسلسلات الطويلة، بينما تعالج نماذج فضاء الحالة التسلسلات بكفاءة أكبر مع التوسع الخطي، مما يجعلها جذابة للتطبيقات ذات السياق الطويل والتطبيقات الآنية.
تُعدّ آليات الانتباه أساسية في الذكاء الاصطناعي الحديث، سواءً في مجال رؤية الحاسوب أو معالجة اللغة الطبيعية، إلا أنها تخدم أغراضًا مختلفة وتطورت عبر مسارات متباينة. يساعد الانتباه في مجال الرؤية النماذج على التركيز على مناطق الصورة ذات الصلة، بينما يُمكّن الانتباه في معالجة اللغة الطبيعية من فهم العلاقات بين الكلمات في النصوص.
تجمع أساليب الممثل-الناقد بين تدرجات السياسة ودالة القيمة المُتعلمة لتقليل التباين وتسريع عملية التعلم، بينما تعتمد أساليب تدرج السياسة البحتة كليًا على السياسة وعوائد مونت كارلو. ويعتمد الاختيار بينهما على ما إذا كنت بحاجة إلى الاستقرار وكفاءة العينة أم إلى البساطة والتقديرات غير المتحيزة.
تُفصّل هذه المقارنة الاختلافات الهيكلية الأساسية، وحالات الاستخدام العملية، والمفاضلات في الأداء بين تعلّم الرسم البياني الزمني ونمذجة التسلسل التقليدية. فبينما تُجسّد نمذجة التسلسل التطورات الخطية كالنصوص أو بيانات السلاسل الزمنية، يُعالج تعلّم الرسم البياني الزمني تفاعلات الشبكة والعلاقات المتغيرة مع الزمن في آنٍ واحد، مما يُوفر لك مخططًا شاملاً لاختيار البنية المناسبة.
