ערכים סינגולריים מודדים את כוח המתיחה הכיווני של כל מטריצת טרנספורמציה על פני צירים אורתוגונליים, בעוד שוקטורים עצמיים מייצגים את הצירים הכיווניים הספציפיים שנותרים ללא סיבוב לחלוטין במהלך טרנספורמציה ליניארית, אם כי הם מוגבלים אך ורק למטריצות ריבועיות.
הדגשים
ערכים סינגולריים מתאימים באופן טבעי למטריצות מלבניות, בעוד שווקטורים עצמיים דורשים גבולות ריבועיים מושלמים.
ערכים סינגולריים מכמתים את המתיחה הפיזית של המרחב, בעוד שווקטורים עצמיים מבודדים צירים שאינם חסינים לשינויים סיבוביים.
מרחבי הווקטורים הבנויים סביב ערכים סינגולריים הם ניצבים באופן טבעי, תכונה שוקטורים עצמיים כלליים משקפים לעתים רחוקות.
ערכים סינגולריים לעולם אינם יורדים מתחת לאפס או נכנסים למרחב מרוכב, מה ששומר על יציבותם באופן עקבי במהלך חישוב כבד.
מה זה ערכים סינגולריים?
ערכים סקלריים לא שליליים שמכמתים עד כמה מטריצה מותחת את המרחב לאורך כיוונים אורתוגונליים ספציפיים, החלים על כל צורת מטריצה.
הם תואמים ישירות לשורשים הריבועיים של הערכים העצמיים שאינם אפס השייכים למכפלות המטריצה $A^TA$ או $AA^T$.
הם מובטחים להיות מספרים ממשיים, לא שליליים, גם כאשר מחושבים ממערכי נתונים בסיסיים מורכבים או כאוטיים ביותר.
הם מהווים את היסוד המתמטי הבסיסי לפירוק ערך סינגולרי, טכניקת אבן יסוד לדחיסת נתונים מודרנית.
הם מייצגים גיאומטרית את האורכיים המדויקים של חצאי הצירים העיקריים של היפראליפסואיד הממופה מכדור יחידה סטנדרטי.
ניתן לחשב אותם עבור כל מטריצה מלבנית, מה שמציע גמישות מבנית עצומה במקומות בהם מדדים ליניאריים אחרים נכשלים לחלוטין.
מה זה וקטורים עצמיים?
וקטורים מיוחדים שאינם אפס שמשנים רק את קנה המידה, ושומרים על כיוונם המרחבי המדויק כאשר הם מוכפלים במטריצה ריבועית.
הם מקיימים את המשוואה הלינארית האופיינית הקלאסית $Av = ∫lambda$, כאשר $v$ מייצג את הווקטור ו-$\lambda$ מסמן את הערך העצמי שלו.
הם מוגבלים אך ורק למטריצות ריבועיות, כלומר לא ניתן לחלץ אותם ממערכי נתונים עם שורות ועמודות לא אחידות.
הם אינם אורתוגונליים באופן טבעי זה לזה, אלא אם כן מטריצת ההפעלה היא סימטרית או הרמיטית.
הם יכולים להתבטא כמספרים מרוכבים המכילים חלקים דמיוניים, גם אם מטריצת האם מורכבת כולה ממספרים ממשיים.
הם מספקים את המסגרת המבנית המרכזית לפירוק עצמי, אשר מפשטת אקספוננציאציה של מטריצות מורכבות ומשוואות דיפרנציאליות.
טבלת השוואה
תכונה
ערכים סינגולריים
וקטורים עצמיים
אילוצי צורת מטריצה
כל תצורה מלבנית או מרובעת
מטריצות ריבועיות לחלוטין בלבד
הגדרה גיאומטרית
אורכי הצירים העיקריים של כדור שעבר טרנספורמציה
כיוונים שחווים סיבוב אפס תחת טרנספורמציה
תכונות מספריות
תמיד ערכים אמיתיים ולא שליליים
יכול להופיע כמספרים שליליים, אפס או מרוכבים
ניצב וקטורי
וקטורים סינגולריים משויכים תמיד אורתוגונליים לחלוטין
וקטורים עצמיים הם לעיתים רחוקות אורתוגונליים אלא אם כן המטריצה סימטרית
הקשר של משוואת הליבה
$\sigma_i = \sqrt{\lambda_i(A^TA)}$
$Av = \lambda v$
מקרה שימוש עיקרי בתעשייה
ניתוח סמנטי סמנטי והפחתת גודל קובץ תמונה
ניקוד Google PageRank וניתוח רעידות מבניות
קבוצות וקטורים נלוות
דורש שתי קבוצות נפרדות של וקטורים סינגולריים שמאליים וימניים
מסתמך על קבוצה אחת קוהרנטית של וקטורים אופייניים
השוואה מפורטת
תחום מטריצת ואילוצים מבניים
לערכים סינגולריים יש יתרון עצום בגמישות משום שהם מתארים כל מטריצה ללא קשר לפרופורציות הפיזיות שלה. לעומת זאת, וקטורים עצמיים כבולים אך ורק למטריצות ריבועיות שבהן ממדי הקלט והפלט תואמים בצורה מושלמת. אם הנתונים שלך מגיעים בגיליון אלקטרוני מלבני ענק שבו שורות אינן שוות לעמודות, לא תוכל לחלץ וקטורים עצמיים מבלי לשנות את רשת הנתונים.
התנהגות טרנספורמציה גיאומטרית
דמיינו כדור יחידה שמעוות על ידי טרנספורמציה של מטריצה להיפר-אליפסואיד מוארך. ערכים סינגולריים מגדירים את האורכים המדויקים של הצירים העיקריים החדשים הללו, ומשמשים כמדדים סקלריים של עיוות מרחבי מקסימלי. וקטורים עצמיים מתמקדים בתופעה שונה לחלוטין, ומזהים את החצים הספציפיים המצביעים בדיוק באותו כיוון לפני ואחרי תזוזות רשת ריבועית.
אורתוגונליות ומרחבי וקטור
הווקטורים הסינגולריים המקיפים ערכים סינגולריים תמיד בונים מסגרת ניצבת ונקייה להפליא, המכונה בסיס אורתונורמלי. וקטורים עצמיים לעיתים רחוקות מציעים יוקרה מבנית זו, אלא אם כן במקרה עובדים עם מטריצה סימטרית לחלוטין. ביישומים כלליים בעולם האמיתי, וקטורים עצמיים יכולים להטות זה כלפי זה בזוויות ביזאריות, מה שהופך אותם לפחות אמינים לבידוד משתנים בלתי תלויים.
מרחבי מספרים ממשיים לעומת מרחבים מרוכבים
מכיוון שערכים סינגולריים נגזרים מחישובי מטריצות צמודות-עצמן כמו $A^TA$, חוקי האלגברה הלינארית מאלצים אותם להישאר ממשיים וחיוביים. וקטורים עצמיים אינם נהנים מהגנה מערכתית כזו. מטריצה מלאה במספרים ממשיים רגילים יכולה בקלות לייצר וקטורים עצמיים מורכבים, מה שמכניס סיבובים דמיוניים מופשטים הדורשים מספרים מתקדמים כדי לפרש אותם כראוי.
יתרונות וחסרונות
ערכים סינגולריים
יתרונות
+מתאים באופן אוניברסלי לכל מידות מטריצת מטריצת
+מבטיח ערכים ריאליים יציבים ביותר
+מפעיל קירובים יעילים בעלי דרגה נמוכה
+מניב קבוצות וקטורים אורתוגונליות בלתי תלויות
המשך
−דורש כפול זוגות מעקב וקטוריים
−חסר מיפוי צירים בלתי משתנה ישיר
−דורש תקורה חישובית גולמית גבוהה יותר
−קשה יותר לחשב ידנית מאפס
וקטורים עצמיים
יתרונות
+מפשט איטרציות עוצמה של מטריצות מורכבות
+מציין בצורה מסודרת את נקודות שיווי המשקל של המערכת
+פרשנויות גלים פיזיקליות אינטואיטיביות ביותר
+דורש מעקב אחר קבוצת וקטורים אחת בלבד
המשך
−נשבר לחלוטין על מידות מלבניות
−לעתים קרובות סוטים למספרים מרוכבים
−נוטה לאוריינטציות לא אורתוגונליות מוטות
−יכול להיכשל בהתקדמות מרחבי וקטור שלמים
תפיסות מוטעות נפוצות
מיתוס
ערכים סינגולריים וערכים עצמיים הם מושגים זהים אם המטריצה ריבועית לחלוטין.
מציאות
אפילו בתוך מטריצות ריבועיות, ערכים סינגולריים וערכים עצמיים בדרך כלל נסחפים זה מזה אלא אם כן המטריצה נורמלית, כלומר היא מתקדמת עם הטרנספוזיציה שלה. עבור מטריצות יומיומיות, ערכים סינגולריים עוקבים אחר מתיחה מרחבית מקסימלית בעוד שערכים עצמיים עוקבים אחר קנה מידה לאורך כיוונים לא מסובבים.
מיתוס
ניתן לחשב וקטורים עצמיים עבור נתונים שאינם ריבועיים על ידי ריפוד המטריצה בשורות של אפסים.
מציאות
ניפוח מלאכותי של מטריצה מלבנית עם אפסים משנה באופן קיצוני את הדירוג הבסיסי שלה, את התכונות שלה ואת המשמעות הגיאומטרית שלה. פירוק ערך סינגולרי מטפל במבנים מלבניים באופן טבעי מבלי לדרוש שינויים הרסניים אלה.
מיתוס
כל מטריצה מכילה קבוצה מלאה ויפה של וקטורים עצמיים נקיים ואורתוגונליים, מוכנים למיפוי נתונים.
מציאות
וקטורים עצמיים מובטחים להיות אנכיים רק אם מטריצת הפעולה סימטרית או הרמיטית. עבור מטריצות סטנדרטיות, וקטורים עצמיים יכולים להתקבץ יחד בצפיפות או אפילו לא להופיע במספרים מספיקים כדי למפות את המרחב כולו.
מיתוס
ערך סינגולרי יכול להפוך לטריטוריה שלילית אם טרנספורמציה של מטריצה משקפת או הופכת את המרחב.
מציאות
השתקפויות מרחביות והיפוכי אוריינטציה מטופלים אך ורק על ידי התאמות סימן בתוך הווקטורים הסינגולריים הנלווים. הערכים הסינגולריים עצמם נשארים גודל חיובי לחלוטין של מתיחה פיזיקלית.
שאלות נפוצות
כיצד ערכים סינגולריים קשורים מתמטית לערכים עצמיים?
ערכים סינגולריים מחושבים על ידי לקיחת השורשים הריבועיים של הערכים העצמיים השייכים למכפלות המטריצה הריבועית $A^TA$ או $AA^T$. שלב עיבוד מקדים זה הופך כל מטריצה מלבנית מוטה למטריצה ריבועית סימטרית, ומבטיח שהשורשים המחושבים ייצאו כערכים ממשיים וחיוביים.
מדוע ערכים סינגולריים דורשים שתי קבוצות של וקטורים בעוד שווקטורים עצמיים דורשים רק אחת?
וקטורים עצמיים ממפים מרחב וקטורי בחזרה אל עצמו, כלומר וקטורי הקלט והפלט נמצאים באותה טריטוריה וחולקים מסגרת ייחוס אחת. מכיוון שערכים סינגולריים מגשרים באופן שגרתי בין ממדים שונים, הם דורשים וקטורים סינגולריים ימניים כדי למפות את תחום המקור ווקטורים סינגולריים שמאליים כדי לפרש את תחום היעד.
איזה מבין שני המושגים הללו חיוני יותר לניתוח רכיבים עיקריים?
ניתוח רכיבים ראשיים מסתמך באופן בסיסי על ערכים סינגולריים כדי לדרג את השונות על פני מערך נתונים. בעוד שניתן לבצע ניתוח רכיבים ראשיים באמצעות הווקטורים העצמיים של מטריצת שונות משותפת ריבועית, יישום פירוק ערכים סינגולריים ישירות על מטריצת הנתונים הראשונית הוא הרבה יותר יציב מבחינה מספרית ויעיל מבחינה חישובית.
מה המשמעות של ערך סינגולרי של אפס עבור מטריצת נתונים?
ערך סינגולרי של אפס מציין שהמטריקס מכווץ לחלוטין לפחות ממד אחד במהלך הטרנספורמציה המרחבית שלו, מה שמוחץ נפח למישור או קו שטוחים. קריסה מבנית זו פירושה שהמטריקס חסר דרגה ולא ניתן להפוך אותה, מה שהופך את שחזור הנתונים המקוריים לבלתי אפשרי.
מדוע וקטורים עצמיים עוברים מדי פעם לתחום המספרים המרוכבים?
וקטורים עצמיים מורכבים צצים כאשר מטריצה ריבועית כופה תזוזה סיבובית על המרחב שהיא משנה. מכיוון שסיבוב טהור לא משאיר וקטור אמיתי וסטנדרטי המצביע בכיוון המקורי שלו, משוואות מתמטיות משתמשות בקואורדינטות מורכבות כדי לייצג את תנועות הסיבוב הממדיות הללו.
מדוע הניצב הטבעי של וקטורים סינגולריים מהווה יתרון כה גדול על פני וקטורים עצמיים?
ניצב מבטיח שכל וקטור בודד מידע ייחודי לחלוטין, שאינו חופף, ממערך נתונים. חוסר יתירות מידע זה מאפשר למתכנתים להסיר רעשים ולדחוס קבצי מדיה כבדים מבלי לפגוע בטעות בתבניות נתונים המאוחסנות בממדים שכנים.
כיצד מערכת דירוג ה-PageRank האגדית של גוגל בוחרת בין שתי השיטות הללו?
דירוג העמודים (PageRank) מתייחס לאינטרנט כאל מטריצת הסתברות ריבועית עצומה המפרטת כיצד משתמשים קופצים בין אתרים. האלגוריתם עוקף ערכים סינגולריים לחלוטין כדי לחפש התפלגות במצב יציב, אשר מתיישרת מתמטית עם הווקטור העצמי הדומיננטי של מטריצת הרשת הריבועית הזו.
האם מערכת יכולה להניב יותר ערכים סינגולריים מאשר וקטורים עצמיים נפרדים?
כן, כל מטריצה עם יותר עמודות משורות תפיק קבוצה שלמה של ערכים סינגולריים, אך תניב אפס וקטורים עצמיים עקב גבולותיה שאינם ריבועיים. יתר על כן, מטריצות ריבועיות פגומות חסרות לעיתים קבוצה מלאה של וקטורים עצמיים נפרדים, אך הן תמיד שומרות על קבוצה שלמה של ערכים סינגולריים.
פסק הדין
פרוס ערכים סינגולריים בכל פעם שאתה מנתח, דוחס או מנקה טבלאות נתונים מלבניות מהעולם האמיתי, שבהן יציבות מתמטית ועצמאות אורתוגונלית הן בעלות חשיבות עליונה. פנה לווקטורים עצמיים בעת אבחון מערכות ריבועיות גרידא, בהן עליך לחשוף מצבים יציבים, אינבריאנטים של המערכת או התנהגויות אבולוציוניות ארוכות טווח על פני איטרציות עוקבות.