Pattern Recognition in a Bucket
Pattern Recognition in a Bucket סמינר נוירו חישובי אלון דיין ,דניאל היילפר )פר-גינט( 06/06/2010 1 סדר ההרצאה • • • • • • 2 עיבוד מקדים לקלטים Liquid State Machine עיבוד מקדים עם מים בעיית ה XOR Speech Recognition דיון והצעה להמשך מחקר עיבוד מקדים לקלטים • • • • • • 3 מבנה הרשת ,קלטים בעיית זיהוי פנים בד"כ :קלטים – פיקסלים )דרגות אפור( מאמר מחדש: Neural Network-Based Face Detection (Rowley ,Baluja, Kanade), 1999 אחוזי הצלחה גבוהים חשיבות העיבוד המקדים לקלטים Liquid State Machine • • • • • 4 Maass – 2002 מכונת טורינג – מצבים פנימיים מוגדרים היטב. פחות מתאימה למצבים ביולוגיים ולזמן אמת. נוזל שאינו במצב מנוחה מכיל אינפורמציה על קלטים מההווה ומהעבר )אינפורמציה מתפוגגת עם הזמן( Liquid stateבזמן - tפלט פונקציה על הקלטים Liquid State Machine • למה נוזל? תכונת סדר פנימית ,עפ"י חוקיות – לא כאוטי. פיזור מידע מרחבי תלוי זמן. יציבות מול מגוון רחב של קלטים. מאפשר חישוב בסיבוכיות גבוהה ומקביליותללא זמן חישוב העברת קלט ממימד נמוך לגבוה אין הוספת מידע ,יש צבירת מידעwater in slow motion.flv 5 Liquid State Machine Dfsadf • 6 עיבוד מקדים עם מים • מאמר: Pattern Recognition in a Bucket )(Fernando, Sojakka • פרספטרון שפותר את בעיית ה XORוגם Speech Recognition • התנגשויות גלים מאפשרים חישוב לא לינארי של קלטים 7 עיבוד מקדים עם מים • אימוץ האנאלוגיה של – LSMומימושה. 8 בעיית ה XOR • שימוש בשני מנועים )אחד מכל צד( • אימון פרספטרון :דקת וידאו בכל מצב )]([0,0] ,[1,1] ,[1,0] ,[0,1 • סרט נוסף – עבור test 9 בעיית ה XOR • 320x240פיקסלים Åצמצום לאיזורים בגודל 10x10 • נשארנו עם יותר מ 700-איזורים • לוקחים מתוכם 50באופן רנדומלי – המידע נשמר 10 בעיית ה XOR • התכנסות ליציבות המערכת • לאחר 200חזרות ) – (epochsאין טעויות על קבוצת האימון 11 בעיית ה XOR • איך נסווג את ] [1 ,1] ,[0 ,0יחד )פעילות מירבית ומינימלית(? 12 בעיית ה XOR • • • • • • סיווג ] [1 ,1] ,[0 ,0יחד )פעילות מירבית ומינימלית(? המטריצה בנויה כמרכז והיקף. לא למידה של תבניות התנגשות. אלא למידת ממוצע אמפליטודות הגלים באיזורים שונים. ] [1,1גורם לביטול הדדי במרכז. כלומר – לממוצע פעילות יציב. וזה בדיוק המצב ב ].[0, 0 13 Speech Recognition • • • • 14 – XORדורש העלאה במימד אחד בלבד )רובוט( למה צריך 700מימדים?? Speech dataישירות לפרספטרון – לפחות 25%טעות עיבוד מקדים דרך מים – 1.5%טעות Speech Recognition • מטרה :הפרדה בין ” “zeroו ”.“one • 20דגימות לכל מספר. • נסיון לאמן פרספטרון לינארי – נכשל. 15 Speech Recognition • רעשים :ביצועי מנועים ,גובה המים ואמפליטודת הגלים, התאדות ,ציוד הנדסי מאולתר ,תזוזות של המצלמה והמיכל ,קצב הדגימות במצלמה ,ועוד... • תוצאות לא טובות 35% :טעות. 16 דיון והצעה להמשך מחקר • מתוך 700לקחנו רק .50איך זה עובד?? • יתירות המידע שטמון במים • דרך מתמטית לייצוג יתירותMutual Information : water in slow motion.flv • הכלה והדחה 17 דיון והצעה להמשך מחקר • Mutual Information • הכלה והדחה . • אנטרופיה )מימד אפקטיבי( – ייצוג מידע • מים מתנהגים בצורה לא כאוטית וגם יש תלות הדדית גבוהה בין אזורים • לכן מספיקים 50קלטים )מתוך ה(700- 18 דיון והצעה להמשך מחקר • מתוך 700איזורים בתמונה לקחנו רק 50 • הוכחת שימור מידע לפי Mutual Information • המערכת לא הופכת כאוטית • במעט איזורים קיימת כל האינפורמציה הנחוצה 19 דיון והצעה להמשך מחקר • הערכת יכולת הפרדה של מים • ככל שמשתמשים ביותר מנועים – המרחק בין מצבי המים עולה לינארית )מרחק אוקלידי בין מטריצות( • תואם לתיאורית LSM • יכולת להתמודד עם אינפורמציה מתנגשת למשל – מערכות סטריאו 20 דיון והצעה להמשך מחקר • • • • 21 מסקנה – עיבוד מקדים בעזרת מים. לפרספטרון פשוט יכול לפתור בעיות לא לינאריות. עמיד יחסית לרעשים. הצעה שלנו להמשך מחקר: – במקום מנגנון עיבוד תמונה :חיישנים נוזל סמיך יותר )שימור מידע ,פחות רעש( -שימוש בוידאו צפוף פריימים תודה רבה • שאלות? 22
© Copyright 2024