‫‪Pattern Recognition in a‬‬
‫‪Bucket‬‬
‫סמינר נוירו חישובי‬
‫אלון דיין‪ ,‬דניאל היילפר )פר‪-‬גינט(‬
‫‪06/06/2010‬‬
‫‪1‬‬
‫סדר ההרצאה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪2‬‬
‫עיבוד מקדים לקלטים‬
‫‪Liquid State Machine‬‬
‫עיבוד מקדים עם מים‬
‫בעיית ה ‪XOR‬‬
‫‪Speech Recognition‬‬
‫דיון והצעה להמשך מחקר‬
‫עיבוד מקדים לקלטים‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪3‬‬
‫מבנה הרשת‪ ,‬קלטים‬
‫בעיית זיהוי פנים‬
‫בד"כ‪ :‬קלטים – פיקסלים )דרגות אפור(‬
‫מאמר מחדש‪:‬‬
‫‪Neural Network-Based Face Detection‬‬
‫‪(Rowley ,Baluja, Kanade), 1999‬‬
‫אחוזי הצלחה גבוהים‬
‫חשיבות העיבוד המקדים לקלטים‬
‫‪Liquid State Machine‬‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪4‬‬
‫‪Maass – 2002‬‬
‫מכונת טורינג – מצבים פנימיים מוגדרים היטב‪.‬‬
‫פחות מתאימה למצבים ביולוגיים ולזמן אמת‪.‬‬
‫נוזל שאינו במצב מנוחה מכיל אינפורמציה על קלטים‬
‫מההווה ומהעבר )אינפורמציה מתפוגגת עם הזמן(‬
‫‪ Liquid state‬בזמן ‪ - t‬פלט פונקציה על הקלטים‬
‫‪Liquid State Machine‬‬
‫• למה נוזל?‬
‫ תכונת סדר פנימית‪ ,‬עפ"י חוקיות – לא כאוטי‪.‬‬‫ פיזור מידע מרחבי תלוי זמן‪.‬‬‫ יציבות מול מגוון רחב של קלטים‪.‬‬‫ מאפשר חישוב בסיבוכיות גבוהה ומקביליות‬‫ללא זמן חישוב‬
‫‬‫ העברת קלט ממימד נמוך לגבוה‬‫ אין הוספת מידע‪ ,‬יש צבירת מידע‬‫‪water in slow motion.flv‬‬
‫‪5‬‬
Liquid State Machine
Dfsadf •
6
‫עיבוד מקדים עם מים‬
‫• מאמר‪:‬‬
‫‪Pattern Recognition in a Bucket‬‬
‫)‪(Fernando, Sojakka‬‬
‫• פרספטרון שפותר את בעיית ה ‪ XOR‬וגם‬
‫‪Speech Recognition‬‬
‫• התנגשויות גלים מאפשרים חישוב לא לינארי‬
‫של קלטים‬
‫‪7‬‬
‫עיבוד מקדים עם מים‬
‫• אימוץ האנאלוגיה של ‪ – LSM‬ומימושה‪.‬‬
‫‪8‬‬
‫בעיית ה ‪XOR‬‬
‫• שימוש בשני מנועים )אחד מכל צד(‬
‫• אימון פרספטרון‪ :‬דקת וידאו בכל מצב‬
‫)]‪([0,0] ,[1,1] ,[1,0] ,[0,1‬‬
‫• סרט נוסף – עבור ‪test‬‬
‫‪9‬‬
‫בעיית ה ‪XOR‬‬
‫• ‪ 320x240‬פיקסלים ‪ Å‬צמצום לאיזורים בגודל ‪10x10‬‬
‫• נשארנו עם יותר מ‪ 700-‬איזורים‬
‫• לוקחים מתוכם ‪ 50‬באופן רנדומלי – המידע נשמר‬
‫‪10‬‬
‫בעיית ה ‪XOR‬‬
‫• התכנסות ליציבות המערכת‬
‫• לאחר ‪ 200‬חזרות )‪ – (epochs‬אין טעויות על קבוצת‬
‫האימון‬
‫‪11‬‬
‫בעיית ה ‪XOR‬‬
‫• איך נסווג את ]‪ [1 ,1] ,[0 ,0‬יחד )פעילות מירבית‬
‫ומינימלית(?‬
‫‪12‬‬
‫בעיית ה ‪XOR‬‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫סיווג ]‪ [1 ,1] ,[0 ,0‬יחד )פעילות מירבית ומינימלית(?‬
‫המטריצה בנויה כמרכז והיקף‪.‬‬
‫לא למידה של תבניות התנגשות‪.‬‬
‫אלא למידת ממוצע אמפליטודות הגלים באיזורים שונים‪.‬‬
‫]‪ [1,1‬גורם לביטול הדדי במרכז‪.‬‬
‫כלומר – לממוצע פעילות יציב‪.‬‬
‫וזה בדיוק המצב ב ]‪.[0, 0‬‬
‫‪13‬‬
‫‪Speech Recognition‬‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪14‬‬
‫‪ – XOR‬דורש העלאה במימד אחד בלבד )רובוט(‬
‫למה צריך ‪ 700‬מימדים??‬
‫‪ Speech data‬ישירות לפרספטרון – לפחות ‪ 25%‬טעות‬
‫עיבוד מקדים דרך מים – ‪ 1.5%‬טעות‬
‫‪Speech Recognition‬‬
‫• מטרה‪ :‬הפרדה בין ”‪ “zero‬ו ”‪.“one‬‬
‫• ‪ 20‬דגימות לכל מספר‪.‬‬
‫• נסיון לאמן פרספטרון לינארי – נכשל‪.‬‬
‫‪15‬‬
‫‪Speech Recognition‬‬
‫• רעשים‪ :‬ביצועי מנועים‪ ,‬גובה המים ואמפליטודת הגלים‪,‬‬
‫התאדות‪ ,‬ציוד הנדסי מאולתר‪ ,‬תזוזות של המצלמה‬
‫והמיכל‪ ,‬קצב הדגימות במצלמה‪ ,‬ועוד‪...‬‬
‫• תוצאות לא טובות‪ 35% :‬טעות‪.‬‬
‫‪16‬‬
‫דיון והצעה להמשך מחקר‬
‫• מתוך ‪ 700‬לקחנו רק ‪ .50‬איך זה עובד??‬
‫• יתירות המידע שטמון במים‬
‫• דרך מתמטית לייצוג יתירות‪Mutual Information :‬‬
‫‪water in slow motion.flv‬‬
‫• הכלה והדחה‬
‫‪17‬‬
‫דיון והצעה להמשך מחקר‬
‫• ‪Mutual Information‬‬
‫• הכלה והדחה‬
‫‪.‬‬
‫• אנטרופיה )מימד אפקטיבי( – ייצוג מידע‬
‫• מים מתנהגים בצורה לא כאוטית וגם יש תלות הדדית‬
‫גבוהה בין אזורים‬
‫• לכן מספיקים ‪ 50‬קלטים )מתוך ה‪(700-‬‬
‫‪18‬‬
‫דיון והצעה להמשך מחקר‬
‫• מתוך ‪ 700‬איזורים בתמונה לקחנו רק ‪50‬‬
‫• הוכחת שימור מידע לפי ‪Mutual Information‬‬
‫• המערכת לא הופכת כאוטית‬
‫• במעט איזורים קיימת כל‬
‫האינפורמציה הנחוצה‬
‫‪19‬‬
‫דיון והצעה להמשך מחקר‬
‫• הערכת יכולת הפרדה של מים‬
‫• ככל שמשתמשים ביותר מנועים – המרחק בין מצבי המים‬
‫עולה לינארית )מרחק אוקלידי בין מטריצות(‬
‫• תואם לתיאורית ‪LSM‬‬
‫• יכולת להתמודד עם‬
‫אינפורמציה מתנגשת‬
‫למשל – מערכות סטריאו‬
‫‪20‬‬
‫דיון והצעה להמשך מחקר‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪21‬‬
‫מסקנה – עיבוד מקדים בעזרת מים‪.‬‬
‫לפרספטרון פשוט יכול לפתור בעיות לא לינאריות‪.‬‬
‫עמיד יחסית לרעשים‪.‬‬
‫הצעה שלנו להמשך מחקר‪:‬‬
‫– במקום מנגנון עיבוד תמונה‪ :‬חיישנים‬
‫ נוזל סמיך יותר )שימור מידע‪ ,‬פחות רעש(‬‫‪ -‬שימוש בוידאו צפוף פריימים‬
‫תודה רבה‬
‫• שאלות?‬
‫‪22‬‬