פרויקט התינוק הדיגיטלי

פרופ' שמעון אולמן, ותלמידי המחקר דניאל הררי ונמרוד דורפמן, מהמחלקה למדעי המחשב ומתמטיקה שימושית במכון, יצאו לחקור את אסטרטגיות הלמידה של תינוקות, ויצרו מודל ממוחשב המבוסס על העקרונות שלפיהם תינוקות מסתכלים על העולם. המחקר שלהם התמקד בידיים. תינוקות לומדים תוך חודשים ספורים להבחין בין הידיים לבין עצמים אחרים או חלקי גוף אחרים למרות שהיד היא איבר מורכב ביותר: היא עשויה להופיע במיגוון גדלים וצורות, ולנוע באופנים שונים. צוות המדענים יצר אלגוריתם לזיהוי ידיים, במטרה לבחון האם המחשב יכול ללמוד לזהות כפות ידיים באופן עצמאי מתוך סרטי וידאו, גם כאשר הידיים מופיעות בצורות שונות, או נראות מזוויות שונות. האלגוריתם לא אמר למחשב באופן ישיר "זו היא יד", אלא נדרש לגלות, תוך כדי הצפייה בסרטים, מה הם המאפיינים של ידיים.

 

האלגוריתם התבסס על מספר תובנות לגבי הגירויים שמושכים את תשומת ליבם של תינוקות. לדוגמה, תינוקות מסוגלים לעקוב אחרי תנועה מהרגע בו הם פוקחים את עיניהם, ותנועה זו עשויה "להצביע" על  עצמים מסוימים שאותם כדאי להם לבחור מתוך הסביבה. המדענים שאלו, האם סוגים מסוימים של תנועה עשויים להיות בעלי משמעות רבה יותר לתינוקות לעומת סוגים אחרים, והאם סוגים אלה יכולים לספק את המידע הנחוץ ליצירת מושג חזותי. לדוגמה, יד יוצרת שינוי בשדה הראייה של התינוק, משום שבדרך כלל היא מזיזה חפצים. בסופו של דבר התינוק לומד להכליל, ולקשר בין האירוע של עצם המזיז עצם אחר לבין הופעתה של יד. המדענים כינו את הפעולה הזאת בשם "אירוע הזזה".

 

לאחר שתיכננו אלגוריתם הלומד לזהות אירועי הזזה, המדענים "הראו" למחשב סדרה של סרטונים. בחלקם נראו אירועי הזזה: ידיים שמשנות את מיקומם של עצמים שונים. סרטונים אחרים צולמו מנקודת מבטו של תינוק, המתבונן בתזוזת הידיים שלו-עצמו, וסרטונים נוספים הראו תנועות ידיים אחרות, שאינן מעורבות בהזזת עצמים, או תבניות כלליות כמו אנשים וחלקי גוף שונים. תוצאות הניסויים האלה הראו בבירור, שדי באירועי הזזה כדי ללמד את המחשב לזהות ידיים, וכי אמצעי זה יעיל הרבה יותר מכל השיטות האחרות – כולל צפייה בידיים של הצופה עצמו.