הינך נמצא כאן

דמיון דו-כיווני

01.11.2014

 
 
סרט וידיאו, מעניין ומורכב ככל שיהיה, מכיל הרבה יותר מסתם אוסף של תמונות. למעשה, אם מתרחקים מעט מהתמונות ומתבוננים בווידיאו ברצף המרחב והזמן, אפשר לגלות עולם שלם של מידע שאינו כלול בתמונות כפשוטן. פרופ' מיכל אירני, מהמחלקה למדעי המחשב ומתמטיקה שימושית, במכון ויצמן למדע, מפתחת שיטות מתקדמות לשליפתו ולעיבודו של המידע הזה. כדי לעשות זאת, היא מפתחת אלגוריתמים מתמטיים שמאפשרים לחוות מידע חזותי במרחב ובזמן, הרבה מעבר למגבלות הפיסיות של סנסורים ויזואליים שונים, לרבות העין האנושית.
 
אלגוריתם אחד כזה מסוגל להתאים (לסנכרן במרחב ובזמן) שני סרטי וידיאו שצולמו באותו זמן בשתי מצלמות נפרדות, שכיסו טווח שונה של תכונות: שדות ראייה שונים, או תדרים שונים, או מידות הגדלה שונות. הצלבת מידע שמגיע בתדרים שונים עשויה לאפשר ראיית יום ולילה (אינפרא אדום) בעת ובעונה אחת. עיבוד מידע שמקורו בשתי מצלמות המצלמות במידות הגדלה שונות עשוי לאפשר זיהוי של אנשים בודדים מסוימים בקהל עצום של חובבי ספורט הממלאים איצטדיון כדורגל. המשמעויות הביטחוניות של טכנולוגיה כזאת בולטות מיד לכל עין.
 
פרופ' אירני אומרת, שחלק מהמידע החזותי נעלם מעינינו מכיוון שהוא מוצפן ברזולוציית מרחב וזמן הגבוהה בהרבה מזו שהעין האנושית, או מצלמת הווידיאו, מסוגלות להבחין בה. האלגוריתמים שהיא ותלמידיה מפתחים נועדו לחשוף את המידע החסוי, כך שאפשר יהיה להבחין בפרטים קטנים או בהתרחשויות מהירות שהעין ומצלמת הווידיאו אינן מבחינות בהם.
 
טווח היישומים של הטכנולוגיה הזאת משתרע מרפואה מתקדמת, דרך מערכות ראייה רובוטיות, ועד לתעשיות הביטחוניות, מצד אחד, ותעשיית הקולנוע והבידור, מצד שני.
 

סודות הצמצום

שיטה אחרת שפיתחה פרופ' אירני עמדה במרכז הסכם שבמסגרתו העניקה חברת "ידע מחקר ופיתוח", הזרוע המסחרית של מכון ויצמן למדע, רישיון לחברת "אדובי מערכות בע"מ" (Adobe Systems). מדובר בשיטה לתימצות מידע חזותי המבוססת על מדד דמיון דו-כיווני, שפיתחו פרופ' מיכל אירני ותלמידי המחקר מקבוצתה (דאז) ד"ר דניס סימקוב, ד"ר ירון כספי וד"ר אלי שכטמן. טכניקה זו מאפשרת תימצות של מידע חזותי, תמונות וסרטי וידיאו כאחד.
 
פרופ' מיכל אירני
 
שלא כמו שיטות אחרות, אשר "גוזרות" את התמונה או מכווצות אותה, או – במקרה של סרט וידיאו – מפיקות קליפ קצר וחלקי, השיטה החדשה מייצרת תמצית חזותית בעלת שלמות וקוהרנטיות. זוהי למעשה גרסה מוקטנת או מקוצרת של המקור, אשר שומרת את המידע הרלבנטי ביותר.
 
תכונת הדו-כיווניות של השיטה מבטיחה שהתמונה שנוצרת היא קוהרנטית מבחינה חזותית, כלומר, הגיונית מבחינה חזותית, ונעימה למראה לא פחות מהמקור. בניגוד לגזירה או לחיתוך, בהם עלולים לאבד מידע חשוב, או להקטנה, בה הרזולוציה הולכת לאיבוד, בשיטת התימצות הדו-כיווני נשמרים גם המידע החשוב וגם פרטי הרזולוציה, על אף שינוי הגודל.
 
השיטה מבוססת על מחיקת יתירות ומידע חזרתי מהתמונה או מסרט הווידיאו. כך, לדוגמה, תמונה של רכב נוסע בכביש עירוני עדיין תכלול, לאחר התימצות, את הרכב במלואו, אבל תכלול רק חלק מהכביש ואחדים מהבתים. האלגוריתם שפיתחה פרופ' אירני יזהה את יתר הכביש, וגם את המקטעים שמכילים בתים, כיסודות חוזרים על עצמם. תימצות של סרטי וידיאו פועל באופן דומה, אלא שהתוכנה מזהה כפילויות במידע זמן-מרחב, תהליך הדרגתי של הקטנה ובקרה מבטיח, שהתוצאה הסופית תהיה קוהרנטית וללא "תפרים" נראים לעין.
 
בנוסף לתימצות תמונות וסרטי וידיאו, לשיטה החדשה עשויים להיות יישומים נוספים, ובהם השלמת קטעים חסרים בתמונות ובסרטי וידיאו; יצירת מונטאז'ים (שילובים) ממספר תמונות שונות; סידור מחדש של מידע בתמונות ובסרטים (למשל, שינוי מקומות של אובייקטים בתמונה); גזירה אוטומטית; סינתזת תמונות (כלומר הרחבה של תמונה, במקום תימצות שלה); ו"מורפינג" (הפקת רצף וידיאו באמצעות יצירת מעבר חלק בין שתי תמונות, גם אם אין קשר ביניהן).
 
פרופ' מיכל אירני אוהבת לפסל, בעיקר דמויות נשיות, כי לדבריה הן הכי מעניינות. כשמשהו מצליח לה במיוחד, היא גם יוצקת בברונזה.
 

לשיתוף:

 

 

 

 

פודקאסטים
אינסטגרם