רן פוטשטר. שקף מס' 2 Symmetry Application08/06/2005 Symmetry Application הרצאה...

פוטשטר רן

Symmetry Application '2שקף מס 08/06/2005

Symmetry Application

יישומים של סימטריה בראיה 3הרצאה תסקור היום •ממוחשבת:

.1Gait Sequence Analysis using Frieze Patterns

.2Robust Detection of Facial Features by Generalized Symmetry

.3Facial Asymmetry Quantification for Expression Invariant Human Identification


Gait Sequence Analysis using Frieze Patterns

Yanxi Liu, Robert T.Collins and Yanghai Tsin



מטרה:•ניתוח רצף תמונות של אדם הולך, לשם זיהוי אדם –

וסגמנטציה של חלקי גוף.

מושגים בסיסיים:•– Gait.צורת הליכה - –Frieze תבנית דו ממדית שחוזרת על עצמה לאורך -

מימד אחד.



שלבים- Spatio-Temporal Gaitיצירת 1.

Representation תבניות(frieze.)

שנתקבלו ממודל תלת מימדי של friezeניתוח תבניות 2.אדם הולך.

.3Spatio-Temporal Gait Alignment ישור והתאמה . לאחר.friezeשל


Spatio-Temporal Gait Representation

צורת ייצוג זו נועדה להפוך נתונים מתלת-מימד •לדו-מימד.

יוצרים רצף צלליות. תמונות בינאריות כאשר כל פיקסל של 1..1הדמות שווה

לאחר שנתקבלה תמונה בינארית של הצללית מחשבים את:2.

.Xסכום העמודות לאורך ציר ה 1.

.Yסכום השורות לאורך ציר ה 2.

כאשר frieze מחזוריים, מתקבלת תבנית Fr ו-Fcכיוון ש -1.tile שלה הוא המלבן הקטן ביותר שממנו נתן לבנות את כל

הרצף ע"י טרנזלציה.

y

tyxbtxFc ),,(),(

x

R tyxbtyF ),,(),(


ניתוח מודל תלת מימדי של אדם הולך)ליתר דיוק אישה(

לקטגוריות לפי קבוצות סימטריה.friezeמיון תבניות 1.

הקרובה ביותר.Frieze מציאת מרחק לתבנית 2.

הערכת כיוון מבט.3.


ניתוח מודל תלת מימדי של אדם הולך)ליתר דיוק אישה(


Friezeקטגוריות תבניות

דרגות של חופש

שיקוף-גלישה לא

טריוויאלי

שקוף אנכי

שקוף מאוזן

סיבוב

°180

טרנזלציה

קבוצת

סימטריה

Nxxxx√

N/2√xxx√

N/2X√xx√

N/2Xxx√√

N/4√√x√√

N/2XX√x√

N/4x√√√√

1F2F3F4F5F

6F7F


Friezeקטגריות תבניות


Friezeקטגריות תבניות

מצביע על כך ש

הוא תת קבוצה של

למשל: ניתן לראות שכל תבנית מקיימת את התנאים F3ב

+השיקוף tile כיוון ש F1של F1 של tile הוא F3של

ji FF iFjF


הקרובה ביותרFriezeמרחק לתבנית

•SD.מרחק סימטריה -•P תבנית -frieze.•Pn תבנית -frieze של קבוצת סימטריה Fn.•N מס' הפיקסלים של -tile.•t מס' ה -tiles.•pi & qi.רמת העוצמה בפיקסלים -•Si סטיית התקן של תבנית -frieze בפיקסל i.

})({min)(1

2

}{

tN

i i

ii

PQn

s

qppSD

n



frieze Qבניית תבנית •.P ב tiles הוא הממוצע של ה n=1 Q וגם t>1אם – היא O\(P) כאשר n>1 וגם t=1אם –

.Fnתבנית הנוצרת ע"י ביצוע פעולות הסימטריה ב התקבל Q הוא הממוצע של כל n>1 Q וגם t>1אם –

.2מסעיף

2

))(\( PPOQ



קבוצות סימטריה יוצרות •מבנה הירארכי כך שקבוצה היא תת קבוצה של אחרת.

ל Pלכן המרחק סימטרי של •P3 לא גדול יותר מהמרחק ל P5.

ללא טיפול, אלגוריתם הסיווג •.P3יעדיף תמיד את

לכן משתמשים בעיקרון של •G-AIC קבוצות 2, בהינתן

סימטריה בעלי יחס של תת Fnעל Fmקבוצה נעדיף את

לפי המשוואות–dn-ו dm מס' דרגות

החופש של כל תבנית frieze.

–r( המימד המשותף t.)

1 and 7,5for

6,4,3,2 and 7,5for

1 and 6,4,3,2for

22

12

)(

)(

12

2

)(

)(

1)(

)(

)(

)(21

nmn

m

nmn

m

nmn

m

n

mn

n

m

t

t

PSD

PSD

t

t

PSD

PSD

t

t

PSD

PSD

dtNr

dd

SD

SD


הערכת כיוון מבט

רצפי הליכה לפי זווית וגובה מהמודל.241יצרו מאגר מידע של • מאותה נק' מבט שייכים לאותה קבוצת friezeתבניות •

שלהם דומים.tilesסימטריה, וגם ה


הערכת כיוון מבט

friezeבהתקבל רצף הליכה של נבדק מחשבים את תבנית 1.(P).

כיווני המבט.241 של friezeמישרים את תבניות 2.

ולוקחים את המרכבים הלא P מ-tile על PCAמפעילים 3.דומיננטיים הרגישים יותר לשינוים בתבנית.

השכנים הקרובים ביותר בתת מרחב זה )לפי Kמוצאים את 4.(.PCAמרכבי ה-

)מ- השכנים( נמצאים באותה קבוצת Pi ו-Pבודקים אם 5.(.Piסימטריה )אם לא מנפים את

אשר רמת העוצמה של הפיקסלים שלו הכי Piלוקחים את 6..Pדומה לרמת העוצמה של הפיקסלים של


Friezeישור תבניות

קיימים שני רצפי הליכה המיוצגים ע"י זוגות של •friezeתבניות

( Temporalברצוננו לישר אותם מבחינה זמנית)•(.Spatioומבחינה מרחבית)

על מנת שנוכל לבצע ניתוחים נוספים על סמך •השוואות.

),( , ),( וגם ),( , ),( tyFtxFtyFtxF RCRC



ישור ע"י מומנטים•מומנט של תמונת צללית בינארית–

שטח הצללית )מס' הפיקסלים(–מרכז מסה–מישרים את המומנט לפי מרכז מסה–

סיכמנו את העמודות או השורות, friezeכיוון שבתבניות –אנו מעוניינים רק במומנטים שניתן לחשב מסכום שורות או

סכום עמודות

x y

jiij tyxbyxtm ),,()(

)(00 tm

00/)(10 )()( tmmtx t00/)(01 )()( tmmty t

x y

jiij tyxbtyytxxtu ),,())(())(()(

xx y x y

txfctyxbtyxbm ),()),,((),,(00



ישור ע"י מומנטים• j או i רק מומנטים ש friezeאנו יכולים לחשב מתבניות –

שווים לאפס, או שניהם שווים לאפסי. דרושים כדי לישר את מערכת m11מומנטים מסדר –

הצירים, דבר אשר אינו חשוב לנו כאשר נק' המבט קרובה. קיים כבר ישור מערכת צירים כי אנו כבר יודעים לחשב נק'

מבט ומשתמשים בנק' מבט דומות. שלישית שממנה ניתן לחשב friezeניתן להוסיף תבנית –

.u11 ו-m11את המומנטים



( ע"י מומנטיםTemporalישור זמני)•

–P.מתקן את תדירות בצעדים –Ø.מתקן את הבדל הפזה חדש יתחיל באותה tileמישרים את מימד הזמן כך שכל –

נק'..’t ל tיוצרים מיפוי בין המשתנים – הן מחזוריות המיפוי הוא פשוט friezeכיוון שתבניות –

יחסית.

ptt



( ע"י מומנטים Temporalישור זמני)•חישוב תדירות הצעדים –

ו"מלבנים" ע"י חיסור הממוצע.m00(t)לוקחים 1.

מחלקים במשתנה סטטיסטי.2.

ומוצאים את השיאים autocorrelatingמבצעים עליו 3.המתבצעים בתדר הבסיסי ביותר.

יכול להיווצר מצב שמוצאים חצי תדירות כיוון שמנק' מבט 4.מסוימות שתי הצעדים סימטריים )ימין שמאל(. נק' מבט אלו

ידועות וכן ניתן לתקן זאת.

.5f1 תדירות m00-ו f’1תדירות m’00 אזי p=f1/f’1.



( ע"י מומנטיםTemporalישור זמני)•Øחישוב הפזה –

.m00 מ-fלוקחים קטע בעל אורך זמני •.pמכווצים או מרחבים לפי •.m’00 מבצעים קורלציה עם •הפיגור הממוצע בין השיאים הוא הפזה.•



( ע"י מומנטיםSpatioישור מרחבי)•לאחר שיישרנו את התבניות לפי מימד הזמן ניישר לפי –

המרחב.נבצע זאת ע"י מומנטים שניתן לחשב מהתבניות.–

0001

0010

01

10

/

/

00/

00/

0

0

0002

0002

0020

0020

mm

mm

mmy

mmx

y

x

mu

mumu

mu


זיהוי אדם

נתון מאגר מידע של רצפי הליכה מנק' מבט אחת.•נבדוק על רצף הליכה חדש לאיזה אדם הוא שייך•

לכל רצף הליכה.friezeיוצרים תבנית 1.

מעוותים אותם בעזרת ישור זמני לתדר ופזה קאנונים.2.

מצועדים שונים בעזרת התאמה מנורמלת tilesמשווים 3.(normalized correlation.)

מוצאים את האדם לפי ציון ההתאמה.4.


זיהוי אדם - תוצאות

נבדקים.25ניסו את הזיהוי על •תמונה שמאלית – תוצאות זיהוי בודקים עם קצב הליכה איטי – על קצב •

התאמה.100%הליכה איטי, תמונה אמצעית – תוצאות זיהוי עם קצב הליכה איטי – על קצב הליכה •

התאמה.100%מהיר, תמונה ימנית – תוצאות זיהוי עם קצב הליכה איטי – על הליכה עם כדור, •

התאמה.81%


זיהוי חלקי גוף

ממודל ההליכה.friezeיוצרים תבניות • של האדם המצולם.friezeמישרים אותם לפי תבנית •משליכים את צללית המודל על צללית האדם.•דוגמים בצורה אחידה לאורך קו המתאר של שני הצלליות •

ומבצעים טרנספורמציה על צללית המודל.


זיהוי חלקי גוף - תוצאות


Robust Detection of Facial Features by Generalized

Symmetry

Daniel Reisfeld and Yehezkel Yeshurun


Robust Detection of Facial Features by Generalized Symmetry

מטרה:•שיפור זיהוי תווי פנים )עיניים , פה( ע"י אופרטור סימטריה–זיהוי תווי פנים יכול לשמש כשלב מוקדם לאפליקציות זיהוי –

פרצופים.נרמול התמונה ע"י מיקום תווי הפנים.•זיהוי הפנים ע"י השוואת תווי הפנים )למשל עיניים( .•


שימושים

שורה עליונה סדר התמונות משמאל לימין• התמונה המקורית. 1..eigenvectors (PCA)השלכה של התמונה על 2..325 eigenvectors.ראשונים .440 eigenvectors.ראשונים

שורה תחתונה – אותם פעולות רק לאחר שנרמלנו את התמונה לפי מיקום העיניים והפה.•


אופרטור סימטריה

נק' כלשהי•נגזרות העוצמה•וקטור שייך לנק'•עוצמת התנועה של הוקטור•כיוון התנועה של הוקטור•Pקבוצת הנק' הסימטריות לפי •פונקצית משקל המרחק•

),...,1( ),( Kkkkk yxp ),( kkk ppp

yx

),( kkk rv )1log( kk pr

)/arctan( kkk ppxy

}|),{()(2

pjip ji pp

22

1 exp),( ji ppjiD


אופרטור סימטריה

היא הזווית בין קו האופק לקו pj, αij ו-piלכל שתי נק' •העובר ביניהם.

פונקצית משקל הפזה•

pj ו-piהתמורה של נק' •pמידת הסימטריה של כל נק' • עם התרומה הגדולה pi pj הוא β(p)כיוון הסימטריה •

ביותר.הגדרת הסימטריה של כל נק'•

))cos(1))(2cos(1(),( jiji ijjiP

jirrjiPjiDjiC ),(),(),(

)(),(

),()(pji

jiCpM

))(),(()( ppMpS


מציאת מיקום העיניים והפה

התמונה מקורית.1.

שפות שתקבלו מקונבולוציה עם 2.נגזרות של מסכה גאוסנית בשני

כיוונים.



מוצאים את קו האמצע של הפנים3.מבצעים קורלציה גלובלית של נגזרות –

העוצמה של החצי השמאלי והימני של התמונה.

מתבצע בכיוונים שונים והקו אמצע –נקבע לפי הקורלציה הטובה ביותר.

לאחר מציאת קו האמצע מצפים –שהעיניים יהיו משני צדי הקו והפה

יחצה את הקו. ושיהיה יחס גיאומטרי בין השלושה.

מבצעים את אופרטור הסימטריה4. התוצאה דומה לייצוג שפות ולכן ניתן –

edgeלעבד בטכניקות דומות כמו linking.



השלכה של מפת הסימטריה לאורך 5.האנך לקו האמצע.

הסימטריה המצטברת 6.כל נק' סימטריה מוסיפה לערך 1.

המצטבר שלה חלק מהערך המצטבר של השכנים השמאליים שלה באופן

רקורסיבי.

כך גם הערכים של השכנים הימנים.2.

שני הערכים)ימין ושמאל( מוכפלים.3.

כך כל מרכז קלסטר סימטריה נהפך למקסימום מקומי.



דרך נוספת לצמצם את 7.המידע במפת הסימטריה היא

לדכא את ערכי הסימטריה אשר לא מכסימליים בכיוון

האנכי לכיוון הסימטריה שלהם.

ניתן לשמור את ערכי השפות 8.התורמות ערך סימטרי גבוה,

למען סגמנטציה.


תוצאות

תוצאות האלגוריתם על תמונות, סימון העיניים והפה.•


Facial Asymmetry Quantification for Expression Invariant Human Identification

Yanxi Liu , Karen L. Schmidt , Jeffery F. Cohn and Sinjini Mitra


Facial Asymmetry Quantification for Expression Invariant Human Identification

שיפור אפליקציות לזיהוי פנים.•קביעת צורות של מדידת אסימטריה בפרצוף •

החישובית פשוטה.שילוב מידע האסימטריה עם אפליקציות לזיהוי פנים •

(EigenFace , FisherFace.)


מוטיבציה

פנים אינם סימטריים.•

האסימטריה גוברת •בזמן הבעות.

אסימטריה בפנים •כנראה תורמת לזיהוי

פרצופים אצל בני אדם.

האם אסימטריה יכולה •לתרום לזיהוי פרצופים

במכונות.


מדידה של כמות האסימטריה

:D-faceהפרש העוצמות •:S-faceדמיון כיוון השפות • גבוה יותר כך הפנים אסימטריות יותר.D-faceככל שערך • גבוה יותר כך הפנים סימטריות יותר.S-faceככל שערך ••S-face סימטריות )נובע מצורת הבנייה( ו D-face

הופכיות לכן חצי מהן מכילות את כל המידע הדרוש.

–I-ו I’.מיצגים חצי פרצוף –Ie-ו I’e.מיצגים את השפות של חצי פרצוף הזוית בין שני כיווני השפות.–

),(),(),( yxIyxIyxD )cos(),( ),(),,( yxIyxI eeyxS

),(),,( yxIyxI ee



התמונה השמאלית – פרצוף מנורמל• D-faceהתמונה האמצעית – •S-faceהתמונה הימנית – •


הורדת מימד הנתונים

אנחנו מחשבים את ממוצע •-S ו-D-faceהערכים של

faceלאורך הצירים •Dx ממוצע העמודות של -

Dתמונה עליונה–

•Dy ממוצע השורות של – Dתמונה תחתונה–

•Sx ממוצע העמודות של – S

•Sy ממוצע השורות של – S


Augmented variance ratio )AVR(

ciFjFiji

fi

F

SmeanSmeanSVar

C

SVarFAVR

..1 ))()((min)(1

)()(


Augmented variance ratio )AVR(


AsymmetryFaces

•D-ו S הם הפעלת PCA על D-face-ו S-face ולקיחת k מהשוני במידע.95%הרכיבים העיקריים האחרים על


לזיהוי פרצופים)AsymmetryFaces)AFשימוש ב

ומסדרים את feature לכל מימד AVRמחשבים את 1. בסדר לא עולה.featuresה

forward feature subset selection מבצעים 2.מנקה מידע לא קשור ומידע שחוזר על עצמו.

Linear Discriminant Analysisמבצעים 3.(LDA).ובודקים את המידע בתת מרחב הנבחר

.4FF(FisherFace)+AF מוספים את רכבי ה PCA ולאחר מכן FF )בסדר קודם רכיבי 1 לשלב FFשל

(.AFרכיבי


תוצאות


סיכום

יישומים של סימטריה :3סקרנו בהרצאה

מוצאים תבנית סימטרית מסרט, ואז בעזרת פעולות 1.של מציאת קבוצת סימטריה ומדידת מרחק

סימטריה ניתן לזהות אדם וחלקי גוף.

מוצאים אזורים מענייניים בתמונה לפי מידת 2.הסימטריה שלהם.

שיפור זיהוי פרצופים בעזרת מדידת כמות 3.האסימטריה של הפרצוף.


ביבליוגרפיה

•Gait Sequence Analysis using Frieze Patterns–Yanxi Liu, Robert T.Collins and Yanghai Tsin

•Robust Detection of Facial Features by Generalized Symmetry

–Daniel Reisfeld and Yehezkel Yeshurun•Facial Asymmetry Quantification for Expression

Invariant Human Identification–Yanxi Liu , Karen L. Schmidt , Jeffery F. Cohn and

Sinjini Mitra•A tutorial on Principal Components Analysis

–Lindsay I Smith•Eigenface-based facial recognition

–Dimitri PISSARENKO•www.Google.com

רן פוטשטר. שקף מס' 2 Symmetry Application08/06/2005 Symmetry Application הרצאה...

Documents

Transcript of רן פוטשטר. שקף מס' 2 Symmetry Application08/06/2005 Symmetry Application הרצאה...