A Projective Framework for Scene Segmentation in the ...

7

Transcript of A Projective Framework for Scene Segmentation in the ...

Page 1: A Projective Framework for Scene Segmentation in the ...

� ��������� ��������������������������� ���"!#��%$&��!#�%'����($)�*��������$+�,$-��.&�/�0���%12�%$&��/�3�4 �(�5�,$&'�6879�2�� �*1�:

;�<>=@?BAC;&DFEG?IHJALK�?B<LMC<LM�AON#<PA*QOR5SPHJ<LQ�AT NVU�W&X�NZY[X,\OU T^] X�_`NVX[U/NVa�bSLM�DFYcU5dfegDih

jlkmk ] <>=PDnM@Q�DoA*DpdrqtsuQ�HvSPegDwmxPwmwmy \OSPM@z|{ SPM*M�SPz`}z>~t\�<LH|zv?IM ]�� H�<LM��iD

;�<>=@?BA ~t;&DFEG?IHJALK�?B<LM��`?fM�H|?�<LdIe Dnhi~���H N#<PA*Q�~�R5SLH�<LQ�A��&?IM�Hv?B<LdfegDihn~���H��@�l�Z�v�@���@�@�Z�J�>�2���P�2�����*�u�c�@�����������@�����*�����m�*�L�*��� ���@¡2¢��P�L���2�£�2¡*�m¤ �@�*�������¥�2�m���

¦¨§g©�ªn«n¬@­£ª® ¯±°�²�³µ´`¶,²r·,¸�²,³P¹c²#º¼»u½£´ ¯±¾c¶#º¿»Z¯±À9´,Ái²[¶3Ái´�ÂÄÃ�²,¾¥²cÅpÆ�¯±ÂÄÃ

´ ³Ç¸£³P¹c´ È�¯ÊÉ�¾r´�Â�²rÅ˶[ÂB²,¾¥²cºÌ¹c´�À9²,¾¥´¨½�´�¯±¾G´ ³PÅGÁ ¯±°�²�³Í´µ¶,²,º¼»�½�º�¯±³LÂIÎ�Â�º�ÎϽ�º�¯±³LÂg¹cº�¾[¾¥²�¶B½£º ³PÅn²�³m¹r²�¶3Éc²�ÂfÆ�²c²�³�ÂÄÃ�²�¶,²u¯±ÀZ´|Án²½�´�¯±¾c¶cÐÆ�²�ÅF²�¶,¹�¾[¯ÊÉc²�´uÀZ²,ÂÄÃ�ºvÅu±Ã�´�¶�²BÁFÀZ²,³�ÂI¶gÂÄÃ�²(ºFÉ�¶,²�¾[°�²cŶ,¹c²�³m²p¯±³LÂBº^¶[ÂB´ ÂI¯Ê¹o´�³mÅ^À9º�°v¯±³iÁµºFÉÊÑ,²c¹�ÂI¶�Æ2Ã>¯±È�²Ò¯±Â)¾¥²ÄÑ,²c¹,ÂʶÉc´FÅ£È�Ó5À9´�Â�¹cÃ�²cÅ3½£º ¯±³�ÂI¶�Ô�Õ2³LÈ�¯�ÖF²)À9´�³LÓ5´c½n½L¾¥ºv´F¹cÃ�²�¶ZÆ2Ã>¯Ê¹cÃÆ�²,¾¥²�¶c¸FÁvÁi²[¶[Â�²rÅ9¯±³p±Ã�²�½�´J¶[ÂIÐ�±Ã�²�À9²,±Ã�º|Å5´�ȱÈ�º Æ�¶�»�º�¾3Écº�ÂÄÃÀ9º�Âf¯Êº�³^º¿»3±Ã�²)¹c´ ÀZ²,¾¥´�½£´ ¯±¾#׿²BÁnº ÀZº ÂI¯Êº ³ Ø`´ ³PÅ#³Pº�³o¾[¯�ÁF¯ÊŶ,¹c²�³m²[¶Ù×f¶,¹c²�³m²[¶Ú¹cº�À(½�ºJ¶,²cÅÛº¼»�¶[Â�´�Âf¯Ê¹oºnÉÄÑ,²c¹,ÂʶҴ�¶pÆ�²�ȱÈÜ´J¶ºnÉÄÑ,²c¹,Âʶܸ£³PÅn²�¾fÁnº ¯±³iÁ5°J´ ¾[¯Êº�¸>¶ÜÀ9º�Âf¯Êº�³�¶BØFÔ

Ý ¯±¾c¶[ÂÆ�²(²[¶[Â�´FÉ,È�¯Ï¶¥Ã9ÂÄÃ�²�½L¾¥º¿Ñ,²r¹,Âf¯±°J²*»c¾¥´ ÀZ²,Æ�º�¾¥Ö�²�³m´FÉ,È�¯±³iÁ¸>¶¨ÂBºO¹rÃ�´�¾¥´n¹�Â�²,¾[¯�Þ|²Û¾[¯�ÁF¯ÊÅÌÀZº ÂI¯Êº ³Ç¯±³C½P¾¥º�Ñ,²c¹,ÂI¯±°�²ß¶B½£´n¹r²vÔàl²r¹cº ³PÅOÆ�²µ¸>¶,²Û±ã¯Ï¶Û¹cÃ�´�¾r´F¹,ÂB²,¾[¯�Þv´�Âf¯Êº�³á¯±³â¹cº�³|Ñ[¸£³P¹,ÂI¯Êº ³Æ�¯±ÂÄÃÙ´Ú¾¥ºFÉ,¸>¶[Â�²�¶[ÂI¯±À9´�Âf¯Êº�³GÂB²c¹cÃ>³�¯Ê·,¸�²#ÂBºÒÅF²,ÂB²,¾[À�¯±³m²5²BÁiº�ÎÀ9º�Âf¯Êº�³mÔäãmÃ>¯±¾¥ÅGÆ�²¨ÅF²�¶,¹�¾[¯ÊÉc²^´ßÀZ²,±Ã�º|ÅÛÉc´J¶,²cÅGº ³�Ån´�Â�´¹,È�´J¶c¶[¯ åg¹c´ ÂI¯Êº ³�Æ2ã¯Ê¹rÃG»c¸£¾[ÂÄÃ�²,¾G¹cº�³�¶c¯ÊÅn²�¾c¶ÙÂÄÃ�²G³mº�³�ÎB¶[Â�´�Âf¯Ê¹¶,¹c²�³m²�½�º�¯±³LÂʶ3´ ³PÅ)Á ¾¥º ¸J½�¶�ÂÄÃ�²,À毱³LÂBº9¶,²�°�²�¾r´�ÈÀ9º�°v¯±³iÁ&ºnÉ�ÎÑ,²c¹,Âʶ,Ô Ý ¯±³P´ ȱÈ�Ó&Æ�²)¶¥Ã�º Æ̶,º�À9²�½P¾¥²�È�¯±À�¯±³m´�¾[Óp²¥ç,½�²�¾[¯±À9²,³�ÂI¶¯±³L°Jº È�°|¯±³>ÁG´^ÀZº °|¯±³>Á^¶[Â�²�¾¥²cºpÃ�²r´nÅߺnÉ[¶,²,¾[°|¯±³>ÁGÉcº�ÂÄÃG¶[Â�´�Âf¯Ê¹´ ³PÅ9À9º�°v¯±³iÁ&ºnÉÄÑ,²c¹,Âʶ,Ôè énêgë£ì�í�î%ï(ðPë£ñ¼í�êæò�ê(îôó�í�ë�ñ�õ�ò*ë£ñ¼í�ê

ö�÷,ø¥÷|ù�ø¥ú�ûiüCûFý�þ)û�ÿiúÏü��Gû����¿÷vù�ø��5ú��5ûiü£÷oû ý�ø��÷¨þ���¿û� � ¼÷���uúÏü¨útþ���n÷��¼÷����£÷|ü�ù,÷�Fü�������¥ú�������ø3ú���ü£÷|ù,÷������ ���ýÄû� ø¥÷��t÷����� ¼ÿn÷,ú�����Fü�ù�÷� !��£ø¥ûnü£ûiþ)û����"�����¥ø¼÷vþ ü�Jÿ>ú��� ø¼útûnü#Fü�$þ�Fü��oûFø�£÷� %�&�&���úÏù�Fø¼útûnü����('%ù)�ú�÷|ÿiúÏü��oþ�ûnø¼útûnü*nü�������¼ú��ú��+,$£ú�-Vù����tøuø����.&÷���&L÷|ù,ú�������0/1£÷|üoþ)û�ÿiúÏü��5û����¿÷vù�ø��!� ¥÷ü£ûnø1 ¼ú��Fú�$"Fü�$,/1£÷|ü`ø�£÷Üû����¥÷� ¥ÿF÷� �ú���þ)û�ÿ>útü��%��2/g÷����3�4pûnø¼útûnü�56����¼÷�$7�¼÷��nþ)÷|üiø�Fø¼útûnüËù�Fü8�L÷Òù�������¥ú:9L÷�$ËúÏüiø¼û

ø6/ û^þ%��¿û� Zù�Fø¼÷��Fû� ¥út÷���;0< ö û�&£ø¥útù���>=�û?/@�¼÷��nþ)÷|üiø� ø¼útûnünü�$BA öäþ)ûFø¥ú�ûiüB�¼÷��nþ)÷|üiø�Fø¼útûnüC�ED>£÷F9G ��¼ø��&�&� ¥û�nù)£÷��H I�J ù,ûnü��¥ú��¼ø�û ýC�¥÷��nþ)÷vünø¥útü��+K�rù�÷vü£÷1���¥útü���ø¥÷|ù)�ü�ú����£÷���ø��FøLNMCOQP(RCS)T3UVT3PXW�S)TZYZP�[8R]\_^F^ZW�S)`�^3S)T3PX[8aNbBY3O�Pdcfe�gGhjikMflmi�n

WQT3S�oZPXp6Yrq�M]h(s_tNs�u�vwnxizy|{xh

�� ¼û���&�&�� ¼ø�� û ý�ø�£÷ÜúÏþ���n÷uù,û� � ¼÷���&Lûnü}$£útü��3ø¼û��¥úÏþ�ú����  ÿF÷�5�tû£ù�útø¼út÷����~�6�nü£û� ¼úÏü��VA ö��F÷|ûnþ)÷,ø� ��� %ø�£÷��¥÷^þ�÷|ø�£û�$��&ù�Fü$£÷���!/�ú�ø�Ìü£ûiü8 ¥ú��nú�$Ëû����¿÷|ù,ø��"���£ø`û ýÄø¥÷|ü8�nú�ÿn÷(��&��� ¥ú�û�����¥÷��iþ�÷vüiø� ø¥ú�ûiüVúÏü`ø�£÷�ù���¥÷�ûFý*ü£ûiü`ø� ¥ú�ÿ>ú���]�rù�÷|ü�÷����

� üËø�£÷Òù,ûnüiø� �� ��� 2A ö��&�&} ¼û�Fù)£÷������¼÷�d�F÷|ûnþ)÷,ø� ¼úÏùù)�� �nù�ø¥÷� ¥ú��� ø¼útûnü&ûFýgø�£÷Vþ)ûFø¼útûnüÒúÏüÚû� �$£÷� �ø¼ûF�¼÷��nþ)÷|üiø+�rù�÷vü£÷����Lû� u÷N��nþ%&���÷� úÏü H �?J Fü�$ H ��J *ø��ú���ù)}� �Fù�ø¥÷� ¥ú���?5ø¥ú�ûiüpú��(÷���&���úÏù�útø��Iþ)û�$£÷��tú��,÷�$�����, ¥ú��Fú�$pþ)ûFø¼útûnü��_ j����ø�úÏüþ�Fü���ûnø�£÷� K�&�&� ¥û�nù)£÷��� mø�£÷Vþ)û�$£÷���ú���Fø¼útûnüÒú��uúÏþ�&���úÏù�útø��D>����� �/1£÷|ü5ø6/ û)ù,ûnü��¥÷|ù��£ø¼útÿF÷�útþ���F÷��>� ¼÷�úÏünÿnû��tÿF÷�$C £þ�û�5ø¥ú�ûiü���� ¼÷�����¥û£ù�ú� ø¼÷�$�/�útø�(Fü&÷����¥÷|üiø¼ú���@û� 1Zýz��ü}$�Fþ)÷|ü�5ø���þ� ø� ¼ú��,/1�útù)&÷vü�ù��&�������Fø¼÷���þ)ûnø¼útûnü0&�� �Fþ)÷|ø¼÷� �� H �?J �D>£÷��¼÷)þ)÷,ø��û�$}���n÷|ü£÷� �������,�nú�ÿn÷��tútþ)útø¼÷�$( ¥÷�������ø����L÷|ù�����¥÷nþ��£ú����£û����!&�� �Fþ)÷,ø¥÷� ¥ú��� ø¥ú�ûiü���� ¼÷�útüiÿFû���ÿn÷�$C�K4�Fü��� ¼÷�5�¥÷�� ¥ù)£÷� ��x&� ¥÷�ýÄ÷� �ø��÷|üZø¼û��}�¼÷�ø�� ¥÷,÷�û� �þ)û� ¼÷�úÏþ���F÷�������û� ÷���nþ�&���÷� H A J ���¥÷��0�&�� ������?�7����&L÷N56����¥÷�$Ìù�ûnü}�¼ø� �Fútüiø/1£úÏù)Ë÷vü�����t÷��#ø¼ûV ¼÷|ø� ¥ú�÷|ÿF÷púÏü�$£÷�&�÷vü�$£÷|üiø&þ)ûFø¼útûnü}�#û�ÿn÷� ø�� ¼÷|÷)ýz �nþ�÷����%�¿ü H ��J j,9Lü�÷�&�� �Fþ)÷,ø� ¼úÏù)þ�û�$£÷���ýÄû� uø�£÷û�&£ø¼úÏù����=�û?/^÷vü������÷��2ø¥û! ¥û��}���¼ø����Üù,ûnþ�&��£ø¥÷gø�£÷�$�ûnþ)útü}Füiøþ)ûFø¥ú�ûiü#úÏü`útþ���F÷����

4pû��¼ø�÷��>ú��¥ø¼úÏü��Üþ�÷|ø�£û�$���ù�ûnü}�¼ú�$£÷� �þ)ûiü£û£ù������ |�����¼ø¥÷|þ��nü�$`ú�ø!�¼÷|÷|þ���ø¼û,����ø�� ø1/ ÷�� ¥÷Üø��÷K9G ��¼ø�ø¥û����¥÷�FüF��ü�5ù���tú��� � ø¥÷�$,�¼÷�����÷|ü�ù,÷(ûFý�&�Fú� �� û ý*útþ���n÷��gýÄû�  þ)ûFø¥ú�ûiü,�¥÷���5þ)÷|üiø� ø¼útûnü,�Iþ)ûnø¼útûnü�56�¼ø¥÷� ¥÷,û��_�j���� ¥ø�£÷� ¥þ)û� ¥÷� Fø�£÷1&� ¥û�����÷vþ/�útø�Ü÷��£ú��¥ø¼úÏü��(þ)÷|ø�£û�$��2ú��ø��Fø2÷|ú�ø�£÷� ø�£÷��K�������þ)÷�$Üø��Fø�����û����¿÷|ù,ø���� ¥÷� ¼ú��Fú�$�Fü�$d$£ûÒü£ûFø�/ û� �.F/�útø�Ùü�ûnüd ¥ú��nú�$�Lû�$£ú�÷��"�Z����ù)����&�÷� ��¥ûnü��)�_ �û� )ø�£÷��Ùþ��. ÷&ü£û�����ù)����5&LûFø�£÷��¥ú��gúÏü�/1£úÏù)#ù���¼÷� �����mþ)û�ÿ>útü��3û����¿÷vù�ø���� ¥÷� ¥û���������ù,ûnü��¥ú�$�÷� ¥÷�$���%���ü£ú����£÷#÷vüiø¼útø6����D>�÷�/ û� �.�/ ÷,&� ¥÷��¥÷|üiø£÷� ¼÷F�� ¥ú�$��F÷��Zø�£÷��¼÷F���&����¥útü�ù�÷&ú�ø,�$�$� ¥÷����¥÷��)ø�£÷�&} ¼û���5�t÷|þ ûFýPþ)ûFø¥ú�ûiü��¼÷��nþ)÷|üiø�Fø¼útûnü�ýÄû� |�þ�û�ÿ>úÏü��K��ü�ù���tú��� � ø¥÷�$�¥ø¼÷� ¼÷|û� ¥ú��!/�ú�ø��%ýz �Fþ)÷�/ û� �.!/1£útù)�$£÷������/�útø�)ü£ûnü% ¥ú��nú�$�Lû�$£ú�÷����

Page 2: A Projective Framework for Scene Segmentation in the ...

moving stereo rig

moving objects

static scene

��ú����� ¥÷���;rD>£÷w�&�&� ¥û�Fù)];f(þ)û�ÿiúÏü����¥ø¼÷� ¼÷|û� ¥ú���û����¥÷� ¥ÿiúÏü���LûFø�"��¥ø�Fø¼úÏùK�¥ù,÷|ü£÷KFü}$5þ)û�ÿ>útü��)û����¿÷|ù,ø��

� �ßï�ë��¼ñ¥ê��Ìí��Vë����ò��%ì�í�ò�ð �¿ü&ø�£ú���&��&L÷� � }/ ÷�/�ú�����$£ú��¼ø¥útü����£ú���&ø6/ û#ù�Fø¼÷��Fû� ¥út÷�� û ý

úÏþ���F÷9þ)ûFø¥ú�ûiüC; ²BÁnº ÀZº ÂI¯Êº ³ Fü�$ À9º�Âf¯Êº�³G¯±³PÅ�¸�¹c²cÅÚÉ,Ó�¯±³�ÎÅn²�½�²�³mÅF²,³�Â3ºnÉÄÑ,²c¹,Âʶ ��� Ánº ÀZº ÂI¯Êº ³ ù�Fü���÷"$£÷N9Lü�÷�$����ø�£÷þ)ûFø¥ú�ûiü�$}�£÷�ø¼û�nü3û����¼÷� ¼ÿn÷� �þ)û�ÿ>útü��+� ¥û���ü�$�+�¥ø�Fø¼úÏù>Fü�$ ¥ú��nú�$3÷|üiÿ>ú� ¥ûnü�þ�÷vüiø���� º ÂI¯Êº ³#¯±³PÅ ¸�¹c²rÅ�É�Óu¯±³mÅF²¿½£²,³PÅn²�³LÂ�ºnÉ�ÎÑ,²c¹,Âʶ ú��%ø�£÷�úÏþ���n÷3þ)ûFø¼útûnüÚù� ¥÷� ø¥÷�$����`ø�£÷� ¥÷��� ø¼útÿF÷�þ�û�5ø¥ú�ûiü5ûFý2û����¿÷|ù,ø��2/�útø�0 ¼÷���&L÷|ù,ø�ø¼ûZø��÷��¼ø� ø¼úÏùuûnü�÷����� ûiünø� �� ��¨ø¥û¨þ�nü����&�&� ¥û�nù)£÷��� / ÷0/�ú����1$£ú��P÷� ¼÷vünø����

ø� ¼÷� ø�ø�£÷��¥÷"<F���&L÷|ù,ø��3û ý�ø�£÷`þ)ûFø¼útûnü]��� Ánº ÀZº ÂI¯Êº ³ /�ú�����L÷V÷��¥ø¼úÏþ� ø¥÷�$����¥útü���FAFö &� ¥û��¿÷vù�ø¥ú�ÿn÷Zþ)û�$£÷����Z�¥÷|ù,ø¼útûnü�Anü�$��¥÷|ù,ø¼útûnü���� nü�$#ù,ûnþ�&��£ø¥÷�$����ø�£÷+$£ûnþ)úÏü�Füiø þ�ûnø¼útûnüúÏüÜúÏþ%��F÷��|�Z�¥÷|ù,ø¼útûnü � �_����ûnútüiø��@ü£ûFø*ù�ûiü>ýÄû� rþ)útü��%ø¼û�ø�£÷�û���5ø� úÏü£÷�$,$£ûnþ)úÏü�Füiø þ�ûnø¼útûnü�/�ú����]��÷uù�ûiü��¥ú�$£÷� ¼÷�$���w�L÷��tûnü���5úÏü��uø¼ûÜúÏü�$£÷�&�÷vü�$£÷|üiø�û����¿÷|ù,ø���ø�� øx/�ú����}�L÷1 ¥÷,ø� ¥út÷,ÿF÷�$��}�¼úÏü��nü9útþ���F÷N56����¼÷�$ Ã>¯Ê²,¾¥´�¾¥¹cÃ>¯Ê¹c´ È2¹�È�¸>¶cÂ�²,¾[¯±³iÁ ����Fû� ¼útø��þ �Z�¥÷|ùN5ø¥ú�ûiü � �_���¿ü��¥÷|ù�ø¥ú�ûiü I ø�£÷(ù�ûnþ�&��t÷,ø¥÷1����Fû� ¼útø��þÇú�� �&�&��tút÷�$ø¥û�� ¥÷���C�¼ø¥÷� ¥÷,û��¼÷����£÷|ü�ù,÷KFü�$"$£ú��¥ù������¥÷�$`úÏü,�¥÷|ù,ø¼útûnü � �� �Úì�í����ðPë�ñ�õ��Oì��ðmí�ê��Fë£ì�ï(ðPë�ñ¿í�ê útÿF÷vü8�&�Fú� 5û ý�úÏþ���n÷����� ø�£÷� ¥÷�$7/�útø�EFü8��ü�ù����ú�5

�� � ø¥÷�$d�¥ø¼÷� ¼÷|ûpù�Fþ)÷� �F&�Fú� � �ú�ø�ú���/g÷����2.>ü£û?/�üoø��Fø3ø�£÷ýz��ü}$�Fþ)÷|üiø���þ� ø� ¼ú��,$£÷��¥ù� ¼ú��£úÏü��)ø�£÷Ü÷�&£ú�&Lû���� 2�n÷,ûiþ�÷|ø� ��ù�Fü��L÷% ¥÷|ù,û�ÿF÷� ¼÷�$C�>�G ¥ûnþ8ø��ú���þ� ø� ¥ú��&útø�ú��%ýz�� ¥ø�£÷� �&Lû���5�¥ú�����÷�ø¥û�$£÷|ø¼÷� ¥þ)úÏü£÷�ø6/ û�&� ¥û��¿÷|ù,ø¼útûnüZþ� ø� ¼úÏù�÷��"!$#�nü�$%!'&#/1£úÏù)`ÿF÷� ¼ú�ýk�f;

(�) ! #+* Fü�$ ( & ) !$&# * �,�?�/1£÷� ¼÷ * $£÷vü£ûFø¥÷��9ø�£÷(&� ¥û��¿÷vù�ø¼útÿF÷&ù�û>û� �$£úÏü�Fø¼÷��ZûFý+dA�5ö &LûFúÏüiø.- útüV�A?5Bö &� ¥û��¿÷|ù,ø¼útÿF÷"����¥ú��0/1#}� ( Fü�$ ( &$£÷vü£ûFø¥÷Üø�£÷�&� ¼û��¿÷|ù,ø¼útÿF÷Üù�û>û� �$£úÏü� ø¥÷�� ûFý*ø�£÷�&� ¥û��¿÷|ù,ø¼útûnü5û ý

- ûiünø¥û5ø�£÷%��÷,ýÄø+nü�$( ¥ú���iø%úÏþ���F÷��� mú3� ÷��� lø�£÷�&� ¼û��¿÷|ù,ø¼útÿF÷ù,ûiû� �$�útü�Fø¼÷���û ýlø6/ û�útþ���F÷�&LûFúÏüiø��"2 Fü}$�2 & � ) $£÷|ü£ûnø¼÷��&� ¥û��¿÷vù�ø¥ú�ÿn÷(÷����}��tú�ø6���3��&`ø¼û�nü,��ü}.iü�û?/�ü,�rù����÷�ýzFù,ø¼û� _�)�4pû� ¼÷|û�ÿF÷� � ú�ø`ú��"&Lû����¼ú����t÷pø¼û���úÏü£÷�� ����B�¼û���ÿn÷�÷������!�,�?�

nü�$�$�÷,ø¼÷� ¥þ)úÏü£÷pø�£÷3��5BÿF÷vù�ø¼û� * /1£úÏù)B ¼÷�&� ¥÷��¥÷|üiø��Zø�£÷&� ¥û��¿÷vù�ø¥ú�ÿn÷uù,û>û� �$£útü} ø¼÷���û ý &LûFúÏüiø�- �54%ûFø¥útù,÷�ø�} ø�úÏü&û� �5$£÷� �ø¼ûK�¥û��tÿF÷ ø�£÷��¼÷�÷����� ø¥ú�ûiü��� ü���þ)÷� ¼úÏù���£ÿQ�����÷���ýÄû� |��ûnø�( nü�$ ( & � ¥÷(ü£÷vù�÷������ �����D>£÷��¥÷%ø6/ û�A�5fÿn÷|ù�ø¥û� �� � ¥÷��nú�ÿn÷|ü��� (1687 � ( 6 �Q�1Fü�$ ( & 6 7 � ( & 6 �?�2/1£÷� ¼÷ ( $£÷|ü£ûnø¼÷��ø�£÷�&£ú��>÷��@ù�û>û� �$£úÏü� ø¥÷�� û ý|&LûFúÏünø92��: �Úì�í����ðPë�ñ�õ���ó0í�ë£ñ¼í�ê;o÷ ù,ûnü��¥ú�$£÷� *ü£û?/Ùø6/ û�$£ú��m÷� ¥÷|üiø|&�û��¼útø¼útûnü��*ûFý�ø�£÷>��Fþ)÷

�¥ø¼÷� ¼÷|û¨ù�Fþ)÷� ��&� ú� ��L÷�ýÄû� ¼÷(nü�$B�ýÄø¥÷� �^þ)ûFø¥ú�ûiüC� D>£÷ù�Fþ)÷� �+&� ú� �û����¼÷� ¼ÿn÷���ø�£÷���Fþ)÷�&�����¥útù���}&LûFúÏüiø<- �xD>£÷&� ¥û��¿÷vù�ø¥ú�ÿn÷, ¥÷|ù�ûiü��¥ø� ���ù�ø¥ú�ûiüd��÷,ýÄû� ¥÷5ø�£÷�þ�ûnø¼útûnü����������¥ø�L÷,÷vü�&� ¥÷,ÿ>ú�û���������$£÷��rù� ¥ú���÷�$C�|D>£÷�&� ¥û��¿÷vù�ø¥ú�ÿn÷� ¼÷vù�ûiü��¼ø� ���ù)5ø¥ú�ûiü" ýÄø¼÷�  ø�£÷�þ)ûFø¥ú�ûiü&ù�Fü"�L÷�÷���¼ú����#û��£ø� úÏü£÷�$#ýz ¼ûiþâø�£÷ýÄû����tû?/�útü���÷����} ø¼útûnü}��;

=>) !$?A@�nü�$ = & ) ! &? @ �3<��

/1£÷� ¼÷�!$?�nü�$B! &? � ¼÷&ø�£÷(&� ¥û��¿÷vù�ø¼útûnüµþ� ø� ¼úÏù�÷�������¥û�5ù,ú�Fø¼÷�$V/�útø�Ëø�£÷(�¥÷|ù,ûnü�$B�¥ø¼÷� ¥÷,û*&} ú� Vù�ûiü�9}���} �Fø¼útûnüC 5@$£÷vü£ûFø¥÷��)ø��÷0&} ¼û��¿÷|ù�ø¥ú�ÿn÷5ù,ûiû� �$�útü�Fø¼÷��3ûFýC- úÏüÙø�£÷F&� ¼û�5�¿÷vù�ø¼útÿF÷��}��¥ú��'/ ? xFü}$ = Fü�$ = & $£÷vü£ûFø¥÷9ø�£÷,&� ¼û��¿÷|ù,ø¼útÿF÷ù,ûiû� �$�útü�Fø¼÷�������¥û£ù�ú� ø¥÷�$�/�útø�`ø�£÷��¼÷vù�ûiü�$#úÏþ���n÷+&} ú� ��D>£÷� ¥÷��� ø¥ú�ûiü����ú�&"��÷|ø6/g÷|÷|ü * nü�$D@���÷vù�ûnþ)÷���;

E @ 7GF * �ZA��

/1£÷� ¼÷ F ú���H��IJ�`ýz�����w �Fü�.Òþ� ø� ¥ú��� ¥÷�&� ¥÷��¥÷|üiø¼úÏü��0½P¾¥º�Ñ,²c¹,ÂI¯±°�²VÂf¾¥´ ³�¶Ä»�º�¾[À9´�Âf¯Êº�³ ûFýgø��÷�A�5fö~&} ¼û��¿÷|ù�ø¥ú�ÿn÷%��&�nù�÷nü�$B/1£úÏù)µú��5ù�����t÷�$7d£ûiþ�û��� ��&�����LK���ù)7d£ûnþ)û���5 ��&���&ú��K$£÷N9Lü�÷�$���&oø¼û0"�rù����÷�ýzFù,ø¼û� !nü�$Òø�£÷� ¼÷,ýÄû� ¥÷�útø���D� � $�÷��� ¥÷,÷��)û ý�ýz ¥÷,÷�$£ûnþ ����¥û£ù�ú� ø¥÷�$d/�útø�Gú�ø��V'�ýÄø¼÷� ÷���úÏþ)útü�Fø¼úÏü��Üø��÷1�¥ù���t÷ ýzFù�ø¥û� E n÷������ZA���&� ¥û�ÿiú�$£÷��|A+��úÏü£÷�� ù,ûnü��¥ø� � úÏüiø�� útü`ø�£÷Ü÷|üiø� ¥út÷�� û ý F �3�¼÷|÷ H < J �)�4%÷��£ø>/g÷uù�ûiü��¼ú�$£÷� � ¾[¯�ÁF¯ÊÅ.MFÎON�¶,¹c²�³m² ù�ûiþ%&Lû��¥÷�$#û ý�2

&LûFúÏüiø��P-RQ)ø�� ¥û������-�S��3T2÷,ø * Q? *BU 5VWVXV� * S nü�$@YQQ J@ U <VXVWV� J@�S �L÷Vø�£÷,ú� �&� ¥û��¿÷vù�ø¥ú�ÿn÷� ¼÷�&� ¼÷��¼÷vüiø� ø¥ú�ûiü��úÏü�ø��÷�&� ¥û��¿÷vù�ø¼útÿF÷�����¥÷���/ # Fü}$3/ ? ¼÷���&L÷|ù,ø¼útÿF÷�������;Ëú�ø�2 7 � ����ù)*&LûFúÏüiø���útü��F÷vü£÷� ����&�û��¼útø¼útûnüd/ ÷#û��£ø�FútüZ� ��tútü�÷�� uúÏü�$£÷�&�÷vü�$£÷vünø�÷�����Fø¼útûnü��+/1£úÏù)^ù�nü���÷��¥û��tÿF÷�$Úø¥û$£÷|ø¼÷� ¥þ)úÏü£÷ F �D>£÷� ¼÷,ýÄû� ¥÷� 5þ�Fø� ¥ú:� F ù�nü ��÷Oútüiø¼÷� �&} ¼÷|ø¼÷�$ ��Ùø�£÷

ù)�nü��F÷9ûFý1&� ¼û��¿÷|ù,ø¼útÿF÷�����¼ú��uýz ¥ûnþ[/ # ø¼û\/ ? �(' �¥÷|ù,ûnü�$&Lû����¼ú����t÷5úÏüiø¼÷� �&� ¥÷,ø� ø¥ú�ûiü^û ý�ø�£ú��9þ� ø� ¥ú��Ùú����&� ¼û��¿÷|ù,ø¼útÿF÷ ¥÷�&� ¥÷��¥÷|üiø� ø¼útûnüÒû ý ø��÷5þ)ûFø¥ú�ûiü���ü�$£÷� ��Fûiü£÷����Òø�£÷#ù�Fþ�5÷� �%&� ú� "] ½L¾¥º¿Ñ,²c¹�Âf¯±°J²)À9º�Âf¯Êº�³ ;

Page 3: A Projective Framework for Scene Segmentation in the ...

������������� ����� º�³�¶[¯ÊÅF²,¾�´�³5¸£³P¹c´�È�¯ÊÉ�¾¥´ ÂB²cÅ�¶[ÂB²,¾¥²cº3¹c´�À9²,¾¥´½�´�¯±¾�Æ2Ã>¯Ê¹cèºFÉ�¶�²,¾[°�²[¶9´.MFÎONá¾[¯�ÁF¯ÊÅ5¶,¹c²�³m²3Æ2㯱È�²Z¯±Â À9º�°�²[¶,ÔãmÃ�²�½P¾¥º�Ñ,²c¹,ÂI¯±°�²`Âf¾¥´�³�¶±»�º ¾[ÀZ´ ÂI¯Êº ³CÉr²,ÂfÆ�²r²,³ÛÂIÆ�ºV½L¾¥º¿Ñ,²c¹�Âf¯±°J²¾¥²c¹cº�³�¶[ÂI¾[¸�¹,ÂI¯Êº ³�¶Üº¿»ÜÂÄÃ�²Ü¶�´ ÀZ²PM ÎONͶ,¹r²,³P²�ºFÉ,ÂB´ ¯±³P²cÅ#Éc²I»�º�¾¥²´ ³PÅ#´¼»cÂB²,¾�ÂÄÃ�²3ÀZº ÂI¯Êº ³Ú¯Ï¶3¹c´�ȱÈ�²cÅ�½L¾¥º¿Ñ,²c¹�Âf¯±°J²�À9º�Âf¯Êº�³mÔ

� �µí��(ï��Fë � �Fë�ñ¥ó0ò*ë�ñ¿ígêÍí1�%(ì�í ���ðPë�ñ�õ"�Oó�í��ë�ñ¿í�ê

�¿üuû� �$£÷� lø¼û(÷��¥ø¼úÏþ� ø¼÷w&� ¼û��¿÷|ù,ø¼útÿF÷�þ)ûFø¥ú�ûiüuûnü£÷�þ�Q�uù�ûiü�5�¥ú�$�÷� ÷����C�ZA���ýÄû� <2�� � &LûFúÏüiø ù,û� � ¼÷���&Lûnü}$£÷|ü�ù,÷����rD>£÷� ¼÷�5ýÄû� ¼÷ / ÷�û��£ø�FútüKA+2 �tútü£÷�� ÷����� ø¥ú�ûiü��C/1£úÏù)�ù�FüK�L÷w�¥û��tÿF÷�$ø¥û�$£÷,ø¥÷� rþ)útü£÷�ø�£÷�÷vüiø� ¥ú�÷��lû ý F �Z ¥÷|þ)÷|þ���÷� lø�} øø�£÷� ¥÷ � ¥÷A`÷�����Fø¼útûnü���ýÄû� u÷�nù)Òþ� ørù)G�_���(û?/g÷|ÿF÷� � j����ù)�"��úÏü£÷�� ÷��¼ø¥útþ� ø¥ú�ûiü5þ)÷|ø�£û�$0����ø6/gûZþ�?�¿û� >$} �Q/1��nù).���;��� ø�£÷5þ)÷|ø�£û�$Ùù�Fü*$£÷��� ü£÷,útø�£÷� �/�útø�Ùû��£ø���út÷� ����fþ�ú���5

þ�Fø¥ù)£÷�$�nü�$��Jû� 2þ)ú��¼ø� �nù). ÷�$�&�ûnútüiø��_�2ü£û� r/�útø�)ü£ûiü�5 ¥ú��Fú�$��¥ù,÷|ü£÷����3�¥ù,÷|ü£÷��%ø�� øuù�ûiünø� úÏü��LûFø�(�¼ø� ø¼úÏù%Fü�$þ)û�ÿ>úÏü��Zû����¿÷vù�ø��)�_ �nü�$

<�� ø�£÷Zþ�÷|ø�£û�$Òþ�úÏü£úÏþ)ú��|÷��+Fü�����n÷��� � úÏù�$£ú��¥ø�Fü�ù�÷�Fü�$�÷|ü�ù,÷�útø+�FútÿF÷���&�û>û� ! ¥÷������tø��%ýÄû� +���$����pù,ûnü�$�ú�ø¥ú�ûiü£÷�$$} ø�}�r�¿ü�&�� ¥ø¼úÏù������ � ýÄû� �2 7 � ø�£÷(þ)÷|ø�£û�$9ú���ÿn÷� ���¥÷|ü}�¼útø¼útÿF÷uø¼ûVü�ûFú��¼÷��

D2ûpû�ÿF÷� ¥ù,ûnþ)÷Zø�£÷��¼÷5ø6/gû�$� �Q/1�}Fù).��+/g÷5útüiø� ¼û�$���ù,÷�ü£÷�/æþ)÷,ø�£û�$��}��¥÷�$Ùûiü� ¥û��}���¼ø)÷��¥ø¼úÏþ� ø¥ú�ûiüÙûnüGø��÷`ûiü£÷�¥ú�$�÷ Fü�$uûiü�þ)úÏü£úÏþ�ú��,úÏü���nü��w��ù���ú�$£÷�nü�÷� � ¼û� Lûiü�ø�£÷�ûnø�£÷� �¥ú�$�÷�� "!$# %'& §)(g©�ª+*-,Lª/. &"0 ©21430­ & *65)(�ª7,m«98:1f©71 & 3;�û������¥ø ¼÷��� ¥÷����¼útûnü3þ�÷|ø�£û�$��w� ¥÷2/�ú�$£÷����%���¥÷�$)ø¼û��¥û��tÿF÷

ÿ?� ¥útû����Üÿ>ú��¼útûnüd&} ¼û�����÷vþ�������ù)d��3÷��¥ø¼úÏþ%Fø¼útûnü¨ûFý�÷�&£ú�&�û�5��� x�n÷,ûnþ)÷|ø� �� H � � J F÷��¥ø¼úÏþ� ø¥ú�ûiü�ûFýPø�£÷�ø� ¥ú�ýÄû>ù����ø¥÷|ü��¥û� H �=< Jnü�$��¥û3ýÄû� ¼ø�C� � ûnþZþ)ûnü��������¥÷�$" ¼û������¥øgþ)÷,ø�£û�$��>� ¥÷!4F5÷��¼ø¥útþ� ø¥û� ��� >�t÷���¼ø�5Bþ)÷�$£ú�nü�56������� ¼÷��F�OTr4p÷�$ K}�_ >Fü�$E �nü�5$£ûiþ~��Fþ�&��t÷�ù�ûnü}�¼÷vü����}���>;�'�4'K�' � � H � J �;o÷+/�ú���#ø¥û��&�&����� ¥û������¥ø þ�÷|ø�£û�$���útü5û� �$£÷� gø¼û9ù,ûnþ�5

&���ø¼÷#&� ¥û��¿÷vù�ø¥ú�ÿn÷Cþ�ûnø¼útûnü�úÏü�ø�£÷E&� ¼÷��¼÷vü�ù�÷ËûFý�û��£ø���út÷� ��nü�$��Jû� �ü£ûnü��¥ø�Fø¼úÏù>�¥ù,÷|ü£÷�� Fü}$Zø¼û�÷|ÿF÷|üiø����������$£ú��¥ø¼úÏü����£ú����L÷,ø6/ ÷,÷vü �¼ø� ø¥útù�Fü�$ þ)û�ÿ>útü��Cû����¿÷vù�ø���� 4Úû� ¥÷,û�ÿF÷� � K/ ÷/ û�����$��tú�. ÷3ø¥û"$�÷���x/�útø���¼útø��} ø¼útûnü}��/1�÷� ¥÷3ûnü���� � <�?áû ýø�£÷F&�ûnútüiø��Zù,ûnþ�&�û��¼úÏü��oø�£÷0�rù�÷|ü�÷"�L÷��tûnü��oø¼ûd�¥ø�Fø¼úÏù#û���5�¿÷vù�ø�����D>£÷� ¥÷�ýÄû� ¼÷�/ ÷ßþ��}�¼øÚù)�ûiû��¼÷d8 ¥û��}���¼øpþ)÷|ø�£û�$/1£úÏù)Ëø¥û��t÷� � ø¼÷�����&Ìø¼û � <�? û ý�û��£ø��tút÷� ���� D>£ú��5úÏþ)þ)÷�5$£ú� ø¥÷����� ����t÷��uû���øÜø�£÷�4F5B÷��¥ø¼úÏþ� ø¥û� ��Üþ�÷|ø�£û�$�/1£úÏù)C úÏüû��� �ù���¼÷� �/�ú����lø¼û���÷� �Fø¼÷uûnü�������&`ø¥û I ?�ûFý*û��£ø��tú�÷� ����D>£÷� ¼÷,ýÄû� ¥÷�/g÷,� ¥÷���÷,ýÄø�/�útø��Tr4p÷�$ K�Fü�$@;�'�4$K�' � �

' ø 9G ��¥ø ����nü�ù�÷%ø�£÷���� ¼÷%ÿF÷� ����¼úÏþ)ú���� ��2ö+ ø���������¥÷,ø�� � ¥÷�¥÷��t÷|ù,ø¼÷�$�����K �nü�$£ûiþ ��Fþ�&��tútü���&� ¼û£ù,÷������r��û� �÷�nù)%����ù)�������¥÷,ø���¼û�����ø¼útûnüµú��#ù�ûiþ�&��£ø¼÷�$8Fü}$7Ùù� ¥ú�ø¥÷� ¥ú�ûiüµþ����¥ø

�L÷5÷��¼ø¥útþ�Fø¼÷�$Gû�ÿF÷� �ø�£÷&÷|üiø¼ú� ¼÷0$�Fø�(�¥÷,ø���D>£÷F�¥û����£ø¼útûnü�>út÷���$£útü��Üø�£÷!��÷��¼ø�ù� ¼útø¼÷� ¼útûnü)ú��|9Lü}������%. ÷�&�ø���Tj4p÷�$ K)þ)útü�5úÏþ)ú��|÷���ø�£÷5þ)÷�$£ú�nü^û ý�ø�£÷,������� ¥÷��ÜûFý�ø�£÷5÷� � ¼û� ��+/1�ú��t÷;�'�4$K�' � þ�?�£útþ)ú��,÷���ø�£÷pü���þ��L÷� )ûFý(úÏü���út÷� ����A��ÿn÷|üßú�ýø�£÷ ù� ¼útø¼÷� ¼ú�1���¥÷�$����Üø�£÷��¼÷gø6/gû�þ�÷|ø�£û�$��x� ¼÷�����ú�ø¥÷�$£ú��m÷� �5÷vünø� úÏü)þ)û��¼ø|&� �Fù,ø¼úÏù�����&�&��tútù� ø¼útûnü}�� Fù,ûnþ�&�� ������÷2 ¥÷�������ø��� ¼÷�û��£ø�Fútü�÷�$�/�útø�,��ûnø�#þ)÷|ø�£û�$����|D>£÷�þ�Fútü�$�ú �m÷� ¥÷|ü�ù,÷�L÷,ø6/ ÷,÷vüYTj4p÷�$ K�Fü}$@;�'�4'K�' � ¥÷��¥ú�$£÷���úÏü^ø��÷5û��£ø��tú�÷� ¥÷X�¿÷vù�ø¼útûnü��¥ø� � ø¼÷������L÷,úÏü��F���¥÷�$C��D>£÷��}�¼÷� �þ����¥ø�����&}&����;�'�4$K�' � /�útø�FVø�� ¥÷���£û���$&ÿ?����£÷��Z/1£útù)�ù�FüF�L÷�ù,ûnþ�5&���ø¼÷�$B��£ø¼ûiþ%Fø¼úÏù�������}��/1�ú��t÷3Tj4p÷�$ K�$£û>÷��9ü£ûnø� ¼÷����£ú� ¥÷����ù)��ø�� ¼÷����û���$C�rD>£ú��*ýÄ÷�Fø��� ¥÷ ÷|ü�����t÷���;�'�4'K�' � �Êúk�@ø¥û�L÷�þ)û� ¥÷�÷�-Vù�út÷|üiø�úÏü5ø�£÷�&� ¥÷��¥÷|ü�ù�÷uû ý�ü£ûnü0£ûiþ)û��F÷vü£÷,û����ü£ûnú��¥÷� !�Êútúk��ø¼û*����tû?/âýÄû� � <�? û��£ø���út÷� ���Fü�$B���û�ÿn÷� wnü�$�Iú�útúm�%ø¥û0�L÷Vþ)û� ¥÷�÷�-Vù�út÷|üiøK��÷vù���}�¼÷)ú�ø�ù�Fü�����ú�øÜø�£÷� �nü�5$£ûiþ~��Fþ�&��tútü����tû>û�&"��>�¥û>ûnü"��>9ù�ûiü��¥ú��¥ø¼÷vünø>�¥û����£ø¼útûnü5ú��ýÄû���ü�$C�;8£÷vü,�&�&��tú�÷�$Vø¼û�ø�£÷K&� ¥û�����÷vþ0ûFý÷��¥ø¼úÏþ� ø¥útü��%&� ¥û��¿÷|ùN5

ø¥ú�ÿn÷gþ)ûFø¥ú�ûiüC Jø�£÷B;�'�4'K�' � þ)÷,ø�£û�$3ù�Fü��L÷�����þZþ�� ¥ú��|÷�$�� ýÄû�����û?/1��;

�����Lû� �÷�Fù)%��nþ�&���÷DCC �FEGCHEJI ÷N�£÷|ù��£ø¼÷�ø�£÷�ýÄû����tû?/25úÏü����tûiû�&C;�����K;�Fü}$£ûnþ%���E�¥÷��t÷|ù�ø � þ� ørù)£÷��Fnþ)ûnü��µø��÷�2

þ� ø¥ù)�÷�$�&�ûnútüiø��K�L÷,ø6/ ÷,÷vüÚø�£÷9ø6/ û"�¥ø¼÷� ¼÷|û5úÏþ�5��n÷+&} ú� ��=L

��� <M�w�¥ø¼úÏþ� ø¼÷�8£ûnþ)û��� ��&��� F9N ýz ¥ûnþ ø��÷��¥÷ �þ� ø¥ù)�÷��=L

��� A � ûnþ�&��£ø¥÷�ø�£÷�ø¥ûFø����ü���þ��L÷� ZûFý�þ� ørù)£÷�� 2 Nù�ûiü��¼ú��¥ø¼÷|üiø*/�útø� F9N 5ø�� øGú��� �þ� ø¥ù)�÷��^ýÄû� /1£úÏù)Zø�£÷1����¥û£ù�ú� ø¼÷�$3÷� � ¥û� *ú�� ��ü}$£÷� uø�� ¥÷����5û���$PORQ+�Z�¥÷,÷��¥÷|ù,ø¼útûnü � � <��_�

<���K>÷��t÷|ù�øgø�£÷+£ûiþ�û��� ��&��� F9N /�útø�Vø�£÷!��� ��n÷��¥ø�ü���þ�5�L÷� Cû ýÙù�ûiü��¼ú��¥ø¼÷|üiøCþ� ørù)£÷��Z2 N nü�$ ¼÷�9Lü£÷ ø�£÷÷��¼ø¥útþ�Fø¼útûnü ûFý#ø��÷V£ûiþ)û��� ��&}�� ���¥útü��Oø�£÷��¥÷R2 Nþ�Fø¥ù)£÷����

A}�BS!&G$} ø¼÷Üø�£÷K�tú��¥ø�û ý*útü��tút÷� ��>Fü�$`û���ø��tú�÷� ����

D>£÷�ü���þ��L÷� *ûFýG��nþ�&���÷���Iáþ��}�¼øx��÷>����-Vù�út÷|üiø�������� ��F÷ø¥û,����� �Füiø¼÷|÷3ø�� øÜø�£÷�&� ¼û������ú��tú�ø6��ûFý��¥÷��t÷|ù,ø¼úÏü��""�nûiû�$�������¥÷,ø�ú�� £ú���Z÷vü£û�����C ���Q��ø�£ú��w&� ¥û�����£ú��tútø6�UT5þ��}�¼ø �� ø�5ú��¿ýk�VT'�J< V ��� �D>£÷ ø��÷,û� ¥÷,ø¥útù���>÷N��&� ¥÷����¥ú�ûiüÜû ýPø�£ú��|&� ¥û�����£ú��tútø6�Üú���T 7

��W�� �XWV�,�XWZY\[R]^��>_��a`8/1£÷� ¥÷�b9ú���ø�£÷%ü���þ��L÷� �û ý]&�ûnútüiø��ø�� ø�� ¥÷&ü£÷|ù,÷������ ��^ø¥û¨ù,ûnþ�&��£ø¥÷F��¥û����£ø¥ú�ûiü#�cb 7 � úÏüû��� uù���¥÷Q��nü�$'Y\[d]^�ú��uø�£÷9ü���þ��L÷� uûFýgû���ø��tú�÷� ��uø�� øK� ¥÷ø¥û��t÷� � ø¼÷�$��>Ye[d]^ 7 � <�?�úÏü3û��� �ù���¼÷?�_�gf2���������¥ø¼útø���ø¼úÏü��K����ø�£÷��¥÷�ü���þ)÷� ¥útù����ÿ?����£÷���útüZø�£÷����û�ÿn÷gýÄû� ¥þ������/ ÷�û���ø� úÏüI 7 �<7<%�� ø�£÷�þ)útü£úÏþ���þáü���þ��L÷� �û ý���Fþ�&��t÷����

Page 4: A Projective Framework for Scene Segmentation in the ...

�(÷|ü�ù,÷&ýÄû� 9ø�£÷( ¥û������¥øVþ)÷,ø�£û�$µø¼û*�L÷p÷ �m÷|ù,ø¼útÿF÷�  ø�£÷úÏü�ü£÷� ��tû>û�&Úû ý�ø�£÷�����Fû� ¥útø��þ þ��}�¼øK�L÷)útø¼÷� �Fø¼÷�$( ø!�t÷���¥ø�<7<�ø¥útþ)÷�����4pû� ¥÷,û�ÿn÷� � � ¥÷|þ)÷vþ��L÷� *ø��Fø2û��£ø��tút÷� ���}JÿF÷�ø6/ û&�����¥útù��� þ�÷�Fü£úÏü�����;Vø�£÷��Ùþ�Q��/ ÷���� ù,û� � ¼÷���&Lûnü}$^÷,útø�£÷� ø¥ûGþ)ú��rþ� ørù)£÷��#û� Vø¥ûGþ)û�ÿ>útü��Ùû����¿÷vù�ø���� D>£÷� ¥÷�ýÄû� ¼÷�/ ÷þ����¼ø���÷�����t÷Üø¼û�$£ú��¼ø¥útü����£ú���F�L÷,ø6/ ÷,÷vü`útü��tút÷� ��1Fü�$F�rþ�����þ)ûFø¥ú�ûiü�����D2û5ù�ûiü�ùN����$£÷� C�¼ø¥÷�&���� <Vû ý�ø��÷� ¥û������¥ø(þ)÷|ø�£û�$ú���ù� ���ù�ú���]nü�$`ú�ø�þ����¥ø2}JÿF÷uø�£÷uýÄû����tû?/�úÏü��3ýÄ÷� ø��� ¼÷���;

��� útø#þ����¼ø,��÷�ýz��¼ø��L÷|ù�����¥÷�útø����Vø¼û��L÷( ���üµþ%nü��ø¥útþ)÷��1Fü�$

<�� útø�þ����¼øw&� ¼û�ÿ>ú�$£÷>Fü)÷��¥ø¼úÏþ� ø¥ú�ûiü�ûFý F �� Fù|ù��� � ø¥÷2��&Lû����¥ú����t÷��

"!�� ¦��)8�,��=5 & 143*ª',L© ª/14*̬lª & «T2÷,ø ���w$£÷,ÿ>ú��¼÷�Fü)÷��¥ø¼úÏþ� ø¼û� �ýÄû� F ø��Fø�þ)útü£úÏþ)ú��|÷���Fü

����ùN�tú�$�÷�Fü"$£ú��¼ø�Fü�ù,÷�� �¿üF&} ¼úÏü�ù�ú�&��t÷� }����ù)0Fü5÷��¥ø¼úÏþ� ø¥û� �ú��ü£ûiü�5 ��úÏü£÷�� |��÷vù�����¼÷�ûFýlø�£÷%ü�ûnü�5 ��úÏü£÷�� �ü�Fø��� ¥÷�û ýmø�£÷�&£útü�5£û���÷�ù�Fþ)÷� �Vþ)û�$£÷��Z� �(û?/g÷|ÿF÷� � }���$£÷��¥ù� ¼ú��L÷�$��L÷��tû?/K G/ ÷�Jÿn÷��L÷,÷|ü�����t÷)ø¼û,$�÷,ÿ>ú��¥÷�`þ)÷,ø�£û�$�/1£úÏù)��¥ø�� ¥ø���/�útø�(��úÏü£÷�� �÷��¼ø¥útþ� ø¥÷5ûFý F Fü�$*/1£útù)Ùútü�ù� ¼÷vþ)÷|üiø�������dFü�$�tútü�÷�� �������&G$} ø¼÷��uø�£÷ ����ùN�tú�$�÷�FüÚ÷� � ¼û� ���D>£÷� ¥÷�ýÄû� ¼÷� Pø�£ú��þ)÷,ø�£û�$^ù�ûiþ��£úÏü£÷���ø�£÷5÷N-Vù�út÷|ü�ù��ÚûFý>0�túÏü£÷�� Ü÷��¥ø¼úÏþ� ø¼û� /�útø�oø��÷�nù,ù��� �nùN��ûFý�&ü£ûnü�53�tútü�÷�� �ûiü£÷��%�¿ü�&� �nù�ø¥útù,÷�útøù,ûnüiÿF÷� ��n÷���útüBoýÄ÷�/8útø¼÷� � ø¥ú�ûiü��0�3<oø¥û*A���Fü}$Gø�£÷��¥û�����5ø¥ú�ûiü^ø�����)û���ø� úÏü£÷�$^ú���ÿF÷� ��^ù���û��¼÷Vø¥ûÚø�£÷"�¥û����£ø¥ú�ûiü^ø��Fø/ û�����$"�JÿF÷K�L÷,÷|ü`û��£ø�Fútü£÷�$�/�útø�0��¥ø�Fü}$�� �$5ü�ûnü�5 ��úÏü£÷�� þ)úÏü£útþ)ú���Fø¼útûnü&þ)÷,ø��û�$]�D>£÷uþ)÷,ø�£û�$"$�÷��rù� ¥ú��L÷�$,��÷���û?/Ìù�Fü"$£÷���f/�ú�ø�,Zü���þ�5

�L÷� �ûFý &�ûnútüiø�þ� ørù)£÷���÷�������@û� 2�� ¥÷�Fø¼÷�  ø��Fü � �1;Ëútø�£úÏüø�£÷� ¼û������¥ø�þ)÷|ø�£û�$�$£÷��rù� ¥ú���÷�$����û�ÿn÷�útøÜú��K�û?/g÷|ÿF÷� +$£÷�5�¥ú� ������÷�ø¼û,�}�¼÷)ø�£÷Zþ)útü�útþ���|�¥÷,ø�û ýw&LûFúÏüiø���] � &�ûnútüiø��(úÏüû��� �ù���¼÷��;Ëútø�5ø�£÷Üü£ûnø�Fø¼útûnü��>��� ¥÷��$��Zútüiø� ¥û�$���ù,÷�$VúÏü"�¼÷vù�ø¼útûnü �

�t÷,ø * �L÷�ø�£÷Üÿn÷|ù,ø¼û�  ûFýxA�5fö &� ¼û��¿÷|ù,ø¼útÿF÷Üù�û>û� �$£úÏü� ø¥÷�� û���5ø� úÏü£÷�$B���� ¥÷|ù�ûiü��¥ø� ���ù�ø¥ú�ûiü^ýz ¥ûnþ útø���&� ¼û��¿÷|ù,ø¼útûnü�� ( Fü�$( & ûiüiø¼ûoø�£÷09G ��¥ø)úÏþ���n÷0&} ú� ��B4(Fø� ¥ú:� F þ��&��Zø�£÷��¥÷ù,ûiû� �$�útü�Fø¼÷�� ûnüiø¼û�@�����ù)`ø��Fø�@ 7 E F * GFü�$&þ� ø� ¼ú�5ù,÷���� ? Fü}$�� &? ¥÷�&� ¥û��¿÷vù�øÜø��÷��¥÷5ù�û>û� �$£úÏü�Fø¼÷���ûnüiø¼û�ø�£÷�¥÷|ù,ûnü�$^úÏþ���n÷,&�Fú� ��dD>£÷� ¥÷�ýÄû� ¼÷�/ ÷0�JÿF÷Vø�£÷`ýÄû�����û?/�úÏü��÷��¼ø¥útþ� ø¥÷�$`úÏþ%��F÷K&LûFúÏünø���;�=\7 ! ? F * �O��� & = & 7 ! &? F * � � �

D>£÷2A?5BÿF÷vù�ø¥û� �� = Fü�$ = & � ¥÷w$£÷�9Lü£÷�$���&�ø¼û!��rù����÷�ýzFù�ø¥û� � nü�$ & �Af2��$£útÿ>ú�$�útü��¨ø�£÷"9G ��¥ø�Fü�$V�¼÷vù�ûiü�$ßù,ûnþ�&�û�5ü£÷vüiø��(û ý�ø�£÷��¼÷�ÿF÷vù�ø¼û� ��1/�ú�ø�pø��÷,ú� �ø��ú� �$pù�ûiþ�&�ûiü£÷|üiø�/ ÷�n÷,ø ²�¶cÂf¯±À9´�Â�²rÅ#¯±À9´,Ái²�½�ºJ¶[¯±Âf¯Êº�³�¶ ���û�&}&�û��¼÷�$#ø¥û = Fü�$ = &/1£úÏù)*� ¼÷ À9²c´J¶[¸£¾¥²cÅÒ¯±ÀZ´|Án²Z½£º�¶c¯±Âf¯Êº�³�¶ ��D>�÷H�w��ùN�tú�$£÷�Fü

$£ú��¥ø�Fü�ù�÷���÷|ø6/g÷|÷|üoø��÷Vþ�÷������ ¥÷�$�&�ûnútüiø�&Lû��¥ú�ø¥ú�ûiü = nü�$ø�£÷Ü÷��¥ø¼úÏþ� ø¼÷�$,&LûFúÏüiø1&�û��¼útø¼útûnü = ú���;

Y 7 � U � =�� = � 7 � ��� Q��� ��� � W � � Q���� U�� � ��� U �� ��� � W � � U ��� U � � �

/�útø� = 6 7 � ��� Q�� ��� U � ����� � ��Fü}$ = 6 7 � ��� Q�� ��� U � �Q�_�T÷|ø1���>/1 ¥ú�ø¥÷Üþ%Fø� ¥ú:� F ��>Zÿn÷|ù,ø¼û� úÏü�� � Q� ;! 7 �#" Q Q " Q UJVXVWV�"%$&$Q� 6 7 �(' Q VXVWV�' Q� � 6

f2���������¥ø¼útø��£ø¥útü��&÷��G�|� ����útüiø¥û`÷������ � ��Fü}$(/�útø�Òø�£÷9ü£û�5ø� ø¼útûnü]; )

7�� ��� � 7 �

� ! ? F * � ��� � � I �

/ ÷uû��£ø� úÏüVýÄû�  ø�£÷U����ùN�tú�$�÷�Fü5÷� � ¥û� �;

Y 7) U+*, Q� -.&/ Q10 . ' .324

U � ) U�*, Q5 -.&/ Q76 . ' .324U

� � �

/1£÷� ¼÷�ø�£÷ 0 . nü�$pø�£÷ 6 . ù�û>÷N-Vù,ú�÷vünø��+$£÷�&L÷|ü�$Òûnü = *nü�$ !$?��CKiúÏü�ù�÷�/g÷�$£÷���r/�útø��nü&útþ���F÷�&�Fú� %ø�£÷% ¼÷�&� ¥û�5�¿÷vù�ø¼÷�$P�w��ù���ú�$£÷�nü#÷� � ¥û� gú��98 7 Y � Y &��û� <2 &LûFúÏüiø�þ%Fø¥ù)£÷���/g÷�û��£ø� úÏüVø�£÷%ýÄû����tû?/�úÏü��)ù� ¼útø¼÷�5

¥ú�ûiüC;: 7S- ; / Q 8

;� � �

7S- ; / Q *<, ) U; *, Q� -.&/ Q 0

; . ' . 24 U � ) U; *, Q� -.&/ Q 6; . ' . 24 U

� )&; U *, Q5 -.&/ Q 0 &; . ' .324

U � )&; U *, Q5 -.&/ Q 6 &; . ' .324

U 23=4 �,�=<��

�¿ü�û� �$£÷� �ø¼û�9Lü�$�ø�£÷�þ�Fø� ¥ú:� F û� � L÷�����ú�ÿ?��t÷|üiø����� Lø�£÷ÿn÷|ù�ø¥û� ! /1�útù)Üþ)úÏü£útþ)ú��,÷��@ø��÷gù� ¥útø¼÷� ¥útûnü>:Ëû ý£÷��G���,�<���/ ÷�������n÷��¥ø(ø�£÷ZýÄû����tû?/�útü��`úÏü�ù� ¥÷|þ)÷|üiø����÷��¥ø¼úÏþ� ø¥ú�ûiüoþ)÷|ø�£û�$�fü£ûFø¥útù,÷�ø��Fø� C���"$�÷N9Lü£útø¼útûnü] Pø�£÷�&}� �Fþ)÷,ø¥÷� ��

) ;Fü}$

)&;

� ¼÷+$£÷�&L÷|ü}$£÷|üiø�ûFý F �_;���@? ³�¯±Âf¯Ê´�È�¯�Þv´ ÂI¯Êº ³ ;Ú÷��¼ø¥útþ�Fø¼÷ F �}�¼úÏü��¨ø�£÷F�túÏü£÷�� Z÷��¥ø¼ú�5

þ�Fø¼û� =L<��9� °J´ È�¸�´�Â�² ø�£÷�&�� �nþ�÷|ø¼÷� ��

) ;nü�$

)&;���¥útü���ø�£÷(ù��� �5

¥÷|üiø>�¥û����£ø¼útûnü#ýÄû� F £ú3� ÷��� �÷����]� I � LA}��� ¯±³L¯±À�¯�Þv² ø�£÷Vù� ¥útø¼÷� ¥útûnüA:æûFýg÷��G� �,�=<������¼úÏü����¥ø�nü�5$}� �$�/g÷|ú���nø¥÷�$��tútü�÷�� ��÷���¥øX56������� ¼÷���ø¼û3÷��¥ø¼úÏþ%Fø¼÷ F L

�G� àPÂBº[½OÂ�²[¶[ ;Òú�ýÜø�£÷� ¼÷Úú��5ü£û�$£ú��P÷� ¼÷vü�ù�÷���÷|ø6/g÷|÷|üµø�£÷ÿ?����£÷�û ý�:áû��£ø� úÏü£÷�$� ø�ø�£÷Zù��} � ¥÷|üiø%útø¼÷� �Fø¼útûnü�nü�$ø�£÷%ÿ?����£÷(û ýB: û��£ø�Fútü�÷�$�Fø�ø��÷!&� ¥÷,ÿ>útû�����ú�ø¥÷� � ø¥ú�ûiüC ø�£÷|ü0�¥ø¼û�&C £÷����¼÷K ¥÷,ø��� ¥ü`ø¥û��¥ø¼÷�&F<��

Page 5: A Projective Framework for Scene Segmentation in the ...

� �Z�lë �ðPë�ñ¿ígêáí1�`ó�íõ�ñ¼ê��Çí��5���ðPë��D>£÷Òþ�÷|ø�£û�$E$£÷��rù� ¥ú��L÷�$7���û�ÿn÷�÷��¥ø¼úÏþ� ø¼÷��#ø�£÷�$�ûnþ�5

úÏü�Füiø�&} ¼û��¿÷|ù�ø¥ú�ÿn÷pþ)ûFø¼útûnü7����¥û£ù�ú� ø¥÷�$�/�ú�ø�Ëø�£÷Òþ�û�ÿ>úÏü���¥ø¼÷� ¼÷|û��¥÷|ü}�¼û� �� D>£÷� ¼÷,ýÄû� ¥÷uú�ø1$£útÿ>ú�$�÷���ø�£÷Üû����¥÷� ¥ÿF÷�$,�rù�÷vü£÷&LûFúÏüiø��2útüiø¼û��Êúk�C��¼÷|øû ý�úÏü��tú�÷� ��*ù�û� � ¥÷���&Lûnü�$£úÏü���ø¥û%ø��÷w ¥ú��nú�$�rù�÷vü£÷KFü�$��Êútúk��%�¥÷,ø�ûFý2û��£ø��tú�÷� ����D>£÷Üû��£ø��tút÷� ��>�JÿF÷uø6/ û)úÏüiø¼÷� �&� ¥÷,ø� ø¥ú�ûiü���� � ü`ûnü�÷��¼ú�$£÷

ø�£÷���þ�Q� ��÷���ûiü�� ø¼û þ)û�ÿ>úÏü�� �¥ù,÷|ü£÷Ëû����¿÷|ù,ø��*nü�$�ûnüø�£÷VûFø�£÷� ��¼ú�$£÷Vø�£÷��¨þ�Q���L÷��� ¼÷����û���ø��tú�÷� ����� *úZ� ÷��� �þ)ú���5þ� ørù)£÷�$"Fü}$��Jû� þ)ú��¼ø� �nù). ÷�$�&LûFúÏünø�����¿ü�û� �$�÷� �ø¥û#ýz�} ¼ø�£÷� �ùN������¼ú�ýk�&ø�£÷)û���ø��tú�÷� ��%útüiø¼û0&LûFúÏünø��

�L÷��tûnü��nútü��Üø¼ûÜÿ?� ¥ú�û�����þ)û�ÿ>útü��uû����¿÷|ù,ø��|Fü}$Zútüiø¼û� ¥÷���£û��£ø�5�tú�÷� ��!/ ÷��������F÷��¼ø(ø¼ûF���¥÷�$} ø�`ùN������¥ú:9Lù� ø¥ú�ûiüpø¼÷vù)�ü£ú����£÷���� ÷vü£÷� ����������&L÷��.iúÏü��} �����ù)%�ø¼÷vù)�ü£ú�����÷��� ¼û���&��*ø��÷1JÿQFú���5�����÷"$� ø�púÏüiø¼û��¥÷,ÿn÷� ��� ùN������¼÷�������¼÷�$^ûnü*�¥ûnþ)÷#þ)÷|ø� ¥útù��D>£÷�$� ø�Üø��Fø / ÷>/�nüiø�ø¼û3ù�������¥ú�ýk�%� ¼÷�ø�£÷��rù�÷vü£÷�&LûFúÏünø��$£÷vü£ûFø¥÷�$���� - ��T2÷,ø$- QQ ������� -�F��÷)ø�£÷�û��£ø���út÷� !&LûFúÏünø��ýÄû���ü�$"���9ø�£÷K ¼û������¥ø þ)÷|ø�£û�$������¼ø>$£÷��¥ù� ¼ú��L÷�$C��KiúÏü�ù�÷uø�£÷A�5fö ¥÷|ù�ûiü��¥ø� ���ù�ø¥ú�ûiü^ú���&� ¥û��¿÷vù�ø¥ú�ÿn÷#ûnü�÷`ù�Fü�ü£ûnø�$£÷�9Lü£÷Fþ)÷,ø� ¼úÏùVúÏü�A�5fö ��&�Fù,÷��(�¿ü}�¼ø¥÷��$*/g÷#ù,ûnü��¥ú�$£÷� �ø�£÷5útþ���F÷&� ¥û��¿÷vù�ø¥ú�ûiü��)û ýuø�£÷��¼÷�&LûFúÏüiø���Fü}$Gø�£÷� ¥÷�ýÄû� ¼÷`÷�nù)�&LûFúÏüiø- ú���ù)�� �nù�ø¥÷� ¥ú��|÷�$�����ýÄû��� ����ù)�&} ¼û��¿÷|ù�ø¥ú�ûiü���; ( Fü}$ ( &&� ¥÷��¥÷|üiø�úÏü�ø�£÷�úÏþ%��F÷1&�Fú� |�L÷�ýÄû� ¼÷ ø�£÷�þ)ûFø¼útûnü�nü�$ = Fü�$= & &� ¥÷��¥÷|üiø�útü`ø�£÷�úÏþ%��F÷K&�Fú� > ýÄø¼÷� �ø�£÷�þ)ûFø¥ú�ûiüC� D>£÷� ¼÷�5ýÄû� ¼÷�ûiü£÷(&Lû����¼ú����t÷pþ�÷|ø� ¥útùpø��Fø#þ)÷������ ¥÷��9ø�£÷($£ú��¥ø�Fü�ù�÷�L÷,ø6/ ÷,÷vü5ø6/ û�&�ûnútüiø���ú���;

� - Q � -�U�� 7 þ�?��� � � ( Q � ( U�� ��� � ( & Q � ( &U � �� � = Q �,= U � ��� � = & Q �,= &U �� �,� �Q�

D>£ú��ßþ)÷|ø� ¥útùË÷vü�ù��&�������Fø¼÷��¨ø�£÷ &� ¼û�&�÷� ¼ø6�Çø��Fø�&LûFúÏünø��/1£úÏù)B��÷���ûiü��Ùø¥û^ø�£÷(��Fþ)÷pþ)û�ÿ>útü��oû����¿÷|ù,ø�� ¥÷�ùN�tû��¥÷�$ø¥û)÷�Fù)5ûFø�£÷�  úÏü ´�È±È ýÄû��}  útþ���n÷�����¿ü"�$�$�ú�ø¥ú�ûiü#ø¥û9ø�£÷K&LûFúÏünø�ø¥û�&�ûnútüiø�þ)÷,ø� ¼úÏù+$£÷N9Lü�÷�$0���

÷��G�}�,�+�?�_ nø�£÷%ù�������¥ú�9Lù�Fø¼útûnü%����Fû� ¥útø��þ ü�÷,÷�$}� ÜùN�����¥ø¼÷� �ø¼ûù������¥ø¼÷� �þ)÷,ø� ¼úÏù��xD>£÷>�� ø¼ø¥÷� �ú�� $£÷�9Lü£÷�$���|K�¼úÏü�����÷2�tútü�.Q��F÷$£ú��¥ø�Fü�ù�÷�;

� ��� Q � ��U�� 7 þ�úÏü����������� ���������

� - Q � - U�� �,�Q<��

/1£÷� ¼÷���$�÷|ü£ûnø¼÷���)ù����}�¼ø¥÷� ��D>£÷� ¼÷,ýÄû� ¥÷� (ø�£÷d�nû���uú��&ø¼ûB�� ¥û��}&8/�útø�£úÏü�ø�£÷*��Fþ)÷

�¥÷,ø�&LûFúÏüiø��uø�} ø�� ¥÷ZùN�tû��¥÷)ø¥û��n÷,ø��÷� KFü}$Úø�� ¼û?/0û��£øuú��¼û�5�� ø¥÷�$+&�ûnútüiø�����'%þ)ûnü���ø�£÷�þ�Fü��!$� ø��ùN������¼ú�9Lù�Fø¼útûnü(ø¼÷vù)�5ü£ú����£÷���JÿQFú��������÷� iø�£÷�£út÷� �� rù)£úÏù���Pù������¥ø¼÷� ¼úÏü�������nû� ¥ú�ø��þH � J /�útø�0�¥útü�����÷!�tútü�.Q��F÷uú��2/ ÷����]�$}�&£ø¥÷�$#ýÄû�  û��} �&}�� �&Lû��¥÷ýÄû� ��¥÷,ÿn÷� ���w ¥÷���¼ûiü�������ú� ��¼ø� �útø%$£û>÷���ü£ûnø�ü£÷|÷�$ßø¼û�.>ü£û?/úÏüd�$£ÿ?nü�ù�÷Vø�£÷�9Pü��� ü���þ��L÷� �ûFý�ùN�����¼ø¥÷� ��Üø¼û���÷#ýÄû���ü�$] /1£úÏù)9þ)÷�nü���útøw$£û>÷���ü£ûnøgü£÷|÷�$Zø¼û�.iü�û?/K ��&} ¼útû� ¥úZ n÷,útø�£÷� ø�£÷Úü���þ��L÷� ZûFý�þ�û�ÿ>úÏü��¨û����¿÷vù�ø���&� ¼÷��¼÷vüiø9útüÛø��÷(�¥ù,÷|ü£÷�

step 1 step 2 step 3 step 4

�*ú����} ¼÷�<�;"�(ú�÷� �� ¥ù)�útù���lùN�����¥ø¼÷� ¥úÏü��%����nû� ¥ú�ø��þ

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

�*ú����} ¼÷KA�;|D>£÷����¥ù� ¼÷|÷|ü������¥÷����£÷vü�ù�÷

û� �ø�£÷)ü���þ��L÷� %û ý ¥÷���û��£ø���út÷� �����K>÷|ù�ûiü�$C Pú�ø!���¥÷�����¼úÏþ�5&��t÷1�¥ø¼û�&�&� ¥û£ù�÷�$��� ¥÷2�}��¥÷�$)ûnü�ø�£÷(þ�úÏü£úÏþ���þ $£ú��¼ø�Fü�ù,÷1���5�tû?/g÷�$���÷|ø6/g÷|÷|ü9ø6/ û3ùN�����¥ø¼÷� ����|D>£ú� �$C iø�£÷�þ)÷,ø��û�$Vú���ýz��¥ø�L÷|ù�����¥÷Üø�£÷)ùN�����¥ø¼÷� %ø¼û#ù����}�¼ø¥÷� �$�ú��¥ø�nü�ù�÷���� ¥÷Ü÷N-Vù,ú�÷vünø������&�$�Fø¼÷�$]�D>£÷8ùN�����¼ø¥÷� ¥útü�� ����Fû� ¼útø��þ ����¼÷�$ útü/útü�ù� ¥÷|þ)÷|üiø���

þ)÷� ��FúÏü��ÙûFý3ø��÷�$�Fø�ßú��5ú��������¼ø� �Fø¼÷�$Cûnü8�*ú����} ¼÷�<�� ' øúÏü£útø¼ú���tú��� ø¼útûnüoø�£÷� ¥÷�� ¥÷���3þ%nü��où������¥ø¼÷� �����Üø�£÷� ¥÷�� ¥÷&LûFúÏüiø��`ø¼ûB��÷��� ¥û��}&�÷�$C�~' ø&÷�Fù)Cú�ø¥÷� � ø¼útûnüÌû ý3ø�£÷d���5�nû� ¥ú�ø��þ ø��÷�$£ú��¥ø�nü�ù�÷����L÷,ø6/ ÷,÷|ü������ù������¥ø¼÷� ���� ¥÷)÷|ÿ?�����5Fø¼÷�$%Fü}$3ø�£÷ ø6/gûuùN�����¥ø¼÷� ��*ýÄû� �/1£úÏù)�ø�£ú�� $£ú��¼ø�Fü�ù,÷ ú���ø�£÷�rþ������÷��¼ø � ¼÷�þ)÷� ��F÷�$�ø¥û��n÷,ø��÷� ���D>£÷(þ�÷� ��nútü���ûFý@ùN�����¼ø¥÷� ��ú��Üø������ ¼÷�&�÷� ø¼÷�$���ünø¥ú��gø�£÷��rþ������÷��¼ø�$�ú��¥ø�nü�ù�÷9ú���£ú���£÷� ø��Fü��ø�} ¼÷���£û���$ O�������ø*ú���/ û� ¥ø��ü£ûnø¼úÏù�úÏü��%ø�� ø*ú�ý��$�÷|ü��¥÷þ� ørù)£úÏü��&ú���&L÷� ¼ýÄû� rþ)÷�$C �F�¥þ������ÿ?����£÷�O��Vù�Füoø�£÷|üd�L÷ù,ûnü�9G$�÷|üiø����#ù)£û��¼÷vüC� !#" '�ì�ñ¼ó �êgë��D>£ú�� �¥÷|ù,ø¼útûnü�$£÷��¥ù� ¼ú���÷�� FüZ÷���&�÷� ¼úÏþ)÷|üiø ���¥útü��� ¼÷����úÏþ�5

��F÷����8' �¥ø¼÷� ¥÷,ûd ¥ú��d�����L÷,÷|üµþ)û�ÿF÷�$V/1£ú��t÷pù��&£ø��} ¼úÏü��d�¥ø¼÷� ¼÷|û��¼÷����£÷|ü�ù,÷�û ý������Lû� � ø¥û� ����¥ù,÷|ü£÷pýz ¼ûiþ /1£úÏù)ø6/ û9ýz �Fþ)÷����JÿF÷��L÷,÷vü�÷N�£ø� �Fù,ø¼÷�$��Z�¥÷,÷���ú����� ¥÷�A��_��'��%útøù�Fü���÷,���£÷����¥÷�$Òýz ¥ûnþ"útþ���F÷��� �þ�û�ÿ>úÏü���û����¿÷|ù�ø���� ¼÷9ø�£÷

Page 6: A Projective Framework for Scene Segmentation in the ...

ù,ûnþ�&��£ø¥÷� 2�¥ù� ¼÷|÷|ü��� ø ø�£÷�þ)ú�$�$��t÷KFü�$" ø ø�£÷K ¥ú���iø��xD>£÷þ)ûFø¥ú�ûiü#ûFý*ø�£÷� ¥ú��Zú��>%���tú���nø ø� �nü����� ø¥ú�ûiü#ø¥ûZø�£÷� ¥ú���iø���¿üÒø�£÷�9� ��¥ø��¼ø¥÷� ¥÷,û0&� ú� uû ý ø��÷��¼÷�����÷|ü�ù,÷� j&LûFúÏüiø��K� ¥÷

÷��>ø� �nù�ø¥÷�$FFü}$pþ� ø¥ù)�÷�$0/1£ú���÷% ¼û������¥ø����5÷��¼ø¥útþ�Fø¼úÏü��#ø�£÷÷�&£ú�&Lû���� �F÷,ûiþ)÷,ø� ����L÷,ø6/ ÷,÷vüZø�£÷1�t÷�ýÄøwFü�$)ø��÷� ¼ú���iø�ù�Fþ�5÷� �}�VD>£÷��¼÷F&LûFúÏüiø���� ¥÷`ø�£÷vüGø� �nù). ÷�$^útüÛø�£÷&ýÄû�����û?/�úÏü���¥ø¼÷� ¼÷|ûÚýz �Fþ)÷0Fü�$V ¼÷�5Bþ�Fø¥ù)£÷�$����¥útü���� ¥û������¥ø)÷��¥ø¼úÏþ%�5ø¥ú�ûiüpû ý�ø�£÷)÷�&£ú�&�û���� 1�n÷,ûnþ)÷|ø� ����C��ûFúÏünø���ø�� ø+�JÿF÷���÷|÷|ü����ù,ù,÷����¿ýz�������Ùþ� ø¥ù)�÷�$V� ¥÷5ø� �nù). ÷�$ßútüGø��÷&ü�÷N�£ø)ýz �nþ�÷��nü�$Úø�£÷Vûnø�£÷� uûnü£÷��K� ¥÷% ¥÷|þ)û�ÿF÷�$(nü�$� ¼÷�&���nù�÷�$����(�$�5$£útø¼útûnü}�� ÷N�£ø� �Fù,ø¼÷�$d&LûFúÏüiø�����D>�÷,&� ¥û£ù�÷�����ø�£÷|ü��Fû>÷��3ûnü��üiø¥ú��@ø�£÷Ü÷|ü}$5ûFý2ø�£÷��¼÷����£÷|ü�ù,÷KFü�$`÷|ü}����t÷�� ø�£÷|ü`ø¼ûG;

� þ�Fø¥ù) &LûFúÏüiø�����÷|ø6/g÷|÷|ü ����ù|ù�÷����¥ú�ÿn÷��¥ø¼÷� ¥÷,ûCýz �nþ�÷��nü�$µ÷��¥ø¼úÏþ� ø¥÷�ø�£÷�JÿF÷� ���n÷,$£÷|ø¼÷vù�ø¼útûnü7nü�$Ëþ� ørù)�5úÏü��*&� ¥÷|ù,ú��¥útûnü��x �/1�û��¥÷�ÿQ�����÷�ø��� rü��9ø¥û*��÷(���û��£ø� V <�&£ú��£÷��lúÏü`ø�£ú���÷N��&L÷� ¥útþ)÷vünø=L

� ¥û��}���¼ø����5ù�ûnþ�&���ø¼÷uø�£÷Ü÷�&£ú�&�û���� 2�F÷,ûiþ)÷,ø� ��ZýÄû�  ÷�Fù)�¥ø¼÷� ¼÷|ûµýz �nþ)÷*Fü�$ $£÷|ø¼÷vù�ø�7&}� ¥øpû ýVþ)ú��rþ� ørù)£÷�$&LûFúÏüiø��+�Iø�£÷Üûiü£÷�� ø�} ø1$£û9ü£ûnø2 ¥÷���&L÷|ù�ø ø�£÷K ¼û������¥ø����÷��¼ø¥útþ�Fø¼÷�$o÷�&£ú�&Lû���� +�n÷,ûiþ�÷|ø� ��}�_ r�}�£ø��¥ûnþ)÷Zû��£ø���út÷� ��þ�Q�7�Jÿn÷Úü£ûFø0�L÷,÷|ü#$£÷,ø¥÷|ù�ø¥÷�$ �Z�L÷|ù�����¥÷Òø�£÷��7� ¥÷ù,ûnü��¥ú��¼ø¥÷|üiø2/�ú�ø�5ø�£÷Ü÷�&�ú�&Lû���� 2�n÷,ûnþ)÷|ø� ����)�

D>£÷0 ¥û������¥ø�&} ¼û��¿÷|ù�ø¥ú�ÿn÷#þ)ûFø¥ú�ûiü�����Fû� ¼útø��þ }��%��÷|÷|ü�&�&��tú�÷�$C�j��ú����� ¥÷��!��£û?/1�ø�£÷�$£÷,ø¥÷|ù,ø¼÷�$3útü���út÷� �� � ¯ÊÔ±²|Ô ��Fù).�5�� ¼û���ü�$F&LûFúÏünø��_�>Fü�$�û��£ø��tút÷� ���� ¯ÊÔ±²vÔ &�ûnútüiø��(ü£ûnø(ù,ûnü>ýÄû� ¥þ�5úÏü��Zø¼û9ø�£÷�$£ûnþ)úÏü�Füiø�þ)ûFø¥ú�ûiüG�_�D>£÷vüC �ø�£÷5ùN�����¼ø¥÷� ¥útü�������Fû� ¥útø��þ ������÷|÷|ü¨÷N�£÷vù��£ø¥÷�$

/�útø�3ø�£÷2&� ¥÷,ÿ>ú�û����2û��£ø���út÷� �� �3�¼÷|÷ ��ú����� ¥÷����_��;o÷ ù)£û��¥÷�ø�£÷ø���ü£úÏü���&�� �Fþ)÷|ø¼÷� FO����� ¥÷�Fø¼÷� �ø��FüdA/<"&�ú:�£÷���������ø�÷ �m÷|ùN5ø¥ú�ÿn÷����0$�÷,ø¼÷vù�ø¥÷�$pø�£÷3ø6/ û#û����¿÷|ù,ø�����!��£û?/�ü&ûiüF��ú����� ¥÷ �nü�$7d�¼÷|øVû ý � ú��¥û��� ø¼÷�$B&�ûnútüiø���/1£úÏù)7� ¥÷�útüÛýznù�ø� 1��ú��������¥ø� � ø¥÷�$"���,��ú����� ¼÷ � �þ�ú��rþ%Fø¥ù)£÷�$,&LûFúÏüiø����

� �Ìñ,�>ðlï����>ñ¼í�ê�¿üÛø��ú��,&��&L÷� � 2/g÷(}JÿF÷F$£÷��rù� ¥ú���÷�$7FüB�&�&} ¼û�Fù)Gø¼û

$£÷|ø¼÷vù�ø�þ)û�ÿ>útü��Üû����¿÷vù�ø�� /�ú�ø��Fü���ü�ù���tú��� � ø¥÷�$��¥ø¼÷� ¥÷,ûK ¥ú��G�� �� K�&�&� ¥û�nù)pú���$£útÿiú�$£÷�$ÒúÏüiø¼û�ø6/ ûF�¼ø¥÷�&���;��Êúk�+0 ¥û������¥ø²BÁiº�À9º�Âf¯Êº�³ ÷��¼ø¥útþ� ø¥ú�ûiü5þ)÷|ø�£û�$0����¥÷�$`ûiü,AFö &� ¥û��¿÷|ù,ø¼útÿF÷ù,ûnü��¥ø� � úÏüiø��� ]Fü�$��Êútúm�(û����¿÷|ù,ø��+$£÷,ø¥÷|ù,ø¼útûnü����¼úÏü��&ûnü�����úÏþ�5��F÷�ù�ûiü��¼ø� �Fútüiø����jD>�ú��mýz �Fþ)÷�/gû� �.�÷vü������÷��]���lø¥û1 ¼û������¥ø����$£÷���]/�útø��þ�nü��`ù�ûiþ%&���úÏù�Fø¼÷�$0�¥ú�ø��� ø¥ú�ûiü��K�fü£ûnüF ¥ú��nú�$`û���5�¿÷vù�ø��� �ü£ûnú��¥÷Q� /1£÷� ¼÷Üþ�Fü��Vûnø�£÷� �þ)÷,ø��û�$}� ýz ú��Z�' &� ¥û����t÷|þ�ø�� ø�ù�û�����$,�L÷!&}�£ø ýÄû� �/�� �$�/�útø�5ø��ú��>�&�5

&� ¥û�nù)Vú�� ø�£÷Üûiü£÷uû ý�û£ù,ùN�����¥ú�ûiü�����;o÷K� ¥÷Üü£û?/Ìø� ��>úÏü��Zø¼û�¥û��tÿF÷�ú�ø1���5ø� ¥÷� ø¥útü��%/1�û��t÷+�¥÷����£÷vü�ù�÷����

� � � �@ì��2ê%ð ���� ����� � ������������������! #"%$& '(�)+*!�,���-��.$(�! �"�*0/1���2/3���� ��*! �4

�5�� #�56���78�93��!���!":��;0/=<>*0�/*?"��@�BA�C�C��� �;8D.��C��E�!3�3��,�����24C���*! #�FC�*G��/H�!;0�%�2 #�2�,I��J���K�2 #"L�!6:C�*0/H�MC��-"N���2�5C�*0;0���23��OIOP+Q�R@S:T?UWV�XYR!Z#[]\_^`R-aObdc+Q5e-V@b@X�X�UfZOa!g:h2i�jWkml 7 n0o?�+p n0q0r gOs 6� ���-q0o?�0

� h �`$&ut(*0���26#"v�! #"vwxd'+�56���y0�?{z:���,<>4|���M�,��}����2C���*0 E�! �"v��6:4�@�,�>":�-�! ����-��*0 ��JC���6#�@C���*! L6#�J�� �;G/*2C���*0 #� *!<.�~�JC�������*~�5��;�� c�Q�e-V_b�b�[!UfZ?a!X]e5�(�>T�bF�M�>T\_Z��|b@Q_Z�R!��UWe2Z�R0�u��e!Z��-b@Q�b@Z#V@bFe!Z��e!^�S#�?�|b@Q%��U>X_U�e!Z����Be!^��R!�2��\_Z�[2UWR!g 3��!;0����q k p#���0n g#s �2 �46#�!�5I8��q0q0o?

� n2��� � ���! :�#�2 #"x�u!�( ��! �"��! ���v6� ��,A#�-"x�!3�3���*m�!�_�&C�*]/*M�O4�� �; *0}:�J�-�@CB":��C��-�@C���*! H�� h "H�! �"Hn0"%������ �������>���:��� Q�R!Z�X_�RmV���UWe!Z�X+e!Z cYR2���|b@Q@Zx�BZ#R0� �2X_U>X+R!Z#[Y��RmV_TOUfZ�b�\_Z��|b��f� U�aOb@Z�V_b@gh � jWk0l 7 r0 0 �p:r2o0q g�s 6� ��K��q0q!o:

� i �Hz� '( s *0�� #�5*0 �KtB�������!�����������M�+�@��6��JC����5�� �;G��������/�-�� c�X��0�V_T�e!^Hb@��Q_U�¡0R!g�j n h!l 7 hMi �_p h r i�g �-q k  O

� rM�K¢£+�~�!��¤����! g � ¥x s ��3#�5*! g �! �"E$& '(d�#���-��ym����¦$B��4��*M�m���5I *!<#��;0*!/*!C���*0 �2 #"x�5��;0/�� OC_�MC���*! K*2<#�� #"���3��� #":�� OC*0}:�J�-�@C�/*2C���*0 &6#�J�� �;BC�������/§�2��;0*!�5�,C���/G � &¨B2t��! #�@*?�_y g�-":�,C�*0� gOc�Q�e-V_b�b�[2UfZ?a!X(e5�+�>T�b�©��@�>T �YQ_Uf��UfX5T&��RmV_T?UfZ�b��UfX�UWe!Z��e!Z-�-b@Q�b@Z�V_b@�vª#e!Q�¡2�«+ZOa0�,R!Z�[!g 3#�!;!�-���M !r-p��-o i F).�G¬u��d���-��� g �-q!q i

� k � s ���­]"�*!}���®H�! �"��u�)+*!6�C�����/xIO%��*0}�6#�JC&/K6:��C������-�5*2��6�4C���*! K�-�JC���/H�MC���*! `*!<#3#�!���2/��C��5���+/*!C���*0 x/*?"��������¯ e!�?Q@Z#R0�e5�°��U>X_��R0����e!^x^K�?Z�UWV�R!��U�e!Z±R!Z�[K\_^R�aOb�²Yb|S#Q�b@X�b@Z��³R!��UWe!Z�gk�j�iOl 7 n i oMpOn k r g ¥]�-�@��/K}����]��q0q0r?

�  M�Hz� ���z:/`�,C��±�! �" s ���)+���!":IO&�´������ ��K�5��;0/�� ?C�����µ��O�,4�56#�2�uC����!�_yO�� �;H*2<+/*M�O�� �;�m���:�>�@6����-�� � \_Z��|b��f� U�aOb@Z����B����³e!Z�e!^`e!�?X~��b�T?UWV���b@X�g 3��!;!�-� �!�-q-p#� h2k:g ��q0q!n:

� o2�¶� ·x.¶����! ¸�2 #"{��Yz:���!���$B�-��*M�m���5�� �;Ln0"E/*2C���*0 ¹*2</K6��,C���3����~*!}��|�-�@C_�º6��J�� �;��0"��!3:C_�2C����m�8��*!6�;0�¹C����2 #�J<>*0��/G�f�:���¸� Q5R!Z�X@RmV���UWe2Z�Xe2Z�cYR2���|b@Q@Z��BZ#R0� �!X�UfXKR!Z#[%��RmV_T?UfZ�b\_Z��|b��f� U�aOb@Z#V_b@g ��q j �-� l 7,�0�M 2oMp��0�-o!n g ­]�@C�*0}���� ��q0q0 ?

� q2�`�� t& z�(¶�*0���8�2 #"»¥x ¢���G6�������IO¼z?C�*?���#�!�JC�����/*!C���*0 �@��6#�JC����5�� �;: � s ­x+¨�yO��6� #":� g �-":�,C�*0� g]c�Q�e-V_b�b�[!UfZ?a!X±eJ��>T�b�½0Q�[v«��?Q�e@S�b�R!Z¾��e2Z-�-b@Q�b@Z�V_bLe!Z¿��e!^(S#�?�|b@Q���UfX�UWe!Z��À��³e-V_¡-T�e0� ^x� À�Á�b�[Ob@Z�g �m*!��6�/�ºo0�?�G*2<& b�V����?Q�bºÃ e2�|b@XºUfZ��e!^�S#�?�|b@QFÀ#V�U³b@Z�V_b@g 3��!;!�-�(n h o-p?n0n0  g �~��I±�-q!q i

� �-�2�`�� t& z��¶�*0���Y�2 #"°� �Ä������5����/H�2 �u$B*0}�6#�JCY3#�2���!/��C����5��®��24C���*! ±�! #"±��*!/3�6�C_�MC���*0 8*!<�C���� C��5�,<f*?���M�dC��� ��5*0�� � 8$& )����>�5�����Y�! �"%¨Y�¶���6#����* g �-"?��C�*!��� g�c�Q�e-V_b�b�[!UfZOa!X e5���>T�bFX�b@ÅM�b@Z��>T~�YQ_Uf��UfX5TG��R0V_T?UfZ�b���UfX�UWe!Zv��e!Z-��b@Q�b@Z�V_b@�+«.[!UfZ����?Q�aMT?�À�V�e!�W�,R!Z#[!g �m*!��6�/� h?g 3#�2;0�-� k r!r-p k!k!i d)��5��C����5���~�!�_�:�� ��¬(���J��*0 ~�(���5*?�@���2C���*0 g z:��3:C���/K}������-q!q k

� �0���HÄu�Ä����! �; g $&�¥]���5������� g ­x�¥K����26�;!�����0� g �2 #"8Æ(4|¶��¤�6:4*0 �;:¾�Ç��*0}�6#�JCºC��-�_�� ���ÈO6��~<f*!�G/H�2C_������ �;NCJD+*v6� ����2�,�,4}����2C���"±��/H�!;!�-�]C�����*06�;0��C����`���-��*M�m���5I�*2<.C����`6� �y? �*-DY ��3���3�*!���2��;0��*0/��C��5IO �BQ@��U ©dV�UWR0�:\_Z��|b��f� U�aOb@Z#V@b@g  2o j �_p h0l 7 o0 -p�0�-q g ­]�@C�*!}����]�-q!qmrO

Page 7: A Projective Framework for Scene Segmentation in the ...

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

�*ú����} ¼÷$�};x�¿ü��tút÷� ��+�Z$£ûnø_��Fü}$5û��£ø��tút÷� ��+�Iù�ú� rùN�t÷Q�w$£÷,ø¥÷|ù,ø¼÷�$0���#ø�£÷� ¥û������¥ø>����Fû� ¼útø��þ

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

��ú����� ¥÷ � ;|D>£÷Üø6/ û�$£÷,ø¥÷|ù�ø¥÷�$&þ)û�ÿ>útü����rù� ¥÷,÷|ü}�

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

50 100 150 200 250 300 350 400 450 500

50

100

150

200

250

300

350

400

450

500

��ú����� ¼÷ � ;*ö�÷,ø¥÷|ù,ø¼÷�$�þ)ú��¥þ�Fø¥ù)£÷�$,&LûFúÏüiø��