aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf!...

28

Transcript of aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf!...

Page 1: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

��� ��� � �� � � ��� � � �� � � � � � � � � �

�� ��� � �� �� � � �� ��� �� � ! "# � � $ %& %' � � � % (

)*+, - ./ *0 .1 23 0 .* 4 456 *0 . 789 .* / 9: ;1 <=* 2 7 .* 2, 0 3 0 9 .5 .> .*;, / 1? , @A: 73CB DE E E FG > H 4G, 0 , : 7 41? *0 5,

IJ K � � L� � MN � "# � " O & %P Q� #R � O % $ � SP %T Q # " %U S#V � " (3 0 9 . 5 . W> . 2 W> - 3 0 21 -/, .5 X: Y 4 H* - .B F W> Z[ 56 9 B \0 5? * -9 5 . W, . ] -* 5 H > -6\0 5? * -9 5 . W, .9 6 * 4 W, 0 Z*, / ] 4> 6 + 4, . =: )B ^A E_ ` ] -* 5 H > -6: a* -/, 0 8

bJ � N � � � � � � �c � � $ S# O � # % " � � " P � &d � � $ S e " Sf "P �� d � U " ()*+, - ./ *0 .1 2g 1 / + > .* - 7h 5 *0 h *: i, . j1 45 * X* \0 5? * -9 5 .* 5 . F* >? *0g * 4* 9 . 5 G0 *0 4, , 0 kE E Y: lB @E E D m*? * - 4* *: l* 46 5 > /

nop qrs t qvu wx yz { |}~ z y� x |~ �}� � x� x~ { y x z� ~ |~ � |�� � x � x~ { x ��� z y x z� ~ |~ � { x � �~ |�� x{ �z { � } � � |~ x � � x |~ �}� � x� x~ { y x z� ~ |~ �� | { �� x yz { | }~ z y y x z� ~ |~ � }� |~ �� � { |� x y} � | �� � }��� z � � |~ �� �� x { } { � x � � x } � z � }� x x� � � x � � |� x � x� � x � x~ { z { | }~ yz ~ �� z � x { } � x� � x � x~ {

� { z { x � � z � { |}~ � z~ �� � �� ~ � { | }~ � � � x yz { | }~ z y� x |~ �}� � x� x~ { y x z� ~ |~ � �z ~ � x� } { x~ { |z y y�

z� � y | x � { } z ~ x � � z~ � x } � y x z� ~ |~ � { z � �� � �~ x �� � � { z � � { �z { � x |~ � x � { | �z { x | �

� yz ~ ~ |~ � |~ { � x � y } � � � � }� y �� � � x� x | { | � z � �� � x � { �z { { � x x �x � { � } � { � x z � { |}~ � z� x

� ~ �~ } � ~ { } { � x z � x~ { z~ � { � x z � x~ { �z � { } y x z� ~ z� } y | � � � � | { � |~ { � | � � |� � y x �} � z |~

� x � � } � { �z {� x yz { | }~ z y� x |~ �}� � x� x~ { y x z� ~ |~ � � } y� x � � } � x x� | � { |~ �� � } � y x� � � | { �

� x |~ �}� � x� x~ { y x z� ~ |~ �� �~ � z� { | �� yz� � � x yz { | }~ z y� x |~ �}� � x� x~ { y x z� ~ |~ � z y y} � � � � { }

x� � y} � � {� � � {� � z y� x� � x � x~ { z { | }~ � � { } z � � {� z � { �� } � �� x � | � � �} z y �� � � �� x � z ~ � { }

x� � y } | { { � x � x �� y { � } �� � x � | }� � y x z� ~ |~ �� �z � x � � � x~ z � �� x � � |~ �~ x � �� }� x � } � � y x� �

� | {� z { | }~ � �

���  ¡ r ¢p£ � x |~ �}� � x� x~ { y x z� ~ |~ � � |~ �� � { |� x y } � | �� � } �� z � � |~ ��� yz~ ~ |~ �

¤¦¥ §¨ ©ª « ¬­ ® © ¯ « ¨

°� N ±� c N ± � ² � ³ M � ´µ � K ±� c � ³ �� � c � c ¶�· ¸� N ± � �� c ´� � K �µ �c N ³ �� � c � c ¶ � b� � ³º¹¸ ³� c ¶ � N¦» � ³» · ¼½ ½¾ ( � c M � c MJ K N �¿ � ³� ¶� KÀ � � ¶� � µ µ � c ¶ �� � � � ³� N � � c � ³ ³ �� � c ¹� c ¶ ( �Á J ¶ ¶ ³ � N � c � c M � � L� � M N · ¼½ ½ Âà I� ¿ � � � K � c M � � � �� � � �� · ¼ ½ ½  ( ±� ¿ �

� � K ��¿ � M � ³� N � ´ � N N �c N � � c � � c K � N ± � �� � ³Ä c � c � N � � �» ÅN � � N ± �� � ´� � � c �

� J � À � � � � N ±� N ¸� N ± I � � ³� � Æ� K � b� � ³ ¸ ³� c ¶ � c M L� K ±� � M � J N N � c � � c N ± �� �

� c ¿ � N � M N � ³ � � � N ÅÇ È É Åʹ ½ ËÌ· Í� ¶� Ä � · Ç � À � c ( � J ¶ ¶ � � N � M N � � N J M Ä N ± � K� µ ¹¸� c � N � � c � ´ N ± � � � NÎ � ² � ³ M �»Ï� � µ N ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶ À � � c N � ´ ¿ � �Î · N ±� � K� J ³ M � � ¶c � ²Ð¹

K� c N ³Ä �Ñ N �c M N ± � � À À ³� K� N � � c À �� �À � K N �¿ �» Á � � N � �À � � � �c N � N � � c � J � � M

� c � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � � � c � M �Ò J � N � ´� � M � � K� � ¸� c ¶ À ³� c c � c ¶ N � � � �

� J K ± � � N ± � � � µ À ³ � ¸ ³� K � �Î � � ³ M» Ó¿ �c � �� c ´� � K �µ �c N ³ �� � c � c ¶Î � � � N ±� N

� c ¿ � ³¿ � � ¶ �c �� � ³� � � N � � c ±� � ³� � ¶ � ³Ä �µ À ³� Ä � M � c � N N � � ¸J N �¹ ¿ � ³J � � �À � � ¹

� �c N � N � � c » � J � N � N ± � J � � � ´¿ � � � � ¸ ³ � � � c � � ³� N � � c � ³ � �À � � � �c N � N � � c � · � N � �À � � � � ¸ ³ � N � � ¸ � N � � K N ´� � µ �À � K� ² K M � N � � ³ � � ´ N ± � ³ �� � c � c ¶ N � � � � · � J K ± � �

� ÔÕÖ Ö Ö i 4> [ * - Y h, Z* / 5 h ×> H 459 j* -9Ø × -50 .* Z 50 . j* Ù* . j* - 4, 0 Z9 Ø

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ ç

ê ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

N ± � �À � K� ² K ¶� � ³ À J � � J � M» Åc M � � Mú· Î ± �c ³ �� � c � c ¶ N � À ³� c � c N ± � ¸ ³� K � �

Î � � ³ M · � c �Î � J ³ M � Ñ À � K N N ±� N N ± � � � � J ³N � � ´ ³ �� � c � c ¶ ±� Î N � � N � K � ¸ ³� K �û

� c N � ¸ ³� K �ü Î � J ³ M ¸ � � � µ � ³� � N � � N � K �� c ¶ý � c N � þ» È J � � �c N � À À � � � K ± � �

N � � �� c ´� � K �µ �c N ³ �� � c � c ¶ ±� ¿ � N � � � N � � � c ´� � µ � K� � N K ± � ´ N ± � ¶� � ³ � �

K ±� c ¶ � M � c N ±� � µ � c c �� · Î ±� ³ � ´� � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � J K ±

� � N � � � c � c ¶ � � J c c � K � � � � � Ä » L � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � ³ � � � ³ ³� Î �

J � N � � Ñ À ³� � N � c M � À À ³ Ä N ± � � � � J ³N � � ´ ³ �� � c � c ¶ � c � � � µ À ³ � M� µ � � c Î ± �c

³ �� � c � c ¶ � c � µ � � � K� µ À ³ � Ñ M� µ � � c � �» ¶» · ¶� � c ¶ ´� � µ ÿ ¸ ³� K � � N � Â

¸ ³� K � � � c N ± � ¸ ³� K � � Î � � ³ M (»Ï� � µ N ± � � c MJ K N �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶À � � c N � ´¿ � �Î · � N � � � µ À � � N � c N

N � � M M� � � � M� µ � � c � � J K ± � � � �� c ´� � K �µ �c N ³ �� � c � c ¶» �� ´� � · � c MJ K N �¿ �

³� ¶� K À � � ¶� � µ µ � c ¶ ±� � µ � � c ³Ä � N J M� � M K� c K �À N ¹ ³ �� � c � c ¶�· � c M ³� � ¶ � ³Ä

� ¶c � � � M N ± � � � � N � ´ µ � K ±� c � ³ �� � c � c ¶» � Ä M �µ � c � N � � N � c ¶ N ± � À � N �c N � � ³

� ´ � � ³� N � � c � ³ � �À � � � �c N � N � � c � ´� � � �� c ´� � K �µ �c N ³ �� � c � c ¶�· Î � ±� À � N �

� ±� Î N ±� N N ± � � � ³� N � � c � ³ ³ �� � c � c ¶ µ � N ±� M� ³� ¶Ä M� � � c � N � c ³Ä � À À ³Ä

N � K� c K �À N ¹ ³ �� � c � c ¶ ¸J N N � N ± �Î ±� ³ � ² � ³ M � ´ µ � K ±� c � ³ �� � c � c ¶»°� N ± N ±� � � c µ � c Mú· Î � À � � � �c N � c � À À � � � K ± N � � � ³� N � � c � ³ � �� c ´� � K � ¹

µ �c N ³ �� � c � c ¶ � c M � À À ³Ä � N N � � � µ À ³ � À ³� c c � c ¶ N � � � � � c N ± � ¸ ³� K � �

Î � � ³ M» � ± � À ³� c c � c ¶ N � � � � c ¿ � ³¿ � � ³ �� � c � c ¶ � À � ³� K Ä N � � � ³ � K N � K N � � c �»I �� � c � c ¶ � � c � K � � � � � Ä � � N ± �À ³� c c � c ¶ � ¶ �c N M� � � c � N �c � Î N ± � � � � K N � � ´

� N � � K N � � c �» L � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ �µ À ³� Ä � N ± � � ¹ ³ �� � c � c ¶

µ �N ±� M � °� N �� c � � c M �� Ä � c · ¼½ ½ ê à b� � ³ ¸ ³� c ¶ � N » � ³» · ¼½ ½ ¾ à Á � N K ± � ³ ³ú·¼½ ½ Ë ( Î ± �� � N ± � � ¹ ´J c K N � � c � � ³ �� � c � M J � � c ¶ � � � ³� N � � c � ³ � � ¶� � � � � � c N � � �

� ³ ¶� � � N ±µ � � � � � � � L� � MN � c M � ³� K � � � ³ú· ¼½ ½ Ë Ã b� � µ �� · ¼½ ½ ¾ ( (» É � N � N � � �

� �À � � � �c N � M � � ³� N � � c � ³ ³Ä � � � � � N � ´ ¶� � J c M ´� K N �» É � � ³� N � � c � ³ � � ¶� � � � � � c

N � � � � c N ±� � K� c N � Ñ N N � � � � � � � c À J N � � � ³� N � � c � ³ M � � K� � À N � � c � ´ � � N � N � · �¶� � ³ � c M � c � K N � � c · � c M À � � MJ K � � N ± � K� � � � �À � c M� c ¶ � ¹ ¿ � ³J �» � ± � � ¹³ �� � c � c ¶ µ �N ±� M K� c � ³ � � ¸ � � M� À N � M � c � � M �� N � ³ �� � c N ± � Æ ¹ ´J c K N � � c ·� c � Ñ À ³� K� N � �À � � � �c N � N � � c � ´ N ± �À � ³� K Ä � µ À ³� K� N ³Ä � �À � � � �c N � M ¸Ä N ± � � ¹´J c K N � � c » � ± � Æ ¹ ´J c K N � � c · Î ±� K ± � � � �À � � � �c N � M � � � ²� � N � � M �� ³� ¶� K� ³

M � K� � � � c N � � � · N � � � � � � � c À J N � � N � N � · � c � K N � � c · � c M � ¶� � ³ � c M À � � M� K N �

Î ± � N ± �� N ± � � KN � � c � � � À N � µ � ³ � � c � N¦»

� ± � À � À �� � � � � ¶� c � � � M � � ´� ³ ³� Î �» Åc � � KN � � c ê · Î � ¿ � �Î À ³� c c � c ¶� J c M �� J c K �� N � � c N Ä ( � � � � �� c ´� � K �µ �c N ³ �� � c � c ¶ N � � �» Åc � � K N � � c ÿ · Î �

¸� � � �Ä � �¿ � �Î � ¹ ³ �� � c � c ¶ � c M � ±� Î ±� Î � ¹ ³ �� � c � c ¶ K� c ¸ � J � � M N � ³ �� � c

� Æ ¹ ´J c K N � � c » � � K N � � c  ¸� � � � Ä � �¿ � �Î � M � K� � � � c N � � � � Î ±� ³ � ´� KJ � � c ¶

� c ³� ¶� K� ³ M � K� � � � c N � � � �» � � K N � � c � � c N � � MJ K � � � � ³� N � � c � ³ � �� c ´� � K �µ �c N

³ �� � c � c ¶ N ±� N K� µ ¸� c � � � ¹ ³ �� � c � c ¶ � c M ³� ¶� K� ³ � � ¶� � � � � � c N � � � � · � � Î � ³ ³

� � Æ ¹ ³ �� � c � c ¶ � c M ³� ¶� K� ³ M � K� � � � c N � � � �» � � K N � � c ¾ À � � � �c N � � ¿ � � � � N Ä

� ´ � Ñ À �� � µ �c N � � � µ � M � N � Ñ À ³� � � c ¶ N ± � À � N �c N � � ³ � ´ � � ³� N � � c � ³ � �� c ´� � K � ¹

µ �c N ³ �� � c � c ¶» � � K N � � c Ë K� c K ³J M � � · N � J K ± � � J À � c � � ³� N � M Î � � � � c M

M� � KJ � � � � � ¿ �c J � � ´� � ´J � N ± �� Î � � �»

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ æ

Page 2: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ÿ

�¥ �ª « � � � ® ¯� ®� © ¯ « ¨

ê» ¼» ��� �� �� � � �� �� � � �� �� � �

� ± � N Ä À � K� ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ N � � � J � � c ¶ M� � K� J c N � M � �Î � � M � K� c

¸ � ´� � µ J ³� N � M � � ´� ³ ³� Î ��

� ¯� ¨ � � �N � ´À � � � � ¸ ³ � � N � N � � !»

� � �N � ´À � � � � ¸ ³ � � K N � � c � "»

� c ­ ¨ #¨ «$ ¨ N � � c � � N � � c ´J c K N � � c %� !& " ' !»

� c ­ ¨ #¨ «$ ¨ � �� ³º¹ ¿ � ³J � M � �Î � � M ´J c K N � � c ( � !& " ' )»* ¯ ¨ ¬ � À � ³� K Ä + , � ! ' " N ±� N µ � Ñ � µ � � � �

- . �0/1 (32 465879 : ;

7(1< 7

´� � � ³ ³ /1 Î ± �� � => ; ? ¼»ÉN �� K ± À � � c N � c N � µ � · N ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶ � ¶ �c N K� c ¸ � � c

� c � � ´ N ± � � N � N � � /1 � ´ ! � c M � � ³ � KN � � c � KN � � c û 1 2 + � /1 (@ " N � � Ñ � KJ N �

� K K� � M� c ¶ N � � N � À � ³� K Ä +» ÓÑ � KJ N � c ¶ � c � K N � � c û 1 � c � � N � N � /1 Î � ³ ³ À J N

N ± � � ¶ �c N � c � c �Î � N � N � /1< A 2 % �0/1B û 1 (» � ± � � ¶ �c N � ³ � � � � K ��¿ � � �

� �Î � � M (1 2 ( � /1B û 1 (» ÅN Î � ³ ³ ¸ � � � � J µ � M N ±� N N ± � � ¶ �c N M� � � c � N �c � Î

N ± � � � � K N � � ´ N ± � � K N � � c � · �» �» % � � J c �c � Î c N � N ± � � ¶ �c N · � c M N ±� N N ± �

� ¶ �c N M� � � c � N �c � Î N ± � � �Î � � M ´J c K N � � c (» � ± � N � � � � ´ ³ �� � c � c ¶ � �

N ± �c N � ²c M � c � À N � µ � ³ À � ³� K Ä · �» �» · � À � ³� K Ä N ±� N Î � ³ ³ µ � Ñ � µ � � � N ± �

M� � K� J c N � M � J µ � ´ N ± � � �Î � � M �»

� ±� � ´� � µ J ³� N � � c � ´ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � N Ä À � K� ³ � K ´» �Á � N K ± � ³ ³ú·¼½ ½ Ëà b� � ³ ¸ ³� c ¶ � N » � ³» · ¼½ ½ ¾ ( (» � ± � � � Ä K� c N � � ¸J N � � c � ´CD EF G HIJ F E � �� c ¹´� � K �µ �c N ³ �� � c � c ¶ � � N ±� N � � ³� N � � c � ³ � �À � � � �c N � N � � c �Î � ³ ³ ¸ � J � � M N � � �À ¹

� � � �c N � N � N � � · � K N � � c � � c M À � ³� K� � �» É ³ � � · � � ³� N � � c � ³ ³ �� � c �� � � � � � � �� � M

¸Ä � c MJ K N �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶ ( Î � ³ ³ ¸ � �µ À ³� Ä � M � � ¶ �c �� � ³� � �� �»

ê» ê» ��� �� �� � � �� �� � � �� �� � � � �� K � � � �� � �

Æ ³� c c � c ¶Î � N ± � c K� µ À ³ � N � �c � Î ³ � M ¶ � K� c ¸ � ¸ � � � K� � N � � � c � c � N � c K � � ´

N ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶ N � � � � � � N K ± � M � ¸� ¿ �» � ± � µ � � c M� � �� �c K � �

¸ � NÎ � �c N Ä À � K� ³ À ³� c c � c ¶ N � � � � �� � �» ¶» K� c � � M �� � M � c � � L Å Æ � � Ï � � � �

� c M Í � ³ � �� c · ¼ ½ Ë ¼ ( ( � c M � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � � N ±� N

� c À ³� c c � c ¶�· � c � �c � Î � N ± � � � � K N � � ´ � c � L � � K N � � c � · �» �» · N ± � N � � c � � ¹N � � c ´J c K N � � c % � � �c � Î c N � N ± � � ¶ �c N ·Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ M

 ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� c À ³� c c � c ¶ · � �c � Î c À � � K� c M� N � � c ¹ K� c M� N � � c ´J c K N � � cN (O � !& " 'PQ (R OB Sû T / O U � � ¶�¿ �c · Î ±� K ± �À � K� ² � � � c Î ±� K ± � N � N � � � N � � ³ � ¶� ³ N �

� À À ³Ä Î ±� K ± � K N � � c �»

� c À ³� c c � c ¶�· � c � � � ¶�¿ �c �V Wû T ´J c K N � � c V Wû T � ! ' PQ (R OB Sû T / O U ·Î ±� K ± K ±� � � KN �� � � � � N ± � N � � ¶ � N � N � N � �»

� c À ³� c c � c ¶ · N ± � � � µ � � N � � N � � N ´� � µ � � N � N � / A � c M N � ²c M �

� �Ò J �c K � � ´ � K N � � c � û AB X X XB ûY �û 7@ " ( � J K ± N ±� N

Z V Wû T � % � X X X % �0/B û A ( ( X X XB ûY [ A (B û Y (32 Q ( R O · � c M

Z N ( O � % � X X X % � /B û A ( ( X X XB û 7[ A (B û 7( 2 Q (R O »

� ±� � K ³� � � � � ³� N � � c ¸ � N Î � �c � �� c ´� � K �µ �c N ³ �� � c � c ¶ � c MÀ ³� c c � c ¶ K� c

¸ � � Ñ À ³� � N � M � c � � M �� N � M � ²c � � À � � ¸ ³ �µ � ´ ³ �� � c � c ¶ N � À ³� c J c M ��

� c K� µ À ³ � N � �c � Î ³ � M ¶ �» � ± � � � N N � c ¶ � � � � � �c N � � ³ ³Ä N ±� N � ´ � �� c ´� � K �µ �c N

³ �� � c � c ¶Î ± �� �

É À � ³� K Ä + ±� � N � ¸ � ³ �� � c � M»

� ± � ´J c K N � � c % � � J c �c � Î c N � N ± � � ¶ �c N »

� ± � � �Î � � M � N N � µ � Q � � (1 2 ( �0/1B û 1 (» ° � Î � ³ ³ � � � J µ � ± �� � N ±� N(1 2 ¼ � ´V Wû T � % � /1 B û 1 ( ( 2 Q ( R O � c M /1 \2 % � /1B û 1 ( à � N ± �� Î � � � (1 2 =»

� ± � � �Î � � M ´J c K N � � c ( � � J c �c � Î c N � N ± � ³ �� � c �� � � � N � � ³� � � � c

N ± � J c �c � Î c %» � ± � � �Î � � M ´J c K N � � c � c ³Ä ¶�¿ � � � � �Î � � M � c ¶� � ³

� N � N � �»

� ± � � N � N � � N N � µ � Q] ¼ � � /1< A 2 % �0/1B û 1 ( � ´V Wû T � /1 ( 2 Sû T / O Ã

� N ± �� Î � � � /1< A 2 /1 » � ±� � K� À N J � � � N ± � � M �� N ±� N ¶� � ³ � N � N � � � � �

� ¸ � � � ¸� c ¶ � N � N � � · �» �» · � c K � N ± � � ¶ �c N � �� K ± � � � ¶� � ³ � N � N � · � N � N � Ä �

N ± �� �»� ± � � À N � µ � ³ À � ³� K Ä + , � ³ ³� Î � J � N � K� µ À J N � N ± � � ±� � N � � N À ³� c N �

� �� K ± � ¶� � ³ � N � N �» �� · ³ �� � c � c ¶ N ± � � À N � µ � ³ À � ³� K Ä �� � � À À � � Ñ � µ � N � � c �

N ± �� �� ´ ( Î � ³ ³ � ³ ³� Î J � N � � µ À � � ¿ � À ³� c c � c ¶ À �� ´� � µ � c K �»

ê» ÿ» ^ � �_ � � K � �

� ± � N Ä À � � ´ ³ �� � c � c ¶ N � � � � J N ³� c � M � ¸� ¿ � ±� � ¸ � �c � ³ �� K� c � � M �� � M

¸Ä Æ� N I� c ¶ ³ � Ä � c ±� � ¸� � � � I� c ¶ ³ �Ä · ¼ ½ ½¾ (» ` � J � � � � N N � � ³ ³J � N � � N �

� �� c ´� � K �µ �c N ³ �� � c � c ¶ � c M � � � c � Ñ � µ À ³ � N � � � ± � �µ À ³� Ä � N ± � ¸ ³� K � �

Î � � ³ M»È� c � � M �� N ± � � � N J � N � � c Î ± �� � Î � ±� ¿ � N ±� � � ¸ ³� K � � K� ³ ³ � M û · ü � c M

ý · � c M N ± � �� � � » � ³� K � � K� c ¸ � � c N ± � �� � � � � K� c ¸ � � N � K � � M � c �� K ±

� N ± �� » Ó� K ± � N � N � K� c ¸ � M � � K� � ¸ � M ¸Ä � � � N � ³� � N ( � ´ ´� K N � · �» ¶» · / A 2

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ â

Page 3: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � �

�z � y x � � � �� } y } � �x �~ | { | }~ } � { � x �� ~ � { | }~ � �� � z~ �� �

�� � � � � � � � � � ��

� � �� � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �"!

�� � � � � � � � � � ��

� � �� � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �"!

�� � � � � � � � � � � � � � ��

� � �� � � � �� � � � � � � � � � � � � � � � � � � � �"!

� � �� � � � � � !� � �� � � � � � � � � � � # $ � ��

� � � � � � � % � � � � � � � � $ �"!� � �� � � � � � � � & # $ � ��

� � � ' � & � � � � � � � � � � � $ �"!� � �� � � � � & # $ � ��

' � & � $ � � � � �� � � � $ �"!

� � � � � � � � � � � � � ( ) �� � ��

� � �� � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � �� � � � � � � � � � � * � � � � � + � �

� � � �� � � � * � � � � � � � � � � + � ( ) �� �"!� � � � � � � � � � � � � ( ) �� � ��

� � �� � � � �� � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � �� � � �� � � � � � � � � � � � � � � � � � � � � + � �

� � � � � � � � � � � � + � ( ) �� �"!� � � � � � � � � � � � � � � � � ( ) �� � ��

� � �� � � � �� � � � � � � � � � � � � � � � � � � � � �� � � � � � � � * � � � � � + � �

� � � �� � � � * � � � � � � � � � � � � � � + � ( ) �� �"!

Pý T O û ( �û (B W, �ûB ü (B W , �üB ý (B W, �ýB S T W W ( ( U» � ± � � ¿ � � ³� ¸ ³ � � K N � � c � � � � N ± �c

- W. O �0/B 1 ( Î ± �� � / \2 1 � c M / @ PûB üB ý U · 1@ PûB üB ýB S T W W ( U»ÅN � � N ± �c À � � � � ¸ ³ � N � M � ²c � N ± � À � � K� c M� N � � c � � c M � � � K N � � ´ � K ¹N � � c �» � ± � Æ � � ³� ¶ K� M � � c �� ¸ ³ � Å M � ²c � �N (O � c M % � � �À � K N �¿ � ³Ä » � ± �

À � � M� K� N �2 # " M � ²c � � N ± � À � � K� c M� N � � c � ´� � N ± � � K N � � c R � f " 3465 7 8 Î ±� ³ �

N ± � À � � M� K� N � " e O� M � ²c � � � N � � � � K N �� " e O� 39 5 :5 9 ; 8 � J K K � � M � Î ± �c% � !B " ( 2 ! ¼» � N � N � � � � � � �À � � � �c N � M � � ³� � N � � ´ ´� K N � � c M N ± � � J Ñ � ³ ¹� � � Ä À � � M� K� N � <� e � 39 5 = S "# > 8 � J K K � � M � Î ± �c = S "# > Î � J ³ M � J K K � � M

� c N ± � �c � Î ³ � M ¶ � ¸� � � K� c N � � c � c ¶ N ± � ´� K N � � c ! � c ³Ä » � ± � ¶� � ³ � � N �

� N � K � û � c N � ü · �» �» ·V � � e 39 8 ? T R "R U "# 3� P 3� 5 U 85 9 8» Í� N � N ±� N c � µ � �

� N � � N � c ¶ Î � N ± K� À � N � ³ � M �c � N � ¿ � � � � ¸ ³ � � � c Æ � � ³� ¶� N ±J � û � c W, �ûB ü ( � �

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ @

¾ ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� K� c � N � c N M �c � N � c ¶ � �À � K� ² K ¸ ³� K � � c M " � c W, � "B ü ( � � � ¿ � � � � ¸ ³ �

M �c � N � c ¶ � c Ä ¸ ³� K �»A ¥ BDC � ª ¨ ¯ ¨ E � ¨ ¬ � C � ª ¨ ¯ ¨ E

` �� �Î � � J µ µ � � � � � � ¹ ³ �� � c � c ¶�· � c � � ´ N ± � µ � � N K� µ µ � c � À À � � � K ± � � N �

� �� c ´� � K �µ �c N ³ �� � c � c ¶�· Î ±� K ± � � � � ¶c � ¿ � ³J � � N � � N � N � ¹ � K N � � c À � � � � � c M

N ±J � � µ À ³� K� N ³Ä � �À � � � �c N � À � ³� K� � �» ° � N ± �c � c N � � MJ K � N ± � � À À � � � K ± � ´

Æ ¹ ³ �� � c � c ¶Î ±� K ± � c � M M� N � � c � �À � � � �c N � À � ³� K� � � � Ñ À ³� K� N ³Ä »

ÿ» ¼» FHG � � �� �� � �

Åc N ± � � � N N � c ¶ � � � N K ± � M � c � � KN � � c ê» ¼ · � ¹ ³ �� � c � c ¶ � ³ ³� Î � J � N � � À À � � Ñ ¹� µ � N � N ± � � À N � µ � ³ À � ³� K Ä » � ± � � À N � µ � ³ À � ³� K Ä + , Î � ³ ³ � ³Î � Ä � � � ³ � KN N ± �

� K N � � c N ±� N µ � Ñ � µ � � � � N ± � � J µ � ´ N ± � � µ µ � M� � N � � �Î � � M � c M N ± � ¿ � ³J �

� ´ N ± � � µ µ � M� � N � � J K K � � � � � � N � N � · �» �» ·+ , � / (2 û (V -û / I � ( � /B û (] ; - . J � % � /B û ( ( (

°� N ± N ±� � ´� � µ J ³� N � � c � ´ + , Î � K� c � KÒ J � � � N ± � � À N � µ � ³ À � ³� K Ä ¸Ä

³ �� � c � c ¶ - . J · À � � ¿ � M � M À �� ´ � K N �c � Î ³ � M ¶ � � ´ % � c M (» Åc � J � � � N N � c ¶�·±� Î �¿ �� · N ± � ³ �� � c �� M� � � c � N �c � Î % � c M (» � ± �� � ´� � � · �¿ �c � ´ Î �

³ �� � c � M - . J · Î �Î � J ³ M c � N ¸ � � ¸ ³ � N � � ¸ N � � c + , ´� � µ � N »

�z � y x � � � � � x � z � | � � � y x z� ~ |~ � z y � }� | { �� �

K¡ r x z � �L � M ¢ ¡|~ | { |z y |N x { � x { z � y x x~ {� � OP �LQ M �R Ö

xS R Ö¢ ¡ K¡ r �T � r

xS R x U V

|S R Ö� x~ x� z { x z � z~ �} � � { z { x L W

  XYZ � ~ } {[ \ M ] �L^ � ¢ ¡

� x y x � { z ~ z � { |}~ M^ z~ � x� x �� { x | {

� x � x |� x z~ |� � x � |z { x � x � z� � �^ R � �L^ Q M^ �

} � � x� � x { � x ~ x � � { z { x L^ _`|S R | U V

� a ¢   XY Z �

K¡ r bR |� V { }Ö ¢ ¡

� � �z { x O P �Lc Q Mc �S R �c Ud e Mfg h OP �Lc _`Q M i �

� ± � � ¹ ´J c K N � � c ´� � À � ³� K Ä + � � M � ²c � M � � ´� ³ ³� Î � �

j . � /B û (32 ( � /B û (] ; - . � % � /B û ( (

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ k

Page 4: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � Ë

bc � Î � c ¶ j , · N ± � � ¹ ´J c KN � � c ´� � N ± � � À N � µ � ³À � ³� K Ä · � ³ ³� Î � J � N � � �Î � � N �

N ± � M � ²c � N � � c � ´ + , � � ´� ³ ³� Î � �+ , � / (32 û (V -û / I j , �0/B û (

� ±� � � �Î � � N � � � � µ À � � N � c N � � � N � ±� Î � N ±� N � ´ N ± � � ¶ �c N K� c ³ �� � c

N ± � ´J c K N � � c j , � c � N �� M � ´ N ± � - . J ´J c K N � � c · � N Î � ³ ³ � N � ³ ³ ¸ � � ¸ ³ � N � � K N

� À N � µ � ³ ³Ä » Åc N ± � ´� ³ ³� Î � c ¶�· Î �Î � ³ ³ K� ³ ³ j , � � µ À ³ Ä � � � N ± � � ¹ ´J c K N � � c »Ï� � � ²Ñ � MV Wû T · � c � À À � � Ñ � µ � N � � c N � N ± � � ¹ ´J c K N � � c · � j · � c N ± � ´� � µ � ´

� ³� � � ¹ J À N � ¸ ³ � · � � ³ �� � c � M ¸Ä N ± � � ³ ¶� � � N ±µ � c �� ¸ ³ � Å Å · K ´» �Á � N K ± � ³ ³ú·¼½ ½ Ë (» Í� N � N ±� N � c � K� c � � MJ K � N ± � K� µ À ³ �Ñ � N Ä � ´ � ¹ ³ �� � c � c ¶ ¸Ä J � � c ¶

� c � K N � � c ¹ À �c � ³N Ä � �À � � � �c N � N � � c � � ¸Ä � � N N � c ¶ � c � N � � ³ � ¹ ¿ � ³J � � N � ¸ �

M� � �� �c N ´� � µ � �� � � b� �c � ¶ � c M � � µ µ � c � · ¼½ ½¾ (»ÅN � � K� µ µ � c � c � ¹ ³ �� � c � c ¶ N � � � ³ � KN � K N � � c û � c � N � N � / À � � ¸� ¸ � ³� � N � ¹

K� ³ ³Ä �� N ±� N � ( �û � / ( � � À � � À � � N � � c � ³ N � � j � /B û ( · �» ¶» ·

� ( �û 7� / (32 � [ �� ��� I^ 5��

� [ �� ��� Ic � ¼ (

I� Î �� ¿ � ³J � � � ´ N ± �À � � � µ � N �� � � N �µ À �� � N J � � ( ¶�¿ � � N � � c ¶ �� À � � ´ �� �c K �

N � � K N � � c � Î � N ± ±� ¶ ± ¿ � ³J � � � ´ � j K� J � � c ¶ N ± � � ¶ �c N N � � Ñ À ³� � N Î ±� N � N

±� � ³ �� � c � Mú· Î ±� ³ � ±� ¶ ± �� ¿ � ³J � � � ´ � � � MJ K � N ±� � À � � ´ �� �c K � � ³ ³� Î � c ¶

N ± � � ¶ �c N N � � Ñ À ³� � � � K N � � c � N ±� N KJ � � �c N ³Ä M� c � N ±� ¿ � ±� ¶ ± ¿ � ³J � �

� ´ � j» � � ³ � K N � c ¶ � K N � � c � � K K� � M� c ¶ N � N ±� � � K ± �µ � Î � ³ ³ ¸ � K� ³ ³ � M N ± �

D �� EI C F G HIJ � GC F GD �� »

ÿ» ê» � G �� �� �� � �

� ± � � ¹ ´J c K N � � c �c K� M � � N ± � � À N � µ � ³ À � ³� K Ä � c � K� µ À ³ � Ñ µ � c c �� � � � N

� � � � ¶c � � � ¹ ¿ � ³J � N � � ³ ³ N ± � À � � � � ¸ ³ � � N � N � ¹ � K N � � c À � � � �» ÅN Î � ³ ³ N J � c � J N

J � � ´J ³ N � � �À � � � �c N N ± � � À N � µ � ³À � ³� K Ä � c � � � µ À ³ �� Î � Ä » � ±� � � � � �� ³� � � M

¸Ä N ± � Æ ¹ ´J c K N � � c · Î ±� K ±Î � M � ²c � � � ´� ³ ³� Î � �

� S û @ + , � / ( Q �O , � �0/B û ( 2 ¼ O T / O � �0/B û ( 2 =

Åc � N �� M � ´ � � � � ¶c � c ¶ M� � �� �c N � �� ³¿ � ³J � � N � N ± � � N � N � ¹ � K N � � c À � � � � · N ± �

Æ ¹ ´J c K N � � c � c ³Ä M � K� M � � Î ± � N ± �� N ± � � N � N � ¹ � K N � � c À � � � � � � À N � µ � ³ � ¼ ( � �

c � N � = (» Åc ¶ �c �� � ³ · Æ ¹ ´J c K N � � c � K� c ¸ � � �À � � � �c N � M µ � � � K� µ À � K N ³Ä

N ±� c � ¹ ´J c K N � � c �» Åc M � � Mú· N ± � � ¹ ´J c K N � � c � µ À ³� K� N ³Ä �c K� M � � �c � Î ³ � M ¶ �

� ¸� J N N ± � M� � N � c K � � c J µ ¸ �� � ´ � N �À � ( ´� � µ N ± � KJ � � �c N � N � N � N � N ± � ¶� � ³

� N � N � � · Î ± �� �� � N ± � Æ ¹ ´J c K N � � c M� � � c � N¦» Ó Ñ � µ À ³ � � � ´ N ±� � · � c N ± � K� c N � Ñ N

� ´À ³� c c � c ¶Î � ³ ³ ¸ � ¶�¿ �c ³� N �� � c N ±� � À � À �� » � ±� � À � � c N � � � µ À � � N � c N � �

¸� N ± ´J c K N � � c � Î � ³ ³ ¸ � � �À � � � �c N � M ¸Ä ³� ¶� K À � � ¶� � µ � Î � N ±� c � � ³� N � � c � ³

� �� c ´� � K �µ �c N ³ �� � c � c ¶»É � N ± � Æ ¹ ´J c K N � � c � � M � ²c � M � c N �� µ � � ´ N ± � � À N � µ � ³À � ³� K Ä + , · Î ±� K ±

� c N J � c K� c ¸ � M � ²c � M � � � ´J c K N � � c � ´ N ± � �� ��J � G HIJ · Î � K� c � ³ � �

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜå

� ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� Ñ À � � � � N ± � Æ ¹ ´J c K N � � c � c N �� µ � � ´ N ± � � ¹ ´J c K N � � c � c � � N � � � ¶ ±N ´� � Î � � M

µ � c c �� �� S û @ û (V -û / I j � /B û ( Q �O , � � /B û ( 2 ¼ O T / O � � /B û ( 2 =

� ±� � � ³ � � µ �� c � N ±� N � c Ä � À À � � Ñ � µ � N � � c � j � ´ j ±� � � K� � � � �À � c M� c ¶

� À À � � Ñ � µ � N � � c � � � ´ �» É � � K� c � �Ò J �c K � · N ± � � ¸� ¿ � � ³ ¶� � � N ±µ ´� � � ¹³ �� � c � c ¶ K� c ¸ � � Ñ N �c M � M � c N � � c � ³ ¶� � � N ±µ ´� � Æ ¹ ³ �� � c � c ¶ ¸Ä � M M� c ¶

� c � Ñ N � � � N �À N ±� N M � ²c � � � � � c N �� µ � � ´ � j � N N ± � �c M � ´ N ± � � ³ ¶� � � N ±µ »Åc � N �� M � ´ N ± � � � Ñ À ³� � � N � � c � N � � N � ¶Ä � N � � c � Î � ³ �� ´ �� � � ¸ ³ � N � J � �

N ± � ´J c K N � � c � � N � � � ³ � KN N ± � � K N � � c � N � � Ñ � KJ N � � c ¶�¿ �c � N � N � �» � ±� � � �

N ± �c M� c � J � � c ¶ N ± � ´� ³ ³� Î � c ¶ À � � ¸� ¸� ³� N � � � �

� ( �û 7� / (32 � [ �� ��� I^ 5��

� [ � � ��� Ic � ê (

� ± � K� � � � �À � c M� c ¶ � N � � N � ¶ Ä � � K� ³ ³ � M N ± � �D � � EI C F G HIJ � GC F GD �� �

!¥ " « C ¬ «$ ¨ ¯¨ ¬ ­ ® © ¯ «¨ « # « E ¯ ®� ¬ ® ¯ � ¯ «¨ ©ª �

» ¼» $ � �� %� � � � � � � %

� � K� � � � c N � � � � � � � � µ � c ¶ N ± � µ � � N À � À J ³� � � �À � � � �c N � N � � c � ´� � ³ �� � c ¹� c ¶ � c M M� N � µ � c � c ¶�· � � � �» ¶» �Á � N K ± � ³ ³ú· ¼½ ½ Ëà � J � c ³� c · ¼ ½ �¾ à �J � c ³� c ·¼½ ½ ÿ à � � �� µ � c � N » � ³» · ¼½ �  (» � ± � N �� µ M � K� � � � c N � � � � � � ´ �� � N � K ³� � � � ² K� ¹N � � c N � � � � � c M � � ¶� � � � � � c N � � � � · � ³N ±� J ¶ ± � N � � � ´N �c J � � M � � � � Ä c � c Ä µ

´� � K ³� � � � ² K� N � � c N � � � �» � ± � ³ �� ¿ � � � ´ M � K� � � � c N � � � � K� c N � � c � À � � M� KN � � c ·Î ±� K ± � � � M� � K� � N � K ³� � �¿ � ³J � � c N ± � K� � � � ´ K ³� � � � ² K� N � � c � M � K� � � � c ( N � � � �

� � � K� c N � c J � J � � � �� ³ ( K ³� � � ¿ � ³J � �� � � ´J c K N � � c Ä � � ³ M� c ¶ � �� ³ ¿ � ³J � � (

� c N ± � K� � � � ´ � � ¶� � � � � � c N � � � �» Ó� K ± � c N �� c � ³ c � M � � ´ � M � K� � � � c N � � �

K� c N � � c � � N � � N¦» ÏJ � N ± �� µ � � � N ± �� �Î � ³ ³ ¸ � � c � � J ¸ N � � � ´� � �� K ± À � � � � ¸ ³ �

� J N K� µ � � ´ � N � � N � c N ± � N � � �» Åc N ±� � Î � Ä · M � K� � � � c N � � � � À � � N � N � � c N ± �

Î ±� ³ � �Ñ � µ À ³ � �À � K � � c M � � � � ¶c K ³� � � ¿ � ³J � � N � �� K ± � Ñ � µ À ³ �» �� µ � � �

À � � M� K N � � c � Î � N ± � M � K� � � � c N � � � � c � � N � � N � � c N ± � � � � N � ´ N ± � N � � � � c M

� À À ³� � � N ± � � � � N L � N � � N N � N ± � � Ñ � µ À ³ �» � ± �c � c � N � � � � N ± � ¸� � c K ± N ±� N

K� � � � �À � c M � N � N ± � � J N K� µ � � ´ N ± � N � � N � c N ± � � Ñ � µ À ³ � � c M À � � À � ¶� N � �

N ± � � Ñ � µ À ³ � N � N ± � K� � � � �À � c M� c ¶ � J ¸ N � � �» Å ´ N ± � � � � J ³N � c ¶ � J ¸ N � � � ±� À ¹

À �c � N � ¸ � � ³ �� ´· � c � � �� M � � � N ± �À � � M� K N � � c · � N ± �� Î � � � � c � � À À ³� � � N ± �

À � � K � MJ � � � � KJ � � �¿ � ³Ä � c N ± � � Ñ � µ À ³ � � c M N ± � � J ¸ N � � �» Ï� � � c � N � c K � · N ± �

M � K� � � � c N � � � � ±� Î c � c Ï � ¶J � � ¼ K� c ¸ � J � � M N � K ³� � � � ´Ä � N � N � �Î � N ± N ±� � �

¸ ³� K � � c � µ � M � · ¸ � c M K � c N � N ± � K ³� � � � � � G F � &D ' � c M �J � GF � &D '» É � � c

� ³ ³J � N � � N � � c · K� c � � M �� � � N � N � � c Î ±� K ±d e "� # 3� 8 ( O # S "5 d e "� # 3 U 8 (

Q� e� " · � c Md e "� # 3d 8 ( O # S "» � ±� � � Ñ � µ À ³ �Î � J ³ M ¸ � K ³� � � � ² � M � c N ± �

N ±� � M ³ �� ´ � K ³� � � � G F � &D ' (»

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ )

Page 5: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ½

� � � � � � �

�� � � � � � � � � ' � �

�� � � � � � � � � � � �

�� � � � � � � � � � � � �

�� � � � � � � � � � �

�� � � � � � � � � � �

�� � � � � � � � � � �

]56 > -* DØ � �x � |� | }~ {� x x { }� � x � | � { � � x { � x� { � x� x | � z � { z � � |~ { � x � � y } � � � � }� y ��

È ³� � � � ² K� N � � c � c M � � ¶� � � � � � c N � � � � � � � N Ä À � K� ³ ³Ä � c MJ K � M J � � c ¶ � M� ¹

¿ � M � � c M K� c Ò J �� � ³ ¶� � � N ±µ · K� ³ ³ � M N � À ¹ M� Î c � c MJ K N � � c � ´ M � K� � � � c N � � � �� � � Å � � (» �� � c MJ K � N � � � � · � c � � N � � N � ´� � µ � � � N � ´ � Ñ � µ À ³ � � � c M K� c ¹

� � M �� � � ³ ³ À � � � � ¸ ³ � N � � N � � c N ± � � � � N � ´ N ± � N � � � � c M � � ³ � KN � N ± � N � � N N ±� N

À �� ´� � µ � ¸ � � N � K K� � M� c ¶ N � � K �� N � � c ± �J � � � N � K � �» ¶» � c ´� � µ � N � � c ¶� � c

� c N ± � K� � � � ´ K ³� � � � ² K� N � � c � c M¿ � � � � c K � � � MJ K N � � c ´� � � � ¶� � � � � � c (» � c �

N ± �c �À ³� N � N ± � M� N � � �N � K K� � M� c ¶ N � N ± � � J N K� µ � � ´ N ± � N � � N � c N ± � � Ñ ¹

� µ À ³ � � � c M � c � À � � À � ¶� N � � N ± � � Ñ � µ À ³ � � N � N ± � � � � J ³N � c ¶ � J ¸ N � � � �» Ï� �

�� K ± � J ¸ N � � � · � c � N ± �c M � K� M � � Î ± � N ± �� N � N J � c N ± � � J ¸ N � � � � c N � � ³ �� ´

� � N � � � KJ � � �¿ � ³Ä K� ³ ³ N ± � � c MJ K N � � c À � � K � MJ � �» � ±� � À � � K � � � K� c N � c J � �

J c N � ³ N ± � N � � � � � K� µ À ³ � N � M»ÏJ ³ ³Ä ¶� � Î c N � � � � � � � �� µ � N � µ � � À � J c � M N � � c K� �� � � N ± � � � ³� � ¸ � ³� N Ä

� ´ N ± �� � À � � M� K N � � c � � c J c � � �c K� � � �» �� � � � J � � µ À ³ �µ �c N � N � � c � � ´ N � � �

� c MJ K N � � c � Ñ � � N · K ´» �» ¶» � �J � c ³� c · ¼ ½ �¾ à �J � c ³� c · ¼½ ½ ÿ à � � �� µ � c � N¦» � ³» ·¼½ �  ( · J � � c ¶ M� � �� �c N ± �J � � � N � K � � c M � Ñ N �c � � � c � � ´ N ± � ¸� � � K � � Å � �

� À À � � � K ±»

» ê» � � �� � � � � �� %� � � � � � � %

È ³� � � � K� ³ M � K� � � � c N � � � � �µ À ³� Ä À � � À � � � N � � c � ³ � � � N N � � ¸J N � ¿ � ³J � � �À ¹

� � � �c N � N � � c �» L � K �c N ³Ä · ±� Î �¿ �� · N ± � � � � �À � � � �c N � N � � c � ±� ¿ � ¸ � �c J À ¹

¶� � M � M N � Î � � M � ²� � N � � M �� ³� ¶� K · � � � J ³N � c ¶ � c N ± � ´� � µ �Î � � � � � ´ ³� ¶� ¹

K� ³ K ³� � � � ² K� N � � c � c M � � ¶� � � � � � c N � � � � � b � � µ �� · ¼ ½ ½¾ à � ³� K � � � ³ � c M � �

L� � MN · ¼ ½ ½ � (» É � N ± �Î � � � � c ³� ¶� K� ³ M � K� � � � c N � � � � ±� � ¸ � �c � Ñ N �c � �¿ � ³Ä

À J ¸ ³� � ± � M � ³ � �Î ± �� � · Î � � c N � � MJ K � � c ³Ä N ± � � �Ä M� � �� �c K � �Î � N ± K ³� � � � K� ³

M � K� � � � c N � � � �» Ï� � ´J ³ ³ M �N � � ³ � � ´ N ± � � � ³� ¶� K� ³ M � K� � � � c N � � � µ � N ±� M � Î �

� � ´ �� N � � � ³� K � � � ³ � c M � � L� � M N · ¼½ ½ � à � ³� K � � � ³ � N » � ³» · ¼½ ½ � à b� � µ �� ·¼½ ½ ¾ (»� c � � �Ä M� � �� �c K � ¸ � N Î � �c ³� ¶� K� ³ � c M K ³� � � � K� ³ M � K� � � � c N � � � � � � N ±� N

K ³� � � � K� ³ M � K� � � � c N � � � � Î � � � Î � N ± � Ñ � µ À ³ � � � c � N N � � ¸J N � ¿ � ³J � ´� � µ »

� ±� � µ �� c � N ±� N �� K ± �Ñ � µ À ³ � � � M � � K� � ¸ � M ¸Ä � � � c ¶ ³ � ´ �� N J � � ¿ � K N � ��� � � � c ¶ ³ � N J À ³ � � c � N � ¸ ³ � (» Åc ³� ¶� K� ³ M � K� � � � c N � � � � · � c � Ñ � µ À ³ � � �

� � � �c N � � ³ ³Ä � � � ³� N � � c � ³ M� N � ¸� � � �� � � Æ � � ³� ¶ �c � Î ³ � M ¶ � ¸� � � ( M � � K� � ¸ � M

Ú Ú ÛÝÜ Þßàá â ãäå ãæ ä ä äá çåè æ çá éÜ

¼ = ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

¸Ä � � �N � ´ ´� K N �» É � � c � ³ ³J � N � � N � � c K� c � � M �� �� ¸ ³ � Å �Ì· Î ± �� � �� K ±

� Ñ � µ À ³ � K� � � � �À � c M � N � � � N � N � M � � K� � À N � � c � c N ± � ¸ ³� K � L � Î � � ³ M» � N � N � �

� � � � � � J µ � M N � ¸ � ´J ³ ³Ä M � � K� � ¸ � M · �» �» N ± � K ³� � � Mº¹Î � � ³ M � � � J µ À N � � c

� À À ³� � �»� ± � � N ± �� µ � � c M� � �� �c K � � � N ±� N ³� ¶� K� ³ M � K� � � � c N � � � � �µ À ³� Ä� Æ � � ³� ¶ ( ¹ Ò J �� � � � � � N � � N � � c N ± � � c N �� c � ³ c � M � � � ´ N ± � M � K� � � � c N � � � � ·�» ¶» � P 3 :5 d 8 � � � N ± �� � � c Ä ¸ ³� K � É � c ¸ ³� K � K � (» � � c K � N ± � � J N K� µ �

� ´ � Ò J �� Ä � c � c � Ñ � µ À ³ � � � �� N ± �� N � J � � � ´� ³ � � · N ± � � � � J ³N � c ¶ N � � � �

� � � � ³Î � Ä � ¸� c � � Ä » ÏJ � N ± �� µ � � � · N ± � Ò J �� � � � K� c K� c N � � c ¿ � � � � ¸ ³ � � · � c M

N ± � � � ¿ � � � � ¸ ³ � � µ � Ä ¸ � � ±� � � M � µ � c ¶ � �¿ �� � ³ c � M � � � ´ N ± � N � � � �» ° ± �c

¿ � � � � ¸ ³ � � � � � � ±� � � M � µ � c ¶ � �¿ �� � ³ c � M � � � ´ N ± � N � � � N ± � Ä � � ´ �� N � N ± �

� � µ � � ¸� � K N » È� c � � M �� N ± � N � � � � ±� Î c � c Ï � ¶J � � ê» � ±� � N � � � K� c N � � c �

NÎ � Ò J �� � � � � � P 3 :5 8 � c M� P 3 5 � 8» Åc � � M �� N � K ³� � � � ´Ä � c � Ñ � µ À ³ �Î � N ±

N ±� � N � � � · � c � Î � ³ ³ ²� � N N � � N Î ± � N ± �� � P 3 :5 8 � J K K � � M � � c N ± � � Ñ � µ À ³ �

´� � � � µ � : � c M » Å ´ �� · � c �Î � ³ ³ N ± �c N � � N Î ± � N ± �� N ± � Ò J �� Ä � P 3 :5 85� P 3 5 � 8 � J K K � � M � � c N ± � �Ñ � µ À ³ �» � ±� � � ±� Î � N ±� N ¿ � � � � ¸ ³ � � � ±� � � M

� µ � c ¶ µ J ³ N � À ³ � c � M � � � c ³� ¶� K� ³ N � � � � � � � � J À À � � � M N � ¸ � c M N � N ± � � � µ �

� ¸ � � K N �» � J � N � N ±� � À � � À �� N Ä � N � � � c ³Ä µ �� c � c ¶ ´J ³ N � À � � À � ¶� N � N ± �

¿ � � � � ¸ ³ � � � ´ � c � M � N � N ± � � J K K � � M� c ¶ ¸� � c K ± � � � ´ N ± � � J ¸ N � � � � ³� ¸ � ³ � M

Ä � � (» È� c � � M �� N ± � ´� � ³� c ¶ ¸ � � c K ± � ´� P 3 :5 8 � c Ï � ¶J � � ê» � �¿ �c N ±� N

N ± �� � � � c � : � c M � J K ± N ±� N � P 3 :5 8 � N M� � � c � N µ � � � � �c � � N � � � ´ ��

N � : � � � c N ± � ´� � ³� c ¶ � J ¸ N � � � � ´� P 3 :5 8 � � ± � � �µ � c N � K � � ´ N ± �

N � � � � � K� µ À ³ � N � ³Ä K ±� � � K N �� � � � M ¸Ä N ± � K� � � � �À � c M� c ¶ Æ � � ³� ¶ À � � ¶� � µ

� ±� Î c � c Ï � ¶J � � ê» � J � N � N ± � K� µ À ³� K� N � � c � N ±� N � � � � � � c � c � � M � N �

�µ À ³� Ä KJ N � � N ± � � ( � c N ± � Æ � � ³� ¶À � � ¶� � µ » � � K� J � � � ´ N ± � KJ N � · M� � �� �c N

� J ³ � � � c N ± � À � � ¶� � µ ¸ � ±� ¿ � � � � c � c � ´¹ N ± �c ¹ � ³ � � À � � ¶� � µ » �� K ³� � � � ´Ä

� c � Ñ � µ À ³ � � c � N � � � � Î ± �N ± �� N ± � K� c M� N � � c À � � N � ´ N ± � ²� � N � J ³ � � �

� � N � � ² � M» Å ´ � N � � · � c � J � � � N ± � K� � � � �À � c M� c ¶ À � � M� K N � � c · � N ± �� Î � � � � c �

N � � � � N ± � � � K� c M � J ³ �» � ±� � À � � K � � � K� c N � c J � � J c N � ³ � � J ³ � � � ´� J c MÎ ±� � �

K� c M� N � � c � � � � N � � ² � M» � ± � J � � � ´ KJ N � � c N ± � Æ � � ³� ¶ À � � ¶� � µ K ³� � � ³Ä

K� � � � �À � c M � N � �� ¹ K� ³ ³ � M ²� � N � � M �� M � K� � � � c ³� � N � � c N � � MJ K � M ¸Ä Á � � c � Ä

� c M È� ³� � �Á � � c � Ä � c M È� ³� �· ¼½ ½ � (» � ± � � � � c M � N ± �� � �À � K N � � ´ N ± �

� �À � � � �c N � N � � c � ´ ³� ¶� K� ³ M � K� � � � c N � � � � � � � �Ñ À ³� � � M � c M � N � � ³ � c � � ³� K � � � ³

� c M � � L� � MN · ¼½ ½ � (»° � Î � ³ ³ J � � ³� ¶� K� ³ M � K� � � � c N � � � � � � � µ À ³ �µ �c N � M � c N ± � À � � ¶� � µ �

� Å I � Ó � � ³� K � � � ³ � c M � � L� � MN · ¼½ ½ � ( � ´� � K ³� � � � ² K� N � � c ( � c M � Å I � Ó ¹L � � � ³� K � � � ³ � N » � ³» · ¼½ ½ � ( � ´� � � � ¶� � � � � � c (» Ï� � µ � À � � K N � K� ³ À � � c N � ´

¿ � �Î · � Å I � Ó K� c ¸ � ¿ � �Î � M � � � c � Ñ N �c � � � c � ´ N ± � È Â» � � � J � c ³� c ·¼½ ½ ÿ ( � Ä � N �µ ´� � � c MJ K N � � c � ´ M � K� � � � c N � � � �» ÅN J � � � N ± � � � µ � ± �J � � � N � K �

N � � � ³ � K N N � � N � � c � c N �� c � ³ c � M � � · � �Î � ³ ³ � � N ± � � � µ � µ � K ±� c � �µ � ´� � N � � �

À � J c � c ¶» Ï� � � J � À J � À � � � � · � Å I � Óʹ L � � ±� J ³ M ¸ � � � ¶� � M � M � � � c � Ñ N �c ¹

� � � c � ´À � � À � � � N � � c � ³ � � ¶� � � � � � c N � � � ³ �� � c �� � · � J K ± � � È É L � � � � �� µ � c

� N » � ³» · ¼½ �  (» Í �¿ �� N ± � ³ � � � · � Å I � Ó ¹ L � �µ À ³� Ä � M� � �� �c N ± �J � � � N � K � � � � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç ä

Page 6: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ¼ ¼

� � & � � � �

�� � � � � � � � � � � �

�� � � � � � � � � � �

�� � � � � � � � � � � � �

�� � � � � � � � � � � � �

� � � � � � �� � � & � � � � � � � � � � � % !

� � � � � � � � �� � � & � � � � % !

� � � � � � � � !

]56 > -* kØ � y } � | �z y � x � | � |}~ {� x x { �z {� � x � | � { � � � x { � x� { � x� x | � z � { z � � |~ { � x � y } � � �

� }� y ��� � ³� K � � � ³ � N » � ³» · ¼½ ½ � ( ´� � M � N � � ³ � (» � ± � ¸� � � K � Å I � Ó � c M � Å I � Ó ¹ L �

� ³ ¶� � � N ±µ � � � � � J N ³� c � M � c ÉÀ À �c M� Ñ É» � Å I � Ó � c M � Å I � Óʹ L � �µ À ³� Ä

N ± � N Ä À � K� ³ Î � ³ ³º¹ �c � Î c N � À ¹ M� Î c � c MJ K N � � c � ´ M � K� � � � c N � � � � � � � Å � � (

� ³ ¶� � � N ±µ » � ± � � c ³Ä M� � �� �c K � ³� � � � c N ± � ¶ �c �� � N � � c � ´ K� c M� M� N � N � � N �

N � ¸ � À J N � c N ± � c � M � �» � ±� � Î � ³ ³ ¸ � � Ñ À ³� � c � M � c N ± � c �Ñ N � J ¸ � � K N � � c »

» ÿ» $ � � � �� �� � �� �� � %

� � K� J � � ²� � N � � M �� � �À � � � �c N � N � � c � � � � µ � � � � Ñ À � � � � �¿ � N ±� c � N N � � ¸J N �

¿ � ³J � � �À � � � �c N � N � � c � N ± � � �� � K ± �À � K � � Ñ À ³� � � M ¸Ä � c MJ K N �¿ � ³� ¶� K À � � ¹

¶� � µ µ � c ¶ � Ä � N �µ � � � µ J K ± ³� � ¶ �� � � c M � ´N �c � c ²c � N � (» �� ´� KJ � N ± �

� �� � K ± � c N ± � µ � � N � � ³ �¿ � c N ±Ä À � N ± � � � � � c M N � � ³� µ � c � N � J � � ³ � � � ±Ä ¹

À � N ± � � � � ´� � µ N ± � � �� � K ± �À � K � · c �� � ³Ä � ³ ³ � c MJ K N �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶

� Ä � N �µ � �µ À ³� Ä � � µ � �� c M � ´ M � K ³� � � N �¿ � ¸� � � µ � K ±� c � �µ · � � � � Í � M � ³ ³ � K

� N » � ³» · ¼½ ½¾ ( ´� � � c � ¿ �� ¿ � �Î » � � K ³� � � N �¿ � ¸� � � � � � ´N �c � µ À ³ �µ �c N � M ¸Ä

µ �� c � � ´ � � ¹ K� ³ ³ � M µ � M � � c M N Ä À � M � K ³� � � N � � c �»

�Ä À � M � K ³� � � N � � c � �À � K� ´Ä N ± � N Ä À � � � ´ N ± � � � ¶J µ �c N � � ´ N ± � À � � M� ¹

K� N � � � c ¿ � ³¿ � M � c M � � � N � � K N N ± � N Ä À � � � ´ Ò J �� � � � � c M K ³� J � � � N � ¸ � N Ä À �

K� c ´� � µ » È� c � � M �� N ± � À � � M� K� N � �� P �� � c M P SR U "# � Q U e� d $� � ;» � ± �

N Ä À � � ´ � � ¶J µ �c N � ¼ � c M ê � ´ N ± � À � � M� K� N �� P �� � � � ¸� � K N � ¸ ³� K � ( � c M

N ± � N Ä À � � ´ N ± � � c ³Ä � � ¶J µ �c N � ´ P SR U "# � QU e� d $� � ; � � � c N � ¶ �� » � c M ��

N ± � � � M � K ³� � � N � � c � N ± � Ò J �� Ä � T � P 34 5 7 85 P SR U "# � QU e� d $� 34 8 � � c � N

N Ä À � K� c ´� � µ � � � N � �Ò J � � � � N ±� N 4 � � � ´ ¸� N ± N Ä À � � ¸� � K N � c M � c N � ¶ �� »Á � M � � �À � K� ´Ä À � � À �� N � � � � ¸� J N N ± � K� ³ ³� c ¶ À � N N �� c � � ´ À � � M� K� N � �

� c K ³� J � � � · Ò J �� � � � � � K� c M� N � � c � N � ¸ � � c MJ K � M» Ï� � � Ñ � µ À ³ � · N ± � µ � M �

� P 3�5 T 8 �À � K� ² � � N ±� N � N N ± � N � µ � � ´ K� ³ ³� c ¶ N ± �À � � M� K� N �� P �� · N ± � ²� � N

� � ¶J µ �c N � ±� J ³ M ¸ � ¸� J c M �� � � c � N � c N � � N � Mú· � N � � � ´ N Ä À �] ( Î ± �� �� �

N ± � � � K� c M � � ¶J µ �c N � ±� J ³ M ¸ � ´� � � � c � N � c � N � c N � � N � Mú· � N � � � ´ N Ä À � ¹ (»

� c � K� c � ³ � � K� µ ¸� c � N ± � � � µ � M � � � c M Î � � N � ´� � � c � N � c K �� P 3� T5 � T 8

� N � N � c ¶ N ±� N � ³ ³ K� ³ ³� c ¶ À � N N �� c � � � � À �� µ � N N � M»Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç ç

¼ ê ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

Á � M � � � � � J � � ´J ³ ¸ � K� J � � N ± � Ä K� c ´� KJ � N ± � ±Ä À � N ± � � � � ³� c ¶J � ¶ � � c

� c N �� � � N � c ¶ K ³� J � � � � � Ò J �� � � � ¸Ä � Ñ K ³J M� c ¶ J � � ³ � � � � c � �» Ï� � � Ñ � µ À ³ � ·� N K� c ¸ � J � � M N � � Ñ K ³J M � K ³� J � � � Ò J �� � � � � J K ± � � � T < " %V < O 34 5 4 854 � 7 � ¸Ä J � � c ¶ N ± � µ � M � � � � » � ±� � µ � M � �À � K� ² � � N ±� N N ± � NÎ �

� � ¶J µ �c N � � ´ À � � M� K� N � � ³ � � � N ±� c L � � �� ( � ±� J ³ M ¸ � � c � N � c N � � N � M � c M

¶J � � � c N � � � � c N ±� � K� c N � Ñ N N ±� N N ± � c J µ ¸ �� � Î � J ³ M ¸ � ¸� J c M ¸ � ´� � �

N � � N � c ¶Î ± � N ± �� � c � � � �µ � ³ ³ �� N ±� c N ± � � N ± �� » É c � N ± �� N Ä À � � ´ µ � M � � �

Î ±� K ± �À � K� ² � � N ±� N N ± � � � � J ³N � c ¶ � � ¶J µ �c N � ±� J ³ M ¸ � ¸� J c M � c N ± �

K ³� J � � Ò J �� Ä N � � K� c � N � c N · �» ¶» � P 3 T5 � 8 Î � J ³ M � �Ò J � � � N ±� N N ± � ³� � N

� � ¶J µ �c N � � � c � N � c N � � N � M» � ± � � µ � M � ´� � µ � ³� �µ �µ À ³� Ä � M ¸Ä � Å I � Ó

� c M � Å I � Óʹ L � � µ À ³ �µ �c N � � c M � ³� ¶ ±N ³Ä � Ñ N �c M � N ± � � ¸� ¿ � c � N � � c � � ´

N Ä À � � c M µ � M � M � K ³� � � N � � c � · K ´» � � ³� K � � � ³ � c M � � L� � M N · ¼½ ½ � (»

� ± � µ � � c À � � c N Î ± �� � � Å I � Ó � c M � Å I � Ó ¹ L � M� � �� ´� � µ À � � À � � � ¹N � � c � ³ M � K� � � � c N � � � � ³ ¶� � � N ±µ � � � N ± � ¶ �c �� � N � � c � ´ N � � N � N � À J N � c N ± �

� c N �� c � ³ c � M � �» � ± � N � � N � N ±� N � � � K� c � � M �� � M � c � c � M � M �À �c M � c ¼ (

N ± � M � K ³� � � N �¿ � ¸ � � � · � c M ê ( N ± � N � � N � � c c � M � � ±� ¶ ± �� � c N ± � N � � � �� c

� J K K � � M� c ¶ ¸� � c K ± � � (» L� J ¶ ± ³Ä �À �� �� c ¶�· � Å I � Ó K� ³ ³ � K N � � ³ ³ ³� N �� � ³ � � c

� J K K � � M� c ¶ � c K � � N � � � � � c K ³J M� c ¶ N ± � � � � N ( � ´ N ± � c � M � � c M N ± �c � À À ³� � �

� �� ¹ K� ³ ³ � M � � ²c �µ �c N � À �� � N � � N � ¶ �c �� � N � N ± � N � � N �» � ± � � � ²c �µ �c N

� À �� � N � � �µ À ³� Ä � N ± � M � K ³� � � N �¿ � ¸� � � �À � K� ² K� N � � c �» É � � c � ³ ³J � N � � N � � c

� ´ N ±� � · K� c � � M �� ²� � N N ± � � � � N c � M � � c N ± � N � � � � ´ Ï � ¶J � � ê � c M � N �

� J K K � � M� c ¶ ¸� � c K ±» � ± � N � � N � c N ± � � � � N � �� P 3 :5 8» � �¿ �c � c ³Ä N ± �

µ � M � M � K ³� � � N � � c � P 3�5 T 8 · NÎ � � � ²c �µ �c N � Î � J ³ M ¸ � ¶ �c �� � N � Mú· �» �» ·� P 3 :5 85 � P 3 :5 � 8 � c M� P 3 :5 85 � P 3 5 � 8» � ±� � � � � J ³N � � c NÎ � K� c M� ¹M� N � N � � N � ´� � N ± � � J K K � � M� c ¶ ¸� � c K ±� � P 3 :5 � 8 � c M� P 3 5 � 8» � J À À � � �

N ± � ± �J � � � N � K K ±� � � � � � � ¸ � � N N ± � ³� N N �� � c � � � � � c N ± � � K N J � ³ N � � � � c

Ï � ¶J � � ê ( � c M � ³ �� N ±� N N ± � � � � J ³N � c ¶ c � M � � ±� J ³ M ¸ � ´J � N ± �� �À ³� N » � ± �c

N ± � N � � N � K� c � � M �� � M � c N ± � � J K K � � M� c ¶ ¸ � � c K ± � ´ N ± � c � M �� P 3 5 � 8 � c

Ï � ¶J � � êÎ � J ³ M ¸ �� P 3 :5 � 8 ·� P 3 5 � 8 � c M� P 3 �5 � 8» � c N ± � � N ± �� ±� c Mú·� c N ± � ´� � ³� c ¶ ¸� � c K ± � ´ N ± � c � M �� P 3 5 � 8 · � c � Î � J ³ M K� c � � M �� � c ³Ä

� P 3 :5 � 8 � c M� P 3 5 � 8 ¸ � K� J � � � N M� � � c � N µ � � � � �c � � N � � � ´ �� N � N ± �

¿ � � � � ¸ ³ � � N ± �� �»

» » � � �� �� �� � � � �� � � � �

É c � N ± �� � � Ä � � � J � Î ± �c J � � c ¶ � c MJ KN �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶ � � ¸� K � ¹

¶� � J c M �c � Î ³ � M ¶ �» �� K � ¶� � J c M �c � Î ³ � M ¶ � K� c � � � N � � ´ N ± � M � ²c � N � � c � � ´

¶ �c �� � ³ À � � M� K� N � � N ±� N K� c ¸ � J � � M � c N ± � � c MJ K � M ±Ä À � N ± � � � �» ÅN N ±J �

� c �J �c K � � N ± � K� c K �À N � N ±� N K� c ¸ � � �À � � � �c N � M»� c ³� � � N ± � À � � M� K� N � � N ±� N � � � J � � M N � M � � K� � ¸ � N � � � c � c ¶ � Ñ � µ À ³ � �� � N � N � � K N � � c Ò ¿ � ³J � � � � N � N � � K N � � c � À N � µ � ³� N Ä N � � À ³ � � � c � J � K� � � ( ·� J K ± � �� P 3 :5 8 · ¸� K � ¶� � J c M �c � Î ³ � M ¶ � À � � M� K� N � � �À � K� ´Ä �c � Î ³ � M ¶ �

N ±� N � � ¶ �c �� � ³ ³Ä ¿ � ³� M � K� � � � N ± �Î ±� ³ � M� µ � � c · �» �» · ´� � � ³ ³ N � � � c � c ¶ � Ñ ¹

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç æ

Page 7: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ¼ ÿ

� µ À ³ � �» � ± �À � � M� K� N �� U � f " 3 :5 8 � K ´» ÉÀ À �c M� Ñ � ( M � ²c � �Î ± �c ¸ ³� K �

: � � � ¸� ¿ � ¸ ³� K � � c N �� µ � � ´ N ± � À � � M� K� N �� P 3 :5 8» � ±� � �c � Î ³ � M ¶ �

±� ³ M � � ¿ �� � ³ ³ � N � N � � � c N ± � ¸ ³� K � � Î � � ³ M»ÅN � � Î � ³ ³º¹ �c � Î c N ±� N N ± � � �À � � � �c N � N � � c ³� c ¶J � ¶ � � � � K� J K� � ³ À � ¹

� � µ � N �� � c µ � K ±� c � ³ �� � c � c ¶» � �¿ �c � c � M �Ò J � N � ³� c ¶J � ¶ � · ³ �� � c � c ¶

Î � ³ ³ ¸ � � � � K N �¿ � · � c M ¶�¿ �c � c � c � M �Ò J � N � � c � ³ �� � c � c ¶Î � ³ ³ ¸ � M� � KJ ³N

� ´ c � N � µ À � � � � ¸ ³ �» ÉÀ À ³� � M N � � c MJ K N �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶ N ±� � µ �� c �

N ±� N � N � � � µ À � � N � c N N � �À � K� ´Ä N ± � � � ¶ ±N À � � M� K� N � � � c N ± � ¸� K � ¶� � J c M

�c � Î ³ � M ¶ �»� c � � M¿ � c N � ¶ � � ´ � c MJ K N � ¿ � ³� ¶� KÀ � � ¶� � µ µ � c ¶ � c N ±� � K� c N � Ñ N � � N ±� N

N ± � K� µ ¸� c � N � � c � ´ ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � c M M � K ³� � � N �¿ � ¸ � � � � ³ ³� Î �

N ± � J � �� N � � c �J �c K � N ± � ³ �� � c � c ¶ À � � K � � � � c M � � � J ³N �» Ï� � � c � N � c K � · � �

Î � Î � ³ ³ � � � � c N ± � � Ñ À �� � µ �c N � · � N � � � � µ � N � µ � � c � K � � � � � Ä N � �µ À ³� Ä

N ± � À � � M� K� N � P SR U "# � QU e� d $� � P 3 :5 � 8 N � ³ �� � c � � � K N �¿ � À � ³� K� � �» � ±� �

À � � M� K� N � �À � K� ² � � N ±� N N ± �� � � � � � Ñ � K N ³Ä � ¸ ³� K � � � ¸� ¿ � ¸ ³� K � :»É c � N ± �� � � � J � � � ³� N � M N � � J � � Ñ À �� � µ �c N � � � N ±� N � ´ ¸ ³� K � � M �c N � N � � ��

� ´ � c � �c � Î � N ±� N N ± � � ¸ �� ³J N � � M �c N � N � � � � ´ ¸ ³� K � � � � � c � N � µ À � � N � c N � �

� À À � � � M N � N ± �� � � � ³� N �¿ � � c � � · N ± �c � c � K� c �À � K� ´Ä N ±� � J � � c ¶ N ± � µ � M � ��� c ³Ä � ³ ³� Î � c ¶ ´� � � K� µ ¸� c � N � � c � ´] � c M ¹ � c M c � N ´� � (» ° ±� ³ � ³ �� � c ¹� c ¶Î � ³ ³ c � N c � K � � � � � � ³Ä ¸ � J c � J K K � � � ´J ³Î � N ±� J N N ±� � �c � Î ³ � M ¶ � · � N K� c

¸ � µ J K ± � ³� Î �� » �� � ³ ³J � N � � N � N ±� � · Î � ±� ¿ � À �� ´� � µ � M �� µ � � � ³� N � � c � ³

� �� c ´� � K �µ �c N ³ �� � c � c ¶ � Ñ À �� � µ �c N � ´� � N ± � � N � K � � c M J c � N � K � ¶� � ³ � � � � �

� � K N � � c ¾ » ê (» °� N ±� J N N ± � � � � J µ À N � � c N ±� N À � ³� K� � � � � � � c M �À �c M �c N � ´

¸ ³� K � � M �c N � N � � � · � Å I � Ó J � � � ¸ ³� K � � M �c N � N � � � � c N ± � À � ³� K� � � ³ �� � c � M � c

�� � ³Ä �À � �� M � � · ¸J N M� � � c � N � � ´ �� �c K � ¸ ³� K � � M �c N � N � � � � c N ± � À � ³� K� � �

³ �� � c � M � ´N �� � ³� � ¶ �� c J µ ¸ �� � ´ �À � � � M � �» `� Î �¿ �� · N ± � N � µ � c � � M � M

´� � ³ �� � c � c ¶ N ± � À � ³� K� � �Î � � N ±� � � N � µ � � ³� c ¶ �� � � K� µ À � � � M N � N ± � K� � �

Î ± �c ¸ ³� K � � M �c N � N � � � Î �� � c � N J � � M � N � ³ ³»

� ±� � � ³ ³J � N � � N � � N ± � � � Ñ � ¸� ³� N Ä � ´ � c MJ K N �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶» Å ´

N ± � J � �� ±� � À � � N � � ³ �c � Î ³ � M ¶ � · � c N J � N � � c � � � � Ñ À � K N � N � � c � � ¸� J N N ± �

±Ä À � N ± � � � � N � ¸ � � c MJ K � Mú· N ± � Ä K� c ¸ � � ³ � ¶� c N ³Ä �c K� M � M J � � c ¶ � K� µ ¹¸� c � N � � c � ´ ¸� K � ¶� � J c M N ± �� � Ä � c M M � K ³� � � N �¿ � ¸ � � �» Å ´ � c � M� � � c � N

À � � � � � � � J K ± �c � Î ³ � M ¶ � · � c � µ � Ä ±� ¿ � N � � �� � K ± � ³� � ¶ �� �À � K � · µ � Ä

� �Ò J � � � µ � � � � Ñ � µ À ³ � � � c M N � µ � N � � M �c N � ´Ä N ± � N � � ¶ � N K� c K �À N · � c M � c

N ± �Î � � � N K� � � · ³ �� � c � c ¶ µ � ¶ ±N ¸ � J c � J K K � � ´J ³ ³»

�¥ � � © ¯ «¨ � � ¯ ¨ # «ª ® � ¨ © � � ª ¨ ¯¨ E

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç M

¼ Â ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�» ¼» �� � �� � � �� � � � �� � � � � � � � K� � % � �� �� � � � %

� �¿ �c N ± � ´� � µ �Î � � � ´� � � ¹ � c M Æ ¹ ³ �� � c � c ¶ À � � � �c N � M � c � � K N � � c ÿ · Î �

K� J ³ M c � Î ³ �� � c N � À ³� c � c N ± � ¸ ³� K � � Î � � ³ M � � � N K ± � M �� � ³� �� » � � � c ¶

N ± � � À À � � � K ± � � � N � N � c M � Î � K� J ³ M � N � � � � ³ ³ N ± � � N � N � ¹ � K N � � c À � � � �

�c K� J c N �� � M � c M µ �µ � � � � � J À M� N � N ± � K� � � � �À � c M� c ¶ j ¿ � ³J � � · ±� ¿ � c ¶

� c � � � K N � c � Ñ À ³� K� N ³� � � ¹ J À N � ¸ ³ � ´� � � N � N � ¹ � K N � � c À � � � �» � ±� � � � ±� Î

Æ� N I� c ¶ ³ � Ä � c � N � � ³ ³Ä � M M� � � � � � N ± � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶

N � � � � c ±� � ¸� � � � I� c ¶ ³ � Ä · ¼ ½ ½¾ ( · K ´» � ³ � � � � K N � � c Ë» ê» � ± � � ¿ � ³J � �

K� J ³ M N ± �c ¸ � M �� �¿ � M ´� � µ N ±� �» � ±� � � À À � � � K ± ±� � ±� Î �¿ �� � c J µ ¸ ��

� ´ M� � � M¿ � c N � ¶ � ��

ÅN � � � µ À � � K N � K� ³ ´� � � ³ ³ ¸J N N ± � �µ � ³ ³ � � N � N � N � ¹ �À � K � �» ÏJ � N ± �� µ � � � ·J � � c ¶ ³� � � ¹ J À N � ¸ ³ � � M� � � c � N Î � � � ´� � � c ²c � N � � N � N � �À � K � � Î ±� K ±

K� J ³ M � � � � � Î ± �c ²� � N � � M �� � �À � � � �c N � N � � c � � � � J � � M � �» ¶» · � ´ N ± �

c J µ ¸ �� � ´ ¸ ³� K � � � c N ± � Î � � ³ M � � J c �c � Î c � � � c ²c � N � N ± � � ¸� ¿ �

µ � N ±� M M� � � c � N Î � � � (»

� � �À � N � N ± � J � � � ´ � � � ³� N � � c � ³ � �À � � � �c N � N � � c ´� � � N � N � � � c M � K N � � c � ·N ± � � ¸� ¿ � µ � N ±� M � � J c � ¸ ³ � N � K� À N J � � N ± � � N � J K N J � � ³ � �À � K N � � ´

N ± � À ³� c c � c ¶ N � � �»

° ± �c �¿ �� N ± � ¶� � ³ � � K ±� c ¶ � M ´� � µ � � Ä W , �ûB ü ( N � W, �üB ý ( N ± �

� ¸� ¿ � µ � N ±� MÎ � J ³ M � �Ò J � � � � � N � � � c � c ¶ N ± �Î ±� ³ � j ´J c K N � � c »

Å M �� ³ ³Ä · � c � Î � J ³ M � Ñ À � K N N ±� N N ± � � � � J ³N � � ´ ³ �� � c � c ¶ � c � Î � � ³ M

Î � N ± ÿ ¸ ³� K � � K� J ³ M ¸ � �À � � N ³Ä ( � � K Ä K ³ � MÎ ± �c ³ �� � c � c ¶ � c �  ¸ ³� K � �

Î � � ³ M ³� N �� � c » ÅN � � J c K ³ �� � ±� Î N � � K ±� �¿ � N ±� � Î � N ± N ± � ³� � �J À

N � ¸ ³ �»� ± � ²� � N À � � ¸ ³ �µ K� c ¸ � � � ³¿ � M ¸Ä J � � c ¶ � c � c MJ K N �¿ � ³ �� � c � c ¶ � ³º¹

¶� � � N ±µ � �» ¶» · � c �J � � ³ c � NÎ � � � � � � c � I� c ¶ ³ � Ä · ¼½ ½¾ ( ( N � � À À � � Ñ � µ � N �

j � c M �» � ± � N ±� � � � N ± �� À � � ¸ ³ �µ � K� c � c ³Ä ¸ � �� ³¿ � M ¸Ä J � � c ¶ �CD EF G HIJ F E ³ �� � c � c ¶ � ³ ¶� � � N ±µ N ±� N K� c � ¸ � N � � K N � � c ´� � µ N ± � �À � K� ² K

¸ ³� K � � � c M ¶� � ³ � J � � c ¶ ¿ � � � � ¸ ³ � �» ° � c � Î À � � � �c N � J K ± � � � ³� N � � c � ³

³ �� � c � c ¶ � ³ ¶� � � N ±µ K� ³ ³ � M L L I» � ± � µ � � c K� c N � � ¸J N � � c � ´ N ±� � À � À ��

� � N � � M M� � � � N ± � �D J D C F E H� F G HIJ À � � ¸ ³ �µ ´� � � �� c ´� � K �µ �c N ³ �� � c � c ¶ � c

� � � ³� N � � c � ³ � � N N � c ¶»

�» ê» �� � � � %� � � � � � �� � � � � � � �� � � �� � � �� �� � � �� �� � �

° � ±� ¿ � � ³� �� MÄ K� c � � M �� � M � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � � K N � � c ê» ¼ ( · � N �

� À À ³� K� N � � c N � À ³� c c � c ¶ � � � K N � � c ê» ê ( · � c M � � ³� N � � c � ³ ³ �� � c � c ¶ � � � K N � � c

 (» ° � ¶�¿ � � µ � � � À � � K� � � M � ²c � N � � c � ´ N ± � � � ³� N � � c � ³ � �� c ´� � K �µ �c N

³ �� � c � c ¶ � L L I ( N � � � ¸ � ³� Î » � ± � L L I N � � � � � � � �� c ´� � K �µ �c N ³ �� � c � c ¶

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç â

Page 8: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ¼ �

N � � � � � N �µ � ¼ N �  ( · Î ± �� � � N � N � � · � K N � � c � � c M À � ³� K� � � � � � � �À � � � �c N � M

� � ³� N � � c � ³ ³Ä · � c M K� c � �Ò J �c N ³Ä · ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � c M M � K ³� � � N �¿ �

¸� � � � � � �µ À ³� Ä � M MJ � � c ¶ ³ �� � c � c ¶ � � N �µ � � � c M¾ (» ° � � ³ ³J � N � � N � N ± �

N � � � ´� � µ J ³� N � � c Î � N ±� c N ± � ¸ ³� K � �Î � � ³ M N ±� N Î � ³ ³ ¸ � J � � M � c � J � � Ñ À �� ¹� µ �c N �» ° �Î � c N N � �µ À ±� � � � � N ±� J ¶ ± N ±� N L L I � � � ¶ �c �� � ³ � À À � � � K ±

� c M � � � À À ³� K� ¸ ³ � N � M� µ � � c � � N ± �� N ±� c À ³� c c � c ¶ � c N ± � ¸ ³� K � � Î � � ³ M»

� ± � L L I N � � � � � �À � K� ² � M � � ´� ³ ³� Î ��� ¯ � ¨ � � ��

¼» � �D G I � � I � � H � ED � G F GD � !��

'D � �C H �D ' HJ F CD EF G HIJ F E E FJ � � F �D �

� N � N � �

� � � � �À � � � �c N � M � � � � N � � ´ ¸� � � K ´� K N � N ±� N ±� ³ M � c � � N � N �» � ± � K ³� � � M ¹

Î � � ³ M � � � J µ À N � � c � � � À À ³� � M N � � N � N � M � � K� � À N � � c �» Åc N ± � ¸ ³� K � �

Î � � ³ Mú· N ± � ¸� � � K ´� K N � K� c K �� c N ± �À � � M� K� N � � W, � "B � ( � c Mý T O û ( � " (»

� ± � L L I � ³ ¶� � � N ±µ �c K� J c N �� � � N � N � � � c � ¸Ä � c � � c M M� � � c � N � � �

N ± � �c N � � � � � N � À � � � � �»

ê» � �D G I � � I � � H � ED F � G HIJ � "�� F E �I CD � CD �D J GD ' HJ F CD EF G HIJ F E E FJ �

� � F �D � Åc N ± � ¸ ³� K � � Î � � ³ Mú· � c � K� c µ � ¿ � � c � ¸ ³� K � � c N � � c � N ± ��

- W. O � "B � ( � � N � N ± � �� � � - W. O � "B S T W W ( (» Í� N � ³ ³ � K N � � c � � � �

� À À ³� K� ¸ ³ � � c � ³ ³ � N � N � �» � ± � L L I � ³ ¶� � � N ±µ � � � � � c ³Ä N ± � � KN � � c �

� À À ³� K� ¸ ³ � � c � ¶�¿ �c � N � N � · � � �À � K� ² � M ¸Ä N ± � ´J c K N � � cN ( O � !& " 'PQ (R OB Sû T / O U» ÅN � � M � ²c � M � c �� ¸ ³ � ¼ ´� � N ± � ¸ ³� K � � Î � � ³ M»

ÿ» � GC FJ � H G HIJ ��J � G HIJ %� ! & " ' !� Ï� � N ± � M � N �� µ � c � � N � K ¸ ³� K �

Î � � ³ Mú· N ±� � ´J c K N � � c � � M � ²c � M � c �� ¸ ³ � ¼» � ± � L L I � ³ ¶� � � N ±µ ·±� Î �¿ �� · M� � � c � N � � ³Ä � c �c � Î ³ � M ¶ � � ¸� J N N ±� � ´J c K N � � c » ÅN � c ³Ä

J � � � � N N � � Ñ � KJ N � � K N � � c � � c M µ � ¿ � N � c �Î � N � N � �» � ±� � ´J c K N � � c K� c

� c À � � c K� À ³ � ¸ � c � c M � N �� µ � c � � N � K � �» ¶» · � µ � ¿ � � K N � � c µ � ¶ ±N � K N J � ³ ³Ä´� � ³ � c M c � N K ±� c ¶ � N ± � KJ � � �c N � N � N � (»

» É � �� ³º¹ ¿ � ³J � M � �Î � � M ´J c K N � � c (� ! & " ' )» ÉN À � � � �c N Î � J � �

N ± � ¶� � ³ ´J c K N � � c V Wû T� ! ' PQ ( R OB Sû T/ O U N � M � ²c � (� ( � !B û ( 2 ¼ � ´

V Wû T � % � !B û ( ( 2 Q (R O · ( � !B û (32 = � N ± �� Î � � �»

�» � F � & �C I �J ' &J I � ED ' �D �D J D C F E E� F E H ' F �I � G G D 'I � F HJ � � GF GD � HJ! � � ±� � � c K ³J M � �À � � M� K� N � � N ±� N K� c M �� �¿ � c �Î ´� K N � � ¸� J N � ¶�¿ �c

� N � N �» Åc N ± � ¸ ³� K � �Î � � ³ M · � À � � M� K� N � û ü W. O � "B � ( µ � Ä M � ²c � N ±� N

� ¸ ³� K � " � � � ¸� ¿ � � c � N ± �� ¸ ³� K � �»

¾ » �D � EF C F G H D � H F � �I C ED F C J HJ � CD EF G HIJ F E CD � CD �D J GF G HI J � I � � I E H � HD ��

�� ¶ �N ± �� Î � N ± N ± � ¸� K � ¶� � J c M �c � Î ³ � M ¶ ��· N ±� � �À � K� ² � � N ± � ³� c ¹

¶J � ¶ � � c Î ±� K ± À � ³� K� � � � � � � �À � � � �c N � M» Åc N ± � ¸ ³� K � � Î � � ³ M · �» ¶» ·Î � M� c � N � ³ ³� Î À � ³� K� � � N � � � ´ �� N � N ± � � Ñ � KN � M �c N � N Ä � ´ ¸ ³� K � �»

� ± � N � � � � � N � � ¨ ¬ � À � ³� K Ä ´� � � � ³ � K N � c ¶ � K N � � c � + � ! ' " N ±� N

µ � Ñ � µ � � � � N ± � � Ñ À � K N � M M� � K� J c N � M � �Î � � M» Æ� ³� K� � � K� c ¸ � �� N ± �� � �À ¹

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç @

¼¾ ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�z � y x � � � � � � x � � w w� z y � }� | { �� �}� � x yz { | }~ z y� x |~ �}� � x� x~ { y x z� ~ |~ ��

�~ | { |z y |N x OP W { } z � � | �~ Ö { } z y y �LQ M �� z |� ��~ | { |z y |N x �� z � � y x � { } { � x x� � { � � x { �xS R Ö¢ ¡ K¡ r �T � r

xS R x U V

|S R Ö� x~ x� z { x z � z~ �} � � { z { x L W  XYZ � ~ } { �} z y �L^ � ¢ ¡

� x y x � { z ~ z � { |}~ M^ � { } � �z � { | �z y y �

� � |~ � { � x � � x� � y }� z { | }~ � {� z { x � � �� } � ��� z { | }~ � V �

� � |~ � { � x �� � � x~ { ��� } { � x � | � �}� O P��� x� �}� � z � { |}~ M^

� x � x |� x z~ |� � x � |z { x � x � z� � �^ R � �L^ Q M^ �

} � � x� � x { � x ~ x � � { z { x L^ _`|S R | U V

� a ¢   XY Z �

K¡ r bR |� V { }Ö ¢ ¡

� x~ x� z { x x� z � � y x f R �Lc Q Mc Q O�c � �� � x� x O�c S R �c U d e Mfg h OP�� �Lc _`Q M i �| � z~ x� z � � y x �Lc Q Mc Q O�� �� � x� | � { � |~ �� z � � y x � � � x� yz � x | { � | { � f �x y � x z � � f { } �� z � � y x �

� � �z { x OP� � � |~ � � � � � �� w � { }� � } �� � x OP�� _` � � |~ � �� z � � y x �

� � � �c N � M � � � �� ³º¹ ¿ � ³J � M � ¹ ´J c K N � � c � � � � � ¸ � c � � Ä �� À N � µ � ³ c � c ¹ � À N � µ � ³ (

K ³� � � � ² �� À � ³� K� � � � Æ ¹ ´J c K N � � c � (»

�» ÿ» �� � FHG � � � � � � �� � � � �

� ± � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � ¹ L L I ( � ³ ¶� � � N ±µ � � � ¸ N � � c � M

¸Ä K� µ ¸� c � c ¶ N ± � K ³� � � � K� ³ � ¹ ³ �� � c � c ¶ � ³ ¶� � � N ±µ Î � N ± � N � K ±� � N � K � � ³ � K ¹N � � c � ´ � K N � � c � � c M � � � ³� N � � c � ³ � � ¶� � � � � � c � ³ ¶� � � N ±µ » Åc � N �� M � ´ ±� ¿ � c ¶

� c � Ñ À ³� K� N ³� � �J À N � ¸ ³ � ´� � N ± � � ¹ ´J c K N � � c · � c � µ À ³� K� N � �À � � � �c N � N � � c

� ´ N ±� � ´J c K N � � c � � ³ �� � c � M � c N ± � ´� � µ � ´ � ³� ¶� K� ³ � � ¶� � � � � � c N � � � · K� ³ ³ � M

� � ¹ N � � �»� ± � � ¹ L L I � ³ ¶� � � N ±µ � � ¶�¿ �c � c �� ¸ ³ � Å Å Å» � ± � µ � � c À � � c N Î ± �� �

L L I M� � �� � ´� � µ N ± � � ³ ¶� � � N ±µ � c � � K N � � c ÿ» ê � � � c N ± � ´� � ¹ ³� � À Î ± �� �

N ± � � j ¹ ´J c K N � � c � � µ � M� ² � M»

� ± � � c � N � � ³ N � � � � j�� � � � � ¶c � � �� � ¿ � ³J � N � � ³ ³ � N � N � ¹ � K N � � c À � � � �» Ï� � µ

�� K ± ¶� � ³ � N � N �V �c K� J c N �� � M · � c � Ñ � µ À ³ � �V · û · = ( � � ¶ �c �� � N � M ´� � �� K ±

� K N � � c û Î ±� � � À � � K� c M� N � � c � � � � � � N � � ² � M � cV » � ± � � � N � � c � ³ � ´� � N ±� � � �

N ±� N c � � �Î � � M K� c ¸ � � Ñ À � K N � M ´� � µ � À À ³Ä � c ¶ � c � K N � � c � c � c � ¸ � � � ¸ � c ¶

¶� � ³ � N � N �»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç k

Page 9: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ¼ Ë

� � � � � � � � � � � � � � � � � � �������������������� � � � � � � � � � � � � � � � � � � ��������������������� � � � � � � � � � � � � � � � � � ��������������������

���������������������� � � � � � � � � � � � � � � � � � � � � � � ��

��

�� �

� �

��

�� ��� � � �� �� � ��� ��� ��

� � �� � � �� � ��� ��� �

�� �� � � �� � ��� � �� �� � � � �� �� � �

]56 > -* @Ø � � y } � � �� � }� y � x� z � � y x �}� � x yz { | }~ z y � � y x z� ~ |~ � �

É À � � � � ¸ ³ � � c � N � � ³ �À � �� M � � O 2 ¼ ( � c N ± � ¸ ³� K � � Î � � ³ M Î � N ± N ±� � �

¸ ³� K � � û · ü · � c Mý · Î ± �� � N ± � ¶� � ³ � � N � � N � K � û � c ü � �» �» ·V Wû T � W, �ûB ü ( ( (

� � M �À � KN � M � c Ï � ¶J � � ÿ» � ± � M� � K� J c N ´� K N � � ; � � =» ½ � c M N ± � � �Î � � M

¶�¿ �c � � � c � � c � K ±� �¿ � c ¶ � ¶� � ³ � N � N � · � �� � � N ± �� Î � � �»

� ± � � Ñ � µ À ³ � � ¶ �c �� � N � M ¸Ä L L I J � � N ± � � K N � � c � � c M N ± � � ¹ ¿ � ³J � �

³� � N � M � ¸� ¿ � N ± � � � � � Î � � �À � � � �c N � c ¶ N ± � � KN � � c �» � ± � � K N J � ³ ´� � µ � N � ´

N ± � � � � Ñ � µ À ³ � � � � ³� � N � M � c �� ¸ ³ � Å �» ÅN � � � Ñ � K N ³Ä N ±� � � c À J N N ±� N � � J � � M

¸Ä � Å I � Ó ¹ L � N � ¶ �c �� � N � N ± � � ¹ N � � � � j A» � Å I � Óʹ L � � � � L� � MN � c M

� ³� K � � � ³ú· ¼½ ½ Ë Ã � ³� K � � � ³ � N » � ³» · ¼½ ½ � ( � � � c � ³ ¶� � � N ±µ ´� � ³ �� � c � c ¶ ³� ¶� K� ³

� � ¶� � � � � � c N � � � � � � � M � � K� � ¸ � M � c � � K N � � c  (»

� Å I � Ó ¹ L � � � c � N � c K� �µ �c N � ³ú· �� Î � KJ � � �c N ³Ä � � µ J ³� N � N ± � J À ¹M� N � � ´ � j ¸Ä � � �À � c ¶ � ³ ³ � /B û ( À � � � � �c K� J c N �� � M A � c � N � J � N N ±� � �

�c K� J c N �� � M � c �À � �� M � O ( � c M N ± � µ � � N � � K �c N �� ¿ � ³J � ´� � �� K ± À � � � »Åc c � c ¹ M � N �� µ � c � � N � K M� µ � � c � · � N Î � J ³ M À � � ¸� ¸ ³Ä ¸ � � ¶� � M � M �� N �

� ¿ �� � ¶ � N ± � � � ¿ � ³J � � � c � N �� M � ´ � � �À � c ¶ � c ³Ä N ± � µ � � N � � K �c N ¿ � ³J �» É

� � ³� N � � c � ³ � � ¶� � � � � � c N � � � � j�� � � � c MJ K � M ´� � µ N ± � � /B ûB � ( � Ñ � µ À ³ � � � ´N ��

�� K ± �À � � � M � O » � ± � N � � � � j� � � N ± �c J � � M N � � � ³ � K N � K N � � c � � c �À � �� M �O] ¼»Åc � � M �� N � � À À ³Ä � Å I � Ó ¹ L � N � � c MJ K � � � ¹ N � � � · N ± � � c À J N ´� �

� Å I � Óʹ L � � � � � � N � ´ � N � N � ¹ � K N � � c À � � � � N � ¶ � N ± �� Î � N ± N ± � K� � � � �À � c M� c ¶

� ¹ ¿ � ³J � � · � �À � � � �c N � M � � � � N � � ´ ´� K N �» Ï� � µ N ± � � � · � Å I � Óʹ L � � c MJ K � �� J � � c ¶ N ± � N � K ±c � Ò J � � � � � N K ± � M � c � � KN � � c  ( � � � ³� N � � c � ³ � � ¶� � � � � � c N � � �

� c Î ±� K ± N ± � À � � M� K N � � c � K� � � � �À � c M N � N ± � � �� ³ c J µ ¸ �� � M � ¹ ¿ � ³J � �»

` �} � } � x x� { x~ { { � |� | � � |� | yz� { } � �z { �z� � x~ � |~ � �� � � � |~ � � x� � x� | x~ � x � x� yz �{ x � �~ |�� x � � |~ � V Õ � � � � x | �x z } � x� � x� | x~ � x � x� yz � | � { } � x� }� |N x z y y x� � x� |�x~ � x � �z { � x� x � � } �z� z~ � { } � x� x z { x � y � � � x � x~ { { � x� { } { � x y x z� ~ |~ � x~ � |~ x � � � � x

� x� }� |N z { | }~ } �� z � { x� � x� | x~ � x � | � � |� | yz� { } }� � � }� ��� ! } � x � x� � { � x � x z � }~ � �}�

� x� }� |N |~ � z� x � | �x� x~ { � �x � x� }� |N x � x �z� � x � � � � � | � ~ }~ � |~ �� x� x~ { z y z~ � { �� ��z � { } � { z� { �� } � � �� z { � � z �z |~ x z � � { |� x � �� � x� | x~ � x � x� yz � |� z |� x � z {~ x� � z y

~ x {� }� � � � � | � �� | y y � }~ � x� � x � }� x � z� | � y � � � x~ � � } � x � � |~ � { � x x � | �x~ � x � }� x { �z ~

}~ � x �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ çå

¼ � ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� � � � � " � � � � � & � � � � � � ' � � � ' � � � � � � � � � � � # � � � � $ � % �

� � & � � � �

�� � � � � �&

�� � � � � � � � � & � �

�� � � � � � +

�� � � � � � � � � % � �

�� � � � � �& ! '

�� � � � � �& ! ( +

) �� � � & � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � & � � � � % !) �� � � + � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � � & � � % !) �� � � & ! ' � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � � % � � % !) �� � � & ! ( + �"!

]56 > -* *Ø �� x yz { | }~ z y� x �� x � � |}~ {� x x z~ � | { � x �� |� z y x~ { �� } y} �� � } �� z � � x~ x� z { x �

�� � � � � �� w � �� } � { � x x� z � � y x � |~ �z � y x �+ �

�� � ³ ³J � N � � N � N ± � � ¸� ¿ � c � N � � c � · K� c � � M �� N ± � �À � �� M � � ±� Î c � c Ï � ¶¹

J � � ÿ» � ± � � Ñ � µ À ³ � � ´� � � Å I � Óʹ L � ¶ �c �� � N � M ¸Ä N ± � L L I � ³ ¶� � � N ±µ

� � � ¶�¿ �c � c �� ¸ ³ � Å �» � ± � K� � � � �À � c M� c ¶ � � ³� N � � c � ³ � � ¶� � � � � � c N � � �

� c MJ K � M ¸Ä � Å I � Ó ¹ L � ´� � µ N ± � � � � Ñ � µ À ³ � � · J � � c ¶ N ± � ¸� K � ¶� � J c M

�c � Î ³ � M ¶ � ³� � N � M � c ÉÀ À �c M� Ñ � · � � � ±� Î c � c Ï � ¶J � � » � ±� � N � � � � �

� ³� ¶� K� ³ � � ¶� � � � � � c N � � � � � M � � K� � ¸ � M � c � � K N � � c » � ± �� � � � � c � � ³� ¶ ±N

M� � �� �c K �Î � N ± N ± � N � � � � � c N � � MJ K � M � c � � K N � � c  � c M N ±� � � � N ± � J � � � ´

�z � y x � + � �� z � � y x � �}� � � � � �� w � � x~ x� z { x � �� } � { � x � y } � � �� � }� y �

� � y x z� ~ |~ � x� | � } � x |~ , | �� � x � �

-à./ é Ûß ç -à./ é Ûß æ -à./ é Ûß M -à./ é Ûß â

01. Û2 ß 3 ä Ü ) ç 4 Ü 01. Û 2 ß 3 ä Ü 4 Ü 01. Û2 ß 3 ç Ü ä 4 Ü 01. Û2 ß 3 ä Ü ä 4 Ü/5 1 ß 367 8 Û5 5 Ú 4 Ü /5 1 ß 39:7 6 4 Ü /5 1 ß 3. 7 9 4 Ü /5 1 ß 3. 7 8 Û5 5 Ú 4 Ü;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü6 Ûß. Ú 36 4 Ü 6 Ûß. Ú 39 4 Ü 6 Ûß. Ú 3. 4 Ü 6 Ûß. Ú 3. 4 Ü5 < 367 9 4 Ü 6 Ûß. Ú 36 4 Ü 6 Ûß. Ú 39 4 Ü 5 < 3. 7 9 4 Ü5 < 39:7 . 4 Ü 5 < 39:7 . 4 Ü 5 < 39:7 6 4 Ü 5 < 39:7 6 4 Ü5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 367 8 Û5 5 Ú 4 Ü5 < 36 7 8 Û5 5 Ú 4 Ü 5 < 367 8 Û5 5 Ú 4 Ü

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç )

Page 10: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ¼½

) �� � � & � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � & � � � � % !) �� � � + � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � # � � � � & � � � � % !) �� � � & ! �� ' � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � # " � � $ � � � � � # " � � % � � � � � � � � % !) �� � � & ! ( + � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � ) % � & � � % !) �� � � & ! ( + � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � ) % � � � � % !) �� � � & ! ( + � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � ' � � & � � � � % !) �� � � & ! ' � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � # " � � $ � � � � � � � � � � $ � & � � % !) �� � � & ! ( + � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � # " � � $ � � � � � � � � % !) �� � � & ! ' � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � � � � � % !) �� � � & ! ' � !

]56 > -* `Ø �~ }� { |� z y � � {� x x � x~ x� z { x � �� � � w w� |~ { � x { �� x x � y } � �� � }� y ��

N ± � � � � N � ´ N ± � N � � �» � ± � � � � N � ´ N ± � N � � � � c � ³ ³ M � K� � � � c N � � � � � ±� Î c ¸ � ³� Î

K� c N � � c � � Ò J �� Ä N ±� N � J K K � � M � � c � ³ ³ � Ñ � µ À ³ � �» � ± � � �� � � c ´� � ±� ¿ � c ¶

� � � � N � � N ±� N N ±� � � ³ ³� Î � N � ¸� c M N ± � � � ³ �¿ � c N ¿ � � � � ¸ ³ � � � � c N ±� � K� � � N ± �

¶� � ³ú· À � � � � ¸ ³Ä N ± � c J µ ¸ �� � ´ ¸ ³� K � � · � c M N ± � � K N � � c J c M �� K� c � � M �� � N � � c (»

� � K� J � � N ± � � � � N Ò J �� Ä � J K K � � M � ´� � � ³ ³ � Ñ � µ À ³ � � � N � � À � � À � ¶� N � M N � � ³ ³

c � M � � � c N ± � M � K� � � � c N � � � �» ÏJ � N ± �� µ � � � � N � À À �� � � � c � ³ ³ Æ � � ³� ¶ K ³� J � � �

M �� �¿ � M ´� � µ N ± � M � K� � � � c N � � � �»

�� ²c M N ± � � ¹ ¿ � ³J � K� � � � �À � c M� c ¶ N � � � N � N � ¹ � K N � � c À � � � · � c � ±� �

N � K� c � N � J K N � Æ � � ³� ¶ �c � Î ³ � M ¶ � ¸� � � K� c N � � c � c ¶ N ± � Æ � � ³� ¶ À � � ¶� � µ� K� � � � �À � c M� c ¶ N � N ± � N � � � ( · � ³ ³ ´� K N � � c N ± � � N � N ��· N ± � � K N � � c · � c M N ± �

¶� � ³» LJ c c � c ¶ N ± � Ò J �� Ä � T �f� e S " 3 = 8 Î � ³ ³ N ± �c � � N J � c N ± � M � � � � � M � � ¹

� J ³N » Ó» ¶» · N ± � � ¹ N � � � � ¸� ¿ �Î � ³ ³ � � N J � c � � ¹ ¿ � ³J � � ´ � �� � ´� � � ³ ³ � KN � � c �

� ´ N ± � ¶� � ³ � � IJ � ��

� � c M� P 3 :5 8 ±� ³ M � � c N ± � � N � N � � ¶� � ³ � N � N � � � � �

� ¸ �� � ¸� c ¶ (» � c N ± � � N ± �� ±� c Mú· � ´ N ± � ¶� � ³ IJ � ��

� M� � � c � N Ä � N ±� ³ M

� c M � � � K ³ �� � · � ³ ³ � KN � � c � ¶ � N � ¿ � ³J � � ´ � c �»Ï � ¶J � � � ³� � N � N ± � Æ � � ³� ¶ � �Î � � N � � ´ � � ¹ N � � � N ±� N � � � À N � µ � ³ ´� � N ± �

N ±� � � ¸ ³� K � � Î � � ³ M � c M ±� � ¸ � �c � c MJ K � M ¸Ä � ¹ L L I � ´N �� ¼ = �À � �� M � �»

� ± � N � � � Î � � � c MJ K � M J � � c ¶ N ± � ¸� K � ¶� � J c M �c � Î ³ � M ¶ � ³� � N � M � c ÉÀ ¹

À �c M� Ñ �» � ± � � � N N � c ¶ � J � � M ´� � � Å I � Ó ¹ L � K� c ¸ � ´� J c M � c ÉÀ À �c M� ÑÈ» ÅN � � � µ À � � N � c N N � c � N � N ±� N N ± � � c M�¿ � MJ � ³ ¸ ³� K � � � � � c � N � � ´ �� � � M N �

� c N ± � N � � � � N � � ³ ´ M� � � KN ³Ä · ¸J N � c ³Ä N ±� � J ¶ ± N ± �¿ � � � � ¸ ³ � � � ´ N ± � ¶� � ³» � ±� �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ ç

ê = ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�z � y x + � � x z� ~ |~ � �� {� x x � �� } � � � {� x x � � | { � |~ { � x �� w w � z y �}� | { �� �

K¡ r bR |� V { }Ö ¢ ¡

K¡ r z y y z � { | }~ � M�� } � � | � y x |~ � { z { x Lc ¢ ¡

Y K � { z { x z � { |}~ � z |� �Lc Q M� � |� }� { |� z y z � � }� � |~ � { } OP�� _`q X� a � x~ x� z { x x� z � � y x �Lc Q M�Q � � � � x� x �R V

� Zp � � x~ x� z { x x� z � � y x �Lc Q M�Q � � � � x� x �R Ö

� � �z { x O� � � |~ � � � � � � { }� � } �� � x O� _` � � |~ � { � x � x x� z � � y x � �Lc Q M�Q � �

µ �� c � N ±� N N ± � N � � � � �À � � � �c N � N ± � � À N � µ � ³À � ³� K Ä c � N � c ³Ä ´� � � K ±� �¿ � c ¶

N ± � ¶� � ³ W, �ûB ü ( · ¸J N � ³ �� W, �üB ý ( � c M W, �ýB û (» � ±� � � � � c � � ´ N ± � µ � � � �

� M¿ � c N � ¶ � � � ´ J � � c ¶ � � � ³� N � � c � ³ � �À � � � �c N � N � � c ´� � � ¹ ³ �� � c � c ¶»

�» » �� � � G � � � � � � �� � � � �

Åc N ± � À � �¿ � � J � � � KN � � c � · Î � � ±� Î � M ±� Î N ± � � ¹ ´J c K N � � c K� J ³ M ¸ � � À ¹

À � � Ñ � µ � N � M ¸Ä � ¹ N � � � �» Åc N ±� � � � K N � � c · Î � � ±� Î ±� Î � c � À À � � Ñ � µ � N � � c

� ´ N ± � Æ ¹ ´J c K N � � c · K� ³ ³ � M N ± � Æ ¹ N � � � · K� c ¸ � � ¸ N � � c � M»

� c � � À À � � � K ± N � � À À � � Ñ � µ � N � c ¶ N ± � Æ ¹ ´J c K N � � c Î � J ³ M ¸ � N � M� � � K N ³Ä

� À À ³Ä N ± � M � ²c � N � � c � ´ N ± � Æ ¹ ´J c K N � � c � c N �� µ � � ´ N ± � � ¹ ´J c K N � � c · Î ± �� �

N ± � � ¹ ´J c K N � � c � c N ± � M � ²c � N � � c � � � �À ³� K � M ¸Ä N ± � � c MJ K � M � ¹ N � � � � �

� � � N K ± � M � c � � K N � � c ÿ» ÿ» `� Î �¿ �� · � � N ± � � ¹ ´J c K N � � c � � N Ä À � K� ³ ³ Ä µ � � �

K� µ À ³ � Ñ N ±� c N ± � Æ ¹ ´J c KN � � c · N ±� �Î � J ³ M ³ �� M N � � c J c c � K � � � � � � ³Ä K� µ ¹

À ³ � Ñ � c M � c M� � � K N M � ²c � N � � c � ´ N ± � Æ ¹ ´J c K N � � c » É � N ± � M � ²c � N � � c � � ´ ¸� N ±

Æ � c M �Î � ³ ³ ¸ � ³ �� � c � M � N µ � Ä Î � ³ ³ N J � c � J N �� � � �� � c M µ � � � � � � K N �¿ �

N � ³ �� � c Æ N ±� c N � ³ �� � c �» � ±� �Î � ³ ³ � c ³Ä ¸ � N ± � K� � �Î ± �c N ± � � c MJ K � M

Æ ¹ ´J c K N � � c M� � � c � N � � ´ �� N � N ± � � ¹ ´J c K N � � c » � ± � Æ ¹ ´J c K N � � c K� c ¸ �

� �À � � � �c N � M � � � ³� ¶� K� ³ M � K� � � � c N � � � · � Æ ¹ N � � � · N ±� N À � � M� K N � Î ± � N ± ��

N ± � � N � N � � KN � � c À � � � � � � À N � µ � ³ � Æ ¹ ¿ � ³J � � � ¼ ( � � c � c ¹ � À N � µ � ³ � Æ ¹ ¿ � ³J �

� � = (» � ± � Æ ¹ L L I � ³ ¶� � � N ±µ ³ �� � c � Æ ¹ N � � � � � c � M M� N � � c N � � ¹ N � � � �» ÅN � �

� M �c N � K� ³ N � N ± � � ¹ L L I � ³ ¶� � � N ±µ Î � N ± N ± � ´� ³ ³� Î � c ¶ NÎ � � Ñ K �À N � � c �� ¼ (

N � ³ �� � c N ± � Æ ¹ N � � � · N ± � K� M � � c �� ¸ ³ � � � � � M M � M � N N ± � �c M � ´ N ± � ¬ «

# «ª � ª ³� � À � c �� ¸ ³ � Å Å Å � c M ê ( N ± � Æ ¹ � Ñ À ³� � � N � � c � N � � N � ¶Ä � � M � ²c � M

¸Ä ÓÒ J � N � � c � ê ( � � J � � M N � � � ³ � K N � K N � � c �»É ³ ³ � N � N � ¹ � K N � � c À � � � � ´� � Î ±� K ± N ± � � N � N � Î � � �c K� J c N �� � M � c N ± �

³� � N �À � � � M � � � � K ³� � � � ² � M � � � À N � µ � ³ � � c � c ¹ � À N � µ � ³ � K K� � M� c ¶ N � N ± �

� c MJ K � M � ¹ N � � �» � ± � � � � J ³N � c ¶ � Ñ � µ À ³ � � � � � N ± �c ´ � M � c N � N ± � � Å I � Ó

� Ä � N �µ N ±� N Î � ³ ³ � c MJ K � � ³� ¶� K� ³ M � K� � � � c N � � �» � ± � � c ³Ä M� � �� �c K �

¸ � NÎ � �c � ³� ¶� K� ³ M � K� � � � c N � � � � c M � ³� ¶� K� ³ � � ¶� � � � � � c N � � � � � N ± �

� c ´� � µ � N � � c � c N ± � ³ �� ¿ � �» � ± � ³ �� ¿ � � � ´ � � ¶� � � � � � c N � � � � K� c N � � c � �� ³

c J µ ¸ �� � · Î ± �� �� � N ±� � � � ´ M � K� � � � c N � � � � K� c N � � c K ³� � � � �»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ ä

Page 11: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ê ¼

�z � y x + � � �� z � � y x � �}� y x z� ~ |~ � z �� {� x x �� � � � � � � x~ x� z { x � �� } � { � x� y } � ��� � }� y � � � y x z� ~ |~ � x� | � } �x |~ , | �� � x � �

-à./ é Ûß ç -à. / é Ûß æ � ç -à./ é Ûß æ �æ -à./ é Ûß æ � M

5 é Þ �/ . Û Ü 5 é Þ �/ . ÛÝÜ 5 é Þ �/ . ÛÝÜ <5 <5 é Þ �/ . ÛÝÜ/5 1 ß 367 8 Û5 5 Ú 4 Ü /5 1 ß 39:7 6 4 Ü /5 1 ß 39:7 8 Û5 5 Ú 4 Ü /5 1 ß 367 9 4 Ü;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü6 Ûß. Ú 36 4 Ü 6 Ûß. Ú 39 4 Ü 6 Ûß. Ú 39 4 Ü 6 Ûß. Ú 3 9 4 Ü5 < 367 9 4 Ü 6 Ûß. Ú 36 4 Ü 6 Ûß. Ú 36 4 Ü 6 Ûß. Ú 3 6 4 Ü5 < 39:7 . 4 Ü 5 < 39:7 . 4 Ü 5 < 39:7 . 4 Ü 5 < 39:7 . 4 Ü5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü5 < 36 7 8 Û5 5 Ú 4 Ü 5 < 367 8 Û5 5 Ú 4 Ü 5 < 367 8 Û5 5 Ú 4 Ü

-à./ é Ûß M � ç -à. / é Ûß M �æ -à./ é Ûß M � M -à./ é Ûß â

5 é Þ �/ . Û Ü <5 <5 é Þ �/ . ÛÝÜ 5 é Þ �/ . ÛÝÜ <5 <5 é Þ �/ . ÛÝÜ/5 1 ß 3. 7 9 4 Ü /5 1 ß 39:7 . 4 Ü /5 1 ß 39:7 8 Û5 5 Ú 4 Ü /5 1 ß 3. 7 8 Û5 5 Ú 4 Ü;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü ;5 . Û 35 < 3. 7 9 4 4 Ü6 Ûß. Ú 3. 4 Ü 6 Ûß. Ú 3. 4 Ü 6 Ûß. Ú 3. 4 Ü 6 Ûß. Ú 3. 4 Ü6 Ûß. Ú 39 4 Ü 6 Ûß. Ú 39 4 Ü 6 Ûß. Ú 39 4 Ü 5 < 3. 7 9 4 Ü5 < 39:7 6 4 Ü 5 < 39:7 6 4 Ü 5 < 39:7 6 4 Ü 5 < 39:7 6 4 Ü5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 3. 7 8 Û5 5 Ú 4 Ü 5 < 367 8 Û5 5 Ú 4 Ü

� ± � � c � N � � ³ N � � � � �� � � � � ¶c � ¿ � ³J � � c � N � � ³ ³ � N � N � ¹ � K N � � c À � � � �» Ï� � µ

�� K ± ¶� � ³ � N � N �V �c K� J c N �� � M · � c � Ñ � µ À ³ � �V · û · = ( � � ¶ �c �� � N � M ´� � �� K ±

� K N � � c û Î ±� � � À � � K� c M� N � � c � � � � � � N � � ² � M � cV » � ± � � � N � � c � ³ � ´� � N ±� � � �

N ±� N c � � �Î � � M K� c ¸ � � Ñ À � K N � M ´� � µ � À À ³Ä � c ¶ � c � K N � � c � c � c � ¸ � � � ¸ � c ¶

¶� � ³ � N � N � · ± �c K � c � � K N � � c � c � ¶� � ³ � N � N � � � � À N � µ � ³»Å ´Î � ³� � � ¸� K � � N N ± � � Ñ � µ À ³ � � � ´ Ï � ¶J � � ÿ · � c M � À À ³Ä N ± � Æ ¹ L L I

À � � N � ´ N ± � � ³ ¶� � � N ±µ · N ± � � Ñ � µ À ³ � � � c �� ¸ ³ � � Å Î � J ³ M ¸ � ¶ �c �� � N � M»

� ± � � � K� J ³ M N ± �c ¸ � ´ � M � c N � N ± � � Å I � Ó � Ä � N �µ N ±� N K� J ³ M N ± �c � c MJ K �

� ³� ¶� K� ³ M � K� � � � c N � � �»É Æ ¹ N � � � � c Æ � � ³� ¶ ´� � µ � N ¶ �c �� � N � M ¸Ä Æ ¹ L L I ´� � µ N ± � � Ñ � µ À ³ � �

� c �� ¸ ³ � � Å � � � ±� Î c � c Ï � ¶J � �¾ » � ± � � � µ � ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � �

J � � M � � ´� � � c MJ K� c ¶ � ¹ N � � � �» É ³N ±� J ¶ ± � c MJ K � M ´� � µ � c � �À � � � M � � c ³Ä ·N ±� � N � � � K� µ � � K ³� � � N � N ± � K� � � � K N � À N � µ � ³� N Ä N � � � ´� � N ±� � M� µ � � c » Å ´

N ± � ¶� � ³ � �� P 3 :5 8 � c M N ± �� � � � � ¸ ³� K � � ¸� ¿ � : �� U � f " 3 �5 : 8 ( � N � �

� À N � µ � ³ N � µ � ¿ � � � Î � Ä �� d O %� P R � f " 3 �5 � 8 (» � ± � � c ³Ä � Ñ K �À N � � c N �

N ±� � � � Î ± �c Î � µ � ¿ � � N � � N ±� � � Ñ K �À N � � c � � À � � ¿ � M � M ´� � ¸Ä N ± � ²� � N

K ³� J � � � ´ N ± � N � � � � c Ï � ¶J � � ËÌ· Î ±� K ± Î � � � c MJ K � M ¸Ä � Å I � Ó MJ � � c ¶

N ± � � Ñ À �� � µ �c N � M � � K� � ¸ � M � c � � K N � � c � � c M � � �Ò J �¿ � ³ �c N N � N ± � K� � � � K N

N � � �»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ ç

ê ê ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

Í� N � N ±� N Î ±� ³ �Î � ±� ¿ � K ±� � �c N � J � � N ± � ³� ¶� K� ³ M � K� � � � c � c M � � ¶� � � ¹

� � � c N � � � � c MJ K �� � � Å I � Ó � c M � Å I � Óʹ L � · � N ± �� � � ³� N � � c � ³ � � ¶� � � � � � c� b� � � ³� K � c M � � � N �� · ¼½ ½ Ëà b� � µ �� · ¼½ ½¾ ( � c M K ³� � � � ² K� N � � c � �J � c ¹³� c · ¼½ ½ = à b� � µ �� · ¼½ ½¾ ( � À À � � � K ± � � K� c ¸ � J � � M N � � c MJ K � � � ³� N � � c � ³

� �À � � � �c N � N � � c � � ´ � ¹ ´J c K N � � c � � c M À � ³� K� � � � c N ± � � ¹ L L I � c M Æ ¹ L L I

� ³ ¶� � � N ±µ �»

�¥ �� ª ¯ � ¨ © �

¾ » ¼» F � � % � � � � % � � � % % �

� ± � � Ñ À �� � µ �c N � M � � K� � ¸ � M � c N ±� � � � K N � � c Î � ³ ³ � N N �µ À N N � � c �Î �� � �¿ �� � ³

Ò J � � N � � c � � ¸� J N � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶» ° �Î � ³ ³ ´� KJ � � c N ± �

´� ³ ³� Î � c ¶ � c � � �

¼» Å � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � � K N �¿ � ´� � M� � �� �c N ¶� � ³ � �

ê» È� c Æ ¹ L L I � c M � ¹ L L I ³ �� � c � À N � µ � ³À � ³� K� � � ´� � � N � N � �À � K � �Î � N ±

� ² Ñ � M c J µ ¸ �� � ´ ¸ ³� K � � �

ÿ» È� c Æ ¹ L L I � c M � ¹ L L I ³ �� � c � À N � µ � ³À � ³� K� � � ´� � � N � N � �À � K � �Î � N ±

M� � �� �c N c J µ ¸ �� � � ´ ¸ ³� K � � �

» È� c Æ ¹ L L I � c M � ¹ L L I ³ �� � c ´� � µ � Ñ À �� � �c K � � c Î ±� K ± N ± � c J µ ¸ ��

� ´ ¸ ³� K � � � � ¿ � � � � M �

�» Å � Æ ¹ L L I N � ¸ � À � � ´ �� � � M � ¿ �� � ¹ L L I �

¾ » � c M �� Î ±� K ± K� c M� N � � c � M� � � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶

Î � � � �

� � � � � " � � � � � & � � � � � � ' � � � ' � � � � � � � � � � � # � � � � $ � % �

� ' � � $ � & � �

�� � � � � � � � # � �

�� � � � � � � � # � � � � & � � � �

�� � � � � � � � # � �

�� � � � � � � � � � � # � �

]56 > -* �Ø � �� {� x x �}� { � x { �� x x � y } � � � � }� y � � x~ x� z { x � �� } � { � x x� z � � y x � |~

�z � y x + � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ æ

Page 12: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ê ÿ

� � � � � � # � � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � ' � � $ � & � � ) % � � � � % !

� � � # � � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � ' � � $ � & � � % !

� � � # � � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � # � � � � & � � � � % !

� � � � � � # � � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � � % � � � � � � � � � % !

� � � � � � # � � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � � % � � � � & � � � � % !

� � � # � � �� " � � � � � & � � � � � � ' � � � ' � � � � � � � �

� � � # � � � � $ � % � � � � � � % � � % !

� � � � � � # � �!

]56 > -* ^Ø �~ }� { |� z y �� {� x x � x~ x� z { x � �� �� w w� |~ { � x { �� x x � y } � � � � }� y ��

¾ » ê» �_ K � � � � � �� � � % � � � K

° � À �� ´� � µ � M NÎ � M� � �� �c N � � N � � ´ � Ñ À �� � µ �c N �» Åc N ± � ²� � N � � N � ´

� Ñ À �� � µ �c N � · N ± � À � ³� K� � � Î �� � ³ �� � c � M ´� � µ � N � N � �À � K � � � c Î ±� K ± N ± �

c J µ ¸ �� � ´ ¸ ³� K � �Î � � ± � ³ M K� c � N � c N · K ´» � � K N � � c ¾ » ÿ» Åc N ± � � � K� c M � � N � ´

� Ñ À �� � µ �c N � · M� � KJ � � � M � c � � K N � � c ¾ »  · Î � ¿ � � � � M N ± � c J µ ¸ �� � ´ ¸ ³� K � �

Î ±� ³ � ³ �� � c � c ¶»Åc ¸� N ± � � N � � ´ � Ñ À �� � µ �c N � Î � N � � � M � J N M� � �� �c N ¶� � ³ � � J K ± � �

� N � K �� c ¶�· J c � N � K �� c ¶ � c M W, �ûB ü ( � K ´» � � K N � � c ¾ » ê» ¼ ´� � � M� � KJ � � � � c � c

N ± � ¶� � ³ � À J � � J � M ( � c M J � � M N ± � ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � c M À � � � µ � N ��

� � N N � c ¶ � M� � KJ � � � M � c � � K N � � c ¾ » ê» ê · � Ñ K �À N ´� � N ± � � Ñ À �� � µ �c N � M � � K� � ¸ � M

� c � � K N � � c ¾ » ¾ »

¾ » ê» ¼» �D G � � � � D GF � & �

� ± � ´� ³ ³� Î � c ¶ ¶� � ³ � � c N ± � ¸ ³� K � L � Î � � ³ MÎ �� � À J � � J � M �

� N � K � � ¶� � ³ � �� K ± � M � ´ � ³ ³ ¸ ³� K � � � � � � c � c � � N � K �� � T P � O 3� P 3 :5 Q e� � # 85 � P 3 5 Q e� � # 85 P� O : ( 8 � c Æ � � ³� ¶ (

W, �ûB ü ( � ¶� � ³ � �� K ± � M � ´ ¸ ³� K � û � � � c ¸ ³� K � ü

J c � N � K � � ¶� � ³ � �� K ± � M � ´ � ³ ³ ¸ ³� K � � � � � � c N ± � �� � �� � T P � O 3� P 3 :5 85 P � O ( Q e� � # 8 (

Æ � � ³� ¶ K� M � �À � K� ´Ä � c ¶ N ± � � À N � µ � ³ À � ³� K� � � ´� � � K ±� �¿ � c ¶ N ± � � � ¶� � ³ �

� � ¶�¿ �c � c �� ¸ ³ � � Å Å» � ± � � À N � µ � ³À � ³� K Ä ´� � J c � N � K �� c ¶ � � N ± � � � µ À ³ � � N �

µ � ¿ � c ¶ � c Ä ¸ ³� K � � N ±� N � � c � N � ³� �� MÄ � c N ± � �� � � ( N � N ± � �� � � � �

� À N � µ � ³» � ± � À � ³� K Ä ´� � � N � K �� c ¶ � � � ¸� N µ � � � K� µ À ³ � Ñ � µ � ¿ � c ¶ � ¸ ³� K �

N � N ± � ±� ¶ ± � � N � N � K � � � � À N � µ � ³» � ± � À � ³� K Ä ´� � � K ±� �¿ � c ¶ W, �ûB ü ( � � N ± �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ M

ê Â ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�z � y x + � � � �� { |� z y� } y | � | x � �}� { �� x x �} z y � |~ { � x � y } � � � � }� y ��

5 é Þ �/ . Û 3 2 <� Þ. 6 �7/5 1 ß 3�:7 8 Û5 5 Ú 4 4è �5 < 3�:7 � 47� �� 8 Û5 5 ÚÜ

5 é Þ �/ . Û 3 � Þ. 6 �7/5 1 ß 3�:7 � 4 4è �

ß � ; Þ 3 �7 � 47<5 Þ 3 ß � ; Þ 3�:7 � 47 � � � 4 Ü

5 é Þ �/ . Û 35 <. 9:7/5 1 ß 3�:7 � 4 4è �;5 . Û 35 < 3�:7 � 4 4 Ü5 é Þ �/ . Û 35 <. 9:7/5 1 ß 3 :7 � 4 4è �;5 . Û 35 < 3�:7 � 4 47. 95 1 ß 3 :7 � 47 <5 Þ. 95 1 ß 3 �7 � 4 Ü5 é Þ �/ . Û 35 <. 9:7/5 1 ß 3 :7 � 4 4è �;5 . Û 35 < 3�:7 � 4 47. 95 1 ß 3 :7 � 47 <5 Þ. 95 1 ß 3 �7 � 4 Ü

�z � y x + � � �� �� � � x� } � � { z { x � z ~ �~ � � � x� } �� x z � �z � y x � } z y � { z { x � �}� { �� x x

�} z y � z~ � � | �x� x~ {~ � � � x� � } � � y } � � � �

� } � } � � y } � � � � } � } � � { z { x � w �� � { z � � w �� }~ � z � � � w �� � ~ � { z � �

� V � � Õ V

� � � Õ � � V

� �Ö V VÕÖ � � V

� �Ö � V �ÕÖ ÕÖ V

� � � � � � �Ö �Ö V � � � V

� � � � � � �Ö �ÕÖ V � �Õ � V � � � � � � � �Õ � �Ö V �Ö Õ Õ V

VÖ � � � VÖ V � �Õ � �Ö Ö V � � V �Õ V

µ � � N K� µ À ³ � Ñ � � ´À � � � � ¸ ³ � · û � ±� J ³ M ¸ � µ � ¿ � M N � ü à � N ± �� Î � � � · � ¸ ³� K �

� ¸� ¿ � û � � ü � ±� J ³ M ¸ � µ � ¿ � M � Î � Ä � ¸J N c � N N � N ± � � N � K �Î ± �� � ü � � û

� � � (»� ± � � ¸� ¿ � � � M �� � c ¶ � ´ N ± � N ±� � � ¶� � ³ � � ³ �� K� � � � �À � c M � N � N ± � c J µ ¸ ��

� ´ � �� K ±� ¸ ³ � ¶� � ³ � N � N � � · � c M � K� �� � � c ¶ � � M �� » É � �� K ±� ¸ ³ � ¶� � ³ � N � N � � � �

¶� � ³ � N � N � �Î ± �� � N ± � ¶� � ³ � � � � N � � ² � M ( � c MÎ ±� K ± K� c ¸ � � �� K ± � M ´� � µ

� c � c ¹ ¶� � ³ � N � N � � c � � � c ¶ ³ � � N �À � ¸Ä � À À ³Ä � c ¶ � c � � K N � � c (» Ï� � N ± � ¶� � ³

� P 3� 5 U 8 · �» ¶» · N ± � � N � N � / A 2 Pý T O û ( �û (B W, �ûB ü (B W , �üB ý (B W, �ýB S T W W ( ( U � �

� � �� K ±� ¸ ³ � ¶� � ³ � N � N � · Î ±� ³ � / � 2 Pý T O û ( �ý (B W, �ýB û (B W, �ûB ü (BW, �üB S T W W ( ( U � � c � N � � �� K ±� ¸ ³ � ¶� � ³ � N � N �»Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ â

Page 13: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ê �

Ï� � N ± � J c � N � K � ¶� � ³ � c M � ²Ñ � M c J µ ¸ �� � ´ ¸ ³� K � � N ± �� � � � � c ³Ä � � � c ¹

¶ ³ � � N � N � N ±� N � � N � � ² � � N ± � ¶� � ³» Ï� � N ± � � N � K � ¶� � ³ú· ¶�¿ �c , ¸ ³� K � � N ± �� �

� � � , � ¶� � ³ � N � N � �» � ± � c J µ ¸ �� � ´À � � � � ¸ ³ � � N � N � � � c K� �� � � � � Ñ À � c �c N � � ³ ³Ä

Î � N ± N ± � c J µ ¸ �� � ´ ¸ ³� K � �» � ±� � � � � J µ µ � � � � � M � c �� ¸ ³ � � Å Å Å»

� c � À � � c N N ±� N � ±� J ³ M ¸ � K ³ �� � ´� � µ N ±� � N � ¸ ³ � � � N ±� N ´� � �� µ � � ´

N ± � ¶� � ³ � � �» ¶» · J c � N � K �� c ¶ Î � N ± ¼ = ¸ ³� K � � ( N ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶

� ³ ¶� � � N ±µ M � � K� � ¸ � M � c � � K N � � c ÿ» ê � � � c � À À ³� K� ¸ ³ �� N ± � À � � ¸� ¸� ³� N Ä � ´

� �� K ±� c ¶ N ± � ¶� � ³ � N � N � ¸Ä � � c M� µ � Ñ À ³� � � N � � c � � � Ñ N � �µ � ³Ä ³� Î � ¶�¿ �c

� c ³Ä ¼ ¶� � ³ � N � N � � c � � ½  ¼ =½ ¼ (» Éc � N ± �� À � � c N N ±� N N ±� � N � ¸ ³ � M �µ � c ¹

� N � � N � � � � N ± � M� � KJ ³N Ä � ´ ³ �� � c � c ¶ À � ³� K� � � � c N ± � ¸ ³� K � � Î � � ³ M» � � �À � N �

N ± � ´� KN N ±� N N ± � ¸ ³� K � �Î � � ³ M � � � c � � N � ² K� � ³ N � Ä M� µ � � c · À � ³� K Ä ³ �� � c � c ¶

K� c ¸ � K� µ � ¿ �� Ä K� µ À ³ � Ñ MJ � N � N ± � ³� � ¶ � c J µ ¸ �� � ´À � � � � ¸ ³ � � N � N � �»Í� N � � ³ �� N ±� N ´� � J c � N � K � · N ± � c J µ ¸ �� � ´À � � � � ¸ ³ � � K N � � c � � c K� �� � � �

� � � c � ¶ � N � K ³� � �� N � N ± � ¶� � ³ � N � N � �� � c � � N �À � Î � Ä ´� � µ N ± � ¶� � ³ � N � N �

N ± �� � � � � � , ¼ ( � , ê (] ¼ À � � � � ¸ ³ � � KN � � c �» Ï� � � N � K � · � c N ± � � N ± ��

±� c Mú· N ± �� � � � � � c ³Ä N Î � À � � � � ¸ ³ � � K N � � c � � ´Î � � � � � c � � N �À � Î � Ä ´� � µ

� ¶� � ³ � N � N �»

¾ » ê» ê» � F � & �C I �J ' &J I � ED ' �D FJ ' � F C F �D GD C �

� ± � ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � c M N ± � � � N N � c ¶ � J � � M ¸Ä � Å I � Óʹ L � � c M

� Å I � Ó � � � ³� � N � M � c ÉÀ À �c M� Ñ � � c M È» ÅN � c K ³J M � � N ± � À � � M� K� N � �

� U � f " 3 :5 8 � ¸ ³� K � É � � � ¸� ¿ � ¸ ³� K � � · N � � c � � N �¿ � K ³� � J � � � ´ N ± � � � ³� N � � c

� P 3 :5 8 85 " � 3 :5 8 � �Ò J � ³� N Ä · : ( ( · < " %V < O 3 :5 8 � N ± � ± �� ¶ ±N � ´ ¸ ³� K �

: � � ( · P SR U "# � Q U e� d $� 3 � 85 P SR U "# � Q � O� d $� 3� 8 � c M % Q Q 34 5 75 � 8

� � J ¸ N � � K N � � c · � (4 T 7 (» � ± � � � µ � ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � � J � � M ´� � ¸� N ±

� Å I � Ó � c M � Å I � Ó ¹ L �» � ± �� � � � � � ³� ¶ ±N M� � �� �c K � � c N ± � � � N N � c ¶ ��

Î ± �c ³ �� � c � c ¶ À � ³� K� � � · � Å I � Ó � � c � N � ³ ³� Î � M N � J � � K� c � N � c N � ´� � N ± �

± �� ¶ ±N � � ´ � N � K � � � c M N ± � c J µ ¸ �� � ´ � N � K � �» Ó» ¶» · � N K� c K� µ À � � � N ± �

± �� ¶ ±N � � ´ NÎ � � N � K � � � c � � M � M ´� � N ± � � N � K �� c ¶ À � ³� K Ä ( · ¸J N K� c c � N

K ± � K � M� � � K N ³Ä � ´ N ± �� � � � � � N � K � � ´ ± �� ¶ ±N » � ± � � � µ � ¸� K � ¶� � J c M

�c � Î ³ � M ¶ � � c M � � N N � c ¶ � � � � J � � M ´� � N ± � N ±� � � À � � ¸ ³ �µ � · Î � N ± N ± � � c ³Ä

M� � �� �c K � � ´ À ³� K� c ¶ N ± � K� � � � �À � c M� c ¶ ¶� � ³ ³� N �� � ³ � c N ± � � � � N � ´ N ± �

N � � � �V � � e� P 3 :5 8 ´� � W, �ûB ü ( · V � � e � O� d $ ´� � � N � K � · V � � e SP � O� d $

´� � J c � N � K � (»Åc N ± � ´� ³ ³� Î � c ¶ � � K N � � c � · Î � M � � K� � ¸ � � Ñ À �� � µ �c N � Î � N ± N ± � Æ ¹ L L I

� ³ ¶� � � N ±µ · Î ±� K ± � J ¸ � J µ � � N ± � � ¹ L L I � ³ ¶� � � N ±µ » � ± � Æ ¹ � Ñ À ³� � � N � � c

À � ³� K Ä Î � � J � � M N ±� � J ¶ ±� J N » � ± � � N � � N � c ¶ N �µ À �� � N J � � Î � � � � N N � � � c

ÓÒ J � N � � c � ê (»

¾ » ÿ» �� _ � �� �� � � � � � � � �� % � � � � � � � �� �� � �

� J � ²� � N � � N � ´ � Ñ À �� � µ �c N � � c ¿ � � N � ¶� N � � Î ± � N ± �� � � ³� N � � c � ³ � �� c ´� � K � ¹

µ �c N ³ �� � c � c ¶ K� c ²c M � À N � µ � ³ À � ³� K� � � ´� � N ± � N ±� � � ¶� � ³ � µ �c N � � c � M

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ @

ê¾ ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�z � y x �� � � � �� � z � � } � { � x � z ~ �} � � } y | � � �

M � Û5 6 �� â � Û5 6 �� @ � Û5 6 ��

� Þ. 6 � � < ; âæ Ü Må Ü k Mæ Ü æ

� <� Þ. 6 � � < ; k kÜå @ @ÝÜ ç â Ü ä

� < 3. 7 9 4 k ç Üå @ @ÝÜ k @ä Ü

� ¸� ¿ � Î ± �c � � �À � c ¶ N ± � c J µ ¸ �� � ´ ¸ ³� K � � ²Ñ � M MJ � � c ¶ ³ �� � c � c ¶» � ± �

³ �� � c � M À � ³� K� � � K� c N ± �c ¸ � �¿ � ³J � N � M � c N Î � Î � Ä � M �À �c M� c ¶ � c

Î ± � N ± �� N ± � c J µ ¸ �� � ´ ¸ ³� K � � � � ² Ñ � M MJ � � c ¶ �¿ � ³J � N � � c � � c � N »

¾ » ÿ» ¼» � F E � F G HJ � ED F C J D ' � I E H � HD � IJ �D 'J � � �D C I � � EI � & �

� ±� � � ³ �� � c � c ¶ � Ñ À �� � µ �c N � Î �� � K� c MJ K N � M ´� � �� K ± ¶� � ³ú· � c � Î � N ± ÿ ·� c � Î � N ±  � c M � c � Î � N ± � ¸ ³� K � �» °� N ±� c �� K ± � K �c � � � � · � � J c � � ´ ÿ =

�À � � � M � � �� K ± � ´ N ± � Æ ¹ L L I � ³ ¶� � � N ±µ Î �� � À �� ´� � µ � M» � ± � Ò J � ³� N Ä

K� � N �� � � M � � K� � ¸ � M ¸ � ³� Î Î �� � � � K� � M � M � ´N �� �� K ± �À � �� M � � c M � ¿ �� � ¶ � M

� ¿ �� N ± � ²¿ � � J c � · �» ¶» · � ¿ �� N ± � ²� � N �À � � � M � � ´ �� K ± � J c · � ¿ �� N ± �

� � K� c M �À � � � M � · � N K» ÅN � � N ± � � � � ¿ �� � ¶ � � N ±� N � � � M �À � K N � M � c N ± � ¶� � À ± �

� c N ± � ² ¶J � � � ¸ � ³� Î »Ï� � �� K ± � ´ N ± � N ±� � � N � � � � � c M �� K ± c J µ ¸ �� � ´ ¸ ³� K � � · N ± � ³ �� � c � M

À � ³� K� � �Î �� � �¿ � ³J � N � M � c N ± � � � µ � c J µ ¸ �� � ´ ¸ ³� K � � � � � µ � � N � N � �À � K � (

N ± � Ä Î �� � ³ �� � c � M � c » �Î � M� � �� �c N Ò J � ³� N Ä K� � N �� � � Î �� � � À À ³� � Mú· Î ±� K ±

� � � ´ �� � � ¸ ³ � N � K� ³ KJ ³� N � ´� � �µ � ³ ³ c J µ ¸ �� � � ´ ¸ ³� K � �»

� ± � ²� � N � � N ± � L� � N Á �� c � Ò J � � � � LÁ � ( � ´ N ± � �� � � � ¸ � NÎ � �c N ± �

¿ � ³J � ´J c K N � � c M � ²c � M ¸Ä N ± � ³ �� � c � M � ¹ ´J c K N � � c � c M N ± � � À N � µ � ³¿ � ³J �

´J c K N � � c » � ± � � � K� c M � � N ± � � K KJ � � K Ä � ´ N ± � À � ³� K Ä � �À � � � �c N � M ¸Ä N ± �

³ �� � c � M � ¹ ´J c K N � � c » � ± � � K KJ � � K Ä � � M � ²c � M � � N ± � À �� K �c N � ¶ � � ´ � N � N �

� K N � � c À � � � � N ±� N � � � K� � � � K N ³Ä K ³� � � � ² � M � � � À N � µ � ³ � � c � c ¹ � À N � µ � ³ ¸Ä

J � � c ¶ N ± � ³ �� � c � M � ¹ ´J c K N � � c » Ï� � � � ´ �� �c K � · N ± � � K KJ � � K Ä � ´ N ± � � � c M� µ

À � ³� K Ä � N ±� N � � ³ � K N � � c � À À ³� K� ¸ ³ � � K N � � c � N � � c M� µ ( � � ¶�¿ �c � c �� ¸ ³ � Å »

� ± � ³ �� � c � c ¶ KJ � ¿ � � ´� � N ± � LÁ � �� � � � � c M N ± � À � ³� K Ä � K KJ � � K Ä � � �

M �À � KN � M � c Ï � ¶J � � �» Ï� � N ± � ³� N N �� · � N � c M� � M M �¿ � � N � � c � � � � � ³ �� ¶�¿ �c »

� ± � � � � � � J ³N � K ³ �� � ³Ä � ±� Î ¼ ( N ±� N � À N � µ � ³ � � K ³� � � N � � À N � µ � ³ À � ³� K� � �

� � � � � À � M ³Ä ³ �� � c � M � c N ± � K� � � � ´ � N � K �� c ¶ � c M J c � N � K �� c ¶Ã � c M ê ( N ±� N

N ± � M� � KJ ³N Ä � ´ N ± � ³ �� � c � c ¶ N � � � � c K� �� � � � � c M N ± � À �� ´� � µ � c K � � ´

N ± � ³ �� � c �� M � K� �� � � � Î � N ± N ± � c J µ ¸ �� � ´ ¸ ³� K � � � �» ¶» · ´� � � N � K � � c M

� �À � K� � ³ ³Ä W, �ûB ü ( Î � N ± � ¸ ³� K � � (»

� c � � µ À � � N � c N À � � c N � ¸� J N � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � N ±� N

´� � N ± � ¶� � ³ W, �ûB ü ( N ± � � � � J ³N � � �µ � � c � Ñ � K N ³Ä N ± � � � µ �Î ± �c N ± � ¶� � ³

� � ¿ � � � � M N � � � Ä W, �ýB þ (» � ±� � � � ¸ � K� J � � N ± � Æ ¹ � c M � ¹ N � � � � � ¸ � N � � K N

� Î � Ä N ± � c � µ � � ´ N ± � ¸ ³� K � � ¸Ä J � � c ¶ ¿ � � � � ¸ ³ � �»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ k

Page 14: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ê Ë

]56 > -* _ Ø � x z� ~ |~ � �� � � x � �}� { �� x x � | �x� x~ { �} z y � |~ { � x � y } � � � � }� y ��� � � x w� � } �

{ � x x� � }� � x {� x x~ { � x }� { |� z y z~ � y x z� ~ x � � z y� x �� ~ � { | }~ z~ � { � x z � �� � z � � } � { � xy x z� ~ x �� } y | � � z� x � x z �� � x �� ,}� { � x yz { { x� � � { z~ �z� � � x � |z { | }~ � z� x z y� } � |� x~ �

¾ » ÿ» ê» � F E � F G HJ � ED F C J D ' � I E H � HD � IJ F C � HJ �J � � �D C I � � EI � & �É � N ± � c J µ ¸ �� � ´ ¸ ³� K � � � c K� �� � � � · N ± � c J µ ¸ �� � ´ � N � N � � � c N ± � ¸ ³� K � �

Î � � ³ M � c K� �� � � � ¿ �� Ä ´� � N � K ´» �� ¸ ³ � � Å Å Å ( � c M � N ¸ � K� µ � � � µ À � � K N � K� ³

N � K� ³ KJ ³� N � N ± � LÁ � � ´ N ± � ¿ � ³J � ´J c K N � � c � c M N ± � À � ³� K Ä � K KJ � � K Ä

� ¿ �� N ± � �c N � � � � N � N � �À � K �» ° � N ±J � N � � � � � � c M� µ � � µ À ³ � � ´ � N � N � �»Ó Ñ À ³� � N � c ¶ N ± � ³ �� � c � MÀ � ³� K Ä · Î � � N � � N � c �� K ± � ´ N ± � � � ³ � KN � M � N � N � � � c M

¶ �c �� � N � � À ³� c ´� � � K ±� �¿ � c ¶ N ± � � � ³ � K N � M ¶� � ³ ¸Ä K ±� � � � c ¶ � c � À N � µ � ³

� K N � � c À � � À � � � M ¸Ä N ± � À � ³� K Ä » É À ³� c ¶ �c �� � N � M � c N ±� � ´� � ±� � c � � � À ¹N � µ � ³ � ´ � N ±� � N ± � � � µ � c J µ ¸ �� � ´ � K N � � c � � � � À ³� c ¶ �c �� � N � M ´� � N ± �

� � µ � � N � � N � c ¶ � N � N � � c M ¶� � ³ ¸Ä J � � c ¶ N ± � � À N � µ � ³À � ³� K Ä � � � � �� ¸ ³ � � Å Å (»

� ± � Ò J � ³� N Ä µ �� � J � � N ±� N Î � K� c � � M �� ± �� � � � � À N � µ � ³� N Ä · M � ²c � M � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æå

ê � ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

N ± � À �� K �c N � ¶ � � ´ � N � N � � � c N ± � � � µ À ³ � ´� � Î ±� K ± � c � À N � µ � ³ À ³� c � �

¶ �c �� � N � M»�� � � N � µ � N � N ± � � À N � µ � ³� N Ä · Î � � � c M� µ ³Ä ¶ �c �� � N � M ÿ � � µ À ³ � � � ´ ¼ �¾

� N � N � � · � c � ´� � �� K ± ¶� � ³ú· Î ± �� � � N � N � � K� J ³ M ±� ¿ � ÿ N � ¼ = ¸ ³� K � �» ° �

N � � � ÿ � , � N � N � � Î � N ± , ¸ ³� K � �Î ± �� � N ± � ¶� � ³À J � � J � MÎ � � c � N � � N � � ² � M»° � N ±J � N � � � ÿ� ÿ2 ½ � N � N � � Î � N ± ÿ ¸ ³� K � � · ¼ ê � N � N � � Î � N ±  ¸ ³� K � � · » » » ·� c M ÿ = � N � N � � Î � N ± ¼ = ¸ ³� K � � · � N � N � ³ � ´ ¼ �¾ � N � N � �»° � �Ñ À ³� � N � M N ± � À � ³� K� � � � �À � � � �c N � M ¸Ä N ± � � ¹ � c M Æ ¹ ´J c K N � � c � � � � ¹´ �� � � M N � � � � ¹ À � ³� K� � � � c M Æ ¹ À � ³� K� � � ( ³ �� � c � M ¸Ä N ± � Æ ¹ L L I � ³ ¶� � � N ±µ

� c N ± � À � �¿ � � J � � J ¸ � � K N � � c » � ± � À � ³� K� � � Î �� � N � � N � M � c N ± � � � N � ´ ¼ �¾

� N � N � � � À À � � À � � � N � ´� � N ± � � � ³ � K N � M ¶� � ³ � c M N ± � � K KJ � � K Ä Î � � � � K� � M � M

� � N ± �À �� K �c N � ¶ � � ´ � N � N � � � c Î ±� K ± N ± � ¶� � ³Î � � � �� K ± � M � c N ± � � À N � µ � ³

c J µ ¸ �� � ´ � N �À �» É � � c N ± � � J ¸ � � K N � � c � ¸� ¿ � · N ± � � � � J ³N �Î �� � � ¿ �� � ¶ � M

� ¿ �� N ± � � � J c �» � ± � ³ �� � c � c ¶ KJ � ¿ � � ´� � N ± � � ¹ À � ³� K� � � � c M Æ ¹ À � ³� K� � �

� � � ¶�¿ �c � c Ï � ¶J � � ½ »Ï� � µ N ±� � ² ¶J � � · Î � K� c K� c K ³J M � N ±� N �

¼» Í� N � ²� � N N ±� N ¸� N ± N ± � � ¹ À � ³� K� � � � c M N ± � Æ ¹ À � ³� K� � � N � � N � M ± �� �

À �� ´� � µ Î � ³ ³ � c N ± � � N � N � �À � K � �Î ± �� � N ± � Ä Î �� � ³ �� � c � M �Î � N ± ²Ñ � M

c J µ ¸ �� � ´ ¸ ³� K � � ¹ ÿ · ÂÌ· � � � · K ´» Ï � ¶J � � � (» ` �� �Î � � � � N � � N � c ¶ N ± �µ

� c � c �Î · µ J K ± ³� � ¶ �� � N � N � �À � K � N ±� c N ± � � c � N ± � Ä Î �� � N � � � c � M

� c � c M � N � � c � N J � � ³ N ±� N N ± � Ä Î � ³ ³ À �� ´� � µ Î � � � �»

ê» ° ± �c ³ �� � c � c ¶ ´� � µ ÿ ¸ ³� K � � · N ± � � ¹ À � ³� K� � � � � À � M ³Ä K� c ¿ �� ¶ � N �

N ±� � � � À N � µ � ³ ´� � ÿ ¹ ¸ ³� K � � N � N � � � c M � �� K ± � À ³� N �� J � ¸ � NÎ � �c ê = �

� c M  = � ( � ´ � À N � µ � ³� N Ä » � ± � � �� � � c ´� � N ±� � ³� Î À �� ´� � µ � c K � � � N ±� N

N ± � � ¹ ¿ � ³J � � ¸� � � K� ³ ³Ä �c K� M � N ± � c J µ ¸ �� � ´ � N �À � ´� � µ N ± � ¶� � ³

Î ± �c � Ñ � KJ N � c ¶ N ± � �À � K� ² � M � K N � � c � c N ± � ¶�¿ �c � N � N �» � ± � � � c J µ ¹¸ �� � M �À �c M ¹ � ´ K� J � � � ¹ � c N ± � c J µ ¸ �� � ´ ¸ ³� K � �» ° ± �c ³ �� � c � c ¶

´� � µ  � c M � ¸ ³� K � � · � À N � µ � ³� N Ä � µ À � � ¿ � � � � N ± � c J µ ¸ �� � ´ �À � � � M � �

� c K� �� � � � · � ³ ¸ �� N � ³� Î ³Ä · � c M � �� K ± � � � � � J c M¾ = �» � ± � c � N � ¸ ³ � � Ñ ¹

K �À N � � c � � ³ �� � c � c ¶ � N � K �� c ¶Î � N ±  ¸ ³� K � � · Î ± �� � � À N � µ � ³� N Ä � ´ � ¿ ��

½ = � � � � �� K ± � M»

ÿ» � ± � Æ ¹ À � ³� K� � � � � �µ N � K� c ¿ �� ¶ � N � � À N � µ � ³ � � K ³� � � N � � À N � µ � ³

� N � � N � ¶� � � Î ± �c ³ �� � c � c ¶Î � N ± � � J � K� �c N ³Ä ³� � ¶ � c J µ ¸ �� � ´ ¸ ³� K � ��  � � � ( · Î � N ± K� c ¿ �� ¶ �c K � ¸ �� c ¶ ´� � N � � N ´� � J c � N � K �� c ¶ � c M � ³� Î � � N

´� � W , �ûB ü (» É ³� � � � N N ± � � À N � µ � ³ À � ³� K� � � ´� � �� K ± ¶� � ³ � ³� � N � M � c

�� ¸ ³ � � Å Å ( µ � � � � N ±� � �� � � �� N � J c M �� � N � c M� N ± � J c � N � K �� c ¶ À � ³� K Ä

� � � � µ À ³ � � N � c M N ± � W , �ûB ü ( À � ³� KÄ N ± � µ � � N K� µ À ³� K� N � M � ´ N ± �

N ±� � �» ° ± �c ³ �� � c � c ¶ Î � N ± ÿ ¸ ³� K � � · À � ³� K� � � N ±� N � � � � À N � µ � ³ ´� �

N ±� � � ¹ ¸ ³� K � � N � N � � � � � ³ �� � c � Mú· Î ±� K ± ±� Î �¿ �� M� c � N ¶ �c �� � ³� � � N �

� N � N � �Î � N ± ±� ¶ ± �� c J µ ¸ �� � � ´ ¸ ³� K � � � �Ñ K �À N ´� � J c � N � K �� c ¶ (» ° ± �c

³ �� � c � c ¶Î � N ± ±� ¶ ± �� c J µ ¸ �� � ´ ¸ ³� K � � K� c ¿ �� ¶ �c K � N � N ± � � À N � µ � ³ � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ )

Page 15: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ê½

]56 > -* AØ � x z� ~ |~ � �� � � x � �}� { �� x x � | �x� x~ { � } z y � |~ { � x � y } � � � � }� y ��� � � x � z � x

� } y | � | x � z � |~ , | �� � x � z� x x � z y� z { x �� � � x� x� � x~ { z � x } � }� { |� z y� yz~ � � x~ x� z { x � �}�

z � z � � y x } � V � � � { z� { |~ � � { z { x � � | { � � | �x� x~ {~ � � � x� � � � { } VÖ � } � � y } � � � | � � x� | � { x ��

K ³� � � N � � À N � µ � ³ � N � � N � ¶� � � � ³� Î � M� Î c » ÏJ � N ± �� µ � � � · N ± � Æ ¹ ´J c K N � � c

M� � � c � N ¶ � N � N J K � � c À ³� N �� J �» � ± � Æ ¹ ´J c K N � � c ´� � W, �ûB ü ( M� � � c � N

� �� K ± � À N � µ � ³� N Ä � c N ± � ÿ = �À � �� M � � · ¸J N µ � � � � K� c � N � c N À � � ¶� � � �»° � N � � � � K ³� � �� ³� � � � N N ± � W, �ûB ü ( À � � ¸ ³ �µ � c � � K N � � c ¾ » ¾ »

» � ± � Æ ¹ À � ³� K� � � À �� ´� � µ µ J K ± ¸ � N N �� N ±� c N ± � � ¹ À � ³� K� � � � c N ± �

c �Î � N � N � �À � K �» � ±� � � � c � N � J � À � � � � c ¶�· � � N ± � Ä M� c � N µ � � � M� � � K N

� � ´ �� �c K � N � N ± � c J µ ¸ �� � ´ � N �À � N � � ¶� � ³ � N � N � � c M N ±J � M �À �c M

³ � � � � c N ± � c J µ ¸ �� � ´ ¸ ³� K � �»

Ï� � � ³ ³J � N � � N � � c · ÉÀ À �c M� Ñ � ³� � N � N ± � Æ ¹ � c M � ¹ À � ³� K� � � ³ �� � c � M � ´N ��

N ± � ÿ = �À � � � M � � � ´ N ± � ³� � N � ² ´N ± ( � J c � ´ �� K ± � Ñ À �� � µ �c N » ° � K� c � � �

� µ µ � M� � N � ³Ä N ±� N N ± � Æ ¹ À � ³� K� � � ±� ¿ � � µ J K ± � ±� � N �� � �À � � � �c N � N � � c »

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ æ

ÿ = ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� ± � Æ ¹ À � ³� K� � � ´� � J c � N � K � � c M � N � K � � � � � � K� ¶c � � � ¸ ³Ä � À N � µ � ³» � ± � Æ ¹

À � ³� K Ä ´� � J c � N � K � � N � N � � N ±� N � c � K N � � c � � c � c � À N � µ � ³ � ´ � N µ � ¿ � � �

¸ ³� K � � c N � � c � N ± �� ¸ ³� K � �� c ³Ä ¸ ³� K � � K� c ¸ � K ³ �� � � ( · � N ± �� Î � � � � � K N � � c

µ � ¿ � � � ¸ ³� K � N � N ± � �� � � ( N ± � � K N � � c � � � À N � µ � ³» � ± � Æ ¹ À � ³� K Ä ´� � � N � K �

� N � N � � N ±� N � c � K N � � c R � f " 3 5 � 8 � � c � c � À N � µ � ³ � ´ N ± � � N � K � Î � N ± � � c

N � À � � c � N N ± � ±� ¶ ± � � N � N � K � � � � J c M � N ± �� � � � � � N � K �Î � N ± � � c N � À N ±� N

� � ±� ¶ ± �� (»

¾ » » � �� �� � � � � � �� �� � � � � � � � �� % � � � � � � � �� �� � �

Åc � � � K� c M � � N � ´ � Ñ À �� � µ �c N � Î � ¿ � � � � M N ± � c J µ ¸ �� � ´ ¸ ³� K � � Î ±� ³ �

³ �� � c � c ¶» � ±� � � � Ñ À �� � µ �c N � Î �� � À �� ´� � µ � Mú· � c � ´� � �� K ± ¶� � ³»

� ± � � � � J ³N � Î �� � � ¿ �� � ¶ � M � ¿ �� ¼ = � J c � � c M �� K ± � J c K� c � � � N � M � ´

 � �À � � � M � �» Ó� K ± � J c � N � � N � M Î � N ± � �À � �� M � � � c ¿ � ³¿ � c ¶ � N � N � � Î � N ± ÿ

¸ ³� K � � · ´� ³ ³� Î � M ¸Ä ¼ � �À � �� M � � � c ¿ � ³¿ � c ¶ � N � N � � Î � N ±  ¸ ³� K � � · ´� ³ ³� Î � M

¸Ä ê � �À � �� M � � � c ¿ � ³¿ � c ¶ � N � N � � Î � N ± � ¸ ³� K � �» � ± � N �µ À �� � N J � � Î � �

M � K� �� � � M ¸Ä � ´� K N � � = X½ � � ´N �� �¿ �� Ä �À � �� M � N � � N � µ J ³� N � N ± � J � � � ´

³ �� � c � M �c � Î ³ � M ¶ � Î ± �c N ± � ³ �� � c � c ¶ À � � ¸ ³ �µ ¸ � K� µ � � ±� � M �� » � ± �

³ �� � c � M À � ³� K� � � Î �� � �¿ � ³J � N � M ´� � � ¿ � � Ä � c ¶ c J µ ¸ �� � ´ ¸ ³� K � � · � �

M � � K� � ¸ � M � c � � K N � � c ¾ » ÿ» ê» � ± � � � � J ³N � � � � � ±� Î c � c Ï � ¶J � � ¼ =»I � N J � ²� � N ³� � � � ¶� � c � N N ± � � � � J ³N � � ´ � N � K �� c ¶ � c M J c � N � K �� c ¶» � ± �

¶� � À ± � K ³ �� � ³Ä � ±� Î N ±� N N ± � ³ �� � c � M Æ ¹ N � � � � � � � K ³� � � N � � À N � µ � ³ �¿ �c

N ±� J ¶ ± N ± � � ¹ N � � � � � � � c � N � À N � µ � ³» ÏJ � N ± �� µ � � � · Î ± �c � c K� �� � � c ¶ N ± �

c J µ ¸ �� � ´ ¸ ³� K � � � � ´N �� �À � � � M � � � � c M ê = ( N ± �� � � � � N �µ À � � � � Ä M � K� �� � �

� c À �� ´� � µ � c K � � ´ N ± � ³ �� � c � M À � ³� K� � � � � �µ � ³ ³ � c � ´� � N ± � Æ ¹ N � � � � � c M

� µ � � � � � ¶c � ² K� c N � c � ´� � � ¹ N � � � � (» � ±� � � � MJ � N � N ± � K ±� c ¶ � � � c N ± �

� ¹ ´J c K N � � c N ±� N � K KJ � Î ± �c N ± � � N � N � ¹ �À � K � K ±� c ¶ � �» � ± � � ¹ ´J c K N � � c

M �À �c M � � c N ± � c J µ ¸ �� � ´ � N �À � N � N ± � ¶� � ³ � N � N �» ° ± �c N ± � c J µ ¸ ��

� ´ ¸ ³� K � � � � � c K� �� � � M N ± � À � � � � ¸ ³ � M� � N � c K � N � N ± � ¶� � ³ � ³ � � � c K� �� � � �

� c M N ± � � ¹ ´J c K N � � c ±� � N � ¸ � � M� À N � M» � ±� � � � � � µ �Î ±� N � � ³� N � M N � N ± �

c � N � � c � ´ K� c K �À N M� � ´N � °� Mµ �� � c M bJ ¸� N · ¼½ ½ � (»É ´N �� ÿ = �À � �� M � � · N ± � � À N � µ � ³ Æ ¹ ´J c KN � � c ´� � � N � K �� c ¶ � � ³ �� � c � Mú·Î ±� K ± Î � � c � N N ± � K� � � ´� � ³ �� � c � c ¶ ´� � µ � N � N � � Î � N ± ÿ � � � ¸ ³� K � �

� c ³Ä » � ±� � � � �µ � N � � c M� K� N � N ±� N � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ K� c

¸� � N � N � � À � N � � ³ ´» � ± � � � � J ³N � ´ ³ �� � c � c ¶ � c �� � � �� N � � � � K� c ¹ � c M � � M ¹ ¸ �

J � � M N � � N N � K � ±� � M �� N � � � �» É � � c M� K� N � M � c �� ¸ ³ � � Å Å ÅÌ· N ± �À � � ¸� ¸� ³� N Ä

� ´ ²c M� c ¶ N ± � ¶� � ³ � N � N � � c N ± �Î � � ³ MÎ � N ± ¼ = ¸ ³� K � � K� c ¸ � K ³� � � N � � �� � »`� Î �¿ �� · J � � c ¶ N ± � � � � N K ± � MÀ � � K � MJ � � · � N � � N � c ¶ ´� � µ � � µ À ³ � � N � N � � � c M

¶� � MJ � ³ ³Ä � c K� �� � � c ¶ N ± � M� � KJ ³N Ä � ´ N ± � À � � ¸ ³ �µ · N ± � � À N � µ � ³ À � ³� K� � �

K� c ¸ � ³ �� � c � M»

� ± �� � � � � c � N � ¸ ³ � M � K� �� � � � ´À �� ´� � µ � c K � � ´ N ± � Æ ¹ À � ³� K Ä ´� � W, �ûB ü (

� ´N �� �Î � N K ±� c ¶ ´� � µ  N � � ¸ ³� K � � � � ´N �� �À � � � M � ê = (» � ± � ´� ³ ³ � c À �� ¹´� � µ � c K � � � c � N � �¿ �� � � M � c N ± � � �µ � � c � c ¶ ê � �À � � � M � � · � ³N ±� J ¶ ± N ± �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ Mä

Page 16: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ÿ ¼

]56 > -* DEØ � x z� ~ |~ � �� � � x � �}� { �� x x � | �x� x~ { �} z y � |~ { � x � y} � �� � }� y ��� � � x� x{ � x ~ � � � x� } � � y } � �� |� � z� | x � �� � |~ � y x z� ~ |~ �� � � x� x� � x~ { z � x } � }� { |� z y� yz~ �

� x~ x� z { x � �}� z � z � � y x } � V � � � { z� { |~ � � { z { x � � | { � � | �x� x~ {~ � � � x� � � � { } VÖ � } �

� y} � � � | � �x� | � { x �� �� � }� �z� � } � }~ x � { z ~ �z� � �x � |z { | }~ z� x � |� x~ �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M ç

ÿ ê ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� ¹ À � ³� K Ä � µ À � � ¿ � � � ³� Î ³Ä ¸J N � N �� M� ³Ä » Åc ´� K N · N ± � À �� ´� � µ � c K � � ´ N ± �

Æ ¹ À � ³� K� � � � � Î � � � � N ±� c Î � N ± ³ �� � c � c ¶ ´� � µ  � � � ¸ ³� K � � � ³� c �» ° �

� Ñ � µ � c � N ±� � � � � J � � c µ � � � M � N � � ³ � c � � K N � � c ¾ » ¾ » Ï � � � N · ±� Î �¿ �� · Î � N � Ä

N � � Ñ À ³� � c N ± � M� � �� �c K � � ¸ � NÎ � �c N ± � Æ ¹ � c M � ¹ N � � � �»

¾ » �» FHG � � �� �� � � �� � %� % � G � � �� �� � �

� ± � À � �¿ � � J � �Ñ À �� � µ �c N � K ³ �� � ³Ä � c M� K� N � N ±� N N ± � Æ ¹ N � � � � � ³µ � � N K� c ¹

� � � N �c N ³Ä � J N À �� ´� � µ N ± � � ¹ N � � � � ´� � � N � K �� c ¶ � c M J c � N � K �� c ¶» � ± � � Ñ ¹

À ³� c � N � � c ´� � N ±� � � � ³� � � � c N Î � � ¸ � �� ¿ � N � � c �» Ï � � � N · � � � ³� �� MÄ µ �c N � � c � M

� ¸� ¿ � · N ± � � ¹ N � � � � �c K� M � N ± � c J µ ¸ �� � ´ � N �À � ´� � µ N ± � ¶� � ³ � · Î ± �� �� �

N ± � Æ ¹ N � � � � � c ³Ä �c K� M � Î ± � N ± �� � K �� N � � c � N �À � � � À N � µ � ³ � � c � N » � ± �

� À N � µ � ³ � K N � � c � c � ¶�¿ �c � N � N � N Ä À � K� ³ ³Ä M� � � c � N � � ³Ä � c N ± � c J µ ¸ �� � ´

¸ ³� K � � � � N ± � c J µ ¸ �� � ´ � N �À � ´� � µ N ± � ¶� � ³ú· ¸J N � � N ± �� � c N ± �À � � À �� N � � �

� ´ N ± � � N � N � � c M � K N � � c » � ±� � � � �¿ � M �c N ´� � µ N ± � � À N � µ � ³ À � ³� K� � � ³� � N � M

� c �� ¸ ³ � � Å Å» � ± �� � ´� � � · Æ ¹ N � � � � ³ �� � c � M ´� � � N � N � � Î � N ± � � J � K� �c N ³Ä

³� � ¶ � c J µ ¸ �� � ´ ¸ ³� K � � � � � ³� � � ³Ä N � ¸ � ±� ¿ � c � K � ³Ä � c À � � ¸ ³ �µ � Î � N ±

� M� � �� �c N c J µ ¸ �� � ´ ¸ ³� K � �» � ±� � � � c � N N ± � K� � � ´� � � ¹ N � � � �» � ±� � � �

� � µ �Î ±� N � � ³� N � M N � N ± � Î � � � � c ¶ �c �� � ³� � � c ¶ c J µ ¸ �� � � c � Ñ À ³� c � N � � c

¸� � � M ³ �� � c � c ¶ �Á � N K ± � ³ ³ � N¦» � ³» · ¼½ �¾ (»� � K� c M ³Ä · N ± � Æ ¹ N � � � � � � � � ³Î � Ä � � � µ À ³ �� N ±� c N ± � � ¹ N � � � � ¸ � K� J � �

N ± � Ä � c ³Ä c � � M N � M� � N � c ¶J � � ± NÎ � K ³� � � � �� � À N � µ � ³ � c M c � N � À N � µ � ³ú·Î ± �� �� � � ¹ N � � � � M� � N � c ¶J � � ± � µ � c ¶ µ � c Ä ¿ � ³J � �» Ï � c � ³ ³Ä · N ± � � �� M ��

µ � Ä Î � c M �� Î ±Ä N ± � Æ ¹ N � � � � À �� ´� � µ ¸ � N N �� N ±� c N ± � � ¹ N � � � � �¿ �c

N ±� J ¶ ± N ± � Æ ¹ N � � � � � � � M �� �¿ � M ´� � µ N ± � � ¹ N � � � � � �� � Ñ À ³� � c N ±� � · � ¸ ¹

� �� ¿ � N ±� N N ± � � ¹ N � � � � � � � K ³� � � N � � À N � µ � ³ ´� � � N � N � � Î � N ± N ± � � � µ �

²Ñ � M c J µ ¸ �� � ´ ¸ ³� K � � � � J � � M � c N ± � �À � � � M � � �Î � N ± N ± � �Ñ K �À N � � c � ´

W, �ûB ü ( (» � ± � Æ ¹ N � � � � N ± �c � ¸ � N � � K N � Î � Ä ´� � µ N ±� � c J µ ¸ �� � ´ ¸ ³� K � �

� c M N ± � c J µ ¸ �� � ´ � N �À � ´� � µ N ± � ¶� � ³» � ±� � � ¸ � ³� N Ä � � �c N � � � ³Ä MJ � N �

N ± � J � � � ´ � c MJ K N �¿ � ³� ¶� K À � � ¶� � µ µ � c ¶ � c M ¶�¿ � � � c � c M� K� N � � c Î ± �� �

� �� c ´� � K �µ �c N ³ �� � c � c ¶ µ � Ä ¸ �c � ² N ´� � µ J � � c ¶ � � ³� N � � c � ³ ³ �� � c � c ¶»

¾ » ¾ » �� � � � � % � � � �� � � � � � � �� �� �� � � � � �� � � �� �� � � � �� � �

� ± � À � �¿ � � J � � Ñ À �� � µ �c N � K ³ �� � ³Ä � ±� Î � M N ±� N � � ³� N � � c � ³ � �� c ´� � K �µ �c N

³ �� � c � c ¶Î � � � �Î � ³ ³ ´� � � N � K �� c ¶ � c M J c � N � K �� c ¶ ¸J N ³ � � � � � ´� � � K ±� �¿ � c ¶W, �ûB ü (»� ± � ²� � N Ò J � � N � � c N ±� N � � � � � � � � ±� Î ¶� � M �� � ¸� M ( N ± � � � � J ³N � � cW, �ûB ü ( � �� ³ ³Ä � � �» � ± � � c � ³Ä � � � � � ´� � ±� � � c ³Ä ³� � � � M � N � À N � µ � ³À ³� c � ·� ¿ �� Ä � N � � c ¶ �c N K� � N �� � � c » Å ´ � À � ³� K Ä N � � � � � c � � K N � � c ³� c ¶ �� N ±� c

c � K � � � � � Ä · N ±� � ±� � ¸ � �c K� c � � M �� � M � K� µ À ³ � N � ´� � ³J � � � c N ± � � K KJ � � K Ä

² ¶J � � � À � � � �c N � M � � ´� � » `� Î �¿ �� · � c � c ¹ � À N � µ � ³ À ³� c µ � ¶ ±N � N � ³ ³ ¸ � � ´

¶� � M Ò J � ³� N Ä » �� � c ¿ � � N � ¶� N � N ± � Ò J � ³� N Ä � ´ N ± � ¶ �c �� � N � M À � ³� K� � � · Î �

�¿ � ³J � N � M N ± �µ � ³� c ¶ NÎ � ´J � N ± �� K� � N �� � � � ¼ ( N ± � À � � À � � N � � c � ´ � N � N � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ Mæ

Page 17: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ÿ ÿ

]56 > -* D DØ � � x� x� � x~ { z � x } � � { z { x � �}� � � | � � { � x y x z� ~ x �� } y | � � �}� }~ � z � � � y } }� �� { z �x � � }� x { �z ~ VÖ { |� x � { � x }� { |� z y~ � � � x� } � � { x� � � �

]56 > -* D kØ � � x � z { |} } � { � x ~ � � � x� } � � { x� � { z �x~ �� { � x y x z� ~ x �� } y | � � �}� }~ � z � � �

z~ � { � x }� { |� z y~ � � � x� } � � { x� � � �� � }� �z� � } � }~ x � { z~ �z� � � x � |z { |}~ z� x � |� x~ �

Î ± �� � N ± �À � ³� K Ä ³� � À � · � c M ê ( N ± � � � N � � � ´ N ± � c J µ ¸ �� � � ´ � K N � � c � N � � �c

¸Ä N ± � À � ³� K Ä � c M N ± � � À N � µ � ³ À ³� c · � � �À � K N �¿ � ³Ä »

� ± � �¿ � ³J � N � � c � ´ N ± � À � ³� K� � � ´� � W, �ûB ü ( ³ �� � c � M � � M � � K� � ¸ � M � c

� � K N � � c ¾ » » � ³� c ¶ N ± � � � N Î � K� � N �� � � � � M �À � K N � M � c Ï � ¶J � � � ¼ ¼ � c M ¼ ê»Ï � ¶J � � ¼ ¼ � ±� Î � N ± � À �� K �c N � ¶ � � ´ K� � � � Î ± �� � µ � � � N ±� c ¼ = N � µ � �

N ± � � À N � µ � ³ c J µ ¸ �� � ´c J µ ¸ �� � ´ � N �À � Î �� � c � � M � M� N ± � À � ³� K Ä Î � �

K� c � � M �� � M N � ³� � À � c N ±� � K� � � � c M � N � � Ñ � KJ N � � c Î � � � N � À À � M» É ´N ��

� ´ �Î �À � �� M � � · N ± � Æ ¹ À � ³� K� � � M� c � N ³� � À � N � ³ ³ · Î ±� ³ � � ¹ À � ³� K� � � � N � ³ ³

³� � À �¿ �c � ´N ��  � �À � �� M � �»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M M

ÿ Â ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

]56 > -* D @Ø � x z� ~ |~ � �� � � x � �}� { � x �} z y � y x z� � z � �}� { � x � y } � � � � }� y � � | { � z � z� � |~ �

~ � � � x� } � � y } � �� �� � |~ � y x z� ~ |~ �� � � x �� � � x � � x~ } { x �� | { � U z� x } � { z |~ x �� � |~ � z ~

z � � | { |}~ z y � z � � �� }� ~ � �~ } � y x � � x� � x � | �z { x �

Ï � ¶J � � ¼ ê M �À � K N � � � N � � � ´ N ± � c J µ ¸ �� � ´ � K N � � c � N � � �c ¸Ä N ± � À � ³� K Ä

� c M N ± � c J µ ¸ �� � ´ � K N � � c � � c N ± � � À N � µ � ³À ³� c » �� ¼ = = � � � N ± � ¸ � � N � c �

K� c � K� � � � c N ±� � K� � N �� � � c » Å ´ N ± � À � ³� K Ä ³� � À � M · � N Î � � � N � À À � M � ´N ��

¼ = N � µ � � N ± � � À N � µ � ³ c J µ ¸ �� � ´ � N �À �» Ó¿ �c N ±� J ¶ ± N ± � Æ ¹ À � ³� K� � � � � �

c � N � À N � µ � ³ú· N ± � Ä K� µ �¿ �� Ä K ³� � � N � � À N � µ � ³� N Ä » � c K � N ± � Ä � N � À ³� � À � c ¶� � ´N �� � ´ �Î �À � �� M � � ( · N ± � Ä N � � � ³ � � � N ±� c ¼» � N � µ � � N ± � � À N � µ � ³ c J µ ¸ ��

� ´ � N �À � �� c N ± � � ¿ �� � ¶ � (» � ± � � ¹ N � � � � À �� ´� � µ K� c � � � N �c N ³Ä Î � � � � N ±� c

N ± � Æ ¹ N � � � � · ¸J N c � N � �� ³ ³Ä ¸� M» � ± � c J µ ¸ �� � ´ � N �À � c � � M � M N � � �� K ±

N ± � ¶� � ³ � � � ¸� J N NÎ � K � N ± � � À N � µ � ³ � c � � c N ± � ³� N � �À � �� M � �»� � �À � N � N ± � ´� K N N ±� N N ± � À � � ¸ ³ �µ Î � N ± W, �ûB ü ( � � c � N � � ¸� M � �

� N � À À �� � � M � N ²� � N � � ¶ ±N · N ± � Ò J � � N � � c � �µ � � c � � � N � Î ±Ä � � ³� N � � c � ³

� �� c ´� � K �µ �c N ³ �� � c � c ¶ ±� � À � � ¸ ³ �µ � ³ �� � c � c ¶ N ± � � À N � µ � ³ À � ³� K Ä » � c �

� ³� �� MÄ µ �c N � � c � M � �� � � c ´� � N ±� � � � N ±� N N ± � � À N � µ � ³ À � ³� K Ä N � � K ±� �¿ �W, �ûB ü ( � � µ � � � K� µ À ³ � Ñ � K ´» �� ¸ ³ � � Å Å (» Åc M � � Mú· � c � � M �� N � � K ±� �¿ �W, �ûB ü ( � c � ²� � N ±� � N � K ³ �� � û � c Mü � c M N ± �c N � µ � ¿ � û � c N � ü · Î ±� K ± � �

µ � � � K� µ À ³ � Ñ N ±� c N ± � � N ± �� � N � � N � ¶� � �» � ±� J ¶ ± N ±� � ´� K N µ � ¶ ±N � Ñ À ³� � c

Î ±Ä ³ �� � c � c ¶ ´� � W , �ûB ü ( � � � ³� Î �� N ±� c ´� � � N � K �� c ¶ � � J c � N � K �� c ¶ · � NM� � � c � N � Ñ À ³� � c �� µ � � N ± �� ´� K N �» Åc Ï � ¶J � � ¼ = · N ± � � ¹ � c M Æ ¹ N � � � � ´� �W, �ûB ü ( � � �µ N � À �� ´� � µ �Ò J � ³ ³Ä Î � ³ ³ � c � N � N � � Î � N ± � ¿ � � Ä � c ¶ c J µ ¸ ��

� ´ ¸ ³� K � �» Ï� � µ N ± � � Ñ À �� � µ �c N � ´� � � N � K �� c ¶ � c M J c � N � K �� c ¶ � c �Î � J ³ M

� Ñ À � K N N ± � Æ ¹ N � � � � N � À �� ´� � µ � � ¶c � ² K� c N ³Ä ¸ � N N �� »

�� � c ¿ � � N � ¶� N � N ± � � � � c � µ � ³� � � · Î � À �� ´� � µ � M � � µ � � Ñ À �� � µ �c N �

Î ± �� � N ± � ¶� � ³ � ´ L L IÎ � � � � J ¸ ¶� � ³ � ´ W, �ûB ü ( c � µ � ³Ä ý T O û ( �û (» � ± �

� � � J ³N � � ´ N ±� � N � � N � � � � ±� Î c � c N ± � ²� � N NÎ � KJ � ¿ � � � c Ï � ¶J � � ¼ ÿ � Æ ¹ À �� K

� c M � ¹ À �� K (»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M â

Page 18: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ÿ �

]56 > -* D *Ø � x z� ~ |~ � �� � � x � �}� { � x � } z y � y x z� � z � |~ { � x � � y} � � � � }� y �� � � x �� � � x �� x~ } { x � � | { � U z� x } � { z |~ x �� � |~ � z ~ z � � | { |}~ z y � z � � �� }� ~ � �~ } � y x � � x� � x � | �z { x �

É ³N ±� J ¶ ± N ± � Æ ¹ N � � � À �� ´� � µ � � ³� N N ³ � ¸ � N N �� N ±� c N ± � � ¹ N � � � · c �

� À N � µ � ³ À � ³� K Ä � � ³ �� � c � M» ° � N ± �c � c ¿ � � N � ¶� N � M N ± � � � � J ³N � c ¶ � ¹ � c M

Æ ¹ N � � � �» � ± � ³ �� � c � M � ¹ N � � �Î � �¿ �� Ä K� µ À ³� K� N � M � c MÎ � � K ³ �� � ³Ä � c K� � ¹

� � KN » � ± � � Ñ À ³� c � N � � c ´� � N ±� � � � N ±� N ¹ J � � c ¶ N ± � � �À � � � �c N � N � � c ³� c ¶J � ¶ �

� c M ¸� K � ¶� � J c M �c � Î ³ � M ¶ � � ¿ � � ³� ¸ ³ � ¹ � Å I � Óʹ L � K� c c � N � �À � � � �c N N ± �

K� � � � K N � ¹ N � � �» � ± � � �� � � c � � N ±� N N ± � � ¹ N � � � � K N J � ³ ³Ä � µ À ³� K� N ³Ä �c K� M � �

N ± � c J µ ¸ �� � ´ � N �À � ´� � µ N ± � ¶� � ³ � N � N �» Ï� � ý T O û ( �û ( N ±� � µ �� c � N ±� N

� c � ±� � N � �c � Î N ± � c J µ ¸ �� � ´ ¸ ³� K � � N ±� N � � � � ¸� ¿ � û » � ±� � Î � �

À � � N ³Ä K� c ²� µ � M � c � c � N ± �� � Ñ À �� � µ �c N � c M � � � ³ ³J � N � � N � M � c Ï � ¶J � � ¼ »° � N � � � M N � ³ �� � c N ± � K� � � � KN � ¹ ´J c K N � � c J � � c ¶ � ²Ñ � M c J µ ¸ �� � ´ ¸ ³� K � ��  ( � c M K� µ À � � � M N ± � ¶ �c �� � N � M ¿ � ³J � � Î � N ± N ± � � �� ³ � c � �» É ³N ±� J ¶ ±

L L I Î � � � ¸ ³ � N � À � � M� K N N ± � K� � � � K N � K N � � c � � � � À N � µ � ³ � � c � N � ³ � ´N � ´

Ï � ¶J � � ¼  ( · � N Î � � c � N � ¸ ³ � N � � �À � � � �c N N ± � K� � � � K N � ¹ ¿ � ³J � � ´� � N ± �

�c N � � � � N � N � ¹ �À � K � � � � ¶ ±N � ´ Ï � ¶J � � ¼ ÂÌ· LÁ � ¶� �� N �� N ±� c � �� � (»

�� N � � N N ±� � ±Ä À � N ± � � � � · Î � � � c N ± � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c ¹� c ¶ � ³ ¶� � � N ±µ Æ ¹ L L I � ¶� � c · ¸J N N ±� � N � µ � Î � � M M � M N ± � À � � M� K� N �

P SR U "# � Q U e� d $� � P 34 5 � 8 � N ± �� � � � � Í ¸ ³� K � � � c N � À � ´ ¸ ³� K � ( N �

N ± � ¸� K � ¶� � J c M N ± �� � Ä � c M µ � M� ² � M N ± � µ � M � � c M N Ä À � M � K ³� � � N � � c �

� K K� � M� c ¶ ³Ä » � ± � � � � J ³N � � � � � ±� Î c � c Ï � ¶J � � ¼ ÿ J c M �� N ± � �] � c M Æ]

KJ � ¿ � �» ° ±� N � � � J � À � � � � c ¶ � � N ±� N � ³N ±� J ¶ ± N ± � � N � � � À �� ´� � µ � �Ò J � ³ ³Ä

Î � ³ ³ � � N ± � �] N � � � · N ± � Æ] N � � � � � � À N � µ � ³»É ´J � N ± �� � Ñ À �� � µ �c N Î � � K� � � � � M � J N � c Î ±� K ± � �] N � � �Î � � ³ �� � c � M

� c M N � � N � M � c � N � N � � Î � N ± � ²Ñ � M c J µ ¸ �� � ´ ¸ ³� K � � �  ( � K ´» Ï � ¶J � � ¼  (»ÅN N J � c � � J N N ±� N N ± � � � � J ³N � c ¶ �] N � � � � � J N À �� ´� � µ N ± � � ¹ N � � � �» Á � � �

�À � K� ² K� ³ ³Ä · N ± � �] N � � � � ´� � ý T O û ( �û ( Î �� � K� � � � K N ´� � � ³ ³ � N � N � � Î � N ±

´� J � ¸ ³� K � � � LÁ � �Ò J � ³ N � � �� � ( · Î ± �� �� � N ± � � ¹ N � � � � Î �� � c � N¦» � ±� �

� Ñ À �� � µ �c N � c M� K� N � � N ±� N � c � � M �� ´� � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶

N � Î � � � � c � µ J � N ²� � N ¶ � N N ± � � ¹ N � � � � K� � � � K N ´� � � N � N � � Î � N ± � ²Ñ � M

c J µ ¸ �� � ´ ¸ ³� K � � · � c M N ± �c N ± � Æ ¹ N � � � �Î � ³ ³ � ¸ � N � � K N � Î � Ä N � � ¿ � � � � ¸ ³ �

c J µ ¸ �� � ´ ¸ ³� K � �» � ±� � � Ñ À �� � µ �c N � ³ � � K� c ²� µ � N ±� N � c � c � � M � N ± �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M @

ÿ¾ ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� � ¶ ±N � �À � � � �c N � N � � c � ´� � ³ �� � c � c ¶» Åc N ± � K� c N � Ñ N � ´ � � ³� N � � c � ³ ³ �� � c � c ¶

� c M � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ N ±� � N � � c � ³� N � � N � N ± � � �Ò J � � �µ �c N

N ±� N N ± � �c � �µ ¸ ³ � � ´ ¸� K � ¶� � J c M N ± �� � Ä � c M ¸� � � µ J � N � ³ ³� Î N � �c K� M �

N ± � � ¹ � c M Æ ¹ N � � � �»Ï � c � ³ ³Ä · ³ � N J � N � � � � ³� � � � N N ± � ³ �� � c � c ¶ KJ � ¿ � � ´� � N ± � ¶� � ³ W , �ûB ü (

� c N ± � ¸ ³� K � � Î � � ³ Mú· � ±� Î c � c Ï � ¶J � � ¼ � Î ± �� � N ± � c J µ ¸ �� � ´ ¸ ³� K � � � �

¿ � � � � M MJ � � c ¶ ³ �� � c � c ¶ � c M N ± � � M M� N � � c � ³ ¸� K � ¶� � J c M �c � Î ³ � M ¶ � À � � M ¹� K� N � � � J � � M» °� N ± N ± � c �Î À � � M� K� N � � c N ± � ¸� K � ¶� � J c M �c � Î ³ � M ¶ � ·� N �� M Ä � µ À � � ¿ �µ �c N � ´À �� ´� � µ � c K � K� c ¸ � � ¸ � �� ¿ � M ´� � N ± � Æ ¹ ´J c K N � � c

� ´N �� N ± � ê = ¹ N ± �À � �� M � · Î ±� K ±Î � � c � N N ± � K� � � À � �¿ � � J � ³Ä »

]56 > -* D `Ø � x z� ~ |~ � �� � � x � �}� { � x �} z y }~ � z � � � |~ { � x � y } � � � � }� y �� � � x� x { � x

~ � � � x� } � � y } � �� | � � z� | x � �� � |~ � y x z� ~ |~ �� � � x �� � � x � �x~ } { x �� | { � U z� x } � { z |~ x �

� � |~ � z~ z � � | { | }~ z y � z � � �� }� ~ � �~ } � y x � � x� � x � | �z { x �

¾ » Ë» � � �� �� � � � �

È� c K �� c � c ¶ N ± � � � K� �c KÄ � ´ N ± � � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � ³ ¶� ¹

� � N ±µ · � c � ±� � N � M� � N � c ¶J � � ± ¸ � NÎ � �c N ± � M� � �� �c N ¶� � ³ �» � ± � c J µ ¸ �� � ´

N � � � c � c ¶ � Ñ � µ À ³ � � ´� � � Å I � Ó � Å I � Ó ¹ L � � � � M� � �� �c N ´� � N ± � M� � �� �c N

¶� � ³ �» Ï � ¶J � � ¼¾ � ±� Î � ±� Î N ± � N � N � ³ c J µ ¸ �� � ´ ³ �� � c � c ¶ � Ñ � µ À ³ � �

� c K� �� � � � À �� �À � � � M � ´� � N ± � M� � �� �c N ¶� � ³ �» Ï� � N ± � Æ ¹ N � � � � · µ � � �

³ �� � c � c ¶ � Ñ � µ À ³ � � � � � ¶ �c �� � N � M N ±� c ´� � N ± � � ¹ N � � � �» � ±� � � � ¸ � K� J � �

N ± � �Ñ � µ À ³ � � ´� � N ± � Æ ¹ N � � � � � � ¶ �c �� � N � M ³� � �� c ¶ � N �¿ �� Ä À � � � � ¸ ³ �

� K N � � c � N �¿ �� Ä ¿ � � � N � M � N � N � · � c � N �� M � ´ � J � N N ± � � K N � � c � � Ñ � KJ N � M � N

N ±� N � N � N � � c N ± � K� � � � ´ N ± � � ¹ N � � �»

� ± �� � � � � ³ �� � ³� � ¶ � M� � �� �c K � ¸ � NÎ � �c N ± � c J µ ¸ �� � ´ ³ �� � c � c ¶ � Ñ � µ ¹

À ³ � � ´� � N ± � M� � �� �c N ¶� � ³ �» � ± � � �� � � c ´� � N ±� � � � N ± � ³� � ¶ � M� � �� �c K � � c

N ± � c J µ ¸ �� � ´À � � � � ¸ ³ � � K N � � c � Î ± �c � c � � À À � � � K ± � � N ± � ¶� � ³º¹ � N � N �» É �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M k

Page 19: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ÿ Ë

]56 > -* D �Ø �� � � x� } � y x z� ~ |~ � x� z � � y x � z � { x� x z � � x� | � } � x �}� x z � � } � { � x { �� x x

�} z y � �� N � N � M � c � � K N � � c ¾ » ê» ¼ · � c � � N �À � Î � Ä ´� � µ N ± � ¶� � ³ � c � � N � N � �À � K �Î � N ±

, ¸ ³� K � � N ± �� � � � � � , ¼ ( � , ê (] ¼ À � � � � ¸ ³ � � K N � � c � Î ± �c J c � N � K �� c ¶�·Î ±� ³ � N ± �� � � � � � c ³Ä N ±� � � � KN � � c � Î ± �c � N � K �� c ¶» � ±� � M� � �� �c K � � � N ± �

� �� �� c ´� � N ± � ³� � ¶ � M� � �� �c K � � c N ± � c J µ ¸ �� � ´ ³ �� � c � c ¶ � Ñ � µ À ³ � � ´� �

N ± � M� � �� �c N ¶� � ³ �»

� ±� � M� � �� �c K � � ³ � � � c �J �c K � � � Ñ � KJ N � � c N � µ �» ° ± �� � ÿ = �À � � � M � �

Î � N ± N ±� � � ¸ ³� K � � � c ³Ä N � � �¾ » ê � µ � c J N � � � N � N � ³ N � µ � � �Ò J � � � M ´� � ³ �� � c ¹� c ¶ ( � ´ N ± � ¶� � ³ � � � N � K �� c ¶�· N ± � � � µ � � Ñ À �� � µ �c N Î � N ± N ± � J c � N � K �� c ¶

¶� � ³ N � � � � �» Ë � µ � c J N � �» � ± � � � µ � � Ñ À �� � µ �c N � ¶� � c ¸J N Î � N ± W, �ûB ü ( � �

� ¶� � ³ � �Ò J � � � � ê = µ � c J N � �» � ± � ³� � ¶ �� N � µ � ´� � N ± � W, �ûB ü ( � Ñ À �� � µ �c N

� � MJ � N � N ± � c � � M ´� � ³� � ¶ �� N � � � � ´� � ¸� N ± N ± � � ¹ ´J c K N � � c � c M N ± �

À � ³� K Ä » ° ± �c � c K� �� � � c ¶ N ± � � N � N � ¹ �À � K � ´� � µ ÿ N �  ¸ ³� K � � · N ± � ³ �� � c � c ¶

N � µ � ¶� � Î � N � ¾ ê» Â µ � c J N � � ´� � � N � K �� c ¶» � ± � � � µ � N � � N Î � N ± � ¸ ³� K � �

� ³� �� MÄ N � � � � ÿ =¾ µ � c J N � �» ° ± �c K� µ À � � � M N � N ± � ³ �� � c � c ¶ N � µ � ´� � N ± �

� Ñ À �� � µ �c N Î � N ± � ¿ � � � � ¸ ³ � c J µ ¸ �� � ´ ¸ ³� K � � � ê ÿ ¼ µ � c J N � � · K ´» �� ¸ ³ � ( ·N ± � ¶� � c ´� � µ ¸� � N � N � � À À � c ¶ � c �� � � �� À � � ¸ ³ �µ � � � � ¸¿ � � J �»

� ± � � N ± �� N � µ � c ¶ � � � J ³N � K� c ¸ � ´� J c M � c �� ¸ ³ � » É K N J � ³ ³Ä · N � � N � c ¶

N ± � ³ �� � c � M À � ³� K� � � � �Ò J � � � M µ � � � KÀ J N � µ � N ±� c ³ �� � c � c ¶ � c N ± � � Ñ À �� ¹� µ �c N � Î � K� � � � � M � J N¦» � ±� � � J � N � ² � � � � µ � � ´ N ± � K ±� � K � � Î � µ � M � � c

N ± � � Ñ À �� � µ �c N � ³ � � N J À � �» ¶» N ± � J � � � ´ � � c ³Ä L ¼ �¾ � N � N � � (» � � � N � c ¶ N ± �

¶ �c �� � N � M N � � � � N � � � � � ³� N � ´ N � µ � MJ � N � N ± � � � µ �À � � ¸ ³ �µ � � M� � KJ � � � M

¸ � ´� � �» � � � N � c ¶ N ± � Æ ¹ N � � � � � � ´� � N �� ¸ � K� J � � N ± � ²� � N � À N � µ � ³ � K N � � c �� J N

� ´ � � c M� µ ³Ä ¶ �c �� � N � M À � � � � ¸ ³ � � K N � � c � ( � � K ±� � �c · � � c � N � ³ ³ � KN � � c �

±� ¿ � N � ¸ � � Ñ � µ � c � M» � ± � N � µ � c � � M � M ´� � � c MJ K� c ¶ N ± � N � � � � M �À �c M �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ Må

ÿ � ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�z � y x � � �� x �� { | }~ { |� x } � { � x w w� � y �}� | { �� }~ � � ~ � y {� z � �Õ �Ö � z � � |~ x � �� � x � x � }~ � � } y� � ~ � { z { x � { � x { } { z y z � �� � � yz { x � { |� x � x �� |� x � �}� y x z� ~ |~ � �� � |~ �{ � x � � x� | � } �x � � { � x { � |� � z~ � �}� � { � � } y� � ~ � { z { x { � x { |� x � x �� |� x � { } { x � { }~ x� � }� �� {� x x � { � x yz � { {� } � } y� � ~ � y | � { { � x { |� x ~ x x �x � { } |~ �� � x { � x �~ z y � z ~ �

� � {� x x � �

â @ - é � �5 �ß � �ß � Þ � < ; � < �2 6 Þ �5 <5 8 � � <. ÛM � @ � Û5 6 �� � � Þ Úß ß � � Þ Úß ß � � Þ Úß ß � � Þ Úß ß

� Þ. 6 � � < ; MÜ ) @ Ú � ç kÜ ç/ � < ç ä Ü æ/ � < âÜ ) @/ � < MÜ ) @/ � <

� <� Þ. 6 � � < ; ç ä Ü ç Ú � â @ÝÜ ç/ � < ç kÜå / � < ç )Ü )/ � < kÜ k ç/ � <

� < 3. 7 9 4 ç æ Ü â Ú � æ âÜ @/ � < ç MÜ M/ � < æ ç Ü @/ � < ç @ÝÜ k/ � <

³� � ¶ � ³Ä � c N ± � c J µ ¸ �� � ´ � N � N � É K N � � c À � � � � J � � M ´� � � Å I � Ó · � � N ± �

³� � N N � � � � c MJ K � M J � � � N ± � µ � � N KÀ J N � µ �» L L I K� J ³ M ¸ � �À � Mº¹ J À ¸Ä

µ � �� c ¶ � Å I � Ó � Å I � Ó ¹ L � � c K� �µ �c N � ³» �� � � � J � � c K� �µ �c N � ³ M � K� � � � c

N � � � � ³ ¶� � � N ±µ � Ñ � � N � c M K� J ³ M ¸ � � M� À N � M Î � N ±� c � Å I � Ó � Å I � Ó ¹ L �

� �» ¶» � � N ¶� � � N¦» � ³» · ¼½ ½ � ( (»ÅN � ±� J ³ M � ³ � � ¸ � À � � c N � M � J N N ±� N �À � K� � ³ N � K ±c � Ò J � � ±� ¿ � ¸ � �c

M �¿ � ³� À � M Î � N ±� c N ± � M� N � µ � c � c ¶ K� µ µ J c � N Ä N � ±� c M ³ � ³� � ¶ � M� N �

� � N �» � ± � � � N � K ±c � Ò J � � ±� ¿ � � � K �c N ³Ä ¸ � �c � c K� � À � � � N � M � c � Å I � Ó � c M

� Å I � Óʹ L � · K ´» � � ³� K � � � ³ � N » � ³» · ¼½ ½ ½ ( � c M K� J ³ M � µ À � � ¿ � N ± � � � K� �c KÄ

� ´ L L I»

¾ » �» � � � �� � � � � _ K � � � � � �� � � � � %� �� %

�� � ³ ³J � N � � N � N ± � � M¿ � c N � ¶ � � � c M ³� µ � N � N � � c � � ´ L L I · Î � N � Ä N � ¶�¿ �

¸� � � ´ � c �Î �� � N � N ± � Ò J � � N � � c � À � � � M � c � � K N � � c ¾ » ¼»

¼» � � �� D D � G H D �I C ' H D CD J G �I F E � � L L IÎ � � � J K K � � � ´J ³ ³Ä J � � M ´� �

� N � K �� c ¶ � c M J c � N � K �� c ¶�· � c M � ´N �� �� µ � � �À � � � �c N � N � � c � ³ �c ¶� c � �� ¹� c ¶ � ³ �� ´� � W , �ûB ü (» Æ� ³� K� � � ³ �� � c � M ´� � W , �ûB ü ( K� c ¸ � J � � M ´� �

� � ³¿ � c ¶ W , � "B � ( ´� � � c Ä " � c M �»

ê» �FJ �� � �� FJ ' �� � �� ED F C J I � G H � F E � I E H � HD � �I C � GF GD � � F �D � � H G F �D 'J � � �D C I � � EI � & � � � � � · N ±� J ¶ ± N ±� � ¸ � K� µ � � µ � � � M� � KJ ³N

Î ± �c N ± � c J µ ¸ �� � ´ ¸ ³� K � � � c K� �� � � �»

ÿ» �FJ �� � �� FJ ' �� � �� ED F C J I � G H � F E � I E H � HD � �I C � GF GD � � F �D � � H G F F C � HJ �J � � �D C I � � EI � & � � � ¹ ´J c K N � � c � � À N � µ � ³ ´� � � N � N � �À � K � �

Î � N ± � ²Ñ � M c J µ ¸ �� � ´ ¸ ³� K � � � � � c � N � À N � µ � ³ ´� � � N � N � �À � K � �Î � N ±

� ¿ � � Ä � c ¶ c J µ ¸ �� � ´ ¸ ³� K � �» � J N Î � K� c ³ �� � c � À N � µ � ³ Æ ¹ ´J c K N � � c �

´� � µ N ± � � ¹ ´J c K N � � c �» � ± � � � Æ ¹ ´J c K N � � c � � ´N �c � � � � À N � µ � ³ ´� � � N � N �

�À � K � � Î � N ± � ¿ � � Ä � c ¶ c J µ ¸ �� � ´ ¸ ³� K � � � � Î � ³ ³»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M )

Page 20: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ÿ½

» �FJ �� � �� FJ ' �� � �� ED F C J �C I �D ��D C HD J �D HJ � H � G D J � ��

�D C I � � EI � & � H � F C HD ' � I �� � c � c ¶ Î � N ± � ²Ñ � M c J µ ¸ �� � ´ ¸ ³� K � �

� � � c K� �� � � c ¶ ³Ä M� � KJ ³N Î ± �c Î � � c K� �� � � N ± � c J µ ¸ �� � ´ ¸ ³� K � �»� N � � N � c ¶Î � N ± � �µ � ³ ³ c J µ ¸ �� � ´ ¸ ³� K � � � c M ¶� � MJ � ³ ³Ä � c K� �� � � c ¶ N ±� �

c J µ ¸ �� � ³ ³� Î � ´� � � ¸� � N � N � � À À � c ¶ À � � K � � � · Î ± �� � � À N � µ � ³ À � ³� K� � �

� � � ³ �� � c � M ´� � N �� »

�» � �� � �� GI �D � CD �D C CD ' I D C � � �� � Å ´ � ¹ L L I M� � � c L N Î � � � ·N ± �c Æ ¹ L L IÎ � c L N Î � � � �� N ± �� » � J N � c K � � ¹ L L I ³ �� � c � � � ¹ ´J c K N � � c

N ±� N M� � � N ± � � � ¸ � � ¶ ±N � �¿ �c ´� � � N � N � � Î � N ± � ²Ñ � M c J µ ¸ �� � ´

¸ ³� K � � ( · � c � � � ¸ � N N �� � � J � � c ¶ N ± � Æ ¹ ´J c K N � � c ³ �� � c � M ´� � µ N ± � � ¹´J c K N � � c » � ± � ³� N N �� J � J � ³ ³Ä ¶ �c �� � ³� � � � c � K � ³Ä N � ³� � ¶ �� c J µ ¸ �� � � ´

¸ ³� K � � N ±� c � � �c MJ � � c ¶ N � � � c � c ¶»

¾ » �J 'D C � H � �IJ ' H G HIJ � 'ID � CD E F G HIJ F E CD HJ �I C �D �D J G ED F C J HJ �

�I C & � É � ¶ �c �� � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ · L L I Î � � � � ³ � � � Î � ³ ³ ´� �

¶� � ³ � N ±� N � �Ò J � � � µ � � � K� µ À ³ � Ñ À � ³� K� � �» `� Î �¿ �� µ � � � � À À � � À � � � N �

¸� K � ¶� � J c M �c � Î ³ � M ¶ � � c M µ � � � N � � � c � c ¶ µ � ¶ ±N ± � ³À � c � J K ± K� � � �»

�¥ � ¯ � ® ­ � � ¯ «¨

° � ±� ¿ � À � � � �c N � M � c � À À � � � K ± N � À ³� c c � c ¶ Î � N ± � c K� µ À ³ � N � �c � Î ³º¹

� M ¶ � N ±� N K� µ ¸� c � � � �� c ´� � K �µ �c N ³ �� � c � c ¶ � c M � � ³� N � � c � ³ ³ �� � c � c ¶ � c N �

� N � K ±c � Ò J � K� ³ ³ � M � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶» � ± � � M¿ � c N � ¶ � �

� ´ N ±� � � À À � � � K ± � c K ³J M � N ± � � ¸� ³� N Ä N � J � � � N � J K N J � � M � �À � � � �c N � N � � c � ·Î ±� K ± �c � ¸ ³ � � J � N � � ³ � � M � � K� � ¸ � � c ²c � N �Î � � ³ M � · � c M N ± � � ¸� ³� N Ä N � J � �

¿ � � � � ¸ ³ � � · Î ±� K ± � ³ ³� Î � J � N � � ¸ � N � � K N � Î � Ä ´� � µ �À � K� ² K M � N � � ³ � � ´ N ± �

� � N J � N � � c � � � J K ± � � · �» ¶» · N ± � ¶� � ³ú· N ± � c J µ ¸ �� � ´ ¸ ³� K � � (» � ± � � ¸� ³� N Ä N �

K� � � Ä � ¿ �� N ± � À � ³� K� � � ³ �� � c � M � c � � µ À ³ � � � N J � N � � c � �Î � N ± ´ �Î ¸ ³� K � � ( N �

µ � � � K� µ À ³ � Ñ � � N J � N � � c � Î � � M �µ � c � N � � N � M» ÅN � � ±� � M N � � � � ±� Î N ±� �

K� J ³ M ¸ � � �� ³� � � MÎ � N ±� J N N ± � J � � � ´ � � ³� N � � c � ³ � �À � � � �c N � N � � c �»° � K� c N � c J � N ± � M� � KJ � � � � c ¸Ä M� � KJ � � � c ¶ � K� ³� ¸� ³� N Ä · � � ³� N � M Î � � �

� c M ´J � N ± �� Î � � �»

Ë» ¼» � � � �� � �� � �

Ó¿ �c ´� � � N � c M� � M � �� c ´� � K �µ �c N ³ �� � c � c ¶ · � K� ³� c ¶¹ J À � � N ± � M� µ �c ¹

� � � c � ³� N Ä � ´ N ± � À � � ¸ ³ �µ � c K� �� � � � K� c ¸ � � À � � ¸ ³ �µ » � � � c ¶ � � � K ± ��

M � � K� � À N � � c ³� c ¶J � ¶ � µ � Ä � � �µ N � µ � � � N ±� c ¶ � �¿ �c Î � � � �» `� Î �¿ �� ·N ± �� � � � � � �� �� c � N � � Ñ À � K N N ±� N J � � c ¶ � � � K ± �� � �À � � � �c N � N � � c � K N J ¹

� ³ ³Ä �c � ¸ ³ � � � � ³� N � � c � ³ � ¹ ³ �� � c � c ¶ N � � K� ³ � ¹ J À ¸ � N N �� N ±� c � N � c M� � M

� ¹ ³ �� � c � c ¶» I � N J � � ³ ³J � N � � N � N ± � � � � c N ± � ¸ ³� K � � Î � � ³ M»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ M

 = ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

Ï � � � N · � c N ± � � �À � � � �c N � N � � c �µ À ³� Ä � Mú· N ± � � � ³� N � � c � ³ N ± �� � � � � ³ �� � c � M

� ¸ � N � � K N � Î � Ä N ± � ¸ ³� K � c � µ � � · K� J � � c ¶ N ± � c J µ ¸ �� � ´ � N � N � � N ±� N

� � � � � � �c N � � ³ ³ Ä M� � �� �c N N � M � K� �� � �» Ï� � � c � N � c K � · Î � N ±V Wû T � W, �ûB ü ( (

N ± � � N � N � � P W, �ûB ý (B W, �ýB ü (B W, �üB S T W W ( (B W , � þB S T W W ( ( U � c M P W , �ûB þ (BW, � þB ü (B W , �üB S T W W ( (B W, �ýB S T W W ( ( U � � � � � � �c N � � ³ ³Ä N ± � � � µ � � � ý � c M þ

� � � � c N �� K ±� c ¶ �� ¸ ³ �» Åc � N � c M� � M � ¹ ³ �� � c � c ¶�· N ± � Ä Î � J ³ M ¸ � K� c � � M �� � M

M� � �� �c N » Åc � J �  ¹ ¸ ³� K � � � Ñ � µ À ³ � · N ± � c J µ ¸ �� � ´ � N � N � � N ±� N � � � �c N � � ³ ³Ä

M� � �� ´� � µ � c � � c � N ± �� � � Ë ÿ ´� � � � N � c M� � M � ¹ ³ �� � c �� · ¸J N � c ³Ä ÿ � ´� � �

� � ³� N � � c � ³ � c �» � ±� � � � N � � � c K� �� � � � K� µ ¸ � c � N � � � � ³ ³Ä � � � c K � � ³ ³ ¸ ³� K � �

N ±� N M� c � N � K KJ � � c N ± � ¶� � ³ ±� ¿ � c � �À � K� � ³ � N � N J � � c M � � � N ±J �

� c N �� K ±� c ¶ �� ¸ ³ ��· N ± � � � N � � � c K� �� � � � � � J ¶ ± ³Ä Î � N ± � , ê ( � · Î ± �� � , � �

N ± � N � N � ³ c J µ ¸ �� � ´ ¸ ³� K � � (»� � K� c Mú· N ± � J � � � ´ ¸� K � ¶� � J c M �c � Î ³ � M ¶ � µ � � � � � N À � � � � ¸ ³ � N � � ¸ ¹

� N � � K N �¿ �c ´J � N ± �� ´� � µ �À � K� ² K � � N J � N � � c � N ±� N M� c � N � � � �c N � � ³ ³Ä M� � �� »Ï� � � c � N � c K � · Î ± �c û ±� � N � ¸ � K ³ �� � � M � c � � M �� N � ¸ � � ¸ ³ � N � µ � ¿ � � N ·� N � � c � N � � � �c N � � ³Î ± � N ± �� N ± �� � � � � ¼ · � � � ¼ Ë ¸ ³� K � � � ¸� ¿ � û � N ± � N � À

� ´ N ± � � N � K � � c û � ±� J ³ M ¸ � µ � ¿ � M» � � � c ¶ ¸� K � ¶� � J c M M � ²c � N � � c � � J K ±

� � û ü W . O �� B � ( · � N � � À � � � � ¸ ³ � N � � N � N � � � J ³ � � J K ± � � � � ´ N ± �� � � � � ¸ ³� K � �

� c û · µ � ¿ � N ± � N � À µ � � N � ´ N ±� � � ¸ ³� K � � N � N ± � �� � � � Î ±� K ± K� À N J � � � �

¿ �� Ä ³� � ¶ � � � N � ´ �À � K� ² K K� � � �»`� Î �¿ �� · N ± � � Ñ � K N � K� ³ � ¹ J À ¸ � ±� ¿ � � � � ´ � � ³� N � � c � ³ � �� c ´� � K �µ �c N

³ �� � c � c ¶ ±� � � N � ³ ³ N � ¸ � M �N �� µ � c � M � Ñ À �� � µ �c N � ³ ³Ä » � ± � � Ñ À �� � µ �c N � ³

�¿ � ³J � N � � c � ´ � J � � À À � � � K ± M� c � � � ´� � � � µ � � c ³Ä � c N �c M � M N � ±� ¶ ± ¹³� ¶ ±N N ± � À � � c K� À � ³ � M¿ � c N � ¶ � � � ´ J � � c ¶ � � � ³� N � � c � ³ � �À � � � �c N � N � � c ´� �

� �� c ´� � K �µ �c N ³ �� � c � c ¶» ° � ±� À � N ±� N N ±� � À � À �� Î � ³ ³ � c �À � � � ´J � N ± ��

� � � �� � K ± � c N � N ± � K� µ ¸� c � N � � c � ´ � � ³� N � � c � ³ � c M � �� c ´� � K �µ �c N ³ �� � c � c ¶�·� � µ J K ± Î � � � � �µ � � c � N � ¸ � M� c �» � ±� � � c K ³J M � � K� c � � M �� � c ¶ µ � � �

K� µ À ³ � Ñ � c M M �µ � c M� c ¶ À ³� c c � c ¶ À � � ¸ ³ �µ �»

Ë» ê» �� � �� � � �� �

� ± � µ � � c K� c N � � ¸J N � � c � ´ � J � Î � � � � � N � � M M� � � � N ± � ¶ �c �� � ³� � � N � � c À � � ¸ ¹³ �µ � c � �� c ´� � K �µ �c N ³ �� � c � c ¶ Î � N ±� c � � � ³� N � � c � ³ � � N N � c ¶» � ± � N � � � � ´

²c M� c ¶ � À N � µ � ³À ³� c �Î � N ±� c N ± � ¸ ³� K � �Î � � ³ MÎ � � � ³� �� M Ä K� c � � M �� � M ¸Ä

I� c ¶ ³ � Ä � c ±� � ¸� � � � I� c ¶ ³ � Ä · ¼½ ½¾ ( · N � � ³ ³J � N � � N � � �� c ´� � K �µ �c N ³ �� � c ¹� c ¶» `� Î �¿ �� · � c � N �� M � ´ J � � c ¶ � � � ³� N � � c � ³ ³ �� � c �� ´� � ¶ �c �� � ³� � � N � � c ± �

�µ À ³� Ä � � c �J � � ³ c � N J � � c ¶ � ² Ñ � M � � N � ´À � � À � � � N � � c � ³ ´ �� N J � � �» Åc M � � Mú·N Ä À � K� ³ ¶ �c �� � ³� � �� � � c � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � � ¸� � � M � c c �J � � ³ c � N � ·K ´» �» ¶» � � � � � J � � · ¼½ ½ ¼ ( · Î ± �� �� � Î � �µ À ³� Ä M � K� � � � c N � � � �»

� ± � J � � � ´ M � K� � � � c N � � � � � c � � �� c ´� � K �µ �c N K� c N � Ñ N � � c � N c �Î »ÅN Î � � ²� � N À � � À � � � M ¸Ä È ±� À µ � c L � � c M b� � ³ ¸ ³� c ¶ L � � È ±� À µ � c � c M

b� � ³ ¸ ³� c ¶�· ¼½ ½ ¼ ( · Î ±� M �¿ � ³� À � M � c � c K� �µ �c N � ³ M � K� � � � c N � � � ³ �� � c � c ¶

� ³ ¶� � � N ±µ Î � N ± �À � K� � ³ ± �J � � � N � K � N � K� À � Î � N ± K� c K �À N ¹ M� � ´N � °� Mµ ��

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ âä

Page 21: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � Â ¼

� c M bJ ¸� N · ¼½ ½ � ( � c N ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶ K� c N � Ñ N¦» � J � � À À � � � K ±

� � M� � N � c ¶J � � ± � M ´� � µ N ± � � c � ¸Ä È ±� À µ � c � c M b� � ³ ¸ ³� c ¶ ¸Ä N ± � J � � � ´

� � � ³� N � � c � ³ � �À � � � �c N � N � � c » `� Î �¿ �� · � N Î � J ³ M ¸ � � Ñ N � �µ � ³Ä J � � ´J ³ N �

� c N � ¶� � N � � ³ ¶� � � N ±µ ¸Ä È ±� À µ � c � c M b� � ³ ¸ ³� c ¶ � �» �» N ± � ± �J � � � N � K � � c M

N ± � � c K� �µ �c N � ³ � �À � K N ( Î � N ± N ± � � �À � � � �c N � N � � c � À � � ¿ � M � M ¸Ä � Å I � Ó

� c M � Å I � Ó ¹ L �»É c � N ± �� À � � K � � ´Î � � � N ±� N � � ¿ �� Ä µ J K ± � � ³� N � M N � � J � À � � � �c N � N � � c

� ´ L L I � � N ±� N � ´ �� J µ � � � J µ · ¼½ ½¾ (» ` � J � � � � �� c M � ´ ¶ �c � N � K

� À À � � � K ± N � ³ �� � c � c ¶ � J ³ � � � c N ± � ¸ ³� K � � Î � � ³ M ´� � ¶� � ³ � � J K ± � � � N � K � ¹� c ¶ � c M J c � N � K �� c ¶» �� N ±� � � � µ ± � �µ À ³� Ä � � �À � K� � ³ � J ³ � ³� c ¶J � ¶ �� � N � ³ �¿ � ³ ¸ � NÎ � �c À � � À � � � N � � c � ³ � c M ²� � N � � M �� ³� ¶� K ( ´� � � Ñ À � � � � � c ¶

À � ³� K� � � � c M J � � � ¶ �c � N � K � c ¶� � M� �c N � N � ³ �� � c � c M µ � M� ´Ä N ± � � � N � ´

� J ³ � �» ° ± �� �� � N ±� � � À À � � � K ± � � � ³ � ¶� c N · � N M� � � c � N �µ À ³� Ä N ± � ¸� � � K

À � � c K� À ³ � � � ´ GD � � I C F E ' H D CD J �D ED F C J HJ � � � Î � M� »

� ± � K� µ ¸� c � N � � c � ´ ³ �� � c � c ¶ � c M À ³� c c � c ¶ ±� � � � K ��¿ � M � ³� N � ´ � N ¹N �c N � � c � c N ± � � � N � ² K� � ³ � c N � ³ ³� ¶ �c K � ³� N �� � N J � � � � � � � I� c ¶ ³ � Ä · ¼½ ½ ¾ ( ´� �

� c � Ñ K � ³ ³ �c N � ¿ �� ¿ � �Î (» É ³ � � · µ � � N � À À � � � K ± � � N � ³ �� � c � c ¶ � c � À ³� c c � c ¶

K� c N �Ñ N M� �µ À ³� Ä � � ³� N � � c � ³ � �À � � � �c N � N � � c �» ÅN K� c ¸ � c � � J � À � � � � N ±� N

¿ � � � � J � N Ä À � � � ´ ³ �� � c � c ¶ N � � � � ±� ¿ � ¸ � �c K� c � � M �� � M � c N ±� � K� c N � Ñ N »

É ²� � N ³� c � � ´ � � � �� � K ± � N N �µ À N � N � � µ À � � ¿ � N ± � M� µ � � c �c � Î ³ � M ¶ �

� ´ N ± � À ³� c c �� » � ±� � K� � � � �À � c M � N � ³ �� � c � c ¶ µ � � � � K KJ � � N � M � ² ¹

c � N � � c � � ´ N ± � � À �� � N � � � · �» �» N ± � � � � K N � · À � � ¹ � c M À � � N ¹ K� c M� N � � c �»

� ±� � � À À � � � K ± ±� � ¸ � �c � c N � ¶� � N � M � c Æ � � M� ¶Ä · K ´» � È� � ¸� c � ³ ³ � c M

� � ³ ³ú· ¼ ½ ½ = (» � ± � À ³� c c �� N ± �c � Ñ À ³� � N � N ± � ³ �� � c � M �c � Î ³ � M ¶ � � c

� � M �� N � K� c � N � J K N ¸ �N N �� À ³� c �» � ± � M� � �� �c K �Î � N ± � � ³� N � � c � ³ � �� c ¹´� � K �µ �c N ³ �� � c � c ¶ � � N ±� N � J � � À À � � � K ± M� � � c � N � � ³Ä � c � À ³� c c �� »

� ±� � � � � µ À � � N � c N � � � c � µ � ¶ ±N K� c � � M �� � � ³� N � � c � ³ � �� c ´� � K �µ �c N

³ �� � c � c ¶ � J N � � M � � À ³� c c � c ¶ K� c N � Ñ N¦»

É � � K� c M ³� c � � ´ � � � �� � K ± K� c K �� c � N ± � ³ �� � c � c ¶ � ´ K� c N � � ³ �c � Î ³º¹

� M ¶ �» Ó» ¶» N ± � Î � � � � c I Ó �Á � N K ± � ³ ³ � N¦» � ³» · ¼½ � ÿ ( � c M � É � Ó

� I� c ¶ ³ � Ä · ¼½ � � ( ³ �� � c � MÎ ± �c N � � À À ³Ä K �� N � � c � À �� � N � � �» � ± � ¶� � ³

� ´ N ±� � Î � � � � � N ±J � � � µ � ³� � N � N ±� N � ´ � � ³� N � � c � ³ � �� c ´� � K �µ �c N

³ �� � c � c ¶» `� Î �¿ �� · N ± � � À À � � � K ± � � Ò J � N � M� � �� �c N » Ó» ¶» N � � � ³¿ �

� Ä µ ¸� ³� K � c N � ¶� � N � � c À � � ¸ ³ �µ � · I Ó Î � J ³ M K� c � N � J K N � � �� � K ± N � � ��� N � � K � ( � c Î ±� K ± � ³ ³ ³ � ¶� ³ � À �� � N � � � Î �� � � À À ³� � M N � � ¶�¿ �c � c ¹N � ¶� � N � � c À � � ¸ ³ �µ J c N � ³ � �� ³J N � � c Î � � ´� J c M � N � K �� N � � c M �À N ±»

� c K � N ± � � � ³J N � � c Î � � ´� J c Mú· I Ó Î � J ³ M ³� ¸ � ³ � ³ ³ � À À ³� K� N � � c � � ´

� À �� � N � � � � c N ± � À � N ± ³ �� M� c ¶ N � N ± � �� À N � µ � ³ ( �� ³J N � � c � � À � � � N �¿ �

� Ñ � µ À ³ � � · � c M � ³ ³ � À À ³� K� N � � c � M�¿ �� ¶� c ¶ ´� � µ N ±� � À � N ± � � c � ¶� N �¿ �

� Ñ � µ À ³ � �» � ± � � Ñ � µ À ³ � � Î �� � N ± �c ´ � M � c N � � �� c M � ´ � � ³� N � � c � ³

³ �� � c � c ¶ � ³ ¶� � � N ±µ � c M J � � M N � � � ²c � N ± � K� c N � � ³ �c � Î ³ � M ¶ �» �� ·N ± � µ � K ±� c � �µ ´� � ³ �� � c � c ¶ � � Ò J � N � M� � �� �c N¦» � ± � I Ó � c M � É � Ó

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â ç

 ê ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

µ � N ±� M M� � � c � N � À À ³Ä � c N ± � K� c N � Ñ N � ´ � J N � c � µ � J � � ¶ �c N � · ¸ � ¹

K� J � � � N � � � J µ � � N ±� N � c � K� c ¸� K �N � � K � N � �� � ³� �� � N � N � � �Î ±� K ±

µ � Ä c � N ¸ � À � � � � ¸ ³ � ¹ � c MÎ ±� K ± � � K �� N � � c ³Ä À � � ¸ ³ �µ � N � KÎ � N ±� J N

� M �Ò J � N � M� µ � � c �c � Î ³ � M ¶ � (» � c N ± � � N ± �� ±� c Mú· � J � µ �N ±� M N �

K� c � N � J K N � Ñ � µ À ³ � � ´� � ³ �� � c � c ¶ N ± � Æ ¹ N � � � � � K �� N � � c ³Ä � � µ � ³� � � c

�À � � � N N � I Ó »

É N ±� � M ³� c � � ´ � � � �� � K ± � c � ³Ä N � K� ³ ³Ä ³ �� � c � K� c N � � ³ �c � Î ³ � M ¶ � � ´N �c

J � � c ¶ � ´� � µ � ´ � Ñ À ³� c � N � � c ¸� � � M ³ �� � c � c ¶» � ± � M� � �� �c K � Î � N ±

� � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ � � N ±� N � Ñ À ³� c � N � � c ¸� � � M ³ �� � c � c ¶

� � ³� � � � c K� µ À ³ � N � �c � Î ³ � M ¶ � � ¸� J N N ± � M� µ � � c »

� ± � Î � � � ¸Ä � N � c � � c M � � ³� � � � � N � c � � c M � � ³� � � · ¼½ ½ ½ ( � � K ³� � � ³Ä

� � ³� N � M N � � J � � � c N Î � Î � Ä �» Ï � � � N · N ± �Ä J � � M � K� � � � c ¹ N � � � � N � ³ �� � c � � ¹´J c K N � � c · N ± �� � ¸Ä ¶ �c �� � ³� � � c ¶» � � K� c Mú· N ± � Ä J � � � µ � À À � c ¶ � c � N � N � �

N � N � � c � ´� � µ ³� � ¶ � � N � N � ¹ �À � K � � � c N � ³ �� � c � ¸ ³ � � c � �» � ±� � µ � À À � c ¶ � �

±� c Mº¹ K� M � M» � J � � À À � � � K ± J � � � � µ � À À � c ¶ Î ±� K ± ¶ �c �� � ³� � � � � K� � � �

� N � N � ¹ � K N � � c À � � � � à N ±� � µ � À À � c ¶ � � � µ À ³� K� N ³Ä M � ²c � M ¸Ä N ± � � � ³� N � � c � ³

� �À � � � �c N � N � � c � c M N ± � ¸� K � ¶� � J c M �c � Î ³ � M ¶ �»�� µ �Î ±� N � � ³� N � M N � � J � � À À � � � K ± � �Î � � � � c ±� �� � � K ±� K� ³ � �� c ´� � K � ¹

µ �c N ³ �� � c � c ¶�· � J K ± � � � À N � � c � � � J N N � c � N » � ³» · ê = = = (» �À N � � c � � � � µ � K� �

� K N � � c � M � ²c � M ¸Ä � � � ¶� � c � ´ N ± � � N � N � �À � K � Î ± �� � � Ñ � KJ N � � c K� c

¸ � ¶� c · � À � ³� K Ä � c M � N �� µ � c � N � � c K� c M� N � � c » �À N � � c � K� c ¸ � ¿ � �Î � M � �

¸� K � ¶� � J c M �c � Î ³ � M ¶ � · � ³ ¸ �� N M� � �� �c N � c c � N J � � ´� � µ N ± � � c � KJ � � �c N ³Ä

J � � M ¸Ä L L I»

Ë» ÿ» � � � � � � � � �� �

� ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶ À � � N � ´ N ± �Î � � � À � � � �c N � M � c N ±� � À � À �� � �

� Mµ � N N � M ³Ä � � µ À ³ �» ° � ±� ¿ � N � � �c � � N � c M� � M N � Ñ N ¸� � � M � � K� � À N � � c � ´

� �� c ´� � K �µ �c N ³ �� � c � c ¶ �Á � N K ± � ³ ³ú· ¼½ ½ Ë ( � c M � c K� � À � � � N � M � c � µ À ³ �µ �c ¹N � N � � c � ´ � N Î � N ±� c � J � � À À � � � K ±» ° � ±� ¿ � K� c � � M �� � M � M � N �� µ � c � � N � K

� � N N � c ¶ � c M � ¶� � ³º¹ � � � �c N � M ´� � µ J ³� N � � c � ´ N ± � ³ �� � c � c ¶ À � � ¸ ³ �µ » `� Î ¹

�¿ �� · ¸� N ± � � � N � � K N � � c � K� c ¸ � �� � � ³Ä ³� ´N � M N � � Ñ N �c M N � c � c ¹ � �� � � �Î � � M �

� c c � c ¹ N �� µ � c � ³ � N � N � � � N ± � L L I � ³ ¶� � � N ±µ � K N J � ³ ³Ä µ � � � � c � � � � J µ À ¹N � � c � c N ± � � �� c ´� � K �µ �c N � � K ��¿ � M ( � c M c � c M � N �� µ � c � � N � K � K N � � c �» ��

±� c M ³ � c � c M � N �� µ � c � � N � K � K N � � c � � c � À À � � À � � � N � J À M� N � � J ³ � � � � � À � ¶ �

ÿ � ê � ´ �Á � N K ± � ³ ³ú· ¼½ ½ Ë ( ( ±� � N � ¸ � J � � M N � ¶ �c �� � N � � Ñ � µ À ³ � � ´� � N ± �

� Å I � Óʹ L � � ³ ¶� � � N ±µ » � N ± �� À � � c N � Î ± �� � N ± � � �� c ´� � K �µ �c N ³ �� � c � c ¶

À � � N K� c ¸ � � µ À � � ¿ � M � c K ³J M � N ± � � c � N � � ³� � � N � � c � ´ � ¹ ¿ � ³J � � � c M N ± �

� Ñ À ³� � � N � � c � N � � N � ¶Ä »

� ± � KJ � � �c N � µ À ³ �µ �c N � N � � c � ´ � Å I � Ó ¹ L � � � ¹ � K K� � M� c ¶ N � � �� c ¹´� � K �µ �c N ³ �� � c � c ¶ � N � c M� � M � ¹ c � N � À N � µ � ³» � c � � ´ N ± � � �� � � c � � � N ±� N

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ âæ

Page 22: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � Â ÿ

� N � � c � N � c K� �µ �c N � ³» `� Î �¿ �� · � c K� �µ �c N � ³� N Ä � � c � N � J � K� �c N · � � N ± �� � � N � µ � N � M ( ¿ � ³J � � � ´ � � � � K ±� c ¶� c ¶ Î � N ± N � µ �» � ± � � � À � � ¸ ³ �µ � � � �

N � � �c K� � � � ´ ¸Ä È ±� À µ � c � c M b� � ³ ¸ ³� c ¶ L � M � K� � � � c N � � � � ³ ¶� � � N ±µ

N ±� N Î � � �À � K� ² K� ³ ³Ä M � � � ¶c � M ´� � � �� c ´� � K �µ �c N ³ �� � c � c ¶ � È ±� À µ � c � c M

b� � ³ ¸ ³� c ¶�· ¼ ½ ½ ¼ (» É c � N J � � ³ M� � � KN � � c ´� � ´J � N ± �� Î � � � � � N ±J � N � M �¿ � ³� À

� ²� � N � � M �� � � ¶� � � � � � c N � � � � ³ ¶� � � N ±µ K� µ ¸� c � c ¶ N ± � � �À � � � �c N � N � � c �

� ´ � Å I � Ó ¹ L � Î � N ± N ± � � ³ ¶� � � N ±µ � c M À �� ´� � µ � c K � µ �� � J � � � � ´ N ± �

� À À � � � K ± ¸Ä È ±� À µ � c � c M b� � ³ ¸ ³� c ¶» � J K ± � c � c N � ¶� � N � M � À À � � � K ±

Î � J ³ M c � N � J � �� ´� � µ N ± � � ¸� ¿ �µ �c N � � c � M À � � ¸ ³ �µ �»É c � c N �� � � N � c ¶ M� � � K N � � c ´� � ´J � N ± �� Î � � � Î � J ³ M ¸ � N ± � � c N � ¶� � N � � c

� ´ � � ³� N � � c � ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶ Î � N ± �� µ � � À À � � � K ± � � N � ±� �� � � ¹

K ±� K� ³ � �� c ´� � K �µ �c N ³ �� � c � c ¶�· � J K ± � � � À N � � c � � � J N N � c � N » � ³» · ê = = = (» É �

µ �c N � � c � M � ¸� ¿ � · � À N � � c � � � � µ � K� � � K N � � c � M � ²c � M ¸Ä � � � ¶� � c � ´

N ± � � N � N � �À � K � Î ± �� � �Ñ � KJ N � � c K� c ¸ � ¶� c · � À � ³� K Ä � c M � N �� µ � c � N � � c

K� c M� N � � c » Æ� � � µ � N � � � � M � À N � � c � · � J K ± � � ý T O û (ü T Wý � � " ( Î � J ³ M µ � � �

� �c � � � c N ± � L L I � � N N � c ¶� N ± � N �� µ � c � N � � c K� c M� N � � c ´� � N ±� � � À N � � c

Î � J ³ M ¸ � ý T O û ( � " (» � J K ± � c � À N � � c K� J ³ M � ³ �� ¸ � ³ �� � c � M» � ± � J � � � ´

� J K ± � À N � � c � K� J ³ M � ³ ³ �¿ � � N � �� µ � � ´ N ± � À � � ¸ ³ �µ � �c K� J c N �� � M MJ � � c ¶

� J � � Ñ À �� � µ �c N � Î � N ± W, �ûB ü (»

^ �� � �� � � � � �� �� %

� ±� � Î � � � Î � � � J À À � � N � M � c À � � N ¸Ä N ± � Ó � Æ L Å � Å � Æ � � � � K N ê = ê ÿ Ë

Å I Æ ê» � J � � c ¶ N ± � � c � N � � ³ À ±� � � � � ´ N ±� � Î � � � IJ K � � L� � MN Î � � � J À ¹

À � � N � M ¸Ä N ± � ÏJ c M ´� � � K� �c N � ² K L � � �� � K ± � ´ Ï ³� c M �� �» � ± � � J N ±� � �

Î � J ³ M ³� � � N � N ±� c � ` �c M� � � � ³� K � � � ³ ´� � � c N � ¶� � N � c ¶ � Å I � Ó � c M

� Å I � Óʹ L � � c L L I · � c M N � I � � ³� � Æ� K � b� � ³ ¸ ³� c ¶ � c M Æ� N I� c ¶ ³ � Ä ´� �

� c N �� � � N � c ¶ M� � KJ � � � � c � � c M � J ¶ ¶ � � N � � c � K� c K �� c � c ¶ N ±� � Î � � �» Ï � c � ³ ³Ä ·Î � Î � J ³ M ³� � � N � N ±� c � N ± � � � ´ �� � � � ´� � N ± �� � À � N � �c K � · � c N �� � � N � c M

� J ¶ ¶ � � N � � c � · Î ±� K ± ± � ³À � M � µ À � � ¿ � N ± � À � À �� � � ¶c � ² K� c N ³Ä »

� # ª ¨ ® �

� z� � � � � � � �} � z� � z � } �x y } �� |~ � z � z yz | � � x N� �z |� x x � }~ } � � } � | � | } { � � �~ × -1 hØD @ . j 3 0 . 4Ø g 1 0 2Ø 1 0 �, h j 50 * F*, -0 50 6 � � }� �z ~ � z� �� z~ ~ � � z~ � z { x } � � � � V � �

� y } � �x x y�� ! � � z~ � � x wz x � { � � � � } } �z � x z � z~ � � |� �� x { |N z { |}~ |~ � � � � �~ × -1 hØ ^ . j

3 0 . 4Ø �1 - X9 j1 + 1 0 3 0 Z> h . 5? * F1 6 5 h × -1 6 -, / / 50 6 �� z � x � � ��� � �� V � � �� � |~ � x� �

� x� y |~ �

� y } � �x x y�� ! � � � x wz x � { � � � � z~ � wz � }~ � � � �}� � �} � ~ �~ �� � { | }~ } � � y� � { x� |~ � �� x x � ��~ × -1 hØ D ` . j 3 0 . 4Ø g 1 0 2Ø 1 0 �, h j 50 * F*, -0 50 6 � V � �

� y } � �x x y�� ! � � z ~ � � x wz x � { � � � �}� � �} � ~ |~ �� � { | }~ } � �� � { }� � x� y} � | �z y � x � |� | }~{� x x � � Y - .5 � h 5, 4 3 0 .* 4 456 *0 h * � VÖ V � V� Õ �S Õ � �� Õ �� V � �

� y } � �x x y�� ! � � � x wz x � { � � � � � z � } � � � � � z~ � � x� } x~ � � � � �z y |~ �� � |~ �� � { |� x y} � | �

� � } �� z � � |~ � �� y x z� ~ |~ � �� } � |~ { x� � � x { z { | }~ � � ), ., / 50 50 6 , 0 Z i0 1 [ 4* Z6 *) 59 h 1? * - 8 � � �� � � � � � � V �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â M

  ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�� x |� z~ � � � � ,� | x �� z ~ � � � ! � � � y � � x~ � w� � � � z~ � � { }~ x � � � � � g 4, 9 9 5 � h, .51 0 , 0 Z

* 6 -* 9 9 51 0 -* * 9 � V � �� �z �� � }� { ��� � x y� }~ { �� z� � }~ x y y � � � z~ � � | y y � �� � x z� ~ |~ � �� x� � x� |� x~ { z { |}~ S { � x }� x� z { }� � x �~ x� x~ {

� x { �} ��� �~ �� � } �� z { } � z~ � w� � | � �z y � � | � x � | { }� � � �, h j 50 * F*, -0 50 6� Y0 Y - .5B

� h 5, 4 3 0 .* 4 456 *0 h * Y+ + -1, h j�� � � V V � Õ V � � V Ö � � }� �z ~ � z� �� z~ ~ � � z~ � z { x } �� � �� �z� � z~ � � � � z ~ � � z x y � y |~ �� � � �~ � � { � x~ x� z y |N z { | }~ |~ �x yz � x �� x |~ �}� � x� x~ {

y x z� ~ |~ �S �~ z y �}� | { �� z ~ �� x� �}� � z~ � x � } � � z� | � }~ � � �~ × -1 hØ D k . j 3 0 . 4Ø ;1 50 .

g 1 0 2Ø 1 0 Y - . 5 � h 5, 4 3 0 .* 4 45 6 *0 h * � V V � � }� �z~ � z� �� z~ ~ � � z ~ � z { x } � � � �� x wz x � { � � � � z~ � � y } � �x x y�� ! � � � |~ � y } � | �z y �x � | � | }~ {� x x � �}� � y� � { x� |~ �� �~ × -1 hØ ^ . j

3 0 . 4Ø �1 - X9 j1 + 1 0 3 0 Z> h .5? * F1 6 5 h × -1 6 -, / / 50 6 �� z � x � V � � � V � V � V �� �� � |~ � x� �

� x� y |~ �, | �x � � w� � � � z~ � � | y � � }~ � � � � � � � w � ��S �~ x � z� � � } z � � { } { � x z� � y | �z { | }~ } �

{ � x }� x� � � } � |~ � � Y - .5 � h 5, 4 3 0 .* 4 456 *0 h * � Õ � � � � �S V � � ÕÖ � � V � V �

� z x y � y |~ � � � � � � | { {� z~ � � � � z~ � � } }� x � � � w x |~ �}� � x� x~ { y x z� ~ |~ �S � �� � � x � � ;1 > -0 , 4

1 2 Y - .5 � h 5, 4 3 0 .* 4 45 6 *0 h * * 9 *, -h j� �S Õ � � � Õ � � � V � �

� z� z y | � � � � � z ~ � �� z { �} � � � , |� � { }� �x� � x �� x � � | }~ � �, h j 50 * F*, -0 50 6 � Õ �S V � ��� V � � �V ��

� } x~ | �� � � � z~ � � |� � }~ � � w� � � � � x x �x � { } �� x� � x � x~ { z { | }~ z~ � �~ } � y x � � x }~ �} z y�� |� x � { x � x� � y }� z { | }~ � | { �� x |~ �}� � x� x~ {� y x z� ~ |~ � z y �}� | { �� � � �, h j 50 * F*, -0 50 6 �Õ Õ S Õ Õ ��� Õ �Ö � V � �

�� z � x� � � � � {� � � {� � z y� x �� x � � | }~ {� x x � � �~ × -1 hØ D @ . j Ù, . 4Ø g 1 0 2Ø 1 0 Y - .5 � h 5, 4

3 0 .* 4 456 *0 h * � � � � � �� x � � � V � � � x~ y } �z� � � � � �

� z~ � y x � � �� � {� z { x �� z ��� | � | { |}~ �} � x� ~ x � �� x� � x� |� x~ { z { | }~ � �~ � { x x y� � � � z~ �

� z � � � x y y � � � � � � � �� � � × -1 6 -* 9 9 50 Y - .5 � h 5, 4 3 0 .* 4 456 *0 h * � � y y | � ! }� � } } �� V � � �

� z~ � y x � � �� 4* / *0 .9 1 2 �, h j 50 * F*, -0 50 6Ø V � � � }� �z~ � z� �� z~ ~ �

� z � � z � � � � � z~ � � �N x� } � � | � � � 3 0 Z> h . 5? * F1 6 5 h × -1 6 -, / / 50 6� * h j0 5� > * 9 , 0 Z

Y+ + 45 h, .51 0 9Ø � V �� � y y | � ! }� � } } ��� � � | � � x � { x� �

� |~ � � �� � � � x y �� �� � � } � |~ �� x z � { |� x z � x~ { � �z � x � }~ � x |~ �}� � x� x~ { y x z� ~ |~ ��� yz ~ ~ |~ �

z ~ � { x z � � |~ �� �, h j 50 * F*, -0 50 6 � + } y � � �� � � Õ �� �Õ V � V Õ �� | { � � x y y � � � � � x y y x� � w� � � x �z� � � z � x y y | � � � �� � yz~ z { |}~ �z � x � � x~ x� z y |N z { | }~ S z

� ~ | �� |~ � � | x � � �, h j 50 * F*, -0 50 6 � V � V � �� � � � �� �Ö � V � � �� | { � � x y y � � � � � { � } �� �� � � � z~ � � z ~ x� b | � w� � � x z� ~ |~ � �� x� � x� |� x~ { z { | }~ S z ��� |� |~ �

z ~ �� x �~ |~ �� � } � y x� � � } y� |~ � � x� � | � { | �� � �~ � | � �z y� � |� w� � � � � z� � }~ x y y � � � � � z~ �

� | { � � x y y � � � � � � � �� � � �, h j 50 * F*, -0 50 6� , 0 Y - .5 � h 5, 4 3 0 .* 4 456 *0 h * Y+ + -1, h j�

�� � |~ � x� � + x� yz �� V � ��� | { � � x y y � � � �, h j 50 * F*, -0 50 6 � V � � � � �� z � � ! | y y � � x � �}� ���� } }~ x � � w� � � z~ � � z y | �� � � � � �~ �� � { |}~ } � �� � {� }� �x� �x � | � | }~ y | � { �S w x �� y { � }~ y x z� ~ �|~ � { � x� z � { { x~ � x } � �~ � y | � � � x� � � � ;1 > -0 , 4 1 2 Y - .5 � h 5, 4 3 0 .* 4 45 6 *0 h * * 9 *, -h j�� � �S V � Õ �� V � �� � � � y x { }~ � � � � z~ � � x wz x � { � � � �~ �� � { |� x y } � | �� � } �� z � � |~ �S � � x }� � z~ �� x { �} �� �;1 > -0 , 41 2 F1 6 5 h × -1 6 -, / / 50 6 V �ÕÖ S �Õ � � � � V ��

� x � x y y x � � � � � w}� � x |� } y � � � � � ��x � ! � � � x� �z �z~ } � , � � z~ � �z� � x~ �� � � � x � yz� z { |� x� |z � |~ � � �� �~ � x wz x � { � � � � � ��� � Y Z? , 0 h * 9 50 3 0 Z> h .5? * F1 6 5 h × -1 6 -, / / 50 6 �� � � �Õ � VÖ � � � �� �� x � � � V � �� � |~ yz~ � � � w� �~ �� � { | }~ } � �x � | � | }~ {� x x � � �, h j 50 * F*, -0 50 6 � VS � V� VÖ � � V � � �� � |~ yz~ � � � w� � x z� ~ |~ � y } � | �z y �x �~ | { | }~ � �� } � � x yz { | }~ � � �, h j 50 * F*, -0 50 6 �SÕ � � Õ � � � V Ö �� � |~ yz~ � � � w� � �� �S � � } �� z � � �}� � z � � |~ x y x z� ~ |~ �� � }� �z~ � z� �� z ~ ~ � V � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â â

Page 23: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � Â �

� { }~ x � �� z~ � + x y } � } � � � �x z � �z� { | { | }~ x ��� �� z �� x �� z~ � | { | }~ wx |~ �}� � x� x~ {

� x z� ~ |~ � � �~ × -1 hØ j 5 - Z Y0 0 >, 4 g 1 0 2* -*0 h * 1 0 Y > .1 0 1 / 1 > 9 Y6 *0 .9 �� z � x �ÕÖ � � Õ VÕ � � � � �� x � � � V �

� � { { }~ � w� � � � �� x �� � � � � � z ~ � � |~ � ��� � � � x {� x x~ � � � � z~ � � x� |� � � � �S �,� z � x � }� � �}� �x� � }� z y � � � {� z � { | }~ |~ wx |~ �}� � x� x~ { � x z� ~ |~ �� Y - .5 � h 5, 4

3 0 .* 4 456 *0 h * � ,}� { � � } � |~ �� ÕÖ Ö Ö�x � z� � } � � � �x� � }� z y � | �x� x~ � x y x z� ~ |~ � z ~ � �� � �� � � �� � g 1 / / > 0 5 h, .51 0 9 1 2

. j* Yg �� � � � � �S � � � � � � V � �� { �} �� �� � � � � x� �� z ~ � � � � � � z~ � � yz� � x � � � � � � x � | � |}~ {� x x |~ �� � { | }~ � z � x � }~

x � � | x~ { {� x x � x � {� � � {� � |~ �� �, h j 50 * F*, -0 50 6 �� � � �� � �� V � ��z { � |~ � � � � � z ~ � � z � z ~ � �� � � y x z� ~ |~ � � �, h j 50 * F*, -0 50 6 � �S Õ � � Õ Õ � V Õ �� | �� x� � � � � z~ � �� �z { � � � � � � �� � � �� x � |z y � � �� x }~ � }~ { x� { � x~ � | { |� | {� z~ � � }~ � x� {

�� | � { � �, h j 50 * F*, -0 50 6 � �Õ �Õ � � V � �

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â @

¾ ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

¨ ¬ ¯�

¥ " § � � � � ¨ ¬ " § � � �C � " � E «ª ¯ © � �

� ± � À � �J M� ¹ K� M � ´� � N ± � � Å I � Ó � c M � Å I � Ó ¹ L � � ³ ¶� � � N ±µ � � � ¶�¿ �c

¸ � ³� Î »�z � y x � �

�r ¡ t |~ �� � x {� x x �� S x� z � � y x � �

�� x z { x z � } } {~ } � x �}� { � x {� x x �

�� y | { � � � � � �

r � q� r a �

� a ¢ �r ¡ t

�r ¡ t �� y | { � S ~ } � x� � S x� z � � y x � � �S {� x x �

� �L �S R � M ]L �

K¡ r z y y� } � � | � y x { x � { � � |~ ~ } �x ¢ ¡

�} � � � { x �� M ]� �� � � �

Y K �� M ]� �� � � � | � � x { { x� { �z~ �� M ]� �� � � �L � �

q X� a � �L �S R �

� a ¢ Y K

Y K � �L � � | x y �� |� � � } � x� x~ { �q X� a� �L � � �S R � �L �

�� x z { x {� } �� �~ } �x � ` � � } � |~ �

� ` S R � � � � � � � z { | � � x � � �L � |~ � �

� � S R � � � � � � �} x � ~ } { � z { | � �� � �L � |~ � �

ts Z Z �� y | { � ` � � ` � � �

ts Z Z �� y | { � � � � � � � �

� Zp � {� � ~ |~ { } z y x z �

� a ¢ Y K

� a ¢ �r ¡ t

� ± � � Å I � Ó � c M � Å I � Ó ¹ L � � ³ ¶� � � N ±µ � � � � � � µ � ³� � N � K ³� � � � K� ³ M � ¹

K� � � � c N � � � � � Ñ K �À N N ±� N � c ³Ä ¸� c � � Ä N � � � � � � � � c MJ K � M � c M � ³ � � N ±� N

N ± � K� µ À J N � N � � c � ´ N ± � À � � � � ¸ ³ � N � � N � � c � c � M � µ � Ä M �À �c M � c N ± �

¿ � � � � ¸ ³ � � � c c � M � � ±� ¶ ± �� � c N ± � N � � �» É ³ �� · Î ± �c M � N �� µ � c � c ¶Î ± � N ± ��

� c � Ñ � µ À ³ � � � N � � ² � � � N � � N � c � µ J � N � ³ � � N � � � � c N � � K K� J c N N ± � N � � N �

±� ¶ ± �� � c N ± � N � � �» Ï � c � ³ ³Ä · N ± � ± �J � � � N � K � �µ À ³� Ä � M ¸Ä � Å I � Ó � � � N ± �

� � µ � � � � c È Â» � · � c M N ±� � � � c � Å I � Óʹ L �Î � ³ ³ µ � c � µ � � � N ± � ¿ � � � � c K � � ´

N ± � N � � ¶ � N ¿ � � � � ¸ ³ �Î � N ±� c �� K ± � J ¸c � M � � c MÎ � ³ ³ µ � Ñ � µ � � � N ± �¿ � � � � c K �

� µ � c ¶ N ± � NÎ � � J ¸ c � M � �»

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â k

Page 24: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � Â Ë

�¥ � � ® # Eª «­ ¨ ¬ #¨ «$ ¬ E # «ª " § � � �

� � � � M � � N ± � À � � M� K� N � � ý T O û ( � " ( � c M W, � "B � ( J � � M N � � �À � � � �c N � N � N � � ·N ± � ´� ³ ³� Î � c ¶À � � M� K� N � � K� c ¸ � J � � M � c N ± � N � � � � � c MJ K � M ¸Ä � Å I � Ó � c M

� Å I � Óʹ L �� û ü W. O � "B � ( · O � � "B � ( · �O �V �Q � "B � ( · , R -ü O ( W Sü T Wý �/ �� ( ·

, R -ü O ( W S / Q û ý �/ � � ( � c M þ � S S �� B �B � (» � ± � � � µ � ¸� K � ¶� � J c M �c � Î ³º¹

� M ¶ � � � J � � M ´� � ¸� N ± � Å I � Ó � c M � Å I � Ó ¹ L �» ÅN � � ³� � N � M ¸ � ³� Î »

ß 0 3 :7 4 Ü. 95 1 ß 3 :7 � 4è �5 < 3 :7 � 4 Ü. 95 1 ß 3 :7 � 4è �5 < 3 :7 � 47 . 95 1 ß 3 �7 � 4 Ü. 6 Þ �5 </5 1 ß 3 7 � 4è �. 6 Þ �5 < 3/5 1 ß 3 7 � 4 4 Ü

;5 . Û5 < 3�:7 � 4è � ;5 . Û 35 < 3�:7 � 4 4 Ü;5 . Û � Þ. 6 �è � ;5 . Û 3 � U 35 < 3�:7 8 Û5 5 Ú 475 < 3 �7 8 Û5 5 Ú 47 � �� � 4 4 Ü;5 . Û 2 <� Þ. 6 �è � ;5 . Û 3 � U 35 < 3�:7 � 47 � �� 8 Û5 5 Ú 4 4 Ü

� � 8 8 3 7 �7 � 4è � � � � � �Ü

ß � ; Þ 3 8 Û5 5 Ú7 ä 4 Ü

ß � ; Þ 3�:7 4è � 9 Û5 6 � 3� 47 ß � ; Þ ç 3�:7 4 Ü

ß � ; Þ ç 3�:7 ç 4è �5 < 3�:7 8 Û5 5 Ú 4 Ü

ß � ; Þ ç 3�:7 4è �5 < 3�:7 � 47 � �� 8 Û5 5 Ú7 ß � ; Þ ç 3 �7 � 47 � � �� ç Ü

<2/ 9 ß Ú5 89 Û5 6 �� 3� 4è �/ �9 Û5 6 �� 3 47 / � Ûß < ; Þ 3 :7 � 4 Ü

<2/ 9 ß Ú5 8 � Þ. 6 �� 3� 4è �/ � � Þ. 6 �� 3 47 / � Ûß < ; Þ 3 :7 � 4 Ü

/ �9 Û5 6 �� 3 � � Þ 4è � 8 � < �. Û Û 3 :7 9 Û5 6 � 3 47 � � Þ 4 Ü

/ � � Þ. 6 �� 3 � � Þ 4è � 8 � < �. Û Û 3 :75 < 3 7 8 Û5 5 Ú 47 � � Þ 4 Ü

/ � Ûß < ; Þ 3 :7 4è �/ � Ûß < 3 :7 ä:7 4 Ü/ � Ûß < 3� 7 :7 4è � � Ü/ � Ûß < 3 � � 7 �:7 4è � � ç � � � � ç7 / � Ûß < 3� 7 � ç7 4 Ü

9 Û5 6 � 3 4è �5 < 3 :7 � 4 Ü

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ âå

 � ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

�¥ � © © ¯¨ E � # «ª " § � � � � ¨ ¬ " § � � �C � "

È» ¼» � � � $ �G � � % � � � � � � %

� ± � � � � � � J � � M ´� � ³ �� � c � c ¶ N ± � � ¹ ´J c K N � � c �» � � c K � N ± � c J µ ¸ �� � ´ � N �À �

N � N ± � ¶� � ³ � � � �c N � � ³ ³Ä M � ²c � � N ± � � ¹ ´J c K N � � c · ± �� ¶ ±N � � ´ � N � K � � � c M

M� � �� �c K � � ¸ � NÎ � �c N ± � � � � c M N ± � c J µ ¸ �� � ´ ¸ ³� K � � · K� µ À � � � � � c � � ´

N ± � � � N � K� c � N � c N ¿ � ³J � � � � � � ³ ³� Î � M»

ß 2 Ú � � Þ �6 3 ß 2 6 Û 4 Üß 2 6 Û � � 3 01. Û2 ß 3 47 4 Ü

Þ � Û �ß/5 �ß 3 Úß ; Úß � � �5 < 4 Ü65 < 8 � �ß <6 ß Ûß 1 ß Û 3 ç 4 Ü/ � < �/ . Û 6. � ß � 3 ç 4 Ü5 2 Þ é2 Þ5 é Þ �5 < � 3 6 â @ß7 é Ú5 Û5 ;� 4 Ü

Þ. Û � � < ; 3 ä 4 Ü

Þ � éß � Û. < ;2. ;ß 3 �ß � 4 ÜÞ � éß 36 Ûß. Ú 39 Û5 6 � 4 4 ÜÞ � éß 35 < 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3 ß 0 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3. 95 1 ß 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3. 6 Þ �5 </5 1 ß 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3 ß � ; Þ 39 Û5 6 �7 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 <2/ 9 ß Ú5 89 Û5 6 �� 3 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 <2/ 9 ß Ú5 8 � Þ. 6 �� 3 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 <2/ 9 ß Ú � <2/ 9 ß Ú 4 ÜÞ � éß 3 <2/ 9 ß Ú � <2/ 9 ß Ú 4 ÜÞ � éß 3 � � 8 8 3 <2/ 9 ß Ú7 <2/ 9 ß Ú7 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 ;5 . Û5 < 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3 ;5 . Û � Þ. 6 � 4 ÜÞ � éß 3 ;5 . Û 2 <� Þ. 6 � 4 ÜÞ � éß 3/ ß/ 9 ß Ú 3 <2/ 9 ß Ú7 Û � � Þ 4 4 Ü

Ú/5 �ß 3 ç äè 6 Ûß. Ú 3 � � 4 4 ÜÚ/5 �ß 3 ç äè 5 < 3 � � :7 � � � 4 4 ÜÚ/5 �ß 3 ç äè 5 < 3 � � :7 8 Û5 5 Ú 4 4 ÜÚ/5 �ß 3 ç äè ß 0 3 � :7 � � 4 4 ÜÚ/5 �ß 3 ç äè ß 0 3 � :7 8 Û5 5 Ú 4 4 ÜÚ/5 �ß 3 ç äè . 95 1 ß 3 � � :7 � � � 4 4 ÜÚ/5 �ß 3 ç äè . 6 Þ �5 </5 1 ß 3 � � :7 � � � 4 4 ÜÚ/5 �ß 3 ç äè . 6 Þ �5 </5 1 ß 3 � � :7 8 Û5 5 Ú 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 ß � ; Þ 3 � � æ7 � æ 47 � æ 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 ß � ; Þ 3 � � æ7 � æ 47 æ � 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 � � 8 8 3 � �:7 7 � � 47 ß � ; Þ 3 � � æ7 � æ 47

� � 8 8 3�:7 æ7 � �æ 47 � � �æ 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 � � 8 8 3 � �:7 7 � � 47 ß � ; Þ 3 � � æ7 � æ 47� � 8 8 3�:7 æ7 � �æ 47 �æ � � 4 4 ÜÚ Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â )

Page 25: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � ½

Ú/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 ß � ; Þ 3 � � :7 � 47 � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 ß � ; Þ 3 � � :7 � 47 � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 ß � ; Þ 3 � � :7 � 47 � � 8 8 3 � �:7 7 � � 47 � � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 ß � ; Þ 3 � � :7 � 47 � � 8 8 3 � �:7 7 � � 47 � � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 <2/ 9 ß Ú5 8 � Þ. 6 �� 3 � � 47 � � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 <2/ 9 ß Ú5 8 � Þ. 6 �� 3 � � 47 � � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 47 3<2/ 9 ß Ú5 8 � Þ. 6 �� 3 � � 47 � � 8 8 3 � �:7 �7 � � 47 � � � 4 4 4 ÜÚ/5 �ß 3 ç äè � 3�è / ß/ 9 ß Ú 3�:7 ä:7 ç7 æ7 M7 â7 @7 k7 å 7 )7 7 ç ä� 473 <2/ 9 ß Ú5 8 � Þ. 6 �� 3 � � 47 � � 8 8 3 � �:7 �7 � � 47 � � � 4 4 4 Ü

Ú5 5 Þ 3 3 ;5 . Û5 < 3� 7 � 47 <2/ 9 ß Ú5 89 Û5 6 � � 3� 47 . 6 Þ �5 </5 1 ß 3 :7 � 4 4 4 Ü

È» ê» � � � $ � % � � � � � � %

� ± � � � � � � J � � M ´� � ³ �� � c � c ¶ N ± � Æ ¹ ´J c K N � � c �» � � c K � N ± � � À N � µ � ³� N Ä � ´

� K N � � c � M� � � c � N M �À �c M � c N ± � c J µ ¸ �� � ´ � N �À � N � N ± � ¶� � ³ú· K� µ À � � � �� c �

� ´ ± �� ¶ ±N � � c M N ± � c J µ ¸ �� � ´ � N � K � � N � K� c � N � c N � � � � c � N � ³ ³� Î � M»

ß 2 Ú � � Þ �6 3 ;. � < 4 Üß 2 6 Û � � 3 01. Û2 ß 3 47 4 Ü

Þ � Û �ß/5 �ß 36 Û. � � � 8 � 4 Ü6 Û. � � ß � 35 é Þ �/ . Û7 <5 <5 é Þ �/ . Û� 4 Ü65 < 8 � �ß <6 ß Ûß 1 ß Û 3 ç 4 Ü/ � < �/ . Û 6. � ß � 3 ç 4 Ü5 2 Þ é2 Þ5 é Þ �5 < � 3 6 â @ß7 é Ú5 Û5 ;7 ß Û. 95 Ú. Þß� 4 Ü

Þ. Û � � < ; 3 ä 4 Ü

Þ � éß � Û. < ;2. ;ß 3 �ß � 4 ÜÞ � éß 36 Ûß. Ú 39 Û5 6 � 4 4 ÜÞ � éß 35 < 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3 ß 0 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3. 95 1 ß 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3. 6 Þ �5 </5 1 ß 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3 ß � ; Þ 39 Û5 6 �7 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 <2/ 9 ß Ú5 89 Û5 6 �� 3 <2/ 9 ß Ú 4 4 Ü

Þ � éß 3 <2/ 9 ß Ú5 8 � Þ. 6 �� 3 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 <2/ 9 ß Ú � <2/ 9 ß Ú 4 ÜÞ � éß 3 <2/ 9 ß Ú � <2/ 9 ß Ú 4 Ü

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ â

� = ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

Þ � éß 3 � � 8 8 3 <2/ 9 ß Ú7 <2/ 9 ß Ú7 <2/ 9 ß Ú 4 4 ÜÞ � éß 3 ;5 . Û5 < 39 Û5 6 �7 9 Û5 6 � 4 4 ÜÞ � éß 3 ;5 . Û � Þ. 6 � 4 ÜÞ � éß 3 ;5 . Û 2 <� Þ. 6 � 4 Ü

Ú/5 �ß 3 ç äè 6 Ûß. Ú 3 � � 4 4 ÜÚ/5 �ß 3 ç äè 5 < 3 � � :7 � � � 4 4 ÜÚ/5 �ß 3 ç äè 5 < 3 � � :7 8 Û5 5 Ú 4 4 ÜÚ/5 �ß 3 ç äè ß 0 3 � :7 � � 4 4 ÜÚ/5 �ß 3 ç äè ß 0 3 � :7 8 Û5 5 Ú 4 4 ÜÚ/5 �ß 3 ç äè . 95 1 ß 3 � � :7 � � � 4 4 ÜÚ/5 �ß 3 ç äè . 6 Þ �5 </5 1 ß 3 � � :7 � � � 4 4 ÜÚ/5 �ß 3 ç äè . 6 Þ �5 </5 1 ß 3 � � :7 8 Û5 5 Ú 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 ß � ; Þ 3 � � æ7 � æ 47 � æ 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 ß � ; Þ 3 � � æ7 � æ 47 æ � 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 � � 8 8 3 � �:7 7 � � 47 ß � ; Þ 3 � � æ7 � æ 47� � 8 8 3�:7 æ7 � �æ 47 � � �æ 4 4 ÜÚ/5 �ß 3 ç äè 3 ß � ; Þ 3 � � :7 � 47 � � 8 8 3 � �:7 7 � � 47 ß � ; Þ 3 � � æ7 � æ 47

� � 8 8 3�:7 æ7 � �æ 47 �æ � � 4 4 ÜÚ5 5 Þ 3 3 ;5 . Û5 < 3� 7 � 47 <2/ 9 ß Ú5 89 Û5 6 � � 3� 47 . 6 Þ �5 </5 1 ß 3 :7 � 4 4 4 Ü

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @ä

Page 26: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � � ¼

�¥ BDC « ¯ ® ¯ � � ¨ ¬ � C « ¯ ® ¯ � ¯¨ ¬­ ® ¬ ¯ ¨ © !C � « ® # � $ «ª ¬� � © � C � � � � E «ª ¯ © �

�» ¼» � G K � �� � � � �� � � % � � ��

é Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 � 4 7 6 Ûß. Ú 3� 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4 Ü

�» ê» F G K � �� � � � �� � � % � � ��

0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 75 < 3�:7 � 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 7 . 6 Þ �5 </5 1 ß 3 �7 8 Û5 5 Ú 4 7 <2/ 9 ß Ú5 8 � Þ. 6 �� 3 � 4 7� � æ7 � Ü0 Þ Úß ß 3 ç 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </ 5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 7 . 6 Þ �5 </5 1 ß 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 7 ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7

ß � ; Þ 3 �7 4 7 � â7 � Ü0 Þ Úß ß 3 ä Ü )æ ) k 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 7 ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7

ß � ; Þ 3�:7 4 7 � � 8 8 3 �7 7 � 4 7 � � æ7 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 7 ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �76 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ 7 ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7 � Ü0 Þ Úß ß 3 ä Ü ) ç k âæ 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 � 4 7 ß � ; Þ 3 �7 - 4 7 - � æ 75 < 3�:7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û 2 <� Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 - 4 7 - � æ7 � Ü0 Þ Úß ß 3 ä 4 Ü�» ÿ» � G K � �� � � � �� % � � ��

é Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 � 4 7 ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 -7 � 4 7 � � �7 � Üé Þ Úß ß 35 é Þ �/ . Û 4 Ü

�» » F G K � �� � � � �� % � � ��

0 Þ Úß ß 3 ä 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </ 5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 � 4 7 � � â7 � Ü0 Þ Úß ß 3 ç 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </ 5 1 ß 3 �7 � 4 7

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @ ç

� ê ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

ß � ; Þ 3�:7 � 4 7 � � M7 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </ 5 1 ß 3 �7 � 4 7

ß � ; Þ 3�:7 � 4 7 � � æ7 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 � 4 7 � � M7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7

ß � ; Þ 3 �7 � 4 7 � � M7 � Ü0 Þ Úß ß 3 ä Üå @ âå ç k 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 76 Ûß. Ú 3� 4 75 < 3 �7 8 Û5 5 Ú 4 7 ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 -7 � 4 7 � � �7 � Ü0 Þ Úß ß 3 ä Üå å ç @æ @ 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 76 Ûß. Ú 3� 4 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Üå k @ 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 76 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Üå k M @å â 4è � ;5 . Û � Þ. 6 �7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 4 7<2/ 9 ß Ú5 8 � Þ. 6 �� 3 � 4 7 � � æ7 � Ü0 Þ Úß ß 3 ä Ü k â Må M 4 Ü

�» �» � G K � �� � � � �� � � � ���

� �

é Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 7 ß 0 3 -7 � 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 75 < 3 -7 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 � 4 7 6 Ûß. Ú 3 � 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 - 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 7 6 Ûß. Ú 3 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 � 4 7 6 Ûß. Ú 3 - 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 � 4 75 < 3 �7 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 8 Û5 5 Ú 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 � 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 75 < 3�:7 - 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 75 < 3�:7 � 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 7 ß 0 3 -7 � 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @æ

Page 27: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � � ÿ

. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 4 7 6 Ûß. Ú 3� 4 7 . 6 Þ �5 </5 1 ß 3�:7 8 Û5 5 Ú 4 75 < 3 �7 - 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 7 6 Ûß. Ú 3� 4 7 . 6 Þ �5 </5 1 ß 3� 7 8 Û5 5 Ú 47 � Üé Þ Úß ß 35 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 95 1 ß 3 �7 � 4 7 6 Ûß. Ú 3� 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7. 6 Þ �5 </5 1 ß 3 �7 - 4 7 . 95 1 ß 3 �7 � 47 � Üé Þ Úß ß 3 <5 <5 é Þ �/ . Û 4 Ü

�» ¾ » F G K � �� � � � �� � � � ��

� �

0 Þ Úß ß 3 ä 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </ 5 1 ß 3 �7 - 4 75 < 3 �:7 � 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3�:7 � 4 7 � � â75 < 3 �7 - 47 � Ü0 Þ Úß ß 3 ä Ü â Mä â kå 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3�:7 � 4 7 � � â7 � Ü0 Þ Úß ß 3 ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </ 5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 � 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7 ß 0 3 -7 � 47 � Ü0 Þ Úß ß 3 ä Ü @ M ç â â ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7 6 Ûß. Ú 3� 4 75 < 3 -7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü â Mä â kå 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7 6 Ûß. Ú 3� 4 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Ü M )å âæ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7 6 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �75 < 3 -7 � 47 � Ü0 Þ Úß ß 3 ä Ü k @ k ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 � 4 7 � � �7 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 4 7 <2/ 9 ß Ú5 8 � Þ. 6 � � 3 � 4 7 � � æ 75 < 3 �7 � 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 4 7 <2/ 9 ß Ú5 8 � Þ. 6 � � 3 � 4 7 � � æ 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü k @ k ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 4 7 <2/ 9 ß Ú5 8 � Þ. 6 � � 3 � 4 7 � � æ7 � Ü0 Þ Úß ß 3 ä Ü M â ) kå ) 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 4 7 ß 0 3 �7 � 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 47 � Ü0 Þ Úß ß 3 ä Ü k @ k ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 -7 � 4 7 � � M7 � Ü0 Þ Úß ß 3 ä Üå ç äå å @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 4 7 6 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 -7 � 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 75 < 3 -7 8 Û5 5 Ú 4 75 < 3�:7 8 Û5 5 Ú 4 7 ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 4 7

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @ M

� Â ëìí îï ðñ òóÊô ë î õö î ÷ø ô ë ï ó îñ ñ îù ñ

� � 7 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 75 < 3 -7 8 Û5 5 Ú 4 75 < 3�:7 8 Û5 5 Ú 4 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Üå k @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 75 < 3 -7 8 Û5 5 Ú 4 75 < 3�:7 8 Û5 5 Ú 4 7 6 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Üå ) å @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 75 < 3 -7 8 Û5 5 Ú 4 75 < 3�:7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 75 < 3 -7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü â Mä â kå 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 47 � Ü0 Þ Úß ß 3 ä Üå å )ä @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 8 Û5 5 Ú 4 75 < 3 �7 - 4 7 ß � ; Þ 3 �7 � 4 7 � � æ 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Üå k @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 8 Û5 5 Ú 4 75 < 3 �7 - 4 7 ß � ; Þ 3 �7 � 4 7 � � æ7 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 8 Û5 5 Ú 4 75 < 3 �7 - 4 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Üå k @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 8 Û5 5 Ú 4 75 < 3 �7 - 47 � Ü0 Þ Úß ß 3 ä Ü âå )æ å 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7. 6 Þ �5 </5 1 ß 3 �:7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 �7 � 4 7 6 Ûß. Ú 3 � 4 75 < 3 �7 - 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 �7 � 4 7 6 Ûß. Ú 3 � 4 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 �7 � 4 7 6 Ûß. Ú 3 � 4 7 6 Ûß. Ú 3 - 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 �7 � 4 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 75 < 3 �7 � 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3�:7 � 4 7 ß � ; Þ 3 -7 � 4 7 � � �7 � Ü0 Þ Úß ß 3 ä Ü âå )æ å 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3 �7 � 4 7 6 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3 �7 � 4 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3 �7 � 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M7 . 6 Þ �5 </5 1 ß 3 �7 8 Û5 5 Ú 4 75 < 3 �7 - 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M7 . 6 Þ �5 </5 1 ß 3 �7 8 Û5 5 Ú 4 7 6 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M7 . 6 Þ �5 </5 1 ß 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3�:7 - 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3�:7 8 Û5 5 Ú 4 7 . 6 Þ �5 </5 1 ß 3 �7 � 47 � Ü0 Þ Úß ß 3 ä Üå k @ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3�:7 8 Û5 5 Ú 4 7 6 Ûß. Ú 3 � 47 � Ü

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @ â

Page 28: aima.eecs.berkeley.eduaima.eecs.berkeley.edu/~russell/classes/cs294/f05/papers/dzeroski+al-2001.pdf! " # $ % & ' () * +,-. / 0 1 2 3 4 5 6 7 8 9:; < = >;, / 1? @ A: 7 3CB D E

õ î � ö ø ó ðù ö � õ îó ù � ðï � î � îù ø � î ö ï ù ó ù � � �

0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M75 < 3�:7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7

ß � ; Þ 3 �7 � 4 7 � � M7 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 7 6 Ûß. Ú 3 � 4 75 < 3 �7 8 Û5 5 Ú 4 75 < 3 �7 8 Û5 5 Ú 4 7 ß � ; Þ 3 -7 � 4 7

ß � ; Þ 3 �7 4 7 � � 7 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 7 6 Ûß. Ú 3 � 4 75 < 3 �7 8 Û5 5 Ú 4 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 7 6 Ûß. Ú 3 � 4 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 4 75 < 3 �7 � 47 � Ü0 Þ Úß ß 3 ä Üå æ 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 7ß 0 3 -7 � 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 76 Ûß. Ú 3� 4 7 ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 4 7 � � 7 6 Ûß. Ú 3 � 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 76 Ûß. Ú 3� 4 7 ß � ; Þ 3 �7 � 4 7 ß � ; Þ 3 �7 4 7 � � 7 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 76 Ûß. Ú 3� 4 75 < 3 �7 8 Û5 5 Ú 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 76 Ûß. Ú 3� 4 7 6 Ûß. Ú 3 - 47 � Ü0 Þ Úß ß 3 ä Ü 4è � ;5 . Û5 < 3�:7 � 4 7 <2/ 9 ß Ú5 89 Û5 6 �� 3� 4 7 . 6 Þ �5 </5 1 ß 3 �7 - 4 76 Ûß. Ú 3� 47 � Ü0 Þ Úß ß 3 ä Ü ) ç 4 Ü

Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @ @ Ú Ú ÛÝÜ Þßàá â ãä å ãæ ä ä äá çåè æ çá éÜ @ k