(MPI) for Parallel Computing on Clusters of Workstations - Paradise

31

Transcript of (MPI) for Parallel Computing on Clusters of Workstations - Paradise

Page 1: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

������������ �������������������������������� �!�����#"$ %�&�('�*)��+�������-,�,��,/.0)�132�45������6)�%.0,�4��7����7�8)-�:9;)<�7=>�7�?�@����)<A�

B C�D?E7F�D�GIHKJ�LMG�NPORQTS�HVURU�W�SXE YZC�[?\^]�D?_ZUR`Vacb�_ZC!Ued5E7fhg&HVLiNjC!Ykal]XmHVn�mHVYo_ZUqprEIsF�GItTpXHuWqv7nMLlE U?`wfQx]yHVYo_kz{E LlU?_|H~}xUIF�nM_onMG?nlC�E$z�b�C$N�D?U?E(YZE `(W \x}xUIF�nl_ZnMGRnMC�E$z>]>v

g&H$_ZY-]�E���C�� �!�!a���� d5C!�RLMC!���5U?_o[7C!L�F�_Zn�W�-H(FMH ��C!UIH���]y�6���(�!� � B C�LMGIFlHVYZC��&��}�F�L�H$C!Y

�����I� �R�I�V���V�?�$���@�i�� 7¡ �?���(¢y�i�w£ � £?¤�¡�� ¥R�?�?���¦¢��R§?¨��� ��©�M¨ª¡f }�J>gh�5YZ�«H ��C!U�p>C$F�C$H$L�N�D¬]�C!U�nMC!L tx­ C!E Ll` _|HK}xUIF�nl_ZnlG?nMC�E$zyb�C$NPDRU?E YoE ` W

�(� ®/dAHVLMLlW�p>E7H � ]�E YZYoC!` CAEVz>]�E(�/¯?G?nl_ZU?`v�HVUeB E7F�C7�]y�6� ����� ® �>nMY°HVU�n�H�� ­ �6± ® ±(± �!a�®(� �7®² ¢I¤-³*�V���I¤ ´�µ·¶(�� �¡$�I 7£��(´>�M¨$�7�¸�i�7¤$� �I¤?�$�R�������xµI  �?��� ¢y�M�w£ �

¹>ºI»�¼l½�¾ ¿�¼À�Á*¦Á*ÃÄÃÄÅ�Ã?Æ�Ç*È5É$Ê$Ë{ÌÄÍ$Î>ÇjÍÏÆ�ÃÄÊ$ЦË{Å�¦Ð�Ç�Ñ�ÒÇ*¦Ó!Ð{Ë{ÁjË{ÌÄÇ*ÍVÐ�ÁjÍ$ÔÏÉ Å�Â{ЦÇ*Í$ÁjÃIÆ�ÇjÈXÉ$Ê$˦Å�Â{Ð-Õ$ÁjÐ-Ö*Å�¦×ÏÕ$ÌÄÎ*ÕÉ Ç*˦Å�Í!Ë{ÌÄÁ*Ã|ØMÐ{ÌÄÍ$Æ�Å�ÌÄË�ÃÙÅ�Ö*Å�¦Á*Î*Å�ÐRÅcÚuÌÄЦË{ÌÄÍ$Î-Õ$Á*¦Ô$ÒÁ*Â{ÅÁ*ÍVÔyЦÇ�ÑoË|ÒÁ*¦Å*ÛRÀ�ÁjÂ{Á*ÃÄÃÄÅ�ÃjÉ$Â{ÇjÎ*Â{ÁjÈXÈ5ÌÙÍVÎIÅ�Í!Ö!ÌÙ¦Ç*Í!ÜÈ5Å�Í!Ë{Ð?Ç�Ý7Å�ÂË{Õ$Å�Ê$ЦÅ�ÂÁ�Æ�Ç*Í!ÖjÅ�Í$ÌÄÅ�Í!ËIÒÁ�×�Ë{Ç�ÅcÚuÉVÂ{Å�ЦÐ�É$ÁjÂ{ÁjÃÙÃÄÅ�ÃVÆ�Ç*È5É$Ê$Ë{ÁjË{ÌÄÇ*Í<Á*Í$Ô>Æ�ÇjÈXÈ>Ê$ÍVÌÙÆ�Á*Ë{ÌÄÇ�Í�ÛÞ|ÍßÑoÁjÆ�ËlØ�Â{Å�Æ�Å�Í!Ë{ÃÄ×!Ø�ÁáàâÅ�Ð{ЦÁ*Î*Å�À�Á*Ð{ЦÌÄÍ$Î�Þ|Í�˦Å�Â|ÑZÁ*Æ�Å�ã°àÏÀ?Þ{ä<Õ$ÁjÐ�å(Å�Å�Í~É$Â{ÇjÉ(ÇjÐ{Å�Ô:Á*Ð�ÁjÍ~ÌÄÍ$Ô$Ê$ЦË{Â{ÌÄÁjÃЦË{Á*ÍVÔ$Á*¦ÔßÑoÇ*Â-Ò�Â{ÌÄ˦ÌÙÍVÎ�æ¦É(ÇjÂ{˦Á*å$ÃÄÅ�ç�ÈXÅ�Ð{Ð{ÁjÎ*ÅxÜ|É$ÁjÐ{Ð{ÌÄÍ$Î�É$Á*¦Á*ÃÄÃÄÅ�Ã?É$Â{ÇjÎ*Â{ÁjÈXÐMÛyè�ÕVÅ>Æ�Ç*È5È>Ê$Í$ÌÄÆ�Á*˦ÌÄÇ*ÍÉ$ÁjÂ{Ë�ÇPÑ·à�À?Þ�Æ�Ç*Í$ЦÌÙЦË{ÐéÇ�ÑIË{Õ$Å<Ê$Ð{Ê$ÁjÃ�É Ç*ÌÄÍ!Ë|Ü|Ë{ÇPÜ°É Ç*ÌÄÍ!ËIÆ�ÇjÈXÈ>Ê$Í$ÌÄÆ�ÁjË{ÌÄÇ*Í�Á*Ð�ÒÅ�ÃÄÃ�ÁjÐ�Æ�Ç*ÃÄÃÄÅ�Æ�˦ÌÄÖ*Å-Æ�Ç*ÈrÜÈ>Ê$ÍVÌÙÆ�Á*Ë{ÌÄÇjÍ�Û ê@Ç�ÒÅ�Ö*Å�ÂMØ!ÅxÚ$ÌÄÐ{Ë{ÌÄÍ$Î<ÌÙÈ5É$ÃÄÅ�ÈXÅ�Í�˦Á*˦ÌÙÇjÍ$Ð�ÇPÑ�É$Â{ÇjÎ*¦Á*ÈXÈ5ÌÄÍ$Î�Å�Í!Ö!ÌÙ¦Ç*Í$È5Å�Í!Ë{Ð?ÑZÇ*ÂIÆ�ÃÄÊ$ЦË{Å�¦ÐÁjÂ{ÅÏå$ÊVÌÙÃÄË�Ç*Í/Ë{ÇjÉ�Ç�Ñ-Á~É(ÇjÌÄÍ�Ëëܰ˦Ç�Ü|É(ÇjÌÄÍ�Ë�Æ�ÇjÈXÈ>Ê$Í$ÌÄÆ�ÁjË{ÌÄÇ*ÍßÃÄÁ�×*Å�Â�ãZÐ{Å�ÍVÔ�Á*Í$ÔìÂ{Å�Æ�Å�ÌÙÖjÅlä>Ç�ÖjÅ�ÂXÃÄÇ!Æ�ÁjÃÁjÂ{Å�Á~Í$Å�Ë|Ò�ÇjÂ{Ó!Ðßã°í7îéï@Ðxä>Á*ÍVÔ�ØÁ*ÐXÁ~¦Å�Ð{ÊVÃÙËMØ�Ð{ÊuÝwÅ�Â5Ño¦Ç*ÈðÉ(Ç!ÇjÂ>É(Å�ÂëÑoÇ*¦ÈXÁjÍ$Æ�ÅÏÌÄÍ/Ë{Õ$Å�Æ�Ç*ÃÄÃÄÅ�Æ�˦ÌÙÖjÅÆ�ÇjÈXÈ>Ê$ÍVÌÙÆ�Á*Ë{ÌÄÇ�Í�É$Á*¦ËlÛÞ|Í�Ë{Õ$ÌÄÐÉ$Á*É Å�ÂMØ$ÒÅ�ÉVÂ{Å�ЦÅ�Í!Ë@Á*Í�ÅxñXÆ�ÌÙÅ�Í�Ë�ÔVÅ�Ð{ÌÄÎ*Í�ÁjÍ$ÔXÌÄÈXÉVÃÙÅ�ÈXÅ�Í!Ë{ÁjË{ÌÄÇ*Í<Ç�ÑR˦Õ$Å�Æ�ÇjÃÄÃÙÅ�Æ�Ë{ÌÄÖ*ÅéÆ�Ç*ÈrÜÈ>Ê$ÍVÌÙÆ�Á*Ë{ÌÄÇjÍ�ÉVÁ*Â{Ë·ÌÙÍ>àÏÀ?Þ?˦Õ$Á*ËIÌÄÐ?Ç*ÉVË{ÌÄÈXÌÄò�Å�Ô©ÑoÇ*ÂIÆ�ÃÙÊVÐ{Ë{Å�Â{ÐÇ�Ñ7Ò�ÇjÂ{Ó!Ð{˦Á*Ë{ÌÄÇjÍ$ÐlÛ?óéÊ$ÂIÐ{×!ЦË{Å�È8Æ�Ç*Í$ЦÌÙЦË{ÐÇPÑ�Ë|ÒÇ>ÈXÁjÌÄÍXÆ�ÇjÈXÉ Ç*Í$Å�Í!˦ÐlôI˦Õ$ÅyàÏÀ�ÞZÜëõ�õ�íöÃÙÁ�×jÅ�Â�Ë{ÕVÁ*Ë@ÌÄÍ$Æ�ÃÙÊVÔ$Å�Ð@˦Õ$Å�Æ�Ç*ÃÄÃÄÅ�Æ�˦ÌÙÖjÅ-Æ�Ç*È5È>Ê$Í$ÌÄÆ�Á*˦ÌÄÇ*ÍÑoÊVÍ$Æ�Ë{ÌÄÇjÍ$Á*ÃÄÌÄË|×�Ç�ÑIàÏÀ?ÞIÁjÍ$ÔXÁ<÷@Ð{Å�Â|Ü|ÃÙÅ�Ö*Å�Ã?ø�Å�ÃÄÌÄÁ*å$ÃÄÅ�è?Â{ÁjÍ$Ð{É Ç*¦Ë�À�Â{Ç*˦Ç!Æ�Ç*Ã?ãZ÷�ø?è@ÀIä·Ë{ÕVÁ*ËÌÙÍ!˦Å�Â|ÑoÁjÆ�Å�ÐÒ�ÌÄË{Õ>˦Õ$Å�íªî@ïqùéÁjË{Á�Ü|ÃÄÌÄÍ$Ó�ÃÄÁ�×*Å�·Á*Í$Ô>ÃÄÅ�ÖjÅ�Â{ÁjÎ*Å�ÐË{Õ$ÅúÑoÁ*Æ�Ë�˦Õ$Á*ËI˦Õ$Å�íªî@ï¬ÌÄÐIÁ�å$¦Ç*Á*ÔVÆ�Á*ЦË�È5Å�Ô$ÌÄÊ$ÈáÛóéÊ$ÂÐ{×!Ð{˦Å�È8ÌÄÐÌÙÍ!˦Å�Î*¦Á*Ë{Å�ÔXÒ�ÌÄË{Õ>˦Õ$Å@ÇjÉ(Å�¦Á*˦ÌÙÍVÎyЦ×�ЦË{Å�È+Ö�ÌÄÁ�ÁjÍ>ÅxñXÆ�ÌÄÅ�Í!ËÓ*Å�¦Í$Å�Ã7ÅxÚ$Ë{Å�Í$Ð{ÌÄÇ*Í�È5Å�ÆxÕ!ÜÁjÍ$ÌÄÐ{ÈûË{Õ$ÁjË�Ò�Å�ÔVÅ�Ö*Å�ÃÄÇjÉ(Å�Ô�Û�è�ÕVÅ�Ó*Å�¦Í$Å�Ã?ÅxÚ$Ë{Å�Í$Ð{ÌÄÇ*Í�Ð{ÌÄÎ*Í$Ìýü(Æ�Á*Í!Ë{ÃÄ×XÌÄÈ5É$Â{Ç�ÖjÅ�Ð�˦Õ$Å�É Å�Â|ÑZÇ*Â{È5Á*Í$Æ�Å�ÇPÑÇjÊ$Â?ÌÙÈ5É$ÃÄÅ�È>Å�Í!Ë{ÁjË{ÌÄÇ*ÍéÁ*Ð?ÌÄË�Æ�ÁjÍ>Õ$Á*ÍVÔ$ÃÄÅIÉ$Á*¦Ë?Ç�Ñ7Ë{Õ$ÅÆ�Ç*È5È>Ê$Í$ÌÄÆ�ÁjË{ÌÄÇ*Í�Ç�ÖjÅ�Â{Õ$Å�Á*Ô>Ò�ÌÄË{Õ$ÇjÊ$Ë�ÌÄÍ!Ö*ÇjÃÄÖ�ÌÄÍ$ÎÊ$ЦÅ�Â@ЦÉ$Á*Æ�Å*Ûþ~Å�Õ$Á�Ö*Å�ÌÄÈXÉ$ÃÄÅ�È5Å�Í!Ë{Å�Ô�Ç*ÊVÂ�Ð{×!Ð{˦Å�ÈÿÇ*ÍßÁ�Æ�Ç*ÃÄÃÄÅ�Æ�˦ÌÙÇjÍáÇPÑ�Þ���à�ø�����������rÒ�ÇjÂ{Ó!Ð{˦Á*Ë{ÌÄÇjÍ$Ð-Æ�Ç*Í!ÜÍ$Å�Æ�Ë{Å�Ô>Ö!ÌÄÁ-Á���*àâå$ÌÄË� ?˦Õ$Å�Â{ÍVÅ�Ë�íªî@ï�Û*óéÊ$Â?É(Å�ÂëÑoÇ*¦ÈXÁjÍ$Æ�ÅÈXÅ�ÁjÐ{Ê$¦Å�ÈXÅ�Í!˦ÐRÁjÂ{ÅË{ÁjÓ*Å�Í<ÑoÂ{ÇjÈ0Ë|×!É$ÌÄÆ�ÁjÃЦÆ�ÌÄÅ�Í!Ë{Ìýü(ÆÉ$Â{ÇjÎ*Â{ÁjÈXÐ7˦Õ$Á*Ë�Â{Ê$Í�ÌÄÍ�Á�ÉVÁ*Â{ÁjÃÄÃÙÅ�Ã*ÈXÇ!Ô$Å?å!×-ÈXÅ�ÁjÍ$Ð7Ç�Ñ Ë{Õ$Å�à�À?Þ�ÛMè�Õ$Å�Õ!×!É Ç*Ë{ÕVÅ�Ð{ÌÄÐ?å(Å�Õ$ÌÄÍ$ÔÇjÊ$Â?Ô$Å�Ð{ÌÄÎjÍyÌÄÐ?Ë{Õ$ÁjË?Ð{×!Ð{˦Å�È�� Ð?É(Å�Â|ÑoÇjÂ{ÈXÁjÍ$Æ�ÅÒ�ÌÄÃÙÃ!å Å�å Ç*ÊVÍ$Ô$Å�Ô>å!×�ÌÄÍ!Ë{Å�¦Á*Æ�˦ÌÄÇ*Í$Ð?å Å�Ë|Ò�Å�Å�ÍX˦Õ$Å�ÓjÅ�Â{ÍVÅ�ÃÁjÍ$Ô>Ê$Ð{Å�Â�Ð{É$ÁjÆ�Å@¦Á*Ë{ÕVÅ�Â�˦Õ$Á*Í5å!×y˦Õ$Å@å$ÁjÍ$Ô$Ò�ÌÄÔ$˦Õ>Ô$Å�ÃÄÌÄÖ*Å�¦Å�ÔXå!×�Ë{Õ$Å-í7î@ï&ùéÁ*˦Á�Ü{í7ÌÄÍ$ÓyíªÁ�×*Å�ÂMÛRóéÊ$¦Å�Ð{Ê$ÃÄ˦Ð@ÌÄÍ$Ô$ÌÄÆ�ÁjË{Å@˦Õ$Á*Ë�˦Õ$Å-É(Å�Â|ÑoÇjÂ{ÈXÁjÍ$Æ�ÅéÇ�ÑRÇjÊ$Â@àÏÀ?Þ��Â{Ç*ÁjÔ$Æ�ÁjÐ{Ë-ãoÇjÍ�Ë{Ç*É5Ç�Ñ� ?Ë{Õ$Å�Â{Í$Å�ËxäéÌÙÐÁ*å Ç*ÊVËË|Ò�ÌÄÆ�Å�ÁjÐIÑoÁjÐ{ËIÁjÐIÁ�¦Å�Æ�Å�Í!Ë{ÃÄ×5É$Ê$å$ÃÄÌÄÐ{Õ$Å�Ô>Ð{Ç�ÑZË|Ò�ÁjÂ{Å�ÌÄÈXÉ$ÃÄÅ�È5Å�Í!Ë{ÁjË{ÌÄÇ*Í-Ç�Ñ�åVÂ{Ç*ÁjÔ$Æ�ÁjÐ{ËÇ*Í>Ë{ÇjÉ>Ç�Ñ�îIè@àöÛ

Page 2: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� ��������� �����������

������������� �"!�#�$%��&�&'#)("�+*,#)&�&�-.�/(102�����43652#7���98:$;*<0>=�? �4@BADC #7&FE������HG�3JI"G�I"&���KH#)&F#)�L-.�/K/M/&��N3J-O#)�P&��N#)�/K�#"3QK5RI�31S+3J-.��-.�/(UT�G�IV3J�N#)E/�.��WYXZ��&�&N#)("�'[>G�#)&�&�-.�/(YG�#"3�#)�.� ����G�3QI"(�3�#"X1&4\^] C �%$;*_0`&��N#)�/K�#"3QK/- a4#7��-.I"�b�'cDIV3J�- �Vd"I"�.d"��Ke#)E�I"M/� @"f G���IgG/� �L5>3JI�Xih f I�3J(�#)�/-.a4#)��- Ig�/&�- �/���.M/K/-.�/(jM/�/- dg�43J&�-.��-.��&4!,��#)��- Ig��#)�,�O#)E�I�3�#)��I�3J-.��&4!#)�/KYXZI"&���$k*<*ldg���/K/I�3J&4\nm,�43J&�-.I"� � I)5�$k*<0�S�#)&�3Q��� �4#7&���K;-.�Y$;#o� �op"p h�\Z$;*_0q#)K/I"G/��&9XZI"&��4!�-r5�/I"�+#)�.�:!/��I�X X1I"�HG�3�#)����-.����&s523QI�Xt�'uv-.&���-.�/(L��I�X X�M/�/-.�4#)��-.I"�w� -.E�3�#g3J-.��&4\Fxq�/��I)5y� C �Zz)��� ��I�X1G�I"�/���V��&I)5�$k*<0�-.&Z� C � ��Ig� �.������-.d"�H��IVX X�M/�/- �4#7��-.I"�Y&�M/E/&����Z� C #)��#)�.�.I)S�&ZM/&��43J&���I{��I"�Vd"���/-.������� �|�4#)�.�F�.-.E�3�#"3Q�3JI"M/��-.�/��&�5:I�3d)#"3J-.I"M/&�T�(g� IgE�#)�.W���I�X X�M/�/-.�4#)��-.I"�ZI"G��43�#)��-.I"�/&4!g� -Oz)��E�3JIV#)K/�4#)&��4!)&��4#)�����43#7�/K9(V#)� C �43�\P}+�.�$k*<0<��I"�.� ������- dg� ��I�X X�M/�/-.�4#)��-.I"�;3JI"M/��- �/��&�#"3J��-OXZG/�.- ��-.���.�;K/�'~��/��K|S�-.� C 3J��&�G���������I�#1�����4�'���'���"���)�o�?�� A S C - � C &�G�����-�~���&�#)� IV3JK/�43J��KH&����<I)5yG�3JIV����&�&�I�3Q&_S�-.� C -.�{S C - � C � C �+��Ig� �.������-.d"����I�X X�M/�/-.�4#)��-.I"�HS�-.�.�E��HG��43�5RI�3�XZ��K\j��I�3��'u�#"XZG/�.�"!F#%X�M/�.��-.�4#)&�� -.& &�G�����-r~���Kl#)& #%E�3JI�#)K/�4#7&��Z��I;#{G�#g3J��-.��M/�O#"3ZG�3JIV����&�&(�3JI"M/G\U] C �%G��43�5RI�3�X #)�/���{I751#|G�#"3�#)�.�.����G�3JI"(�3�#"X�K/��G����/K/&{I"�b#)�b�'����-.�����H-OXZG/�.�4XZ���V�N#)��- Ig�lI)5G�I"-.�V�J[>��I)[>G�I"-.����#)&�S����.�y#)&���Ig� �.������-.d"�Z��I�XnX�M/�/-.�4#)��- Ig�\

0:�L�'u/- &���-.�/(9G�#g3�#)�.�.����G�3QI"(�3�#"XnXZ-.�/(����Vd�-O3JI"��X1������&o!"&�M/� C #7&F*,mq$e!�����*<���_�/�L#)�/K�06�_$e��&�$;*_�? �4� ! �"f ! �oA !,5:I�3 ��IV�4#)��}�3J�4#;�s���JS�I�3�zg&�86��}��s&N=�!<��I"�.�.������-.d"�%��I�X X�M/�/-.�4#)��-.I"�b3JI"M/��-.�/��&H#"3J�H-OXZG/�.�'[XZ��������K�Ig�{��I"GwI)5_G�Ig- �V�J[>��I7[>G�I"-.�V����I�X X�M/�/-.�4#)��-.I"�\�}q&�#L3J��&�M/�.�4!�� C ��&��Z����dV-O3JI"��XZ���V��&q&�MVc�43�5>3JI�XG�IVI�3���I"�.� ������- dg�H��I�X X�M/�/-.�4#)��-.I"�jG��4365:I�3�X #7�/���"\H��I�3`�'u�#gXZG/�.�"!_#HE�3JIV#)K/�4#)&���� C #)��-.&Z-OXZG/�.�4XZ���V����KM/&�-.�/(�#H]���*�I�3qG�I"-.�V�J[>��I)[>G�I"-.���Z�� �*�I¡dg�43+#H��}��t-.&�I"EVd�-.I"M/&�� �%-.�/�'����-.���V�1#7&�- ��-.&��/I"��M/��-.�.- a�-.�/(� C �q52#7����� C #)�+X1I"&�����}���&�#"3J�qE�#)&���KwI"�{#ZE�3JI�#7K/�4#)&���XZ��K/-.M�XH\

0:�j� C -.&�G�#7G��43�!,S�� G�3Q��&������Z#)�;�'����-.���V�ZK/��&�-.("�^#)�/K;-OXZG/�.�4XZ���V�N#)��-.I"�eI75¢� C ����I"�.�.������-.d"�{��I�X9[X�M/�/-.�4#)��- Ig���D- E�3�#"3J�^-.�b$;*_0L8:$;*_0R[������=n� C #)�n- &HIgG/��-OXZ-.a���K^5:I�3n���.M/&����43J&HI)5�S�I�3�z"&��'#)��-.I"�/&4\b0:�G�#"3J��-.��M/�O#"3�!/S��qK/�4XZI"�/&��'3�#)���q� C �q-£X1G/� �4X1�����N#7��-.I"�{I"�H#��N3�#)K/-.��-.I"��#7� �of $%E/- ����� C �43J�/���J[>E�#)&���K{��}���\¤;���/I"��� C �43J��� C #)��� C ��-.K/�4#)&sG�3J��&����V����KH-.�H� C -.&�G�#)G��43¢�4#)�HE����4#)&�- �.�H�'u/�����/K/��KH��I #)�V���s���JS�I�3�z�I)5¤;I�3�zg&��N#)��- Ig�/& 8>�+xs¤l=Z? � ��A � C #)��G�3QI¡dV-.K/��&9#)�|M/��3J���.-£#7E/� �HE�3QI�#)K/�4#)&����'3�#)�/&�G�I�3J��G�3JI"��I���I"��8:&�M/� C #)&��I�#)�H}_]�$¥�/���JSFIV3�zZS C �43J��� C ��}_]�$¦&�S�-.��� C ��& C #od"��E�3JIV#)K/�4#)&����4#)G�#)E/-.�.-.�J�{#)&�G�3JI)dV- K/��KwE��HX #)�V�d"���/K/I�3J&��/I)S�#)K�#o�V&N=�\

xqM�3�X #7- �w��I"�V�N3J-.E/M/��-.I"�/&q- �w� C -.&�G�#)G��43+#"3Q�"§

¨ ¤;� C #4dg��K/��&�-.("�/��K{#)�/KL-OXZG/�.�4XZ��������K{#�&���&����4XU� C #)�,��Ig�/&�-.&���&�I)5�JSFI�Xn#)-.����I�X1G�I"�/���V��&4§�� C �$;*_0R[������©�£#o�"�43q� C #)��K/���.- dg�43J& � C � ��Ig� �.������-.d"�L��I�X X�M/�/-.�4#)��-.I"�|5:M/�/����-.I"��#)�.-.���|I)5F$;*_0q#)�/KY#�s&��436[>�.��d"���,�����.-O#)E/�.��]y3�#)�/&�G�IV3J��*_3JI"��I���I"�,8>�q��]�*_=�� C #)��-.�����43652#7����&�S�-.� C � C ����}��ª �#7�N#o[>�.-.��z�O#o�"�43�\

¨ ¤;�ZG�3JI)dV-.K/�1#n5:I�3�Xn#)�y&�G�����-r~��4#)��-.I"�jI)5_� C �Z&��4X #7����-.��&�I)5�� C �ZM/&��43qG�#"3�#7� �.���<G�3JI"(�3�#gX«� C #7�+-.&3J��¬VM/-O3J��Ke5:I�3Z� C �H��I�3�3J�������/��&�& I)5�I"M�3Z$;*_0`-£X1G/� �4X1�����N#7��-.I"�\­] C - &LG�3JI"G��43J�J�;-.&���&�&�������-£#7� �.�� C #7�¢#1G�#"3�#)�.�.���yG�3QI"(�3�#"Xt�4#)�HE���K/��&��43Q- E���K;#)&+#�&�-.�/("�.�Z��®.��¯�°"®g�������"��°)±²3JM/�/�/-.�/(HI"�{X�M/�.��-.G/�.�G�3JIV����&�&�IV3J&4\y] C �,-£X1G/� �4X1�����N#7��-.I"�ZI)5v$;*<0³[������L#)�/K��q�y]s*�Xn#"z)��&M/&��<I)5/� C �_("�.I"E�#7�"G�3JI"(�3�#"X&��4Xn#)����- ��&o\

¨ ¤;� C #od"��-.�/��I�3JG�IV3�#)����K%#Z��M�X�E��43�I)5_�/I)d"���.��-.��&q-.�{I"M�3sG�3JI"��IV��I"�.&4\�xqM�3+�q��]�*´- &qE�#)&���KwI"��#&��.-.K/-.�/(;S�-.�/K/I)S²G�3JIg��I���Ig�,S�-.� C �'����-.���V�1#7�µzg�/I)S��.��K/("�4XZ���V�9#)�/KY#7� &�I�X #"z7��&�M/&�� I75s#L�/I)d"���8:G���&�&�-OXZ-.&���-.�4=q-OX XZ��K/-O#)����3J��¬VM/��&��+G�3QI"��IV��I"�:\+xqM�3�3J��¬VM/��&��qG�3JI"��IV��I"�-.&�� C ��I"�/�.�{G/�O#)���ZS C �43J�S��;#)����-.d"���.�­3Q���N3J�^��IYG�3JI)dV-.K/�Y3J���.-O#)E/�.�Y��I�XnX�M/�/-.�4#)��- Ig�\¶] C �%("�.I"E�#7��G�3JI"(�3�#gX¦&��4X #)�V��-.��&X #gz)��&�� C -.&+�/��S·#7G/G�3JI�#)� C &�MV����-.���V�4\

¨ xqM�3n&��V&����4X¸- &H-.�V����(�3�#7����K^S�-.� C � C �wI"G��43�#)��-.�/(e&��V&����4X¸d�-O#j#)�b�'����-.�����{z)�43Q�/���+�'u/�����/&�-.I"�

Page 3: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

XZ��� C #)�/-.&NX � C #)��S��ZK/��d"���.I"G���K\H] C ��z7�43J�/���,�'uv�����/&�-.I"�;&�-.("�/-r~��4#)�V���.�;-OXZG�3JI)d"��&�� C �ZG��4365:I�36[X #7�/����I)5qI"M�3�-£X1G/� �4X1�����N#7��-.I"�^#)&Z-.� �4#)�jK/- &��4#"3JKeM/�/�/������&�&N#g3J� 3Q��¬�M/��&�� XZ��&�&N#)("��&ZS�-.� C I"M/�-.�Vd"I"�.d�-.�/(wM/&��43q&�G�#)���"\Z0:��#)�.&�IHK/-.&��4#g3JK/&�E�3JIV#)K/�4#)&���XZ��&�&N#7("��&q5RIV3�S C -.� C � C � �.IV�4#)�,G�3JIV����&�&�I�3-.&q�/I"��- �w� C ��-.�V�����/K/��K�X�M/�.��-.�4#)&��q�N#"3Q("���4\

¨ ¤;�qG�3JI)dV- K/��G��4365:I�3�X #)�/����XZ�4#)&�M�3J�4XZ���V��&�I)5yI"M�3<G�3JI"��I"�J��G���-OXZG/�.�4XZ�����'#)��-.I"�\�] C ��X1�4#)&�M�3J�'[XZ���V��&�#"3J�Z�N#"z7���H5>3JI�X ���VG/-.�4#)��&���-.������-r~��LG�3JI"(�3�#"XZ&�� C #7��3JM/�|- �;#LG�#"3�#)�.� ���_X1I�K/�ZEV��XZ�4#)�/&I)5� C �s$k*<0�\V] C M/&o!�� C ���9�4#7��E��+K/-O3J�������.� ��IVXZG�#"3J��KLS�-.� C G��4365RIV3�X #)�/����XZ�4#)&�M�3Q�4XZ������&_�N#"z7���5>3JI�X I"� C �43<-OXZG/�.�4XZ�����'#)��-.I"�/&�I)5�� C �+$;*<0�\��V-.�/����I"M�3<�4XZG C #)&�-.&�-.&�I"�L��I"�.� ������- dg����I�X X�M/�/-.�4#o[��-.I"�!VS���XZ�4#)&�M�3J��KHG�3QI"(�3�#"X1&_� C #)��X #"z)� C �4#od��nM/&���I)5��I"�.�.������-.d"��I"G��43�#)��-.I"�/&o!/-.�/��� M/K/-.�/(�!�8 � =&��'3�#)-.( C �J5RIV3JS�#"3JK9Xn#)�N3J-ruV[�X #)�N3J-ru�X�M/�.��-.G/�.-.�4#)��-.I"�!�#)�/K�8 � =�-.���43�#)����KHX�M/�.��-.G/� -.�4#)��- Ig��I75P#`d"������I�3EV�{#L&�G�#"3J&��1Xn#)�N3J-ru\�] C �9�O#)�����43�-.&�G�#"3Q��I)5_� C �ZK/-rcD�43Q������-O#)�,��¬VM�#)��-.I"�%&�Ig� dg�43qI)5F#L��I�XZG/M/���43#)-.K/��Kw���/("-.�/���43J-.�/({#)G/G/�.- �4#7��-.I"�\

¨ ] C � C ��G�I"� C ��&�-.&�E�� C -.�/KYIgM�3�K/��&�-.("�|- &�� C #)�qG��4365:I�3�Xn#)�/���ZS�-.� �,E�� E�IgM/�/K/��K;E��w-.�����43�#)����-.I"�/&E�����S������lz)�43J�/����#)�/KbM/&��43L&�G�#7���k3�#)� C �43n� C #)�^EV�^� C �{E�#)�/K/S�-.K/� C K/��� -.d"�43Q��K·EV�e� C �;��}�� �#)�'#o[���-.��z��P#4�g�43�\_] C ��d)#)�.- K/-.�J�{I75y� C -.& C �VG�I"� C ��&�- &q���.�4#"3J�.�HK/��G����/K/&�Ig�HE�I"� C � C ��3J���.-£#7E/- �.-.�J�I)5_� C ����}��U �#)�N#¡[���-.��z��P#4�g�43+#)�/K|� C �ZG�#)�����43J�/&qI)5���I�X X�M/�/-.�4#)��-.I"�;("���/�43�#)����K%E��wG�#"3�#)�.�.���#)G/G/�.-.�4#)��-.I"�/&o\ xqM�3�3J��&�M/�.��&�-.�/K/-.�4#)���n� C #)�q� C �ZG��4365:I�3�X #7�/��� I)5_I"M�3q$;*_0s�F3QI�#)K/�4#)&��Z8:I"�%��IgGI)5F��� C �43J�/���N=s-.&�#)E�IgM/����Ss- ��� #)&s5>#)&���#)&+� C �9&�I)5R�JS�#"3J�q-OXZG/�.�4XZ���V�N#)��-.I"�;I75_E�3JI�#)K/�4#)&��+I"�%��IgGI)5q}_]�$ � C #7�9-.& G�3Q��&���������Ke- �ª? � h A \%��I�3��'u�#"X1G/� �"!�#%E�3JIV#)K/�4#)&��ZI)5�#wh��qEV�V����X1��&�&N#)("�HIg�� X #)� C -.�/��&��'#"z)��& #)E�IgM/� @ XZ&�����&n- �eIgM�3Z-OXZG/�.�4XZ�����'#)��-.I"�^��IVXZG�#"3J��Ke��I ��� XZ&�����& -.�e� C �-OXZG/�.�4XZ���V�N#)��-.I"�w-.�Y? � h A \

¤;�L�/I"���L� C �43J� C #od"�LE������^X #7���;�'u/-.&���-.�/(;&��V&����4X1&4!,&�M/� C #)&H?�h/! � �V! �µA !,� C #)��G�3JI)d�-.K/�{#%3J���.-r[#)E/�.�{�N3�#7�/&�G�I�3Q�9G�3QI"��IV��I"��#)�/KeI"� C �43Z&��43Jd�-.����&Z5:I�3ZK/-.&��'3J-.E/M/����K^��I�X1G/M/��-.�/(�\^xqM�3 �q�y]s*²G�3QI"��IV��I"�K/- &���-.�/("M/-.& C ��&+-.��&�����5P523JIVXUG�3J��dV-.I"M/&�I"�/��&_E����4#)M/&��q- ��-.&��N#"3J(g������K�5RI�3�&�M/G/G�IV3J��-.�/(ZG�#"3�#)�.�.������I�XZG/M/��-.�/(M/&�-.�/(�$;*<0qG�3JI"(�3�#gXZ&�#)�/Kj�4#)�;�N#"z7��#)K/d¡#7���N#7("� I)5�� C �L("�.I"E�#)�<G�3JI"(�3�#gXi&��4X #)�V��-.��&ZK/�43J-.d"��K;5>3JI�XI"M�3�$;*_0R[������%-OXZG/�.�4XZ���V�N#)��-.I"�\

�sI"���H#)�.&�I;� C #)�Z� C �43Q� C #4dg��E������^d¡#g3J-.I"M/&�S�I�3�z"&�- �´-OXZG�3JI)d�-.�/(;��IVX X�M/�/- �4#7��-.I"�^�O#)�����/���e#)�/KE�#)�/K/S�-.K/� C EV�{XZIVK/-�5:�V- �/({X1��&�&N#)("��G�#)&�&�-.�/(HG�3JIg��I���Ig� &q��In52#7��- �.-.�N#)���9�'�L��- ���V��&��V&����4X -OXZG/�.�4XZ�����'#o[��-.I"�\,��u�#"XZG/�.��&_#"3J��� C ���q����¡� �%���'�µ°B����G�3JI��J������E��Z��M/�.� �43����_#)�:\�? pBA !)� C ���°)�����%���'�µ°��V��G�3JI��J�����yEV�� C -.���{����#)�:\�? �4pBA !/#)�/KH� C �����"��³±q��G�3JI��������<E��H��-����+#)�:\�? ����A \ 02�H� C -.&�G�#)G��43�!/S���#7K/K�3J��&�&�� C ��&N#"X1�- &�&�M/��M/&�-.�/(�#�K/-rcD�43Q������I�3J� C I�3J("I"��#7��#)G/G�3JI�#)� C \_] C M/&4!VS���K/IZ�/I"�����O#)-OX � C #)��I"M�3�#)G/G�3JIV#)� C & C I"M/�.K3J��G/�O#)����#7���wSFIV3�zL-.�;� C -.&9#"3Q�4#/\9�s#)� C �43�!PI"M�3�#)G/G�3JI�#7� C �4#)�;E�� -.������(�3�#)����K%S�-.� C X #)�V�{G�3JI"G�I"&���K&���&����4X K/��&�-.("�/&q-.�{-OXZG�3JI)dV- �/(HXZ��&�&'#)("��G�#)&�&�- �/(nG�3JI"��IV��I"�.&�I"�H�/���JS�I�3�zg&�I)5 S�I�3�z"&��'#)��-.I"�/&4\

] C �{3J��&�� I)5+� C �HG�#7G��43n- &nI�3J(�#)�/-.a���Kb#)&�5RI"�.�.I)S�&4\^02�^�V������-.I"� � SF�HK/��&��43J-.E��%I"M�3�&��V&����4X�#"3�[� C -.��������M�3Q�"\;0:�^�V������-.I"�^� SF�LG�3J��&����V�Z� C �LK/��&�-.("�!_G�3QI"��I"�J�VG�� -OXZG/�.�4XZ���V�N#)��-.I"�^#7�/KYG��4365RIV3�X #)�/���XZ�4#)&�M�3J�4X1�����<I)5I"M�3��+��]�*jG�3JI"��I���I"�:\,0:�H�V������-.I"�LhZSF�sK/��&��43J-.E���I"M�3�K/��&�-.("�!/-OXZG/�.�4XZ���V�N#)��-.I"�H#)�/KG��4365:I�3�X #7�/���¢X1�4#)&�M�3J�4XZ���V��I)5vIgM�3$;*_0R[������L�O#o�"�43�\P¤;��� C ����G�3J��&�������G��4365:I�3�Xn#)�/����XZ�4#)&�M�3J�4X1������&I)5F�JS�I�$;*<0�G�3JIg(�3�#"XZ&q-.� �V������- Ig� � \Z�,-.��#)�.�.�"! �V������- Ig� @ ��I"�/���.M/K/��&Z� C � G�#7G��43�\Z¤;�L#)�.&�IH-.�/��� M/K/�G/&���M/K/I���IVK/��5RIV3_&�I�XZ��z)���LG�#"3J��&sI)5 � C ���+��]�*´G�3JI"��IV��I"��-.�{� C ��#7G/G����/K/-ruD\

Page 4: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� ������������� � �U������J���_��������

0:�j� C -.&�&�������-.I"�jS��ZS�-.� ��I)d"�43JdV-.��S²I"M�3q&���&����4X #"3J� C -.��������M�3J�"\n¤;��#"3Q� -.�����43Q��&�����K;-.�j�'����-.�����Z$;*_0-£X1G/� �4X1�����N#7��-.I"�%I"��#L��}���\�] C ��&���&����4X«��I"�/&�- &���&+I75�#)�w$;*_0<G�3JI"(�3�#"XH!V�J��G/-.�4#)�.�.�;�/*,$% «8>�V-.�/("�.�*_3JI"(V3�#"X¸$�M/�.��-.G/�.�j �#)�N#"=Z&����V�.�"!�3JM/�/�/-.�/(^I"�l#j���.M/&����43 I)59G�3JIV����&�&�-.�/(´��� �4X1������&o!+�4#7� C S�-.� C -.��&I¡Ss�H� IV�4#)�yX1�4XZI�3J�"\_*<3JIV����&�&�I�3J&s��I�X X�M/�/-.�4#)����S�-.� C �4#)� C Ig� C �43�dV-£#L#)&��V�/� C 3JI"�/I"M/&+#7�/KHM/��3J���.-£#7E/� �G�I"-.�V�J[>��I)[>G�I"-.���qI�3�E�3JIV#)K/�4#)&���G�#7�µz)����&4!�#)&�&�M/G/G�I�3J����K{EV��� C �Z��}��ª �#)�N#o[���-.��zn�O#4�g�43�\_}q�.� C I"M/( C S���'uvG������F� C #)�_&�IVXZ��G�#)�µz7����&FXZ-.( C �_E��+�.I"&��4!"S��+#)&�&�M�XZ��� C #7�_� C ����Ig�������V�_I75D#�3Q������- dg��KHG�#)�µz7���,- &��/I"���I�3�3JM/G/����KHE����"I"�/Kw� C ����Ig� �43�#)�/����I)5,&��N#)�/K�#"3QKH�43�3JI�3<��I�3�3Q������-.I"�\

����� ��������� �"!$#�% &'�)(%+*��,&'-}UG�3JI�����&�& C #)&s5:I"M�3��.I"(g- �4#7�y�O#o�"�43J&qI)5,&�I)5:��S�#"3Q� 8:&������,-.("M�3Q� � =�\�] C �Z�.I)SF��&����O#4�g�43�-.&�#���}��U �#7�N#o[��-.��zH�#o�"�43q8:�J��G/-.�4#)�.�.�{�,� C �43Q�/���N=<� C #)��-.�����43�52#)����&s� C ���D}���\�] C ��&�����Ig�/KH�£#o�"�43q8³5>3JI�Xt� C ��E�I"����IVX =- &qI"M�3��q��]�*´G�3JI"��IV��I"���O#4�g�43�S C -.� C ("M�#g3�#)�V������&�3J���.-£#7E/� �nG�I"-.�V�J[>��I)[>G�I"-.����#)�/K{3J���.-O#)E/�.��X�M/�.��-.�4#)&�����I� C �HM/G/G��43Z�O#o�"�43�\;] C �H� C -O3JKY�O#o�"�43Z-.&ZI"M�3�$;*_0R[������b�O#o�"�43�S C -.� C Xn#)G/& #)�.��$;*_0³[��s���b3JI"M/��-.�/��&- �V��IH� C �Z-.�V���4365>#)���Z&�M/G/G�I�3Q����K%E��%�+��]�*�\0:��#)�.&�IHK/�4#7� &�Ss- � C G�#)��z)����-.a4#)��-.I"�%I)5_M/&��43�X1��&�&N#)("��&�#)�/K&�� C ��K/M/�.-.�/({I75 G�#)��z)����&o\�] C � C -.( C ��&��q�O#o�"�43�-.&q� C ��$;*<0F#7G/G/� -.�4#)��- Ig�;G�3JI"(�3�#"X �O#o�"�43�\�0:�%� C -.&+G�#7G��43SF�qG�3JI)dV- K/���'����-.�����sK/��&�-.("�!/-OXZG/�.�4XZ���V�N#)��-.I"�!�#)�/KHG��43�5RI�3�X #)�/����XZ�4#)&�M�3J�4X1������I75y� C �q��S�I XZ-.K/K/�.��£#o�"�43Q&�86�+��]�*U#)�/Kj$;*_0³[��s���=�\���I"����� C #7��-.�Y� C ��$;*_0R[������´�O#o�"�43�!�S�� 5:I���M/&ZI"�j� C �L��I"�.�.������-.d"���I�X X�M/�/-.�4#)��-.I"�^&�M/E/&���� I)5�$;*_0�Ig�/� �"\©��I�3�$;*_0`G�I"-.�V�J[>��I)[>G�I"-.���L��I�X X�M/�/-.�4#)��-.I"�^3JIgM/��-.�/��&4!_� C ����4#)�{E����4#)&�-.�.��Xn#)G/G���Kw��I�3J���.-O#)E/�.�ZG�I"-.�V�J[>��I)[>G�I"-.���q��I�X X�M/�/-.�4#)��-.I"�%G�3JI)dV- K/��KwE��H�q�y]�*´I�3¢&�-OXZ-.�£#g3G�3JI"��IV��I"�.&�8:�"\�(�\�? � ��A =�\

��IV3����O#"3J-.�J�"! C �43J�ZS��9K/�'~��/�H#n5:��SU���43�XZ&�� C #7��#"3J�ZM/&���K;� C 3QI"M/( C I"M/�q� C -.&�G�#)G��43�\Z}¶X1��&�&N#)("�"!S C -.� CbC #)& �/IjM/G/G��43LE�I"M/�/K^Ig�^&�-.a��"!�-.&H� C �HM/�/-.�HI)5���I�X X�M/�/-.�4#)��-.I"�­#7��� C �H$;*<09#7G/G/� -.�4#)��- Ig�/&�£#o�"�43B\y} G�#)�µz7���4!"S C -.� C�C #7&F#)�LM/G/G��43<E�IgM/�/K�I)5,#)E�I"M/� � \ � ���<�V����&4!V-.&F� C �+M/�/-.��I)5��I�X X�M/�/-.�4#)��-.I"�#)�+� C �9$;*<0³[������j�O#o�"�43sI�3q�+��]�*b�O#o�"�43�\��VG�����-r~��4#)�.�O�"!,X�M/�.��-.�4#)&��4!�&����/K!3J������-.d"��#)�/K;X�M/�.��-O3J������-.d"��4#)�.� &o!�- &�&�M/��Kw523JIVX $;*_0³[��s���;�O#o�"�43s��I��q�y]s*^�O#o�"�43�!�#"3J��#7� ��S�-.� C 3J��&�G���������I G�#)��z)����&4\q8>�sI"����� C #)�X�M/�.��-O3J������-.d"��-.&FK/�'~��/��K{#7&F3J������-.dV- �/(L� C �LT��/�'u/��W�G�#)��z)����523JIVXU�4#)� C G�3QI�����&�&�I�3,-.�{#�&�G�����-r~���K{&����o!�-.�#"3JE/-.�N3�#"3Q��I�3QK/�43�\�=L¤;��&�I�XZ����-OXZ��&�3J�'5:�43���I � C ��G�#7�µz)����&�#)�s� C �9�q�y]s*b�O#4�g�43�#)&/.�021�3j�/°"�$4)���³�<5RI�3���£#g3J-.���"\<}U�+��]�*´G�#)��z)����- &q��-.� C �43q#65"°��:°�G�#)��z)����I�3�#H�'�87 �³���"®gG�#)��z)���4\

���9� ������:/;���<�%=;�>?&'��@�&'%�AB��43J�|SF�%G�3JI)dV-.K/�Y#j5:I�3�X #7�+&�G�����-r~��4#)��-.I"�ªI)59� C �|&��4X #)�V��-.��&{I)5ZM/&��43HG�#g3�#)�.�.����G�3JI"(V3�#"XZ&L� C #)�H-.&3J��¬�M/-O3J��K|5:I�3�� C �n��I�3�3J�������/��&�&�I)5�I"M�3�$;*_0s-OXZG/�.�4XZ���V�N#)��-.I"�\H] C -.&ZG�3JI"G��43J�J��-.&���&�&����V��-O#)�.� �j� C #)��#G�#"3�#)�.�.���,G�3JI"(�3�#"X«�4#7��E��ZK/��&��43J-.E���Ke#)&�#L&�-.�/("�.� ��®.��¯�°"®V�������"��°)±«3JM/�/�/-.�/({I"�;X�M/�.��-.G/� �nG�3JI�����&�&�I�3J&4\] C ��-OXZG/�.�4XZ���V�N#)��-.I"�wI)5,$k*<0³[����s�;#)�/K��q��]�*^X #gz)��&�M/&���I)5,� C ��("�.I"E�#)��G�3JI"(�3�#"Xt&��4X #)�V��-.��&4\

] C �43J�L#"3J�Z�JSFI{Xn#)-.�;G�3JI"G��43J��-.��&Z("M�#"3�#)�V������K%EV��� C � ("�.I"E�#)�,G�3JIg(�3�#"Xi&��4Xn#)����- ��&o\ �,-O3J&��4!��4#7� C�/I�K/�+zg�/I)S�&,� C ��I�3JK/�43Q- �/(�I75��'u/G���������K G�#7�µz)����&�523JIVXl��d"�43Q��I"� C �43��/IVK/�"\_�V����I"�/K!g-.�_#)�.&�I�("M�#"3�#7��������&523J����K/IVXU5>3JI�XªK/�4#7K/� IV��z K/M/�q��I��O#)��zZI)5&��V&����4XUE/MVc�43<&�G�#)���"\�¤;�qS�-.�.���/I¡S´K/��&��43J-.E���� C ��&��4X #)�V��-.��&I)5F� C �Z("�.I"E�#7�,G�3JI"(�3�#gX«� C #7�+-.&�(g���/�43�#)����K%EV�{I"M�3q$;*_0R[������j�O#o�"�43�\�] C � ("�.I"E�#)�,G�3JIg(�3�#"X �4#)�%E��d�-.��S���K;#)&+#�5:M/�/����-.I"�!��N#"zg-.�/(�#1� C5Z#)�/K%#)�{-.�/&��N3QM/����-.I"�{��I"M/�V���43q#)&�G�#"3�#"XZ�����43J&o!�X #)G/G/-.�/(L��I I"�/�I)5�� C ���LG�Ig&�&�-.E/�.�H�4#)�.� &o§ ±Z�/® �:�'°)���:!����N�'� �¡��#7�/Ke�D4����\ }i±Z�v® �:�N°)� ���4#)�.�_�N#gz)��&�#)&9#g3J("M�XZ���V��#H&����I)5_K/��&���-.��#)��-.I"�%G�3JIV����&�&�IV3J&+�4#7� �.��K;� C � �:°)�:�����<�µ���:\�8:��I�3�&�-OXZG/�.-.��-.���"!PS����N3J�4#7�+# G�I"-.���Q[>��I)[>G�Ig- �V�Z���$7E5#)&�#HX�M/� ��- �4#7&���S�-.� C I"�/�ZK/��&���- ��#7��-.I"�Y-.�;� C �9�'#"3J("���q&����4\Z] C -.&�-.&�I"�/�.�w5RIV3q&�G�����-r~��4#)��-.I"�jG/M�3JG�I"&���&

h

Page 5: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

#)�/KHK/I���&s�/I"��K/�����43�X1- �/��� C ��-OXZG/�.�4XZ���V�N#)��-.I"�\�=1}²���'�N� �)���N#"z)��&�#)&�#"3J(gM�XZ������I"�/���'u/G/�.-.��- �Z���)�V���N�G�3JI�����&�&�I�3�\�� 02�^� C �%XZI"&�� &��N3J-.��� K/�'~��/-.��-.I"�!qS��H&N#o� #%(g� IgE�#)�+G�3QI"(�3�#"X¥-.&L��I�3�3J�����L-r5Q!<5:I�3H�'°"� �- �/&��N3JM/����-.I"�e��I"M/�V���43�!�� C �43Q��-.&�#)�ZXZI"&���I"�/�w±9�/® �R�'°)� �F#7�/KY�'u�#)�����.�;� C �LG�3JIV����&�&�I�3Q&9-.�e� C �L�N#"3Q("���&����Z- &�&�M/�%���N�'� �¡��S�-.� C � C ��&�I"M�3J���HX #)��� C -.�/(�� C ��X�M/�.��-.�4#)&�� &�I"M�3J���"\j8>�V����? @oA 5:I�3Z#{XZIV3J� 5:I�3�Xn#)�#)�/K;K/���N#)-.�.��KjK/�'~��/- ��- Ig�\�=b��I"��� � C #)��� C �n&Nz"-.G;�4#7� �:!�� C � -.�/&��'3JM/����-.I"�j��I"M/�����43�#)�/K;� C ��3Q��&��N3J-.����-.I"���IZI"�/�Z±Z�v® �:�N°)� ���4#)�.�G��43�-.�/&��'3JM/����-.I"�H�4#)�.�y#"3Q��#)�.�-.�V�N3JIVK/M/����KL5RIV3_� C ��G/M�3JG�I"&���I)5y&�G�����-�~��4#7��-.I"�\�0:�G�#"3J��-.��M/�O#"3�!,�4#7� C G�3JIV����&�&�I�3�S�-.�.���'uv����M/���L-.��&ZG�3JI"(�3�#"X -.�^#)�Y#7&����/� C 3JI"�/IgM/&1#7�/KY(�3Q����K/�YX #)�/�/�43�\��I"���_� C #)� C #4dV-.�/(�#���IV3�3J������("�.I"E�#)�"G�3JIg(�3�#"XU86#)�/KZ� C �,5>#)���� C #7� X�M/�.��-.�4#)&����7&����/K #)�/K93J������-.d"��#)�.S�#o��&X #)��� C =�3J��K/M/����&qK/��G����/K/���/���%I"�H� C ���VM�X�E��43sI)5,E/MVcD�43Q&�-.��� C ��&���&����4XH!�#)�/K{#od"Ig- K/&qK/�4#)K/�.IV�µzLK/M/���I �'u C #)M/&���-.I"�wI)5 3J��&�IgM�3J����&4\

��IV3�G��4365:I�3�Xn#)�/����3J�4#)&�Ig�/&4!/S���S�-.�.�_3J���O#ou�#)�/KH("���/�43�#7� -.a��ZI"M�3sK/�'~��/-.��-.I"�%I)5 ��IV3�3J������("�.I"E�#7�yG�3JI7[(�3�#"X¥#)&�5:I"�.�.I¡Ss&4§Z}«("�.I"E�#)��G�3JIg(�3�#"Xi-.&����Q¯µ���+�B�{�N�7�N���'���,-r598:-O=�� C �43J�L�'u/- &���& #HM/�/-r5RIV3�X¥(�3JI"M/G/-.�/(I)5 -.�/&��'3JM/����-.I"�/&q&�M/� C � C #)����dg�43J��(V3JI"M/GH&�G�#)�/&�#)�+X1I"&���H-.�/&��N3QM/����-.I"�/&�#7�/KY8:-.-O=�Ss- � C - �w�4#)� C (�3JIgM/G#)�.��±9�/® �R�'°)� �,#)�/Ke���N�'� �¡�s�4#)�.�.&1#g3J�9X #7��� C ��K|��I�XZG/�.�������.�;#)�/K%��I"�/&�-.&������V���.�"\ ���.�4#"3J�.�"!�I"M�3sI�3J-.("-.��#)�&��4X #)�V��-.��&+I75_��I�3�3J������(g� IgE�#)�yG�3QI"(�3�#"X E�����I�XZ��&����¯'���+��� �'�)�N���'����-.�%� C ��(g���/�43�#)�.-.a���K;&��4X #)�V��-.��&4\�0R5SF�Z#)&�&�M�X1��8³5:I�3�� C �ZXZI�XZ���V�N=�� C #)�+� C �9��}��ª �#)�N#o[��D- ��zw�#o�"�43�-.&���I�XZG/�.�������.�%3J���.-£#7E/� �"!P� C ���%-.�+-.&�4#)&�� ��I�G�3JI)d�-.K/��#�K/�4#)K/�.IV�µz1523Q���+-OXZG/�.�4XZ���V�N#)��-.I"�L5:I�3�#)�V���g[>E/MVcD�43¢��I�3�3J�����<G�3JI"(�3�#gXUM/&�-.�/( &��V&����4XE/MVcD�43Q&�5RIV3�LG�#)��z)����&�G��43�G�3JIV����&�&�I�3�\

}q&�#)�e�'u�#"XZG/�.�"!���I"�/&�-.K/�43H#)�e-OXZG/�.�4XZ���V�N#)��-.I"�bI)5�#)�.�r[>��I)[�#)�.�qE�3JI�#)K/�4#7&�� #"XZI"�/(� ©G�3JI�����&�&�I�3J&4\¤­-.� C � C � � [>E/MVcD�43¢��I�3�3J������&��4X #)�V��-.��&4!�±Z�v® �:�N°7����X�M/&���E����4#)�.� ��K%EV��� C �� HG�3JIV����&�&�IV3J&+-.�%# 3JI"M/�/KV[3JI"E/-.�·X #)�/�/�43B\ ¤­-.� C � C �� V[>E/MVc�43L��I�3�3J�����H&��4Xn#)����- ��&o!+�4#7� C I)5Z� C �� bG�3JIV����&�&�I�3Q&H�4#)�l-.&�&�M/�Y#±9�/® �R�'°)� �/5:I"�.�.I)SF��KHEV�� �� � #)G/G�3JIgG�3J-O#)���Z���N�'� �¡�<�4#)�.�.&�-.�{#"3JE/-.�N3�#g3J� I�3JK/�43B\ �¢� �4#g3J�.�"!� HE/MVc�43J&<5RIV3� G�#)�µz7����&+#)���4#)� C G�3JIV����&�&�IV3�#"3J�q&�MV����-.���V��5:I�3�� C -.&qG/M�3JG�Ig&��"\

0:�<& C I"M/�.KHE��q�/I"����KL� C #)�<� C ��M/&��43Q&FK/IZ�/I"�<�/����K���I�S�I�3�3J� #)E�I"M/�_S C ��� C �43<� C ��-O3_$;*<0�G�3JI"(�3�#gXZ&#"3J���g[>E/MVc�43���I�3�3Q������I�3��/I"�o\9xqM�3`$k*<0³[����s�e�O#o�"�43�!S C - � C �N#gz)��&�$;*_0�G�3JIg(�3�#"XZ&�Ss- � C ��I"�.�.������-.d"���I�X X�M/�/-.�4#)��-.I"�e�4#)�.�.&4!<- &n-£X1G/� �4X1��������K´��I%("���/�43�#)�����g[>E/MVc�43Z��I�3�3J�����Z("�.I"E�#)��G�3JI"(�3�#"XZ&�5:I�3�&�I�X1��4#"3J�'5:M/� �.�j� C Ig&�������\ ��Ig����#)�.&�I%� C #)��S�� K/I%�/I"��� C #7�/("��#)�V�%&��4X #)�V��-.��&ZI)5F$;*_0qG�I"-.���Q[>��I)[>G�Ig- �V���I�X X�M/�/-.�4#)��-.I"�%�4#)�.�.&+EV�HM/&��43J&4\<��IV3�-.�/&��N#)�/���"!�S�-.�.K/�4#"3JK;3J������-.d"��&�#"3J��&���-.�.� #7� �.I)S���K{EV��M/&��43J&4\�] C -.&- &ZE����4#)M/&��L-£X1G/� �4X1�����N#7��-.I"�YI75¢IgM�3q$k*<0³[����s�^�O#o�"�43q�4#)�jE��LX #)K/�;T�K/-.& �JI"-.�V��WH5>3JI�X � C #)��I)5�$;*_0G�I"-.�V�J[>��I)[>G�I"-.���q��I�X X�M/�/-.�4#)��-.I"�%3JI"M/��-.�/��&4\

� ��������� ��� �e��������,� �

*_3J��&����V�F�D}��s& C #od"�+#qdg�43J�Z� I)S´G�#)�µz7���,� Ig&�&F3�#7����K/M/�+��I�X1��K/-£#��43�3QI�3J&4\�] C ��&����/K/�43<&�-.K/��G�3JI)dV-.K/��&¢#C - ( C � �H3J���.-O#)E/�.��K�#)�'#��'3�#)�/&J5:�43,G�#)� C ��IZ� C ����I�XnX�M/�/-.�4#)��- Ig�{XZ��K/-.M�XH\F] C �+d)#)&��FXn# �JI�3J-.�J�9I75DG�#7�µz)���� Ig&�&,-.&yK/M/����Iq� C �_�O#)��z�I75�E/MVcD�43Q& #)��� C ��3J������-.d"�43�&�-.K/�"8:&N=�\,�q�y]s*%S�#)&K/��&�-.("�/��K ��I+G�3JI)dV-.K/�F#q3J���.-£#7E/� ��N3�#)�/&�G�I�3J�G�3QI"��IV��I"�"S�-.� C G�I"-.�V�J[>��I)[>G�I"-.���_#)�/KZX�M/� ��- �4#7&��y�4#7G�#)E/-.� -.��-.��&�#)�/K�S�-.� C G��4365:I�3�Xn#)�/���F#)&����.I"&��#)&�G�Ig&�&�-.E/�.�9��I9� C #)��I)5,� C � C #"3JK/S�#"3Q��- �s- &�3JM/�/�/-.�/(LI"�\

0:�w� C -.&�&�������-.I"�wS���G�3J��&����V��I"M�3�z)���H#)G/G�3JIV#)� C ��&s��I � C -.&�G�3JIgE/� �4X \F��3J-.��!��"!�� C ����#g3J�"§

� \��<M/-.�.Kk�q��]�*´I"�H��I"GHI)5�� C ���.I)S���&���#4d)#)-.�O#)E/�.�9�O#o�"�43�86��}��  �#)�N#¡[���-.��zH�#o�"�43�-.�{I"M�3¢�4#)&��4=�\

� \�]�#"z)��#)K/d)#)�V�N#)("�qI)5,� C ��X�M/� ��- �4#7&����)E�3JIV#)K/�4#)&����4#7G�#)E/-.� -.��-.��&�I)c�43J��KHEV�L� C ���.I)S��43��O#4�g�43J&4\"$#&%('�)+*-,/.�)0%214365�7-8:9<;�=>8?,>@BADC<E/1F*-,+G2@�)�'BHIH-@KJ&1/L�M?N:1/1O P/QSRT@BC�LD1/)>'B*IH-,/M

Page 6: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

�/\�$%I)d"� � C �LG�#)��z)����&`523JIVX z)�43J�/����E/MVc�43J&Z-.����I�M/&��43��.��d"����E/MVc�43J& #)�/K|523Q����z)�43Q�/���FE/MVc�43J& #)&&�IVI"�l#)&wG�I"&�&�- E/�.�"\ ] C -.&�X1- �/-OXZ-.a���&;� C �;� C #7�/����&{� C #)�wG�#)��z)����&{#"3J�%K�3JIgG/G���KªK/M/�;��Ie� C ��O#)��zeI)5�523Q���kz7�43J�/���+E/MVc�43J&o\²] C �43J�;#"3J�%�JS�I Xn#)-.�­K/-rc�43J���/����&wE����JS������·z)�43J�/����#)�/KbM/&��43E/MVc�43J&4\L�,-O3J&��o!yz)�43J�/���<E/MVc�43J&ZI�����M/GV�;G C ��&�-.�4#)�q8:�/I"�V[>G�#)(g�4#)E/�.�4=9X1�4XZI�3J�;#)�/K;M/&��43�E/MVc�43J&IV����M/G��´d�-O3J��M�#)� 8:G�#)("�4#7E/� �4=HX1�4XZI�3J�"\²�V����Ig�/K!�z7�43J�/����E/MVc�43J&{#"3J�%#j& C #"3J��Kl3J��&�IgM�3J���w5RI�3� C �L��I�X X�M/�/-.�4#)��-.I"�´�/����K/& I)5�#7� ��G�3JIV����&�&���&nI"�^#%X #)� C - �/����M/&��43ZE/MVc�43J& #"3J�HX #)��#)("��KeEV�-.�/K/-.d�-.K/M�#)�,M/&��43���&+#)G/G/�.-.�4#)��-.I"�\

h�\� �3JIgG�M/�VS�#)������KHG�#)�µz7����&+#)&�&�I�I"�{#7&�G�I"&�&�-.E/� �Z#)�/K{Ss- � C # XZ-.�/-OX�M�XiI)d"�43 C �4#)K\}q&�#j3J��&�M/�.�{�q�y]�* - &H-OXZG/�.�4XZ���V����KU#)&H#;��I�X�E/-.��#)��-.I"�bI)59#ez7�43J�/���+�'u/�����/&�-.I"�l#)�/Kl#|M/&��436[

� ��dg���F�.-.E�3�#"3Q�"\{$%I"&���I75¢� C ��G�3JIg��I���Ig�,��I�K/�L-.&9-.�j� C �LM/&��436[>�.��d"�����.- E�3�#"3J�"\%] C -.&9K/����-.&�-.I"�^Xn#)K/� � C �-£X1G/� �4X1�����N#7��-.I"�e�4#)&�-.�43ZS�-.� C IgM/�1# &�-.("�/-r~��4#)�V� G��4365:I�3�Xn#)�/����K/��(V3�#)K�#)��-.I"�b8:&����%? ���BA =B\�] C �Hz)�43J�/����'uv�����/&�- Ig��G�#"3J�P����#)E/�.��&�52#)&���G�3QI�����&�&�- �/( 82K�3JI"G/G/-.�/(�=�I)5�X�M/�.��-.�4#)&���G�#)�µz7����&y#)�G�3QI�����&�&�I�3J&� C #7�y#"3J�,�/I"�G�#"3J��I)5_� C ���N#"3Q("����&�������#)�/K%#)�.&�I�3Q��K/M/����&�� C ��-.�����43�[>G�3JI�����&�&�I�3s��I�X X�M/�/-.�4#)��-.I"�%I)d"�43 C �4#)KHE�����S������G�3JI�����&�&���&4\

����� > &'��! ��� ��; � -��+& ����!������] C ��-.&�&�M/��&�#)�/K{3J��¬VM/-O3J�4XZ���V��&q� C #)��S�����I"�/&�-.K/�43�S C - �.�ZK/��&�-.("�/-.�/(H� C ��G�3JIg��I���Ig�D#g3J��#)&�5:I"�.�.I¡Ss&4§

� \�*,#)��z)���IV3JK/�43J-.�/(�G�3JI"G��43J��-.��&4§�S��F3J��¬VM/-O3J��3J���.-£#7E/� �sG�I"-.�V�J[>��I)[>G�I"-.����#)�/K9X�M/�.��-.�4#)&��,�_02� xZ\)*�I"-.���Q[��I7[>G�I"-.�V�+#)�/K�X�M/�.��-.�4#)&��qG�#)��z)����&+3Q��&�G������q� C ��&N#"X1��I�3JK/�43B\_] C ��5>#)����� C #)�+#ZG�#)��z)����S�#)&s&������EV��#�G�I"-.�V�J[>��I)[>G�I"-.���s&����/KHI�3_#ZX�M/�.��-.�4#)&���-.&�-.�Vd�-.&�-.E/�.�Z��I�� C ���£#o�"�43Q&¢#7E�I)d"�+�q�y]s*����g� C ��&N#"X1��4#)�.�-.&qM/&���K{��I13Q������- dg��-.�4\

� \��<MVc�43X #)��#7("�4XZ���V�I"��� C �<&����/K/�43&�- K/�"§P&�-.�/����� C �,E�3JI�#)K/�4#7&��K/I�X #7- ��-.��� C �_��}��j �#)�N#¡[���-.��z�O#o�"�43,-.&��/Ig�F3J���.-O#)E/�.�"!�� C �+&����/K/�43�z)����G/&�#���I"GV�ZI)5y�4#)� C G�#7�µz)���<&����V�4!"M/�V��-.����d"�43J� G�3JIV����&�&�IV3_-.�� C ���'#"3J("����&���� C #7&�8:-OXZG/�.-.��- ��� �/=�#7�µzg�/I)S��.��K/("��KH-.��&�3Q������- G/�o\

�/\��<MVc�43,X #)��#)(g�4XZ�����,Ig�9� C �¢3Q������- dg�43,&�-.K/�"§,&�-.�/����� C �FE�3QI�#)K/�4#)&��,K/IVX #)-.� -.&,�/I"�_3J���.-O#)E/�.�"!/&�I�X1�G�#)��z)����&�X #o� E����.I"&��o\y��I�3�G��4365RIV3�X #)�/����3J�4#7&�I"�/&�S���E/MVcD�43s#)�.�FT�M/&��'5RM/�.WLK�#)�N#�G�#)��z)����&�#)��� C �3J������-.dV-.�/(H&�-.K/�"!/��d"���{S C ����#�(�#)GH-.&qK/������������K\

h�\� �����������- Ig�HI)5 G�#7�µz)���s� Ig&�&+Ig�H� C ��3J������-.d"�43s&�-.K/�"§�("-.d"���H� C ��&��4X #)�V��-.��&�I)5,� C ��("�.I"E�#7�G�3JI"(�3�#"XS��q�4#)�HK/����������#�G�#)�µz7���F�.I"&�&�8:I�3<K/���O#o�v=<S C ���{#n���N�'� �¡��-.&�-.&�&�M/��KL523JIVX²� C �+$;*_0R[������%�O#o�"�43�\02��#)K/K/-.��-.I"�!�G�#)��z)����� Ig&�&+�4#7�HE���K/������������K{EV��dV-.I"�O#)��-.I"�wI)5 �_02� xªIV3JK/�43J-.�/(�#)��� C ��3J������-.d"�43�\

�q�y]�*ªM/&���&1#%XZIVK/-r~���Ked"�43J&�-.I"�eI75¢� C ��&��.-.K/-.�/()[>S�-.�/K/I)S G�3JI"��IV��I"�:\%�V- �/���HS��L�'uvG������ ��I C #4dg�X #)�V�9(V3JI"M/G/&_I75yd¡#"3Q��-.�/(Z&�-.a���&�- ��-.&�-OXZG�I�3Q�N#)�V�_��I C #4dg��&���¬VM/���/������M�X�E��43�X #7��#)("�4XZ���V�_#)&�&�IV��-O#)����KS�-.� C ��d"�43Q�YG�#)-O3ZI75�G�3JIV����&�&�IV3J&4\e�+#gXZ���.�"!���d"�43J�j&����/K/�436[�3J������-.d"�43nG�#)-O3 C #7&�#w��I"M/�����43 #)&�&�IV��-O#)����KS�-.� C - �o\��<���4#)M/&�� ��d"�43Q�{G�3JIV����&�&�I�3s�4#)�;#)����#)&�#n&����/K/�43�#)�/K;3J������-.d"�43q� C �43J�ZS�-.� �<E��Z�JS�I���I"M/�V���43J&5RI�3s��d"�43J�HG�3QI�����&�&�I�3qG�#)-O3�\�*�I"-.���Q[>��I)[>G�Ig- �V�qG�#)�µz7����&+Ss- �.�<��I"���'#)-.�{� C �Z��M�3�3J���V�qd¡#)�.M/� I)5_� C �9��IgM/�����43#)&�&�IV��-O#)����KHS�-.� C � C �Z8����������������������� �!"���"=�G�#)-O3�\,$%M/�.��-.�4#)&��sG�#)�µz7����&_S�-.�.����I"���'#)-.��#���I"M/�V���43<d¡#)�.M/�`5RI�3

#%$'&6#�()FA�H-)0*-E/'�,>) *-, **),+�H-1%) 1$GD)>1/L4A(,0*IG�-F)0%21 ADG(LD1$C>H*.�*IG�-0/�1'243DC<@�'�LDE/'�,>)�'KG(L,) ADH-)0*-E/'�,>)�E/'�+('�3�*IHI*-)0*-1K,/M65(@BCSC<1/'�,>@KG(,)>@,3�1F187�+DH-'B*IG21/L�H-'�)>1<CK.('0+DC<@:E/1/,>,>@KCFG(@�)+*IG�' )>'BC�-�1 )9-KC<@BA�+:) **-B%D)?'KH-,>@ C<1/E/1<**;�1'+2'�E=<:1/)>,?RT@BC�)0%21�-BC<@BA�+SM

>%5(@BC?*IG2,>)>'BG2E/1�.�$'&6#�( A(,>1 , '0+�@K*IGD)@? )>@A?B+�@B*IGD)F,>1<G(L )>@ C<1 ,>1$G(L 'C) ADH-)0*-E/'�,>)'+2'�E=<:1 ) A�+�@BG:-�1/)>)0*IG�-D&�E6F R C<@G) ,>@G) 1+DC<@:E/1/,>,>@KC *IG�)0%21F)>'BC�-�1/)?,>1/)/M

@

Page 7: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

��d"�43J�{G�3QI�����&�&�I�3�-.�;� C �9�'#"3J("����&����4\�] C ��&��Z��M�X�E��43J&���I�3�3J��&�G�I"�/K%��IH� C ��G�#)-O3J& 8����������������������� �!"����� =5RI�3¢�4#)� C �������� 8! �����,-.��� C ���N#"3Q("����&����4\�}s5R���43q#ZG�#)��z)���q-.&+&����V��#)�.�� C ����IgM/�����43Q&+S C Ig&���d)#)�.M/��&�SF�43Q�M/&���K%- �|� C ��G�#)��z)����#"3J��- �/�43Q�4XZ��������K;E��wI"�/�"\q}+&�#L3J��&�M/�.�4!�� C �Z�VM�X�E��43J&�M/&���Kw5:I�3�G�I"-.���Q[>��I)[>G�Ig- �V�#)�/K{X�M/� ��- �4#7&���G�#)�µz7����&�&������<5>3JI�X G�3JI�����&�&�I�30 ,��I�G�3QI�����&�&�I�3���#"3J�q("���/�43�#7����K�EV� � C �q&N#"X1�+��I"M/�V���43�\}+�.��� C �L�/������&�&N#g3J�YG�#7�µz)����- a4#7��-.I"�Y-.& C #7�/K/� ��K´E��|� C ��M/G/G��43{82$k*<0³[����s�=��£#o�"�43��_#%�+��]�*UG�#7�µz)���#)�.S¢#o�V&��N3�#7�/&��O#)����&�-.����In�'u�#)����� �HIg�/����}��ªG�#7�µz)���o\

] C ��$;*_0R[������%�O#o�"�43�Xn#)��#)("��&�� C ��&����/K/-.�/(�E/MVc�43J&4\,�q�y]s*^-.&qG�#)&�&���K{#1G�I"-.�V���43���IZ� C ��E/MVcD�43��I"���'#)-.�/- �/(w� C � G�#)��z)������IHE�� &����V���"X�M/�.��-.�4#)&�����Ig("��� C �43qS�-.� C #L�4#7� �r[>E�#)��z 5RM/�/����- Ig�\�] C �Z5:M/�/����-.I"�S�-.� ��E����4#)�.�.��KY8:��I�5>3J����� C ��E/MVc�43�=�S C ����#)��z"�/I)S��.��K/("�4X1������&<5:I�3�� C ��G�#7�µz)����#"3Q��3J������-.d"��KH5>3JI�X«#7� �� C �+K/��&���-.��#)��-.I"�LG�3JI�����&�&�I�3J&<- �L� C �q�N#"3J(g���,&����+8:G�I"-.���Q[>��I)[>G�Ig- �V��G�#)��z)����& C #od"�sI"�/�.� I"�/��K/��&���- ��#7��-.I"��=��� C ��#7K/K�3J��&�&�I)5� C �qE/MVcD�43<-.&�G�#)&�&���KH#)&�#�G�#g3�#"XZ�����43B\y��I�3_#`("IVI�KLG��4365:I�3�Xn#)�/���"!V� C ��3Q����I�X XZ���/K/��K&�-.a�� I)5_� C �Z&����/K/-.�/({E/MVc�43sG�IVI"�,-.�%$k*<0³[����s�j- & 8 � � =��t!�S C �43Q� %-.&�� C �Z�VM�X�E��43qI)5FX #7� C -.�/��&- �j� C � ��Ig�V~�("M�3�#)��-.I"�j#)�/K�� -.&9� C � S�-.�/K/I)S²&�-.a��"\H] C -.&Z("M�#"3�#)�V������&�� C #7��� C � &����/K/�43�S�I"�������d"�433JM/�%I"M/�+I75_&����/K/-.�/({E/MVc�43J&4\s}+�.�,� C I"&���E/MVc�43J&�#"3J��-.�;M/&��43�&�G�#7����82G�#)("�4#)E/�.� XZ�4XZI�3Q�v=�#7�/K��O#o�"�43J&M/&�-.�/(��+��]�*©�4#)��-OXZG/�.�4XZ���V�q� C ��-O3�I)S���E/MVc�43�X #)��#7("�4XZ���V�_G�Ig� -.��-.��&4\�]PIZG�3J��d"���V�FK/�4#7K/� IV��z�!/�4#7� CG�3JI�����&�&�I�3�X�M/&���E��9#)E/�.����IZ- �/�43Q�4#)&���-.��&q&����/K/-.�/(LE/MVcD�43¢G�IVI"���I � C ��3J����I�X XZ���/K/��Kw&�-.a��"\

] C ��3J������-.dV- �/(�E/MVc�43J& #g3J��X #)��#)("��K�E����q��]�*�\)��I�3P&�-OXZG/�.-.��- �J�"!/��M�3�3J�����,�q�y]�*k-£X1G/� �4X1�����N#7��-.I"�#)�.� IV�4#)����&�8T �� � =��� �sE/MVc�43J&4!VS C �43J�4 {#)�/K� #g3J��K/�'~��/��K�#7&FE��'5RIV3J��#)�/K ��-.&+#�&NX #7� ����I"�/&��N#)�V�4\}�XZIg�/(;� C �{E/MVc�43J&o!�8T �� � =�� #"3J�%3J��¬�M/-O3J��K©5RIV3Z� C ���q��]�*tK�#)�N#%G�#)��z)����&L#)�/K �w#"3J�HM/&���K©5RI�3� C �9�q�y]s*e��I"�V�N3JI"��G�#)��z)����&�8:�"\�(�\,}q���Z!/������=�\�8>xq� C �43¢-£X1G/� �4X1�����N#7��-.I"�/&�M/&�-.�/( 5:��S��43�E/MVc�43J&+#"3Q�G�I"&�&�- E/�.�"!<&�M/� C #)& C #od�-.�/(;#eTN3Q��&��43Jd"��KjE/MVc�43JWH5:I�3�� C � �43J-.��-.�4#)��G�#)��z)����523JIVXi�4#)� C G�3JIV����&�&�I�3B\�=´}G�I"-.�V���43���IH� C ��3J������-.d"��K;G�#)��z)����#)�/Kj#L�4#)�.��[>E�#7�µzw5:M/�/����-.I"�Y#g3J� G�#)&�&���K���IH� C � $;*_0R[������e�O#o�"�43�#)&� C �{3J��&�M/�.�ZI)5�#%3J������-.d"�w�4#)�.�_5>3JI�X¥$;*_0R[������,\,] C �H�4#7� �r[>E�#)��zk5RM/�/����-.I"�^X�M/&��ZE��H�4#)�.� ��K´E��|$k*<0³[�����e�O#o�"�43�#o5R���43�-.��~��/-.& C ��& M/&�- �/(%� C �nE/MVcD�43n8:-:\��"\O!PG�3JI�����&�&�-.�/(�� C � G�#)��z)���N=�\L] C ��E/MVc�43J&Z#"3J��#7� �- �eM/&��43�&�G�#)���;8:G�#)("�4#7E/� �HXZ�4XZIV3J�v=�#)�/K^#"3J�n� C ��&�- a��HI75+� C �HX #ou/-£X�M�X¦��}��«G�#7�µz)���o\{}«G�#7�µz)����4#)�eE��%#)�µzg�/I)S��.��K/("��K^#)& &�I�I"�^#7&9-.��3Q�4#)� C ��&L#;�+��]�* E/MVcD�43B\ 0R5�� C �H��M�X�E��43nI)5�3Q������- dg��K­#)�/KM/��#)�µzg�/I)S��.��K/("��KjG�#)�µz7����&�3Q�4#)� C ��&Z#L� C 3J��& C Ig� K|� C ���Y#)�;}q���tG�#)�µz7����S�-.� �<E�� &���������IH� C � &����/K/�438>#)&�-.�b? �BA =�\n}+&Z#)�O3J�4#)K/�%��d�-.K/���V�4!,� C �L3J������-.d"���4#7� � C #)&9#w3�#)� C �43`M/��M/&�M�#)�_&��4Xn#)����- ��&o§�K�#)�'#L- &Z�/I"�3J����M�3J�/��Kj-.�Y#HE/MVc�43�&�M/G/G/� -.��KeEV�%� C � $;*_0R[������´�O#4�g�43�\ } G�Ig- �V���43`��I{#HE/MVc�43�-.�j� C ��3J������-.dV-.�/(E/MVcD�43¢G�IVI"��- &q3J����M�3J�/��KH-.�/&����4#7K\_] C �qG�#)�µz7���F-.&���IgG/- ��Kw�JS�-.����E��'5:I�3J�q- �q3J�4#)� C ��&F� C ���+��]�*eE/MVc�43�§~�3J&��q5>3JI�X � C �Z�/����S�I�3�z�#)K�#7G/���43q�4#"3JK%XZ�4XZI�3J�w-.����I{#Lz)�43J�/���,E/MVc�43q#)�/K%&�����I"�/K%5>3JI�X � C � z)�43J�/���E/MVcD�43���I�� C ���q�y]s*;E/MVc�43�\�86] C �+#)&�&��4X�E/�.��KHXZ��&�&N#7("��S�-.�.��E��s5RM�3J� C �43,��I"G/-.��Kn523JIVX²�q�y]�*jE/MVc�43J&- �V��I�� C ��M/&��43B��&,E/MVc�43�- �n� C ��$k*<0�G�3JI"(V3�#"X E���� C ��$k*<0³[����s�H�O#o�"�43�\�=`}^G�3JI"��I���I"�VM/&�-.�/(9#7�1#od"�43�#)("�I)5F�.-.�����.�HXZI�3J�Z� C #)�%I"�/�nK�#)�N#L��I"GV�{G��43�XZ��&�&'#)("�Z-.&�K/��&��43J-.E���KY-.�b? �BA E/M/��-.��S�I�3�zg&�I"�/�.�{5:I�3s�O#"3J("�K�#)�N#Z�N3�#)�/&J5:�43J&4\,�+��]�*©- &q-.�������/K/��K���I9E���M/&���K 5RIV3�E�I"� C &NX #)�.�y#)�/KH�O#"3Q("��K�#)�N#Z�'3�#)�/&J5:�43J&4\

0:�%#)K/K/-.��-.I"�!��q�y]s* C #7&�� C �q5:I"�.� I)S�-.�/(HXZ��� C #)�/-.&NXZ&4§� \�} �s��� G�#7�µz)���Z-.&�#wG�Ig- �V�J[>��I7[>G�I"-.�V����I�XnX�M/�/-.�4#)��- Ig�^3J��¬�M/��&���-.�/(Y#w&�G�����-r~��%G�#)��z)����523JIVX #

&�IgM�3J���"\_0:�s-£X1G/� -.��-.���.�;#)��z"�/I)S��.��K/("��&�#)�.�G�3J��dV-.I"M/&+G�#7�µz)����&4\� \�¤ C ����#1G�3JI�����&�&�I�3�3J������-.d"��&�#n����� G�#)�µz7����5RIV3�#ZK�#)�N#1G�#)�µz7����S C -.� C%C #)&sE������%&����V���4#"3J�.-.�43�!

-.��&����/K/&�� C �Z3J��¬VM/��&�����K;K�#)�'#ZG�#)��z)����#)(�#)-.�wM/&�-.�/({G�Ig- �V�J[>��I7[>G�I"-.�V��&����/Ke8:��d"���%-r5F� C ��I�3J-.("-.��#)�K�#)�'#qG�#)�µz7���yS�#)&,&����V�,� C 3JIgM/( C X�M/�.��-.�4#)&��N=�\�¤ C ��� � C ������� 3J�'5R�43Q&_��I�#)� M/�/&����V�,K�#)�N#qG�#7�µz)���8:-.�wS C -.� C �4#)&���� C ��3J������-.d"�43s-.&�# C �4#)KHI)5,� C ��&����/K/�43�=s� C ����� �U-.&�&�-OXZG/�.�{-.("�/IV3J��K\

�/\�}e��-OXZ��IgM/�_XZ��� C #7�/- &'Xª- &�M/&���KZ��Iq���/&�M�3J��� C �<K/��� -.d"�43Q�9I75�#+��� �´G�#)�µz7��� #)�/KZI)5�� C �F3J��¬VM/��&�����KK�#)�'#�G�#7�µz)���o\_] C ����-OXZ��I"M/�sG�3JI�����&�&+&���I"G/&�S C ���{� C ��3Q��¬�M/��&�����K{G�#)��z)���+#"3�3J-.d"��&4\

Page 8: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

h�\�}+� �q&+#)�/K{��� �q&�#"3Q��&������sM/&�-.�/(�G�I"-.���J[>��I)[>G�I"-.�V�+��IVX X�M/�/- �4#7��-.I"�\

� \��V����M�3J-.�J�{-.&�("M�#"3�#)�V������Ke8:S�-.� C -.�%� C � �.-OXZ-.��&�-£X1G�I"&���K|E��w� C � ��}��q=�\�q�y]s*bG�#)��z)����&��4#)�/�/I"�E���3J������-.d"��KHI�3<&����V�FEV� G�3JIV����&�&�IV3J&�� C #)�F#g3J�+�/Ig�F-.�H� C �qG�3JIV����&�&�(�3QI"M/G K/�'~��/��KH5:I�3<� C �LT�$;*_0S�I�3J�.K/W�\,�<���4#)M/&��Z�+��]�*©- &q-.�������/K/��KH5:I�3�G�#"3�#7� �.���y#7G/G/� -.�4#)��- Ig�/&�3JM/�/�/-.�/(�I)d"�43<�.I��4#7�_8>#)�/K{3J���r[#)��- dg��� �Z&�����M�3Q�4=_�/���JS�I�3�zg&,�/I9#7K/K/- ��- Ig��#)��&�����M�3Q- �J� ���V5:I�3J��-.�/( XZ��� C #)�/-.&NXZ&<SF�43Q��-OXZG/�.�4XZ��������K\

0:�jS C #)�`5RIg� �.I)S�&�SF�n- �/���.M/K/�w&�I�XZ� I75¢� C � K/���N#)-.�.& I)5�� C � -OXZG/�.�4XZ���V�N#)��- Ig�^#)�/KYIgG/��-OXZ-.a4#)��-.I"�/&3J���O#)����K{��I9� C �9�q�y]�*©G�3JI"��IV��I"�:\

���9� � A ��;�� A � � ! % !������ % ����� � !���A ��� % !������ -] C ��&���&����4X #"3J� C -.��������M�3J�LI)5+�q�y]�*ª-.&ZE�Ig� C &�-OXZG/�.�{#)�/Kj�'����-.�����o\{0:�Z-.&ZE/M/- �.�ZI"�j��I"G;I75s#w��}��G�3JI"��IV��I"��8>�,� C �43Q�/���N=�#)�/K%-.��- &�������-£3Q��� �%&�I75R�JS�#"3J��E�#)&���K\902����I"�/&�-.&���&�I)5��JSFIL&���G�#"3�#)���9X1I�K/M/�.��&4§�#z)�43J�/����'u/�����/&�-.I"�%#)�/K�#Z�.-.E�3�#"3Q�H� C #)���/����K/&+��I E���� -.��z)��K%��IZ��d"�43Q��#)G/G/�.-.�4#)��-.I"�%M/&�-.�/(L� C ��G�3QI"��IV��I"�8:&������,-.("M�3J� � =�\

¤;����I"�/&�- K/�43q� C #)����M�3�3J���V�+��}��s&�#"3Q� °"®r±1�7���P��I�XZG/�.�������.��3J���.-O#)E/�.� #)�/K{� C #)�+XZI"&���-.�/&��N#)�/����&qI)5G�#)�µz7�����.I"&�&�#"3J��K/M/����IH#Z�O#)�µzLI75y5>3J����E/MVc�43J&�#)��� C �93J������-.dV- �/(H���/K\q0:�w� C ��5:I"�.�.I¡Ss- �/(H&�M/E/&�������-.I"�/&SF�sG�3J��&����V�_I"M�3�-OXZG/�.�4XZ���V�N#)��-.I"�{#7�/K I"G/��-OXZ-.a4#)��-.I"�LI)5�+��]�*�!�#�3J���.-£#7E/� ���'3�#)�/&�G�I�3J�,�O#o�"�43,S�-.� C d"�43J�� -.����� �ZG��4365RIV3�X #)�/����K/��(�3�#)K�#)��-.I"�\

������ ����������������������� ���"!$#&%��

] C ��z7�43J�/�����'u/�����/&�-.I"�HXZIVK/M/� ����Ig���N#7- �/&�#���M/&���I�XZ-.a���KHK/��d�-.���qK�3J-.d"�43q8>#)� �'u/�����/&�-.I"�L��I�� C �+�'u/-.&���-.�/(I"�/�4=�#)�/K{��IVK/�Z� C #)�q-OXZG/�.�4XZ������&9#n��M�X�E��43qI75_�/��SU&���&����4X«�4#7� �.&4\�] C �ZK/��d�-.��� K�3J-.d"�43q-.&�XZIVK/-r~���K- �|I�3JK/�43���I�XZ-.�/-OXZ-.a��H� C � I)d"�43 C �4#)K%I)5FK�3JIgG/G/- �/(wM/��S�#)�V����K%G�#)��z)����&4\Z] C � �/��SU&���&����4Xi�4#)�.� & #"3Q�M/&���K{EV��� C ��M/&��43��.��d"���P� -.E�3�#g3J�H��I �N3�#)�/&J5:�43_K�#7�N#ZE����JS������H� C �Zz)�43J�/���#)�/K{� C ��M/&��43�G�3JIV����&�&4\

] C �43J��#"3J�s��S�I�&�IgM�3J����&�I)5M/��S�#)�V����K G�#)��z)����&o\ xq�/�q-.&�� C #)�F#Z�q�y]s*eX�M/�.��-.�4#)&��F-.&�-OXZG/�.�4XZ���V����KM/&�-.�/(�#H��}�� X�M/�.��-.�4#)&�����IH#L&�M/G��43Q&�����I)5�� C �Z�N#"3J(g���+&�����&�IL� C #)��#)�V�{G�3JIV����&�&�IV3q- �|� C -.&�&�M/G��43J&����3J������-.d"�Z� C ��G�#)��z)���qS C ��� C �43s-.�+-.&�# G�#)��z)����K/��&���-.��#)��-.I"�%I�3s�/I"�4\�] C �ZI"� C �43�-.&�� C #)�sS C ���{� C ��M/&��43#)G/G/�.- �4#7��-.I"�Y-.&�&�M/��&�#w�Q�'�'� �¡�+#7�/K�� C �9��IV3�3J��&�G�I"�/K/-.�/({G�#)��z)���q- &��/Ig��S¢#7- ��- �/(H-.�Y#nM/&��43qE/MVc�43�!�I"M�3G���&�&�-OXZ-.&���- �%3J��¬VM/��&��ZG�3JI"��IV��I"�_#)&�&�M�XZ��&Z� C #)��� C ��G�#)��z)���ZX #o� C #od"�LE������j�.I"&�� #)�/Kj&����/K/& #%�����G�#)�µz7���+��IL� C ��&�I"M�3J���"\�0³5_� C �9&�I"M�3J����-.&�E�� C - �/Kj� C �Z3J������-.d"�43qI�3 C #)& �JM/&��q&����V�+� C �ZK/��&�-O3J��K%G�#)��z)���4!� C ���{� C ���s���UG�#7�µz)���s- &sM/��S�#)�V����K\

¤;��-£X1G/� �4X1������X�M/�.��-.�4#)&���&�#)&+�D}��tX�M/�.��-.�4#)&��+��IL#Z&�M/G��43Q&�����I)5,� C ���N#g3J("����&����sE����4#)M/&��ZI)5,� C �� -OXZ-.����Ke�VM�X�E��43qI)5�X�M/� ��- �4#7&��9#)K/K�3Q��&�&���&9#L�/���JS�I�3�z -.�����43�52#)���Z�4#)�|� -.&������Y��I;86#)E�I"M/��#LK/Iga�����=�\ 0:�#)�e$;*_0�G�3QI"(�3�#"X !_#%G�3JIV����&�&�I�31�4#)�eE��{#;X1�4X�E��43ZI)5�X #)�V� X1I�3J�L(�3JI"M/G/&4\j$%I�3J��I)d"�43B!,� C �43J�H-.&&�-.("�/-r~��4#)���LI)d"�43 C �4#)K^#7&�&�IV��-£#7����KeS�-.� C � C �H�43J�4#)��-.I"�eI)5�# C #"3JK/S�#"3J�H(V3JI"M/Gj��I"���'#)-.�/- �/(eX�M/�.��-.�4#)&���N#"3J("����&����o\ ] C - &qI"G��43�#)��-.I"�H-.�Vd"I"�.d"��&q&����.������-.�/(�#)�{#7������G/�N#)E/�.�9X�M/�.��-.�4#)&��+#7K/K�3J��&�&4!�#7K/K/- �/(L-.����IZ� C �&����yI75�#)K/K�3J��&�&���&_3Q����I"("�/-.a���K EV���4#)� C XZ�4X�E��43�I)5�� C �F�/��Sj(�3JIgM/G!"#)�/K9#)��zg�/I¡Ss� ��K/(g- �/(�� C �F&�M/������&�&,I)5� C ��I"G��43�#)��-.I"�\�}+E�I"M/��� C ��&N#"XZ��I)d"�43 C �4#7K�-.&q�/������&�&N#"3J�L5:I�3<(�3JIgM/G{3J�4XZI)d¡#)�:\<¤ C - �.��� C -.&+I)d"�43 C �4#7KXZ-.( C �qE�� #)������G/�'#)E/�.��5:I�3 C �4#od�-.�.�{M/&���Kw(�3JI"M/G/&Z8:S�-.� C # �.I"�qI)5_G�#)��z)����&q�N#"3Q("������KH��I � C #)�+(V3JI"M/G�=�-.�- &q�/I"�+#7������G/�N#)E/�.��5:I�3<(�3JI"M/G/&s� C #)�+#"3Q��3�#"3J���.�LM/&���K\

] C � C �4#7K/�43�I)5+#HX�M/�.��-.�4#)&���G�#7�µz)������I"�V�N#)-.�/&9# &���¬�M/���/���L�VM�X�E��43q5:I�3q��d"�43J�%G�3JIV����&�&�IV3�-.�;� C �C #"3JK/S�#"3J�L(�3JI"M/Gl82S C -.� C ��I"�V�N#)-.�/& � C �{�N#"3Q("����&����'=�\e�,�V�N3J-.��& ��I�3�3Q��&�G�I"�/K/-.�/(j��I;X #)� C -.�/��&�-.�e� C ��N#"3J("���,&����_��I"�V�N#)-.� d)#)�.- KL&���¬VM/���/������M�X�E��43J&4\,�,�V�N3J-.��&_��IV3�3J��&�G�I"�/K/-.�/(9��I9X #)� C -.�/��&_-.�L� C � C #"3JK/S�#"3Q�

Page 9: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

(�3JI"M/GLE/M/���/I"��-.�H� C �q�N#"3J("���<&�������I"�V�N#)-.�{#)�L- �Vd¡#7� -.Kw&���¬�M/���/������M�X�E��43�\,¤ C ����#ZX�M/�.��-.�4#)&���G�#7�µz)���- &�3J������-.d"��K!�� C �+G�3QI�����&�&�I�3,� C ���µzg&�� C �qd¡#)�.-.K/-.���LI)5� C �q&���¬VM/���/������M�X�E��43���I�3�3J��&�G�I"�/K/-.�/( ��I�-.��&�3�#)��z- �%� C ���N#"3J(g����(�3JI"M/G\q0³5F#)�w-.��d)#)�.- Kjd¡#7� M/�Z-.&q5:I"M/�/K%� C ��G�#)��z)����-.&�K�3JIgG/G���Ke8>#)�/Kw� C � z)�43J�/����E/MVcD�43- &q5>3J����K�=�\�xq� C �43JSs- &��9� C ��G�#)��z)����-.&�G/M/�q- �V��IH# z)�43J�/����¬VM/��M/�"\+�<���4#)M/&���� C ��I)d"�43 C �4#7KH- &�&'X #)�.�� C �#)E�I)d"��#)����- Ig�H�4#)�{E����'u/����M/����K{-.�{� C ��- �V���43�3QM/G/� C #)�/K/�.�43�\

] C ��Ig� C �43�&�I"M�3J���sI)5�M/�VS�#)������K9G�#7�µz)����&_-.&_� C �`�Q�'�'� �¡���4#)�.�:\,¤ C ����#�3J������-.d"�s- &<G�I"&�����KZ5>3JI�Xª� C �M/G/G��43q�O#o�"�43+#7�+G�3JIV����&�&�IV3��n5:I�3�� C ���/�'u/�+G�#)��z)���s523QI�X«G�3QI�����&�&�I�3D '!�#)�/K%� C ��G�#)�µz7��� C #)&q�/I"��E������3J������-.d"��K{EV�H� C ���q�y]�*´#)��G�3JIV����&�&�IV3 ��!v#n����� - &s&������s��I G�3JIV����&�&�I�3 F#)�/K{#Z��-£X1��I"M/�+XZ��� C #)�/-.&NX- &�-.�/- ��-£#7����K\ ] C � 3J��&�G�I"�/&���#)�qG�3JIV����&�&�I�3 '!�M/G�I"�;3J������-.dV-.�/(k#H�s��� 523QI�XiG�3JIV����&�&�I�3 ��! C #)&�#n5R��SG�I"&�&�- E/�.�Z�4#)&���&o§

� \�] C ��3J��¬VM/��&�����KLG�#)��z)����S¢#7&_&����V��XZI�3J��� C #)����XZ-.�.� -.&�����Ig�/K/&�#)("I�\�] C �+&����/K/�43 #7&�&�M�XZ��&�� C #)�� C �qG�#)��z)����S�#)&_�.I"&���#)�/KH&����/K/&F-.�+#7(�#)-.�\,] C ������� -.&��/I"����I"�/&�-.K/�43J��K%#)�LM/��S�#)�V����K G�#)��z)���4\¤;�s&����.��������K{#qd¡#)�.M/��I)5 � 5RI�3��qE�#7&���K�Ig� I"M�3,�'u/G��43Q-£X1������-.��IgG/��-OXZ-.a�- �/(L#)�.��[>��I)[�#)�.��E�3JI�#)K/�4#)&��4\

� \�] C �ZG�#)��z)���qS�#)&+&��������.��&�&�� C #7���LXZ-.�.�.- &�����I"�/K/&�#)("I�\�] C �9&����/K/�43�#)&�&�M�XZ��&�� C #)�+� C �9G�#7�µz)���-.&qI"�H-.��&�S�#o��#)�/K{��Ig�/&�-.K/�43J&+� C �������t#)�HM/��S�#)�V����KHG�#)��z)���4\

�/\�] C �sG�#)�µz7��� C #)&<�/I"�,E������H&����V�,I�3<X�M/�.��-.�4#)&��,5>3JI�XU� C ��M/G/G��43<�O#o�"�43,�"����82� C ��&����/K/�43<-.&_E�� C - �/K� C ��3Q������- dg�43�=�\_] C �Z����� -.&���I"�/&�-.K/�43J��K;#)�HM/�VS�#)������KHG�#)�µz7���4\

��IV3��4#)&��Z�/!/� C �Z����� - &q-.("�/I�3J��K;#)�/Kw�N3J�4#)����K{#)&+#nM/��S�#)�V����KHG�#)��z)���+#)�/KwK�3JI"G/G���K�S C - �.�Z&���-.�.�- �j#Hz)�43J�/���,E/MVc�43�\�] C �Lz)�43J�/�����'uv�����/&�- Ig� C #)&�#L�.I��4#7�,��I"G��wI)5F� C �9&���¬�M/���/��� �VM�X�E��43`I)5_� C � �O#)&��G�#)�µz7���_&����V�,��I��4#)� C K/��&���-.��#)��- Ig�\_] C -.&���I"G��Z-.&_M/G�K�#)����KLI"�/�.�ZS C ����#��/��S´G�#)��z)���_-.&_&������4\,�s&�-.�/(�-.�� C ��K/��d�-.���ZK�3J-.d"�43��4#7�{K/����������Ss- � C d"�43J�L� -.����� ��I)d"�43 C �4#)KHS C ���%# ��� �ªG�#)�µz7���+3J�'5:�43J&���I #)�HM/�/&����V�G�#)�µz7���+8:�4#)&��+��#)E�I)d"�4=�\�¤ C ����� C -.&<�4#)&��q- &�K/������������K�� C �sG�#)�µz7���_-.&�K�3JI"G/G���K;86#)�/K � C �+z7�43J�/����E/MVcD�43- &s5>3J����K�=�\_] C -.&�#)����-.I"�H-.&qK/I"�/��-.�{� C ��-.�V���43�3JM/G/� C #)�/K/�.�43�\

��#)&�� � -.&�3�#g3J�"\�¤ C ���;-.��IV����M�3J&�� C �1�s��� G�#)��z)����-.&93Q�'5R�43�3Q��K;��ILM/&��43�&�G�#7���9S C �43J� � C �Z��-OXZ���I�XZG�#"3J-.&�Ig�H- &qG��43�5RI�3�XZ��K�#)�/KH� C ��G�#)�µz7����K�3JI"G/G���K\

0:�n�4#)&�� � !g� C �+��� �lG�#7�µz)���,-.&�#)�.&�IZ3J�'5R�43�3J��K ��I�M/&��43�&�G�#)���qS C �43J��� C �+3J��¬VM/��&�����KLG�#)�µz7���_3J��&�-.K/��&4\] C �43J� � C � ��� � -.&��N3Q�4#)����K�#7&�#)�%-£X1G/� -.��-.� }+� �²I75¢#)�.�,G�3J��dV-.I"M/&�G�#)��z)����&q5>3JI�Xi� C �9&'#"XZ�Z&�I"M�3J���"\] C ���{� C ��3Q��¬�M/��&�����K{G�#)��z)����-.&�3J��&������4\

] C �H�,� C �43Q�/��� -OXZG/�.�4XZ�����'#)��-.I"�^I75+� C �LK/��d�-.���{K�3Q- dg�43Z-.& G�3J��&����V����Ke�/�'u/�4\Y] C �LK/��dV- ���wK�3J-.d"�43- �V���4365>#)����&ZS�-.� C � C �L�/����S�I�3�z{-.�V���4365>#)���L�4#"3JKe#)�/KY-.�Z-.&Z�'uv�����/K/��Ke��I C #)�/K/�.�HG�#)��z)����&�I)5+#{&�G�����-O#)����VG��Z8:� C #7�_S��+K/�'~��/��K�=¢�4#)�.� ��K%�+��]�*�\/] C I"&����q�y]�*´�,� C �43Q�/���FG�#7�µz)����&F#"3J�q-.K/������-�~���KwE��n� C �+�J�VG��~���� Kw-.�H� C � C �4#7K/�43_I75y� C ���,� C �43J�/���sG�#)�µz7���_� C #)��-.&�&�������I #�&�G�����-r~���d)#)�.M/�"\_] C -.&�d)#)�.M/��-.&�K/-�c�43J���V�523JIVX � C #)��M/&���KwE��H0>*�!/}���*�!������"\

�,dg�43J�;G�#)��z)��� S�-.� C #7�^�,� C �43J�/���L#)K/K�3J��&�&{82M/�/- �4#7&��4!�X�M/�.��-.�4#)&�� I�3�E�3JIV#)K/�4#)&��N=Z3J����Ig("�/-.a���K­EV�� C ��-.�V���4365>#)��� C #"3QK/S¢#g3J��-.&q��I"G/-.��K{5>3JI�X � C ���/����S�I�3�zZ-.�����43�52#)��� XZ�4X1I�3J�L- �V��IH#�z7�43J�/���E/MVc�43�\�¤;��/I"��� C �43J��� C #)���+��]�*´G�#)��z)����& C #od"��� C ��&N#gXZ��&��N3JM/����M�3J��#)&+06*eG�#)��z)����&4§�K�#)�N#�-.&+G�3J������K/��KwE��L� C �C �4#)K/�43�\

] C ��3J������-.d"��K%G�#)��z)����-.&+G�3QI�����&�&���K�#)&�5:I"�.�.I)S�&4§� \��sI"�V[��q�y]�*´G�#)��z)����&�8>06*�!/}��s*y!������"\�=Z#"3Q� C #)�/K/�.��Kk#7&�M/&�M�#)�:\� \���I�3��+��]�* �J��G�� G�#)��z)����&�� C � K�3Q- dg�43�� C ���µzg&�� C �L�+��]�* C �4#)K/�43�\ }q���«#)�/K;G�I"-.���Q[>��I)[>G�Ig- �V�

G�#)��z)����&_#g3J�+#)�.S�#o��&,�.-.��z)��KL- �V��IZ#�z)�43J�/���/¬VM/��M/�"\_��#)&���KLI"�Z� C ����Ig�������V�_I75�� C ��-O3 C �4#)K/�43�!VX�M/�r[��-.�4#)&��+#)�/KHE�3JI�#7K/�4#)&���G�#)��z)����&+#"3Q����- � C �43���I"�/&�-.K/�43J��K%M/�VS¢#7������K{#7�/KHK�3JI"G/G���Kj8>#)&��'u/G/�£#7- �/��K

p

Page 10: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

#)E�I)d"�4=�I�3�� -.��z)��K´-.����I%� C �H&'#"XZ�Hz)�43J�/����¬�M/��M/�"\e��� �iG�#)��z)����&Z� C #)� #"3J�L�/I"�ZK�3JI"G/G���K­#"3Q��.-.��z)��K%-.����In� C ��&N#"XZ��¬VM/��M/�"\

�/\�¤ C ���/��d"�43 #wG�#)��z)���Z-.&��.-.��z)��K´- �V��IY#7�Y�4XZG/�J�j¬�M/��M/�"!�#w&�-.("��#)��-.& &������ ��I�� C �HK/��&���-.��#)��-.I"�G�3JIV����&�&4\ ] C � &�-.("��#)� C #)�/K/�.�43�!�G�#"3Q��I)5F� C �nM/&��43q�.��d"���_�.-.E�3�#"3J�"!�M/&���&�I"�/�ZI)5�� C �Z�/��S²&��V&����4X�4#)�.�.&_��I��N3�#)�/&J5:�43�°"®³®4� C �FG�#7�µz)����&�523JIVXª� C ��z)�43J�/����#)K/K�3J��&�&_&�G�#)����-.�V��I�� C ��K/��&���- ��#7��-.I"� G�3JIV����&�&#)K/K�3Q��&�&,&�G�#)���"\�}q� ��� C ��G�#)��z)����&_#"3J���N3�#)�/&J5:�43�3J��K�-.� Ig�/��&��V&����4X �4#)�.�y8:I"�/�.��I"�/����I"�V���'u/�y&�Ss- ��� C��I z)�43Q�/���yXZIVK/�9#)�/KHI"�/��E�#)��z ��IZM/&��43sXZI�K/�4=B\

h�\�] C ��¬VM/��M/��-.&+#7������&�&���K{EV� � C ��K/��dV-.���ZK�3J-.d"�43�8:��IZ���/¬VM/��M/��G�#)��z)����&'=F#7�/KHE��L� C ���/��Sl&��V&����4X�4#)�.��82��I%K/��¬�M/��M/�wG�#)�µz7����&N=�\;02�^I�3JK/�43���I;XZ-.�/-OXZ-.a��%� C �HI)d"�43 C �4#)KeI75+� C �H&��V�/� C 3QI"�/-.a4#)��-.I"�!�JS�IZ¬�M/��M/��&�#"3J�qM/&���K���I"�/�q5RIV3�¬�M/��M/-.�/(LG�#)��z)����&+#)�/KHIg�/�q5RI�3¢K/��¬�M/��M/-.�/(HG�#)��z)����&4\�¤ C ���H� C �~�3J&��F¬VM/��M/��-.&q�/I"�V[>�4XZG/�J�H#)�/KH� C ��&�����I"�/KHIg�/��- &q�4XZG/�J� � C ��¬�M/��M/��&q#"3J��-.�����43J� C #7�/("��K\_] C �-.�V���43�3JM/G/���.��d"���,#)&�&�I���-O#)����KHSs- � C � C ����� C �43J�/�����4#"3QKH- &qK/-.&N#)E/�.��Ke�87�®���K/M�3J-.�/(L� C ��&�S�-.��� C \

� \�¤ C ���{#n���N�'� �¡�<-.&�G�I"&�����K�� C ��G�#)�µz7���F-.&���-.� C �43s#)�O3J�4#)K/�L- �HM/&��43�&�G�#)���Z8>#)�/K{#�G�Ig- �V���43���I�� C �E/MVc�43,-.&�3J����M�3Q�/��K�=,I�3�- ��S�#)&<�/I"�F3J������-.d"��KL�"�����g-.��� C -.&��4#)&��q� C ��M/&��43���&_G�3QI�����&�&�&����/K/&�#������#)�/KZE/�.IV�µzg&4\_02�,- &<�/I"�,G�Ig&�&�-.E/�.�q5RI�3P� C ��G�#7�µz)���,��I�E���-.��z)�43Q�/���/&�G�#)����5:I�3�� C �<5:I"�.� I)S�-.�/(Z3J�4#)&�I"�§#o5:���43�� C �s- �V���43�3QM/G/� C #)�/K/�.�43_3Q����M�3J�/&4!g� C ����I"�V�N3JI"�/3J����M�3Q�/&_��I�#qM/&��43�G�3JIV����&�&4\_0R5D� C �43J��#"3J�+#)�V�G�#)��z)����&q-.�%� C �9z)�43Q�/���,¬�M/��M/�Z��ILE��ZK/���.-.d"�43J��K;��IH#nG�3JI�����&�&+� C ���;#n&�-.("��#)� C #)&�#)�O3J�4#)K/�HE������&����V�q��I � C �ZG�3JIV����&�&4\q] C ��~�3J&��+��IVK/�Z� C #)��S�-.�.�,E��Z�'u/����M/����K%S C ���%� C ��G�3QI�����&�&�-.&�&�� C ��K/M/�.��K-.&q� C ��&�-.("��#)� C #7�/K/� �43s� C #)�sS�-.� �P�N3�#)�/&J5:�43�� C ��G�#7�µz)���s- �V��I M/&��43�E/MVc�43J&4\

¤;� K/Iw�/I"��-OXZG/�.�4XZ���V�1#7���;�����U� C ����z"-.�/(�X1��� C #)�/-.&NX \�] C - & 3J���.-.��d"��&ZE�Ig� C � C � &����/K/�43�#)�/K3J������-.d"�43s523QI�X«#)�wM/�/�/������&�&N#"3J�H�'cI�3Q�4\F�<���4#)M/&��9��dg�43J�{�+��]�*´G�#)��z)���q- &q�N3�#7�/&J5R�43�3J��KHM/&�-.�/(H�'u�#7�����.�I"�/����� C �43J�/����G�#)��z)����S��+&�-.�.���V���.�HM/&��+� C ����� C �43J�/���������´� C ����z�\<] C ��#7K/d¡#)�V�N#)("�qI)5� C -.&+#)G/G�3QI�#)� C- &q� C #)��E�I"� C �s�F����I�XZG/M/�N#)��- Ig�/&+#"3J��K/I"�/��EV�L� C ���/���JS�I�3�zZ-.�V���4365>#)�����4#"3JK\

] C ��G�3QI�����&�&�I)5�&����/K/-.�/(�#�G�#7�µz)���,-.&���d"��� &�-£X1G/� �43B\F] C �qz)�43J�/�����'u/�����/&�-.I"�L��I"�V�N#)-.�/&��/��S^&��V&����4X�4#)�.� &n5:I�3Z�4#)� C G�#)��z)���Z���VG��"§ �/��S G�I"-.���J[>��I)[>G�I"-.�V� G�#)��z)���4!�3J���N3�#7�/&NXZ-.&�&�-.I"�eI)5�#%G�3J��dV-.I"M/& G�#)��z)���4!X�M/�.��-.�4#)&���G�#)��z)���F#)�/KL��I"�V�N3JI"��G�#)��z)����8:}+���Z!V�����Z!/�����"\�=�\,�_#)� C I)5� C �4X #)�.� IV�4#)����#Zz)�43Q�/����E/MVc�43�!E/M/- �.K´� C �{�,� C �43Q�/��� C �4#7K/�43�!,��I"GV�;� C �LK�#)�N# 5>3JI�X M/&��43�&�G�#)���{#)�/KjG/�£#7���H� C �HE/MVc�43�-.�e� C �L&����/K¬�M/��M/�HI)5q� C ��K�3Q- dg�43�\%}��Z� C -.&ZG�I"-.�V� -.�9-.& ��dV-.K/�����n� C #)�ZI"M�3�G�3QI"��IV��I"��K/I���& X�M/� C XZI�3Q��S�I�3�z%#)�G�#)�µz7���+3J������G/��-.I"�w� C #)�{#)��G�#7�µz)�����N3�#)�/&NXZ-.&�&�-.I"�\

������ ������� ! ����� ����� ����# ��� ��

] C � z)�43J�/�����'uv�����/&�- Ig��G�3Q��&���������Kk#7E�I)d"��-OXZG/�.�4XZ���V��&Z#)�%M/��3J���.-£#7E/� �L�N3�#7�/&�G�I�3Q���O#4�g�43�\�0:�;#)K/K/-.��-.I"�!- �Z�'����-.���V���.�YK�3QI"G/&ZM/�/�/������&�&N#"3J�|G�#)�µz7����&4\{] C �HX #)-.�j("I�#)�<I)5�� C �L� -.E�3�#g3J�;-.&Z��I�X #gz)��-.�Z3J���.-£#7E/� �E��j-OXZG/�.�4XZ������- �/(e� C �{XZI�K/-r~���K´&��.- K/-.�/()[>Ss- �/K/I)S G�3JIg��I���Ig�R\e02�­#)K/K/-.��-.I"�!�S�� C #4dg�H� C �L5RIg� �.I)S�-.�/(XZ��� C #7�/- &'X 3J���O#)����K{��I ��� �UG�#)��z)����&4\

� \�}s5R���43q&����/K/-.�/(�#H��� � G�#)��z)����� C �H���'�N� �)��3QI"M/��-.�/� ("IV��&���IH&��.����G%5:I�3�#LK/�����43�X1- �/��KjG��43Q- IVK\¤ C ����-.�,S�#"z)��&PM/G1#7�/I"� C �43��� �´G�#)�µz7���yS�-.�.�/E��<&����V�y-r5�� C �_G�#)��z)����S¢#7&�/I"�,3J������-.d"��K\,�V- (g��#)�.&("���/�43�#)����K;EV�%- �/��IVXZ-.�/(;G�#)��z)����&�S�#"z)� M/Gj� C ��3Q������- dg��3JIgM/��-.�/�"\H¤ C ���;� C �LK/��&�-O3J��KYG�#7�µz)���#"3�3J-.d"��&4!V� C �93QI"M/��-.�/��3J����M�3J�/&o\

� \���� � G�#)��z)����&�#)�.&�I{#)����#)&�-OXZG/�.-.��-.� }+���tG�#)��z)����&o\�}¶3J��¬VM/��&��q5:I�3qG�#)��z)����eXZ�4#)�/&�� C #)��#7� �M/��#)��zg�/I¡Ss� ��K/(g��K{G�#)��z)����&�M/GH��I � � � S��43J��&N#o5:���.�{3J������-.d"��K\

�4f

Page 11: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

�/\�] C �Z#)E�I)d"��&�� C �4XZ��&����4XZ&q��I M/&��Z# �.I"�qI)5_�����tG�#)��z)����&o\_ �M�3J-.�/(L� C ��&'#"XZ�Z���N�'� �¡�s�4#)�.�� C ���-OXZ�'[>IgM/�,G��43J-.IVK�-.&_-.�/�43J�4#7&���K �'u/G�I"�/���V��-O#)�.�.�"\�] C -.&_3J��K/M/����&�� C ����M�X�E��43�I)5D�s���bG�#)��z)����&,#)�/K��I"�/&���¬�M/���V���.�"!�� C ��� IV#)K{I"�H� C ���/���4\

h�\�] C �s��I"G��ZI)5� C �s&���¬�M/���/�����VM�X�E��43�I)5� C ���O#)&��<G�#)�µz7���_&����V�_��I���dg�43J� K/��&���-.��#)��- Ig��X #7- �V�N#)-.�/��K-.�/&�-.K/��� C �_z7�43J�/�����'u/�����/&�-.I"��5>#)��-.�.- �'#)����&,� C �<K�3JI"G/G/-.�/(+I75�#)�OXZI"&��y#7� �VM/�/�/������&�&N#g3J�9��� �eG�#)��z)����&#)�s� C ��K�3J-.d"�43s� ��dg���R\�}q&�# 3J��&�M/�.�4!�� C ��I)d"�43 C �4#)K{#7��� C ��K/��&���-.��#)��-.I"�{I75�#)�wM/�/�/������&�&N#"3Q�{�����G�#)��z)����-.&+dg�43J��&'X #)�.�:\

�V-.�/���+S��+#7&�&�M�XZ��� C #)�_G�#)��z)���,�.I"&�&�-.&�G�3J-OX #"3J-.�.� K/M/�q��I��O#)��zZI)5�523Q���+3J������-.d"�43<E/MVc�43J&4!"IgM�3_z)�43J�/����'uv�����/&�- Ig�{#)�����4XZG/��&_��I�5>3J����z7�43J�/����E/MVcD�43Q&¢#7&F&�I�I"�H#)&�G�Ig&�&�-.E/�.�"\F02�¢#7� &�I1#7�����4XZG/��&<��I XZ-.�/-OXZ-.a���� C ���M�X�E��43�I)5q��I"�����'uv��&�S�-.��� C ��&�3J��¬VM/-£3Q��Ke��I{�N3�#)�/&J5:�43�G�#)��z)����&�5>3JI�X � C ��z)�43Q�/���F��I{M/&��43�&�G�#)���"\w¤;���I"�/&�-.K/�43J��KH� C ��#)�.���43J��#)��- dg��I)5y� C #)�/("-.�/(Z� C �+z)�43Q�/����E/MVc�43J&�8>X�E/MV5R&'=_X #)��#7("�4XZ���V�,I�3,M/&�-.�/( &�G�����-O#)�E/MVcD�43Q&F� C #)���4#)��E���&�S�-.��� C ��KL523QI�Xt� C �+G�#7("�4#)E/�.����IZ�/I"�V[>G�#)("�4#7E/� ��&��N#)�����"E/M/��S��+E���� -.��d"�Z� C #7�_� C �#"3J� C - ��������M�3J�qG�3J��&����V����K�#7E�I)d"��-.&_&�M/G��43J-.I�3�E����4#)M/&��q� C ��G�#)��z)����&�X�M/&��_E��+��d"���V��M�#)�.�.� �N3�#)�/&J5:�43�3J��K ��IM/&��43�&�G�#)����-.��#)�V���4#7&��"\

��� � >��,&8�D��&'A % �,� � � ����� � >] C ��X #)-.�{IgE ��������- dg��&�I)5yI"M�3¢K/��&�-.("��#)�/KH-OXZG/�.�4XZ���V�N#)��- Ig�{I)5_�+��]�*©S�-.� C 3J��&�G���������IZG��4365RIV3�X #)�/���#"3J���.I)SbG�3JI�����&�&�I�3,I)d"�43 C �4#)K!"�.I)S^�O#)�����/���H#)�/K C -.( C �'c������-.d"�sE�#)�/K/S�-.K/� C \�]IZ3J��K/M/���+� C �+I)d"�43 C �4#7K#)�Z� C �H&����/K/�43n&�-.K/�"!_S��HK�3JI"Gj� C �H��IVI)[>�4#"3Q� �e��� �iG�#)�µz7��� -.�^z)�43J�/����&�G�#7���;8:�4#)&��H�%K/��&��43J-.E���K­-.��V������-.I"�{�/\ � \ � =�\]PI13Q��K/M/���+� C �qI)d"�43 C �4#)KL#)�_� C ��3J������-.d"�43<&�-.K/�"!/S���K�3JIgG�� C �qM/�/�/������&�&N#g3J��X�M/�.��-.�4#)&��G�#)�µz7����& 8³5:I�3qS C -.� C � C ��3J������-.d"�43`- &��/I"��-.�Y� C �9�'#"3J("����(�3QI"M/G�=q-.�Yz)�43J�/���<&�G�#)���"\ �,-.("M�3J���L& C I)S�&� C ��I)d"�43 C �4#7K{-.�%K�3JI"G/G/-.�/(�#)�wM/�/�/������&�&N#"3Q�{G�#)��z)���+#)�q� C �Z3J������-.d�-.�/({&�- K/� #)&�#15RM/�/����-.I"�%I)5_G�#7�µz)���&�-.a��"\�] C �9�q�y]�* C �4#)K/�43�-.&�#)����IgM/������K 5RIV3�-.��� C ��G�#)��z)���q&�-.a��"\+�sI"����� C #)�+� C �43J��-.&�# �JM�XZG{-.�%� C �~�("M�3J�L5:I�3�� C �n5:I"�.� I)S�-.�/(Y3Q�4#)&�I"�\%��I�3���d"�43Q� ��� C �43J�/���ZG�#)��z)���93J������-.d"��K!<� C �{z)�43Q�/���¢#7� �.IV�4#)����&�#7�±n¯µ������IH&���I�3J�Z-.�4\�] C � &�-.a�� I)5+#)�j±�¯'����- & ���"@ EV������&�E/M/��Ig�/� �;#)E�I"M/� C #)�r5�I)5�-.��-.&�M/&���K|��IH&���I�3Q�- �/��IVXZ-.�/(�K�#7�N#/\Z¤ C ���;G�#)��z)����&Z#"3J�Z��IVIH�£#g3J("� ��IL~���-.����I%#)�j±�¯'���µ!,#)�;�'u/�����/&�-.I"�´8>#LG�#)("� I75Fh��E��V����&N=�-.&�#)�.�.IV�4#)����K�#7�/K{�.-.��z)��K;��I � C � ±�¯'���µ\�¤|�9#)�.&�I�X1�4#)&�M�3J��Kw� C ��I)d"�43 C �4#7K{��I�3Q������- dg�9#L�� �*G�#)�µz7���_M/GL��I�� C �qM/&��43<�.��d"������I�E��+E����JSF�����Lh f"f #)�/K @"f"f�� &�����&o\_] C �qI¡dg�43 C �4#)K ��IZ3J������-.d"��#��q��]�*G�#)�µz7���FK/���43Q�4#)&���&�-r5_X #)�V� G�#)��z)����&F#g3J�+�'3�#)�/&J5:�43�3J��Kn523QI�X z)�43J�/����E/MVc�43J&���IZM/&��43�&�G�#)���q-.�H� C ��&N#"X1�&���&����4XU�4#)�.�:\��,d"���Z5:I�3�� C �+S�I�3Q&��,�4#)&��"!VS C �43J�sI"�/�.� I"�/�qG�#)�µz7���_-.&��N3�#)�/&J5:�43�3J��Kn- �H#�&��V&����4XU�4#7� �:!V� C �I¡dg�43 C �4#)K;8:�/I"�q-.�/���.M/K/- �/(w� C ��G�3QI�����&�&�- �/(H#)&�&�I���-O#)����KwS�-.� C � C ��&��.-.K/-.�/({S�-.�/K/I)S·G�3QI"��IV��I"�O=�-.&�#)E�I"M/��4f"f� &�����&q�.��&�&+� C #)�{� C #7��I)5_�� �* 8:S C -.� C -.&+M/��3J���.-O#)E/�.�L�N3�#)�/&�G�I�3J�N=B\y�,-.("M�3Q��hL& C I)S�&�� C ��I"�/�'[>S�#o��£#7�����/���HI)5_#ZG�#)��z)����E����JS������{�JS�I9G�3QI�����&�&�I�3J&4!/XZ�4#)&�M�3J��K�#)��� C ��M/&��43��.��d"���:\

¤;��#)-OX ��IZz)����GH� C �q��M�X�E��43¢I)5y��I"�V�N3JI"��G�#)��z)����&_�.I)S�!g5:I�3<- �/&��N#)�/���"!/EV� M/&�-.�/( E/�.IV�µzn}+���q&�#)�/KE��HM/&�-.�/(H�����q&q5:I�3�-OXZG/�.-.��-.��}+� �q&+I)5,�4#"3J�.-.�43sG�#)�µz7����&4\<��I�3�#LXZ��&�&'#)("��I)5,&�-.a�� � $;�_�V����&�IV3�XZI�3J�"!SF� C #od"��XZ�4#)&�M�3J��K{#)�L�'cD������- dg���+��]�*eE�#7�/K/S�-.K/� C I)5,#"3JI"M/�/K � \ � $%E/-.��&��)&����"!�S C -.� C -.&�¬VM/-.��� C -.( C5RI�3<#�3J���.-O#)E/�.���N3�#7�/&�G�I�3Q�_G�3JI"��I���I"�:!g��I�XZG�#"3J��Kn��I�� C � �4f $%E/-.��&��)&�����3�#oS^��� C �43J�/���_E�#7�/K/S�-.K/� C #)&F#7�M/��3J���.-£#7E/� �w�N3�#)�/&�G�I�3J�qG�3JI"��I���I"�:\L] C � E�#)�/K/S�-.K/� C I)5�� C � G�3JI"��I���I"�,S�#)&�X1�4#)&�M�3J��K;EV�%�N3�#)�/&Q5R�43�3Q- �/(#H�O#"3J("� #"X1I"M/����I75¢K�#7�N#LE����JS������;�JS�I�G�3JIV����&�&�IV3J&4!&'#4� +#)�/K ��!�#)�/K%E�#)�µz�\ ¤|� K/-.d�-.K/�L� C � ��I"�'#)�#"XZI"M/�V��I)5�K�#)�'#H�N3�#7�/&J5R�43�3J��K^8:E�I"� C S¢#o�V&N=qEV��� C �����O#)G/&���Ke��-£X1��E�����S������j� C � ��-OXZ�LS���&����/KYI"M/�� C �q~�3J&���G�#)��z)���<523QI�XtG�3JI�����&�&�I�30 _#)�/KH� C ����-OXZ��� C �+�O#)&��sG�#)�µz7���FS�#)&�3J������-.d"��KHEV�LG�3JI�����&�&�I�30 N\�¤;�M/&����+��]�*jG�I"-.���J[>��I)[>G�I"-.�V���N3�#7�/&J5R�43<S�-.� C X #ou/-OX�M�X &�-.a���G�#)��z)����&4\,] C �qK�#)�N#�M/&���KL��IZ��I�XZG/M/���q� C �

� �

Page 12: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

�'cD������- dg��E�#)�/K/S�-.K/� C K/IV��&_�/Ig�,- �/���.M/K/��#)�V�9��� C �43J�/���<I�3y�q��]�*;I)d"�43 C �4#)K��"-.�_-.&<� C �ZT��'c������-.d"��W�M/&��43K�#)�N#ZI"�/�.�"\

] C �ZK/-.&��43J��G�#)�/���%I)5_�'c������-.d"� �q�y]s*bE�#)�/K/S�-.K/� C 5>3JI�Xi3�#oSU�,� C �43J�/����E�#7�/K/S�-.K/� C 8>#"3QI"M/�/K �4f$�E/-.��&��)&����4=�Xn#)-.�/� �%��I�X1��&�5>3JI�X � C 3J��� &�IgM�3J����&4§ 8:-O=q� C �n�/����K;I)5F���43Q�N#)-.�;��I"�V�N3JI"��G�#)��z)��� 8:&�M/� C #)&}+��� #7�/K­��� ��=L- �bI�3QK/�43Z��IjE/M/- �.K·#|3J���.-£#7E/� �|�N3�#)�/&�G�I�3J� G�3QI"��IV��I"�=�982- -O=L� C �%#)K/K/-.��-.I"��#)� C �4#)K/�43- �V5:I�3�Xn#)��-.I"�{I75��q�y]s*^G�#7�µz)���s�4#"3�3J�V-.�/(�K�#)�'#H8:&�M/� C #)&q� C ���+��]�*´�J��G��"!���IgM/�����43Q&4!/�����"\�=���#)�/K;8:-.-.-O=� C ��I)d"�43 C �4#)KL5>3JI�X«��� C �43J�/����G�#7�µz)����8:&�M/� C #)&�� C ��&��V�/��E/-.��&4!��,� C �43Q�/��� C �4#)K/�43�#)�/Kw�N3�#)-.�.�43�!/�����"\�=�\

� � �^���������

0:�H� C -.&�&�������- Ig�!/S��+K/��&��43Q- E���� C ��#7� (gI�3J-.� C XZ&�#)�/KH-OXZG/�.�4XZ���V�N#)��-.I"�wI)5y&����.��������KH$;*<0³[������|3JI"M/��-.�/��&I"�{�+��]�*�\�¤;��#)�.&�I G�3J��&�������G��4365:I�3�X #)�/���Z3J��&�M/�.��&�I75 I"M�3¢-£X1G/� �4X1�����N#7��-.I"�\

¤;� C #od"�+-OXZG/�.�4XZ���V����KwI"���q��]�*^#�&����.��������Kw&�M/E/&�����I)5y$;*_0R[������%3JI"M/��- �/��&o§,$;*_0 �<�4#)&���8:Ig�/�'[��I)[�#)�.��E�3JI�#)K/�4#7&��_S�-.� C -.�{#�(�3JIgM/G�=�!"$;*_0 }q�.� (V#)� C �43�8:�4#7� C �/I�K/�qE�3JI�#7K/�4#)&���&�#9X1��&�&N#)("�q��IZ#)�.���/IVK/��&S�-.� C -.�Y# (V3JI"M/G�=�!/$;*<0 �#)� C �43�8:(�#)� C �43�("���/�43�#)�.�.�%K/-.&���-.�/����XZ��&�&N#7("��&�5>3JI�Xi#)�.���/I�K/��&���InI"�/�Z�/I�K/�- �e#H(V3JI"M/G�=�!�$;*_0 �V�4#)�����43Z8:&��4#)�����43q("���/�43�#)�.� �|K/- &���-.�/���1X1��&�&N#)("��&`523QI�XiI"�/� �/IVK/����I{#)�.�_�/IVK/��&9-.�#%(�3JI"M/G�=Z#)�/Ke$;*<0 ��#"3�3J-.�43H8:E�#"3�3Q- �431&����/� C 3JI"�/-.a4#)��- Ig�^S�-.� C -.�­#w(�3QI"M/G�=�\;¤|�{#)�.&�I;-OXZG/�.�4XZ���V����K$k*<0 0:�/-.��#)�/KH$;*_0 �,-.��#)�.-.a��Z��I -.�/-.��-O#)�.-.a���#)�/K{���43�XZ-.��#)����I"M�3s�+��]�*´����dV-O3JI"��XZ���V�qG�3JI"G��43Q� �"\�] C �("���/�43�#)�(gI�#)��I)5,� C -.&+$;*_0R[������%�O#o�"�43�-.&q��I�X #7GH$k*<0³[����s�Y3JIgM/��-.�/��&�I"�V��I � C ���q�y]s*^-.�V���4365>#)����-.�#)�;�'����-.���V�9S�#o�"!#)�/K;��IHE�3J�4#"zj8:I�3q&�IVXZ����-OXZ��&�G�#7�µzV=�XZ��&�&N#7("��&�-.�V��I{G�#)��z)����&o\Z��I�3q� C �n- �V���4365>#)�����I �q��]�*�!�SF�wM/&��;±Z�/® �R�'°)� �:!����$7E5w#)�/Kª�Q�'�'� �¡�4!�#)&LK/�'~��/��KlE��'5:I�3J�"\ª0:�l#)K/K/-.��-.I"�!qS���#)�.&�IjM/&��±9�/® � ���'�N� �)��- �nS C -.� C #qG�3JIV����&�&�I�3�E/�.IV�µzg&,M/�V��-.�/� C ���/�'uv�,G�#)��z)���P523QI�Xl�4#7� C G�3JIV����&�&�I�3�-.��#s&�G�����-�~���K&�����-.&�3Q������- dg��K\

] C 3JIgM/( C I"M/�_� C - &s&�������-.I"�!/S����.���� E���� C ��XZ��&�&N#)(g�+&�-.a���I)5�� C �+&����/KHE/MVcD�43<I�3�3J������-.d"��E/MVc�43�!S C -.� C ��d"�43�-.&Z&NX #)�.�.�43�\w��I�3`-.�/&��N#)�/���"!� -.&Z� C �L&�-.a���I)5�� C �LM/&��431�µ� 7E5 E/MVc�43`5:I�3q$;*_0 }q�.� (V#)� C �43#)�/K%$k*<0 �#)� C �43B!�#)�/K%-.&+� C �Z&�-.a��ZI)5_� C ��M/&��43`�Q�'�'� �¡��E/MVc�43¢5RIV3�$;*_0 �V�4#)�����43�\�¤|���.���� ¦E���� C �X #ou/-£X�M�X $;*_0³[��s���jG�#)��z)���+&�- a��H8:S C - � C -.&�� C ��K�#)�'# &�-.a�� #LX #ou/-£X�M�X �q�y]s*bG�#)��z)���+�4#7� C I"�.K�=#)�/K HE���� C ���VM�X�E��43�I75 G�3JIV����&�&�IV3J&�-.�{� C ��G�3QI�����&�&�I�3�(�3JIgM/G\

����� �������4�����9&'����A � ��!}+�.����-OXZ-.�/( XZ�4#)&�M�3J�4X1������&_#g3J�+#od"�43�#)(g��K I)d"�43,#)�.��G�3JIV����&�&�IV3J&_� C #7�_�4#)�.��� C ��$;*_0�3JI"M/��-.�/��#)�/K I)d"�43_#5R��S·3QM/�/&4\,��IV3��4#)� C 3JM/�!/S��q5RM�3Q� C �43��N#"z7�+� C �Z#od"�43�#)("�qI)5 #7���.�4#)&�� �4f - ���43�#)��-.I"�/&�I75 � C ����Ig�/&�-.K/�43J��K$k*<0Z3JI"M/��-.�/�"\l��I�3n$k*<0 �_�4#7&��4!�$;*_0 �V�4#7�����43 #)�/Kb$;*_0 �#)� C �43�!�S��{3JI"M/�/KV[�3QI"E/-.�l� C ��3QI�I"�15RI�3K/-�c�43J���V��-.���43�#)��-.I"�/&4\Z] C � � S�I�3�zg&��N#)��-.I"�/&q� C #)�qS��ZM/&���K%5:I�3qI"M�3q�'u/G��43J-OXZ���V��&9#g3J� 0>�<$ �s�6� @"f"f"fSFIV3�z"&��N#)��-.I"�/&4§���S�-.� C XZIVK/����� �gf 8 �"f $ Bsa����.IV�µzV=�! � S�-.� C � � f Bl8>�"�`$ B�a����.IV�µzV=�! � S�-.� C � ��� 8 @"� \ �$ Bsa4=�!�#)�/K � S�-.� CY���"f 8 @"@ $ Bsa9���.IV�µzV=�\L] C ���;#"3J� #)�.�_I"�%� C �n&N#"XZ� &�M/EV[>�/����S�I�3�zHS�-.� C �of $%E/- ��,� C �43J�/���o\,¤ C ���/��d"�43<SF�qM/&��q5:��S��43_� C #)� � S�I�3�zg&��N#7��-.I"�/&4!"� C IVI"&�-.�/( � C ���µ®.���´�N��¯'�����P8>3J��&�G�������-.d"���.�"!�µ°)� ���'��¯'�����O=ZXZ�4#)�/& � C IVI"&�-.�/(;� C �%3J��¬�M/-O3J��K´��M�X�E��43ZI)5�SFIV3�z"&��N#)��-.I"�/&�&��N#"3J��- �/(k523JIVX � C �H&��.I¡S���&��8>3J��&�G�������-.d"���.�"!�52#)&�����&��N=�I"�/�"\

���9� � > � � � %E- !] C �{X #)G/G/-.�/(%I)5+$;*_0 �<�4#)&��Z��I;�q�y]s*ª- �V���4365>#)���H-.&Z&��N3�#7- ( C �J5:I�3JS�#"3QK\{] C �H3JI�Ig�9�4#7� �.&H±Z�/® �R�'°)� �� ��� �����-OXZ��&4!/S C -.�.� #)�.�I"� C �43¢G�3JI�����&�&�I�3J&�-.�w� C ��G�3JIV����&�&�I�3�(V3JI"M/GH�4#)�.�,���'�N� �)� � ��� �����-OXZ��&4\

�4�

Page 13: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

�,-.("M�3J� � & C I)S�&q� C �9XZ�4#7&�M�3J��K{��-£X1��&+I)5,$;*_0 �<�4#)&��+#)&�#�5RM/�/����- Ig��I75_� C �9XZ��&�&N#)("��&�-.a��"\q��I"���� C #)�_Ig�/���+� C ��XZ��&�&'#)("�q&�-.a��+-.&�(�3Q�4#)���43,� C #)� � �qE��V���"!VK/I"M/E/�.-.�/( � C ��XZ��&�&N#7("��&�-.a���3JI"M/( C � �nK/I"M/E/�.��&� C �{�VM�X�E��43LI)5�G�#)��z)����&4!�#)�/K C ���/���%� C �{E�3JIV#)K/�4#)&��L��-OXZ�"\l��3JI�X¦� C �H~�("M�3J�"!�E�3QI�#)K/�4#)&���- �/(jI"�/�G�#)�µz7�����N#"z)��&�#)E�I"M/� � ��I h�XZ&�����&o\

] C ��G��4365RIV3�X #)�/����I)5 IgM�3�$;*_0_��3JIV#)K/�4#)&���82I"�H��I"GHI)5,�,� C �43J�/���'=�-.&�#)E�I"M/���JS�-.���9#7&�52#7&���#)&�� C �&�I)5:��S�#"3Q��-£X1G/� �4X1�����N#7��-.I"�%I)5_E�3JI�#)K/�4#7&���I"�w��I"G{I75_}_]�$¦� C #)�q- &�G�3Q��&���������K{-.�e? � h A \���I�3��'u�#"XZG/�.�"!#LE�3JI�#)K/�4#)&���I)5¢#Lh��qEV�V��� XZ��&�&N#)(g�9Ig� � Xn#)� C -.�/��&��N#"z)��&�#)E�IgM/� @ XZ&�����&�-.�;IgM�3q-£X1G/� �4X1�����N#7��-.I"���I�XZG�#"3J��Kj��I ��� XZ&�����&�-.�e� C � -OXZG/�.�4XZ���V�N#)��-.I"�e-.�l? � h A \�] C � C #"3QK/S¢#g3J� -OXZG/�.�4XZ���V�N#)��-.I"�eI)5�? � h A- &q5>#)&����43�� C #7�{I"M�3J&�#)&qS�I"M/�.K{E��Z�'u/G���������Kk523JIVX � C � C -.( C �43qE�#)�/K/S�-.K/� C I)5_� C �Z}_]�$¸��¬�M/-.G�XZ���V�4\}+&+#7�/I"� C �43<��I�XZG�#"3Q- &�I"�!/I"M�3�E�3QI�#)K/�4#)&���I)5,# � �qE��V���9X1��&�&N#)("�qI"� � G�3JIV����&�&�I�3Q&��N#"z)��&�#)E�I"M/�+�/\ ���XZ&�����&+#)&s��I�XZG�#"3J��KH��I � \ p XZ&�����&qE�#)&���KHIg�{]���* �g0>*^X1�4#)&�M�3J��KH-.�Y? @oA \

��� � � > � � ;9;9@�%=! ��� &��������� � ��� �� E�� � C � �VM�X�E��43`I)5�G�#)�µz7����&4!�G��43`G�3JIV����&�&�I�3�!P� C #)���/����K;��IHE��HX�M/�.��-.�4#)&��4\ ] C �43J�#"3J���JS�I9G�I"&�&�-.E/�.� #)�.("I�3J-.� C X1&�5RIV3�$;*_0 }+�.�.(�#)� C �43�K/��&��43Q- E���K;#)&�5:I"�.� I)S�&o\

� ��� %���# �$�� � � %��"����� � % # �����"�&�$#�� � ! � � ��� ��( " � �&N3J��& � ��� f � � ���������A ?� �! �&N3J��& � ���� � � �A � � ���������$ � �! �K/��&���&"� ������� �$# ������� � �% %�� 8 �&� f � ��'(� � �*)+)F=,�

±Z�/® � ���'�N� �)��8:&N3J��& � !�3J����dVE/MV5R&4! �v=��±Z�/® �R�'°)� �,8:K/��&���&4!�&����/K/E/MV5Q! �/=��±Z�/® � ���'�N� �)��8:&N3J��& � !�3J����dVE/MV5R&4! �v=��

� ��� %���# �$�� � � �-��% ���.� ��� ����� /���"�&�$#�� � ! � �K/��&���&"�0� f � � �������%�$ � �! �1� ��( " %� �� � � f �� � � f �% %�� 8 �&� f � ��' � �����������*)+)�=2�

% %�� 8435� f �63�' � �738)+)F=2�# % 8 � � '(�)=6�

±Z�/® �R�'°)� �,8:K/��&���&4!V&����/K/E/MV5�! � � =��� � )+) �

% %�� 8435� f �63�' � �738)+)F=2�

# % 8 � � '(�)=6�±Z�/® � ���'�N� �)��8:K/��&���&4!/3J����dVE/MV5:&4! � � =��� � )+) �

� �

Page 14: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

0:�w}+�.("IV3J-.� C X � !/�4#7� C G�3JIV����&�&�IV3��N#"z)��&���M�3Q�{#)&+#ZE�3JIV#)K/�4#)&����43F5RI�3<�4#)� C G�#)��z)����S C -.�.� #)�.�I"� C �43G�3JI�����&�&�I�3J&�3J������-.d"�"\+�VM/������&�&�-.d"� 3J������-.d"��&�#"3J����I�X�E/-.�/��K%-.����IH#LX�M/�.��-O3J������-.d"�Z�4#)�.�:\+02�%}+�.("I�3Q- � C X � !�4#)� C G�3JIV����&�&�IV3�-.&�&�M/��&��%X�M/�.��-.�4#)&��q�4#)�.�.&�5:I"�.� I)S���K%E����wX�M/� ��-£3Q������- dg� �4#)�.�.&4\�Bs�43J�"!?�H-.&�#n�4#"3J�'5:M/� �.�� C I"&����HG�I"&�-.��-.d"��-.�V����("�43�\�}+�.("I�3Q- � C X � - & �( V[>E/MVc�43_��IV3�3J�����4\_] C M/&4!/#)���.�4#)&���#�E/MVc�43�I)5 �( LG�#)��z)����&- �w� C ���q�y]�*´-.&�3J��¬�M/-O3J��Kw��I�#od"I"-.KHG�I"&�&�-.E/�.�ZK/�4#)K/�.I���z�\

¤;� C #od"��-OXZG/�.�4XZ���V����K{E�I"� C #)�.("I�3J-.� C XZ&�#)�/KLI"E/&��43Qd"��K�� C #)�_}q�.("I�3J-.� C X � 8:S�-.� C � � � =�("���/�436[#)�.� �wG��4365:I�3�X1&�E��������43�� C #)�w}+�.("I�3Q- � C X � EV�H#�52#7����I�3�I)5_#"3JIgM/�/K � \ � ��I � \_] C -.&q- &�X #)-.�/�.�{E����4#)M/&��}+�.("I�3Q- � C X �ZC #7&+�.��&�&q&��V�/� C 3JIg�/- a4#7��-.I"�%G�I"-.�V��&+� C #)�H}+�.("IV3J-.� C X � #)�/K!/� C �43J�'5RIV3J�"! C #)&q�.��&�&+� C #)�/���I)5_E���-.�/({-.�Y#nG�3JIV����&�&�I�3s-.K/�.� &��N#)���"\+�,-.("M�3Q� @ & C I)S�&q� C �9X1�4#)&�M�3J��K%��-OXZ��&�I)5_$;*<0 }q�.�.(�#)� C �43�#)&�#5RM/�/����-.I"�%I)5_� C �9XZ��&�&'#)("��&�- a��nE�#)&���K{Ig�{}q� (gI�3J-.� C X � S�-.� C � � � \q��Ig����� C #7��I"� � S�I�3�zg&��N#)��- Ig�/&4!$k*<0 }q� �.(�#7� C �43�3JM/�/&�#)E�I"M/� @ \ � XZ&�����&�#)�/K �4� \ � XZ&�����&4!�5:I�3+� � EV������&�#)�/K � �tE��V���ZXZ��&�&N#)(g��&4!�3J�'[&�G�������-.d"���.�"\U}q&F#q��IVXZG�#"3J-.&�I"�!V# C #)�/KV[>��IVK/��KH#)�.��[>��I)[�#)�.��E�3JIV#)K/�4#)&��,E�#)&���K I"�Z� C �+*<��xq ��;G�3QI"��IV��I"�- �´? @oA 3JM/�/&9#)E�I"M/� p \ f XZ&�����&�#7�/K �o@ \ � XZ&�����&�5:I�3 �"f EV������&�#7�/K � �qEV�V��� XZ��&�&N#)(g��&4!3J��&�G�������-.d"���.�"!I"�w52#)&����43Z8 �4f"f $ Bsa ���.IV�µzV=qS�I�3�zg&��N#)��-.I"�/&o\+�,-.("M�3Q� � & C I)S�&q� C �Z��-OXZ��&�I)5_$;*<0 }+�.�.(�#)� C �43�I)5F# @ h�qE��V���9X1��&�&N#)("��#)&+#95RM/�/����-.I"�wI)5,� C ����M�X�E��43�I)5�SFIV3�z"&��N#)��-.I"�/&�M/&�-.�/(L&��.I¡S &�M/E/&����4\

�,-.("M�3J� � & C I)S�&P� C �_��-OXZ��&,I75v$;*_0 }+�.�.(�#)� C �43�I75�# @ h �qEV�����¢X1��&�&N#)("�_#7& #¢5RM/�/����- Ig�9I75 �n8:K/�'~��/��K�4#"3J�.-.�43�=<I"��h�S�I�3�zg&��N#)��-.I"�/&o\y0:�<�4#)�LE��q&������ 5>3JI�X � C ��~�("M�3Q�+� C #7�_� C ��IgG/��-OX #)��d)#)�.M/��I)5�� -.&�#"3JIgM/�/Kh�!�#)�/Kw� C �43J��-.&�#1&�-.("�/-r~��4#)����-OXZG�3QI¡dg�4XZ�����sE��L-.�/�43J�4#)&�-.�/(��L5>3JI�X � ��I � \<¤;��#)�.&�ILI"E/&��43Jd"��KL5>3JI�XI"M�3��'u/G��43J-OXZ���V�Z� C #)��� C �LI"G/��-OX #7�,d¡#)�.M/�LI)5��%("���/�43�#)�.�.�;K/���43J�4#7&���& #)&�� C �n��M�X�E��43`I)5�G�3JIV����&�&�I�3J&- �/�43Q�4#)&���&4!�#)&��'u/G���������K\<¤;���'u/G������q��I�5RM�3Q� C �43�3J��K/M/���Z$;*_0 }q� �.(�#7� C �43���-£X1��E��n~��/����M/�/-.�/( ��\

��� � � > � � � % !8! �,& % ��� � > � : % ! � �,&$k*<0 �V�4#)�����43F#7�/KH$k*<0 �#)� C �43s#"3J�q� C ��K/M�#)�I"G��43�#)��-.I"�/&sI)5y�4#)� C I"� C �43�\�}+&�&�M�XZ� H-.&�� C ���VM�X�E��43I)5 G�3QI�����&�&�I�3J&q- �w� C ��(g- dg���{G�3JIV����&�&�I�3¢(�3JI"M/G\�0:�w$k*<0 �V�4#)�����43�!V� C �93JIVI"� C #7&+#)��#g3�3�#o� I)5? {E/�.IV�µzg&I)5�K�#)�N#HI75¢� C � &N#"XZ�n&�-.a��H- �/-.��-O#)�.�.�^#)�/KjS�-.& C ��&Z��IHK/-.&��N3J-.E/M/���H� C � 2[>� C E/�.I���z%I)5�K�#)�'#H��IH� C � :[>� CG�3JI�����&�&�I�3�-.�H� C ��(�3QI"M/G\,0:�{$;*<0 �#)� C �43�!V�4#)� C �/I�K/��- �H� C ��(�3JI"M/G C #)&+#�E/�.I���zLI)5yK�#7�N#/!/#)�.��I)5y� C �&N#"XZ� &�- a��"!�- �/-.��-O#)�.�.�"\Y] C ��("IV#)�_-.&Z��I{��Ig� �.�����H8:��I"�/�4#7������#)���LS�-.� C I"M/�Z3J��K/M/����-.I"��=Z#)�.�F ;E/�.I���zg& -.����I� C ��3JIVI"�4\ xq�eXZI"&���G�#g3�#)�.�.���_&��V&����4XZ&o!� C ���;#"3J�Z-OXZG/�.�4XZ���V����KeS�-.� C &�-£X1- �O#"3Z#)�.("IV3J-.� C XZ&4!�3JM/�/�/-.�/(- �;3J��dg�43J&���I75 �4#)� C Ig� C �43�\��V-.�/��� S�� C #od"�9#L±Z�/® �R�'°)� �-.�����43652#7���"!�$;*_0 �V�4#)�����43<5:I�3�&'X #)�.� X1��&�&N#)("��&- &n-£X1G/� �4X1��������KeEV�;G�#)��zg- �/(%� C �4X¥-.�V��I%I"�/��G�#7�µz)��� #)�/KeX�M/�.��-.�4#)&���-.�/(;� C �LG�#)��z)������I�#)�.��3J���O#)����KG�3JI�����&�&�I�3J&4\ $;*_0 �V�4#)�����43D5:I�3�O#"3Q("��XZ��&�&N#)(g��&y-.&,-OXZG/�.�4XZ���V����K�EV��&����/K/-.�/(9X�M/�.��-.G/�.�+G�I"-.���Q[>��I)[>G�Ig- �V�G�#)�µz7����&+��I �4#)� C �/IVK/�"\+] C �9�'u/����G/��-.I"�%-.&�� C #)��� C �9�O#)&��+G�I"-.���J[>��I)[>G�I"-.�V��G�#)��z)����5:I�3��4#7� C �/I�K/�Z�4#)�E���G�#7�µz)��KH��I"("��� C �43�#7�/KHE��9X�M/�.��-.�4#)&��s��I�#)�.�y3J���O#)����K{G�3JIV����&�&�I�3Q&4\

�,-.("M�3J� p & C I)S�&�� C �ZXZ�4#)&�M�3Q��KH��-OXZ��&+I75 $;*_0 �V�4#)�����43�Ig�{h�#)�/K � S�I�3�zg&��N#)��- Ig�/&¢#7&+#Z5:M/�/����-.I"�I)5�� C �qXZ��&�&N#)(g�F&�- a��"\<��I"���F� C #)��5RIV3�&NX #)�.��X1��&�&N#)("��&�-.a���&4!g$;*_0 �V�4#)�����43�-.&_-OXZG/�.�4XZ���V����K�EV�ZG�#)��z"-.�/(� C �4X«-.�V��I I"�/��G�#)��z)���+#)�/K%X�M/�.��-.�4#)&���-.�/(�� C ��G�#)��z)���4\_] C M/&4!/� C �9XZ�4#)&�M�3J��K{��-OXZ��&s&��N#o��G�3Q�����J��!�#)�5RI�3�&NX #)�.�XZ��&�&'#)("�q&�-.a���&4!/#)�/K�(V3JI)S^�'u/G�I"�/���V��-O#)�.�.�L5RI�3<�O#"3J(g��XZ��&�&N#)("��&�- a���&sS C ����� C ����#"3J�qK/I"M/E/�.��K� C ��&�-.a��"\_�,-.("M�3Q� �4f & C I)S�&�� C ��XZ�4#)&�M�3J��Kw��-OXZ��&�I)5,$;*_0 �#)� C �43<I"�Hh S�I�3�z"&��'#)��-.I"�/&�#)&+#�5:M/�/����-.I"�I)5 � C ��XZ��&�&N#)(g��&�-.a��"\

0:�V��M/-.��-.d"���.�"!,I"�/�nSFIgM/� K|�'uvG������9$;*<0 �V�4#7�����43q��IwG��4365:I�3�XiE��������43�� C #)�;$;*_0 �#7� C �43q5:I�3q&NX #7� �XZ��&�&N#)(g��&�-.a���&4\;] C - &Z-.&ZE����4#)M/&��L5RI�3�&NXn#)�.�FXZ��&�&'#)("�L&�-.a���&4!,� C �L��I"�N#7�,��M�X�E��431I)5�G�#)�µz7����&ZG/M/�9Ig�� C ����}��tE��w$k*<0 �V�4#)�����43q- &��.��&�&�� C #7�;� C #)�qE��%$;*_0 �#)� C �43�\ B�I)S���d"�43�!�IgM�3��'u/G��43J-OXZ���V��&�& C I¡S

� h

Page 15: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� C #)�q$k*<0 �#)� C �43sG��43�5RI�3�XZ&+E��������43s� C #)�w$k*<0 �V�4#)�����43<5RIV3�&NXn#)�.� XZ��&�&N#)("��&�-.a���&4\�] C -.&�- &�E����4#)M/&��#HG�3JIV����&�&�I�3`-.�Y3J��G��4#7����KY$;*<0 �#)� C �43q�4#)�.�.&ZK/I���&Z�/I"���/����Kj��IHS�#)-.��5:I�3�#)�V�%I"� C �43qG�3JIV����&�&�IV3J&���I��I�XZG/�.�����LS C ���Y-.�Z-.&Z�/I"��� C �H3JIVI"�4\Hxq�j� C � I"� C �43 C #)�/K!_# G�3JI�����&�&�I�3�-.�^3J��G��4#)����Kj$;*_0 �V�4#)�����43�4#)�.� &q�/����K/&q��I S�#)-.��5:I�3<� C �9XZ��&�&N#)("�s523QI�X � C ��3JIVI"�4\

����� � > � �6%=& &���� &$k*<0 ��#"3�3J-.�43q-.&�-OXZG/�.�4XZ���V����KYEV�{$;*<0 �#)� C �43qS�-.� C;f [>EV�V��� XZ��&�&N#)(g����IHG�3JIV����&�&�IV3 f 5:I"�.�.I¡S���K;EV�$k*<0 �<�4#)&��ZS�-.� C^f [>EV�V���{XZ��&�&N#7("� 5>3JI�X G�3JI�����&�&�I�3 f \j�,-.("M�3J� � � & C I)S�& � C �{XZ�4#)&�M�3J��Ke��-£X1��& I)5$k*<0 ��#"3�3J-.�43q#)&�#Z5:M/�/����-.I"�%I)5,� C �Z��M�X�E��43sI)5_S�I�3�zg&��N#7��-.I"�/&4\�0:�%� C ��~�(gM�3J�"!�� C ��&�� I)Sª&�M/E/&����qM/&���&� C �_&��.I)S���&��G�3JIV����&�&�IV3y#)&�G�3JIV����&�&�I�3 f !)S C -.�.�F� C �,5>#)&��&�M/E/&����yM/&���&�� C �<5>#)&�����&���G�3JIV����&�&�IV3y#)&�G�3JIV����&�&�I�3f \F02��-.&+��dV-.K/�����q� C #)�o!/S�-.� C IgM�3�-OXZG/�.�4XZ�����'#)��-.I"�!�� C ��G�3JIV����&�&�-.�/(L&�G�����K%I)5,� C �Z3JI�Ig��82G�3JI�����&�&�I�3 f =#oc������&�� C ����-OXZ-.�/("&�XZI"&����.�"\_] C ����-OXZ-.�/(L- &qd"�43J� !�#)�<5:I�3�M/G{��I � G�3JI�����&�&�I�3J&4\

����� � > � �����9!���% ;=��� %=!������ % ��� �2�,&'A ��� % !������}+����I�3QK/- �/(b��I´$;*_0L&�G�����-�~��4#7��-.I"�!Z$;*_0 0:�/-.�48>=%X�M/&��wE��j�4#)�.� ��KUE��'5RIV3J� #7���b$;*_0L3JI"M/��-.�/��&;#)�/K$k*<0 �,-.��#)�.-.a��"8>= X�M/&���E��H�4#)�.�.��K­#o5:���43�#7���;$;*<0�3JI"M/��-.�/��&4\%}q�.&�I�!_# &���&����4X�[>K/�'~��/��Kl�'�)±Z±9�+7 :�'°(��:�)�{8:&����;? �o@�A 5RI�31K/���N#)-.�.&N= �4#7� �.��Kb$;*_0 ��xq$%$ ¤bx�����  -.&�K/�'~��/��Kl#o5:���43�$;*_0 02�/-.���4#)�.�:\´��3JI�X$k*<0 ��xq$%$ ¤­x����D  !�I"�/�j�4#)�UK/�43J-.d"�e� C �j�����o�N�B�N���)�H�"���)�o�·I)5�� C �UT�$;*_0LS�I�3J�.K/W�!�K/���/I"����K$k*<0 ���x��q* ¤­x�����  -.�e� C �LG�#)G��43�\YxqM�3�$;*_0R[������b�O#o�"�43 C #)&Z��I{-OXZG/�.�4XZ���V�L$k*<0 0:�/-.��#)�/K$k*<0 �,-.��#)�.-.a��9��I C #7�/K/� �Z$;*_0�-.�/- ��-£#7� -.a4#)��- Ig�Y#)�/KH���43�X1- ��#7��-.I"�{G�3JIgG��43J�.�"\

$;*_0 0:�/-.��- &�-OXZG/�.�4XZ���V����Kj-.�;I"M�3s$k*<0³[����s�j�£#o�"�43�#7&�5:I"�.�.I¡Ss&4\��,-O3J&��4!#1~/u/��K;��M�X�E��43qI)5FG�3JI7[����&�&�I�3J& !s&�G�����-r~���KlEV�^� C �wM/&��43�!s- &H� C I"&����´5>3JI�X�#|&����HI)5{T�G�3J�'[�3J��("-.&����43Q��K/WYS�I�3�zg&��N#7��-.I"�/&�#)�/K�4#)� C G�3JIV����&�&�I�3n-.�­� C �{$;*_0 ���x��+* ¤­x��s�� �#)(�3J����& Ig�^� C ��-O3LG/-.K/&{#)�/K^� C �{d¡#7� M/�� e5>3JI�X�#��I�X XZI"�©~��.�"\ ] C ���!��4#)� C G�3JIV����&�&�IV3 &��.����G/&L5:I�3� ^&�����Ig�/K/&{#)�/K^�4#)�.�.&H$;*_0 ��#"3�3J-.�43 S�-.� C -.�b� C �$k*<0 ���x��q* ¤­x�����  M/&�-.�/(9� C �¢�q��]�*jG�3JI"��IV��I"�:\,��Ig����� C #)�,� C ��$;*<0 ��#"3�3J-.�43,�4#)�.��-.� $;*<0 0:�/-.�- &�� C ��~�3J&��q��-OXZ��SF��M/&��Z� C �9�q��]�*bG�3JI"��I���I"�:\q] C ��G/M�3JG�I"&��ZI)5_� C ��&��.����G%- &���I�XZ-.�/-OXZ-.a�� � C ���.I"&�&I)5 -.�/-.��-O#)�,�+��]�*´G�#)��z)����&+#7�¢3Q������- dg�43J&+� C #)��#"3J���/I"���g���+3J�4#)K/�"\

]PI -OXZG/�.�4XZ���V� $;*_0 �,-.��#)�.-.a��"! S�� ~�3J&�� -.&�&�M/� #)� $;*_0 ��#"3�3J-.�43 �4#)�.� S�-.� C -.� � C �$k*<0 ���x��q* ¤­x����� ¦-.�b� C �{$;*<0³[������ª�O#o�"�43�\ª] C ���!��4#7� C G�3JI�����&�&�I�3n&��.����G/&L5RI�3� ´&�����I"�/K/&#)�/Kb���43�XZ-.��#)����&L-.��&����r5�\²��Ig���%� C #)�H#)&��.I"�/(^#7&�I"�/�%G�3JIV����&�&�IV3Z~��/-.& C ��&j8:-:\��"\O!�3J����M�3Q�/&L523JIVX =Z� C �$k*<0 ��#"3�3J-.�43��4#)�.��-.�H$;*_0R[������,!gS��+�4#)�n��I"�/���.M/K/��� C #)��#)�.��I"� C �43_G�3QI�����&�&�I�3J& C #od"�q#)�_�.�4#)&���3J�4#7� C ��K8:�/I"���/������&�&N#"3Q- �.� ~��/- & C ��K�=�� C ��&'#"XZ��$;*_0 ��#"3�3J-.�43��4#7� �:\ B�I)S���d"�43�!g5:I�3�#)�.�G�3JIV����&�&�I�3Q&F��I ���43�XZ-.��#)����/I�3�X #)�.�.�"!��4#)� C G�3QI�����&�&�I�3Z�/����K/&L��IbTNz"�/I)S�Ww� C #)��#7� ��-.��&��q��]�*UK�#)�'#%G�#)��z)����&H8:("���/�43�#7����K;5>3JI�X$k*<0 ��#"3�3J-.�43�= C #4dg�{3J�4#)� C ��Ke� C ��-O3 K/��&���- ��#7��-.I"�/&�&'#o5R���.�eE��'5RI�3Q�H- �L���43�X1- ��#7����& � C �HG�3JIV����&�&4\b] C -.&���43�XZ-.��#)��-.I"�%G�3JIgE/� �4X -.&�#Ld¡#"3J-O#)�V��I)5_� C �ZS����.�r[�z"�/I)S��Y]¢SFI�+���/�43�#)�.&�*_3JI"E/�.�4XH!PS C -.� C -.&�M/�/&�I"�.d"[#)E/�.� -.�;� C �ZG�3J��&����/���ZI)5�� C �ZG�I"&�&�- E/-.�.-.�J�;I)5¢X1��&�&N#)("���.I"&�& ? � �V! �"�BA \�0:�w52#7����� C ��G�3JIgE/� �4X -.& C #"3JK/�43� C #)�{� C �9��Ig�/&����/&�M/&�G�3JI"E/�.�4XiE����4#)M/&��Z-.���4#)�/�/I"�qE��Z&�I"�.d"��K!���d"���%S C ���w-.��- &�(gM�#"3�#)�V������K{� C #)�+�/IG�3JI�����&�&�S�-.� ��5>#)-.��8:�'5Q\Z? �of�A =�\���I�3J��M/��#)����� �"!�S��ZK/I��/I"�q�/����K%��IL&�I"�.d"�Z� C -.&�G�3JI"E/�.�4XiE����4#7M/&�� S��9#"3Q�#)&�&�M�3J��K%� C #7��#)�.�,� C � M/&��'5:M/�,S�I�3�zLI)5�� C ��#)G/G/�.-.�4#)��-.I"� C #)&�E������|G��4365:I�3�XZ��K|-�5�I"�/�.�%I"�/� G�3JIV����&�&�I�3&�M/������&�&J5:M/�.� �%3J����M�3J�/&¢523JIVX � C ��$;*_0 ��#"3�3J-.�43��4#)�.�:\

0:��G�3�#)����-.���"!)S�� C #4dg�,I"E/&��43Jd"��K�� C #)� C #4dV-.�/(+�4#7� C G�3JIV����&�&�IV3�&��.����G�5:I�36 �&�����I"�/K/&y#o5:���43�$;*_0 ��#"3�3Q- �43- &s&�MV����-.������� �H�.I"�/(n��I G�3JI)dV- K/��#�d"�43Q� C -.( C G�3JIgE�#)E/-.� -.�J�HI)5,�/I�3�X #7�����43�X1- ��#7��-.I"�L5RIV3F#7� �PG�3JI�����&�&�I�3J&4\

���

Page 16: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� � �,���4�s�����q�����«��� � �^� ����� ������������`�

] C �43J� C #od"�LE������^�.I"��& I)5�#)����- dV-.��-.��&�-.�´G�I�3J��- �/(j3J�4#)��&���¬VM/������-O#)�q#)G/G/�.- �4#7��-.I"�/&�#7&9S����.�+#)&ZG�I�3J��-.�/(�'uv-.&���-.�/(�G�#"3�#)�.�.����#)G/G/�.-.�4#)��-.I"�/&_Sq3J-.�������ZI"��d)#"3J-.I"M/&_XZ��&�&N#)("��G�#)&�&�- �/(��.-.E�3�#"3Q- ��&<I"�V��I�$;*_0�\"�VI�XZ�_&�M/� C�'uv-.&���-.�/(%#)�/K;�/I"�V[>&��'#)�/K�#"3JK;XZ��&�&'#)("�ZG�#)&�&�-.�/(w� -.E�3�#g3J-.��&9-.�/���.M/K/�H��u/G�3J��&�&4!�*,mq$ !�G/h�!�*�}���$%}+����!]�� +$;� Z!�� C #"XZ���.-.I"�!��-.G���IVK/��#)�/K%d¡#"3Q- IgM/&�X #)� C - �/�'[>&�G�����-r~��HI"�/��&4!�&�M/� C #)&q� C � 0:�V�����_���«8R5RI�3*,#"3�#)("Ig��=�!¡]¢$k�´��$%$%  8R5RI�3,�¢${[ � =,#)�/K�0>�<$ $;*_�|8³5:I�3,�/*�[ � =B\y¤|� C #od"��G�IV3J����K �JS�I+&���¬�M/���V��-O#)�G�3JI"(�3�#gXZ&�- �V��ILG�#"3�#)�.�.����G�3JI"(�3�#gXZ&�S+3J-.�������w- �w$;*_0�\�] C ��~�3J&���I"�/��-.&�*�Ig� �V�_�,$e!�#1&�-OX�M/�O#)��- Ig��#)�/KXZI�K/���.-.�/(%G�3JI"(�3�#"Xi� C #)��M/&���&�GV[>�J��G��Z~��/-.���'[>���.�4XZ�����Q[�XZ��� C IVK^#)�.("I�3J-.� C XZ&q5:I�3q���O#)&���- ��-.�J�YXZIVK/���.-.�/(? ���BA \H¤;� C #od"�L- &�I"�O#)����Ke#)�/KYG�#g3�#)�.�.��� -.a���Kb� C � G�I�3J��-.I"�jI)5+� C ��*�I"�.�V�_�,$ &�Ig� dg�43�� C #)���N#"z)��&ZXZI"&��I)5 � C �93JM/�/�/-.�/(H��-OXZ��I"�H�O#"3J("��G�3JI"E/�.�4XZ&4\�] C -.&q&�M/E�#)G/G/�.-.�4#)��-.I"�%-.��dgI"�.d"��&�-.���43�#)��-.d"���.�{X�M/�.��-.G/�.��-.�/(�#d"������I�3�EV�9#q�O#"3J(g��&�G�#"3J&��¢Xn#)�N3J-ru\y}´�J��G/-.�4#)��*�I"�.���_��$«G�3JI"E/�.�4X C #7&F#qd"������IV3�� ���/(g� C #)E�I"M/� � �4f"fgf"f��� �4X1������&�#)�/KH� C ��&�G�#"3J&�- �J�LI)5y� C �ZX #)�N3Q-�uL- &�#)E�I"M/� f \ fg� � \

�V-.�/����� C ��XZ-.�/-OX #)��3J��¬VM/-£3Q��K XZ�4X1I�3J�%��I{3JM/�e*�I"�.���_��$ -.&Z��IVIH�O#"3J("�Z5:I�3`I"M�3�#od¡#7- �O#)E/�.�H���Vd�-r[3JI"��XZ���V�4!,S�� C #4dg��3J��K/M/����Ke� C �Hd"������I�3��.���/("� C EV�%5>#)����I�3J&�I)5 ��� #)�/K �of"f !,3J��&�G�������-.d"���.�"!<5RI�3�I"M�3�'uvG��43J-OXZ������&4\Z�,-.("M�3J� �4� & C I)S�&�� C � 3JM/�/�/-.�/(w��-OXZ��&�I)5�I"�/�Z-.���43�#)��-.I"�´8:�N#"z)��� 523QI�Xi� C � #od"�43�#)("��I)5�4f"f -.���43�#)��- Ig�/&N=�I"� � ! � #)�/K h�G�3JIV����&�&�IV3J&4!"3J��&�G�������-.d"���.�"!V5:I�3��JSFIqK/-rc�43J�����<G�3JI"E/�.�4XU&�- a���&o\,�,-.("M�3J� � �& C I)S�&�� C � ��I�3�3J��&�G�Ig�/K/- �/(%&�G�����K/M/G/&4\H0:��- &Z�'u/G���������K|5:I�3q� C -.&�G�3JIgE/� �4X¥� C #7��#)&�� C � G�3JIgE/� �4X¥&�-.a��- �/�43Q�4#)&���&4!s� C �{G��43J�������'#)("�{I75���I�X X�M/�/-.�4#)��-.I"�^K/���43Q�4#)&���&{#)�/K´� C �43J�'5:I�3J�{� C �{&�G�����K/M/G­-.�/�43J�4#7&���&4\��I"����� C #)�<� C ����-OXZ-.�/(�5RIV3,I"�/��G�3QI�����&�&�I�3,-.&<5RIV3�� C �+IV3J-.("-.��#)��&���¬VM/���V��-O#)����IVK/�982�/I"�_� C �sG�#"3�#)�.�.������I�K/�3JM/�/�/-.�/(�I"�wI"�/��G�3JIV����&�&�I�3�=�\

] C ��&�����I"�/K�#7G/G/� -.�4#)��- Ig��-.&�#ZK/���/&��1Xn#)�N3J-ruV[�X #)�N3J-ru{X�M/� ��- G/�.-.�4#)��-.I"�§����������n\�¤;�Z#)&�&�M�X1�� C #)��� C �H��S�IH-.�/G/M/��X #7�N3J-.����&��«#)�/K�� #"3J�LG�#"3J��- ��- Ig�/��Ke- �V��I j��I"�.M�XZ�jE/� IV��z"&{82S C �43J� Y-.&Z� C ���M�X�E��43`I)5FG�3QI�����&�&�I�3J&N=�#)�/K|� C � :[>� C E/�.IV�µzw-.& #)�.�.I��4#)����K;��IHG�3JIV����&�&�I�3 �-.�/-.��-O#)�.� �"\ }+�.&�I�!P� C �Z~���#)�X #)�N3J-ru�& C I"M/�.KHE��qK/- &��N3J-.E/M/����K{-.�{#`&�-OXZ-.�£#g3+X #7�/�/�43�\,0:�HI�3JK/�43 5RIV3_G�3QI�����&�&�I�3� ,��I���I�XZG/M/����-.��&<~���#)�&�M/E�X #)�N3Q-�u!/� C � :[>� C ��I"�.M�XZ�HE/�.I���z I75�� !/-.���/����K/&q� C ��������-£3Q��X #)�N3J-ru���\_] C M/&4!/#)�L$;*_0 }q�.� (V#)� C �43- &�3J��¬VM/-O3J��K�#"X1I"�/( � C � HG�3QI�����&�&�I�3J&4\

�,-.("M�3J� � h���I�XZG�#g3J��&� C ��XZ�4#)&�M�3J��K���-OXZ��&�I)5v� C �_K/���/&���X #)�'3J-ru�[�X #7�N3J-ru`X�M/�.��-.G/�.-.�4#)��-.I"� M/&�-.�/(��JS�I-£X1G/� �4X1�����N#7��-.I"�/&4§,I"�/�s- &<S+3J-.�������n- �n$k*<0y#7�/K13QM/�/&_I"� IgM�3�$k*<0³[����s�?�"�q�y]�* �"��}��b���Vd�-O3JI"��X1�����4!#)�/Kl#)�/I"� C �43n-.&{S+3J-.�������^-.�·0>�<$ $;*_�ª#)�/Kl3JM/�/&HI"�l�� �* �"��}��i����dV-O3JI"��XZ���V�4\U �M/�%��Ij&�I�X1�G�3�#)����-.�4#)����I"�/&��N3�#)-.�V�4!q� C �w5RI�3�XZ�43LS�#)&�X1�4#)&�M�3J��KlIg��#j&����HI)59&��.I)S��43H#)�/K C �����43QI"("���/��I"M/&{06�_$���6� @"f"fgf ��&_S C - �.��� C ���O#)�����43<S�#)&�XZ�4#)&�M�3Q��K�I"�{#�&�����I)5P52#)&����43_#)�/K C IVXZI"("���/��I"M/&�06�_$����6� @"f"f"f � &4\] C ��K/-�c�43J���/����-.�Z� C �F3�#4SjG�3JIV����&�&�I�3P&�G�����K9-.&,��dV-.K/������5>3JI�Xb� C �_I"�/��G�3JIV����&�&�I�3P�4#)&���523QI�Xb� C �<~�("M�3J�"\B�I)S���d"�43�!V��d"���wS�-.� C � C ��K/-.&N#)K/d¡#7���N#7("��I)5,G�3JIV����&�&�I�3¢&�G�����K/&�#)�/K C �����43JI"(g���/��- �J�"!/� C ����-OXZ-.�/("&qI"� �#)�/KYhwG�3JIV����&�&�I�3J&�E�#)&���KjI"�;I"M�3`�/��S«�+��]�*ªG�3JI"��I���I"�_#g3J� &���-.�.�<52#7&����43q� C #)�j� C ��-O3���I�3�3J��&�G�I"�/K/-.�/(��-OXZ-.�/("&+E�#7&���K{I"�{06�<$ $;*<�%M/&�-.�/(��s �*�\

�,-.("M�3J� ��� & C I)S�&Z� C �{3JM/�/�/-.�/(;��-OXZ��&w8:�N#"z)���|5>3JI�X � C �{#4dg�43�#)("� I75 �4f"f 3JM/�/&N=�I"� � ! � #)�/KehG�3JI�����&�&�I�3J&4!,3J��&�G�������-.d"���.�"!�5:I�3�� C 3J����K/-rc�43J���V�9X #7�N3J-ru;&�-.a���&4\{�,-.("M�3Q� �4@ & C I¡Ss&�� C �L��I�3�3J��&�G�I"�/K/-.�/(&�G�����K/M/G/&4\|}+&ZE��'5RI�3Q�"!y� C �HI"�/��G�3QI�����&�&�I�3��4#)&���-.&�XZ�4#7&�M�3J��K|523JIVX � C �LI�3J-.("-.��#)��&���¬VM/������-£#7�F��IVK/�"\��I"����� C #7��5:I�3������ Xn#)�N3J-.����&4!,� C ����I�XnX�M/�/-.�4#)��- Ig�e��I"&���G��43ZG�3JIV����&�&�I�3`(�3JI)S�&Z#)&���8�� � =�#)�/K� C �{��Ig�N#)����I�XZG/M/�N#7��-.I"�e��I"&�� (V3JI)S�&�#)&��L8�� �µ=B\^���.�4#"3J�.�"!�� C �H&�G�����K/M/Gl-.�/�43J�4#7&���&�#7& � C ��Xn#)�N3J-ru&�-.a��9-.�/�43J�4#7&���&4\�0:�w5>#)���4!/&�I�XZ��K�#)�N#1G�I"-.�V��&+-.�%� C ��&�G�����K/M/Gw~�("M�3J�Z#"3J��E��������43¢� C #)�{�.-.�/�4#"3q&�G�����K/M/GG�3JI"E�#)E/�.�HK/M/����I9&�M/E/&��N#)�V��-O#)�.�.�H5:��SF�43<�4#)� C �9X1- &�&���&+#)�/KwG�#)("�q5>#)M/�.��&�S�-.� C XZI�3J�qG�3JIV����&�&�I�3J&o\

�4@

Page 17: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� �b�����F�'������`�

¤;� C #od"��K/��&��43Q- E���K;#ZS�#4�n��I G��43�5RI�3�X G�#"3�#)�.�.������I�XZG/M/�N#)��- Ig�HM/&�-.�/(�� C ��$;*_0,I)d"�43s# 3J���.-O#)E/�.�9&�I)5R�Q[S¢#g3J�{G�#)��z4#7("�%� C #)�H#)�.� I)S�&HM/&H��IY�N#gz)��#)K/d)#)�V�N#)("�wI)59#)�bM/�/K/�43J�.��-.�/(bE�3JI�#7K/�4#)&��HXZ��K/-.M�XH\²xqM�3G��4365:I�3�X #7�/����XZ�4#)&�M�3J�4X1������&sK/�4XZI"�/&��N3�#)���q� C �q5R�4#7&�-.E/- �.-.�J�{I)5,&�M/� C #)�{#)G/G�3JIV#)� C #7�/KH& C I)S·3J�4#)&�Ig�V[#)E/�.�H�'cD������- dg��E�#)�/K/S�-.K/� C M/��- �.-.a4#)��-.I"�w5:I�3�G�#)�����43J�/&�I)5,��I�X X�M/�/-.�4#)��-.I"�{3J��¬VM/-O3J��K%E��H3J��G�3J��&����V�N#)��- dg�G�#"3�#)�.�.���yG�3QI"(�3�#"X1&4\

xqM�3 #)G/G�3QI�#)� C - &n�/I"� �.-OXZ-.����Kb��I%��� M/&����43J&LI)5+S�I�3�zg&��N#)��- Ig�/&13QM/�/�/- �/(j}�0:�¦8>0>�<$e��& d"�43Q&�-.I"�eI)5�+�q0:��=�\V$%I"&���XZIVK/�43J��x��Hz7�43J�/���.&4!/-.�/���.M/K/- �/(H��IVX XZ�43J��-O#)��d¡#g3J-O#)����&FI75 �+�q0:�ª�.-Oz)���VM/��x��{#)�/KH�VI)[�£#g3J-.&4!�#"3Q�¢Xn#)K/���'uv�����/&�- E/�.�Z8>X #)-.�/�.�Z��I�#)����I�X XZIVK�#)���<K/����#gXZ-.�4#)�.� �n� IV#)K�#)E/�.��K/��dV- ���qK�3J-.d"�43J&'=�\�$�Ig&��I)5�� C ��&���z)�43Q�/��� &��4#)�Y#)�.&�IwE��LK/����#gXZ-.�4#)�.� �|�'uv�����/K/��KjS�-.� C I"� C �43�zg-.�/KYI)5+XZIVK/M/�.��&4!P5RIV3q- �/&��N#)�/���"!XZI�K/M/�.��&�� C #)�q-£X1G/� �4X1����� #)K/K/-.��-.I"��#)�,&���&����4X«�4#)�.�.&4\Z0>XZG/�.�4XZ���V��-.�/(;�+��]�*bIg��&�M/� C #)�%I"G��43�#)��-.�/(&���&����4X -.& 3J���O#)��-.d"���.�j�4#)&�� �y-r5+� C ���/���JS�I�3�zg-.�/({��IVK/��I)5�� C �L�N#"3Q("����&��V&����4X -.&ZE�#)&���KjI"�e±�¯µ���'�µ!,#)&XZI"&��+���V q[>E�#)&���K{�+�q0:�U&��V&����4X1&+#"3J�"!VI"�/�.�{XZ-.�/I�3s� C #7�/("��&+#"3J���/������&�&N#"3J�"\

¤;�LS�-.�.����I"�/�����V�N3�#)���nI"�e-OXZG�3JI)d�-.�/(;�q�y]�* G��4365:I�3�Xn#)�/����-.�e� C �n5:M/��M�3J�"\;] C �n~�3J&��Z�N#"3Q("����-.&-£X1G�3JI)d�-.�/(H� C ���£#7�����/���H5:I�3�G�#)��z)����&qI)5F#)�.��&�-.a���&4\+] C �9�/��SU#"3J� C -.��������M�3J�ZS�-.�.���/I"�+E��ZE�#)&���K{Ig�{� C �&�-.("��#)��XZ��� C #)�/-.&NXªS���M/&����/I¡S�\ *�Ig&�&�-.E/�.��-OXZG�3JI)d"�4XZ���V��&�- �/���.M/K/�qM/&�-.�/(� �$%}j5:I�3��N3�#)�/&Q5R�43�3Q- �/(qK�#)�N#523JIVX²z)�43J�/������I�M/&��43<&�G�#)���"!VM/&�-.�/(�#`E��������43�X #7��#)("�4XZ���V�,5:I�3,� C �+&����/K/-.�/( E/MVc�43<G�IVI"�:!/#)�/K!g~���#)�.�.�"!XZI)d�-.�/(�XZIV3J�+I75y� C ��G�3JI"��I���I"��-.����In� C ��z)�43J�/���:\_] C ���q��]�*e-.�V���4365>#)����X #o� �'u/G��43J-.���/����&�I�XZ��&NX #7� ��'uv�����/&�- Ig�\Fxq�/��G�I"&�&�-.E/�.��-OXZG�3JI)d"�4X1������-.&���IZ-.������(�3�#)���qM/&��43�&����/K/- �/(nE/MVcD�43Q&�-.����I �q�y]s*y\�0:�HI�3JK/�435RI�3,�q��]�*;��I�E���M/&���KL#)&_#�&��'#)�/K #)�.I"�/����IVI"�:!"G�#)��z)����-.a4#)��- Ig�1#7�/K�3J�4#)&�&��4X�E/�.-.�/(��/����KL��I�E���-.�/��� M/K/��K- �V��I��q��]�*�\

xq� C �43Z�'u/�����/&�-.I"�/&LI)5+� C - &LS�I�3�z%-.�/���.M/K/�%K/�4#)�.-.�/(eS�-.� C G�3JIV����&�&�I�3�5>#)-.�.M�3J�"!�M/&�-.�/(e#)�.�+#od¡#)-.�O#)E/�.��,� C �43J�/��� C #g3JK/S�#"3J��X�M/�.��-.�4#)&��H(V3JI"M/G/&L- �ª#)�^�'����-.���V�{S�#o�­82SF� C #od"�wM/&���KbI"�/�.�^I"�/� C #"3JK/S�#"3Q�(�3JI"M/G -.� IgM�3,-OXZG/�.�4XZ���V�N#)��-.I"��=�!V&�M/G/G�I�3J��-.�/( X�M/�.��-.G/� �q$;*_0�#)G/G/�.-.�4#)��-.I"�/&�8>#)�,� C �s&N#"XZ����-£X1�4=,-.� � C �-£X1G/� �4X1�����N#7��-.I"�!�#7�/K{&�M/G/G�I�3J��-.�/(L� C ����I�XZG/�.������$k*<0,-.�{� C ��-£X1G/� �4X1�����N#7��-.I"�\

� ����� � #6;�� ��@�� A � � ! -¤;��� C #)��z �3J��(��"I)�V���"!)��3�#)��z��V� C X�M/��z�!��"-OXU¤b�V� �.-.��#)�/K �V����d"��¤b- &���5RIV3� C ��-O3<#)K/d�-.����Ig�9}�0:�Z\)¤;�� C #)��z���#g3J��� �F3�#)�/�/I"� #)�/K��,I"-.� C -�]¢&�M ��-V5:I�3P� C ��-O3 C ���.G�S�-.� C *�I"�.�V�_�,$e\�¤;��� C #7��z�}q� �'u�BsIq5RIV3 C -.&��I�X XZ���V��&�I"�H� C ��G�#)G��43�\<] C -.&�3J��&��4#"3J� C S¢#7&F&�M/G/G�I�3J����K{-.�{G�#"3Q��E��L� C ���q�V���,I"M/�/(�02��d"��&���-.(�#)��I�3}+S�#"3JK;���s�<[ p h ����� � � !/EV�{� C �1�V�.I�#7�Y����&��4#"3Q� C �����.�.I)S�& C -.G!�E��%#L(�3�#)�V�s523JIVX«� C � 06�_$ }q�OX #)K/�������&��4#"3J� C �¢�������43B!v�/#7���"I"&��"!���#)�.-r5RIV3J�/-O#/!�#)�/KwE����02�^����&��4#"3J� C �3�#)�����sI�\_0R[ f"�"f�� [ �op"p \ f"@ � p � \

���

Page 18: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� � � �����������

? �'A �Z\}�XZ-O3�!,  \P �I"�.��d�!_��\ ��3�#"XZ�43Z#)�/Kj  \$;#)�Ozg-:!�TN]�3�#)�/&�-.&4§Z}«��IVX X�M/�/- �4#7��-.I"�Y&�M/E/&J[>&��V&����4X5:I�3 C -.( C #4d)#)-.�O#)E/-.� -.�J�"!�W63<���4�'�N� 5 7��"��� � �������� 7�5��"7 �:�B�D7�°��:�87�°"® � �)±+�/�)� �V±¶�87 �°)�/® �0� 1��"®.�B�Q° 7 �� �7±+��� � 7����D06�_�_�s!/G/G\ �"@� � h�! �4p"p"� \

? �oA mZ\/�F#7�£#�! ��\���3JM/�µz�!/��\/��3J��#)�V�4!/��\/���VG C �43�!�*�\VK/���"I"�/(�!/*�\/�,�.M/&���I"�/K/I�!/  \V��3J�"�"!g}9\ B�I�!/��\r]�\BsI�!�Z\"0>3JSs- �!/��\ �q- G/�/-.&4!���\V�#oS+3J���/���"!�#7�/K�$e\"�V�/-O3�!,TN] C �+0>�<$ ��u/���43J��#7���s&��43_02�����43�52#)���¢5RI�3�V�4#)�O#)E/�.�Z*,#"3�#)�.�.��� �V�V&����4X1&�W�!/*,#"3�#)�.�.���y��IVXZG/M/��-.�/(�!/m,I"�:\ �gf !��sI�\Vh�!/G/G\/h"h �� h @"� !"}qG�3J-.� �4pgp h�\

?�� A mZ\��F#7�£#�! ��\4��3JM/��z�!)��\4���VG C �43�!)*�\4�,�.M/&���Ig�/K/I�!4}Z\ BsI�!)��\�]�\$BsI�!¡��\��q- G/�/-.&4!"#7�/K�$e\��V�/-£3B!�TN�����,§}´G�I�3J�'#)E/�.��#)�/Kn��M/��#)E/�.����I"�.�.������-.d"����I�X X�M/�/-.�4#)��-.I"�n� -.E�3�#g3J�Z5:I�3�&��4#)�O#)E/�.�qG�#"3�#)�.�.������I�X1G/M/���43J&�W�!02�����43Q��#)��-.I"��#)�*,#"3�#7� �.���,*_3JIV����&�&�-.�/(��V�/XZG�I"&�-.M�XH!�G/G\ � � �� � h"h�!V��#)�/��M/�!�$��'u/-.��I�!/}qG�3J-.� �4p"p h�\

?�h A �Z\V�_-O3�Xn#)�!/��\/��I�IgG��43�!/]�\g}9\��"I"&���G C ! �Z\g$;#"3Ja�M/�.�.I�!/$e\"$;#"zgG�#)�/("I"M! �Z\���#)�/�"!V��\V�V� C X�M/��z#)�/KH$e\g¤;I�IVK! 1 �V��� ��� � � �¡� �:��± �%°87��/°"® �� ���G/�4\VI)5_��I�XZG/M/���43F�V��-.���/���"!���I�3J�/���.�y�s�/-.d"�43J&�-.�J�"!�V��G/���4X�E��43 �4p"p"f \

? �oA Z\�$e\���3JI)S��!�$e\ Z\ qI"M/K�#/!#)�/KY�`\���\�$%-.�.� �43wTN�<�.IV�µzw}q�µzg�/I)S��.��K/("�4XZ���V�4§�����K/��&�-.("�/-.�/(%� C �¤b-.�/K/I)S·*_3JIg��I���Ig� W�!v02��*<3JI��"\�}+��$ �/0 ���xq$%$e� �"p !�}qM/&���-.�!�]P�'u�#)&4\

? @oA ��\"��3JM/��z�!"  \) �I"�.��d�!���\�]`\ BsI�!��`\"x�3J�/-:!v#7�/K���\"�V�N3JIg�/(�!TN*<��xq ���§o}q��������-.���V�F#)�/KL�����.-£#7E/� ���Ig� �.������-.d"�{�¢I�X X�M/�/-.�4#)��-.I"�e*_3JI"��I���I"��5:I�3�����3J���.-O#)E/�.����3JIV#)K/�4#)&��� �I�X #)-.�/&�W�!,06�_$ ����&��4#"3Q� C����G�I�3J�4!�� � p��"p�� !V�V��G/���4X�E��43�! �4p"p h�\

? �oA ��\r�+\V��#"3J���43_#)�/K ¤U\ �S�#)���/��G�IV���:!,TNxqG/��-OXZ-.&���-.��06XZG/�.�4XZ�����'#)��-.I"�HI)5y�<M/�OzZ �#)�N#�]y3�#7�/&J5R�43<*_3JI7[��IV��I"�.&�W�02�/3F�B� ���)�'±1° 7��'��� �¡°"®r�/°��:�87 0F� ��:� �_!Vm,I"�:\ ��� !/��I�\ � !/$;#4� �4p��"p !/*,#)(g��& @ � [ @"p \

? �oA   \��`\y� C �43J-.��Ig� #)�/Ke¤U\��S�#)���/��G�IV���:!�T� �-.&��'3J-.E/M/����K *<3JIV����&�& �3JI"M/G/&Z-.�e� C �Lm �q�43J�/���.W�!�0:�� � � 1���°87���°"���R�87��+�87 � �)±q��� �:��� � �)� �:��±Z�µ!Vm,I"�:\���!���I�\ � !/$;#4� �4p���� !/*,#)(g��& � � [ �4f�� \

? poA   \���M/�.� �43n��� #)�:\O!�� C �H}q����-.d"��$%��&�&'#)("�H*_3JI���������E��Y��\���\��<�43�z)���.���"\_�V���HG�#)G��43J&�#)�/Ke3J���O#)����K-.�V5:I�3�X #)��- Ig�L523JIVX C ����G§ ���)�/I)S�\���&4\ E��43�z)���.���"\���K/M �7}+$ �"#)����- dg� XZ��&�&'#)("��&4\ C �NXZ�:\

? �4foA $e\ ��\/�,-.&�� C �43B!v��\/}Z\/�����/� C !�#)�/KH$e\V��\�*,#)���43J&�I"�!TN06XZG�Ig&�&�-.E/-.� -.�J�{I75y �-.&��N3J-.E/M/����K{��Ig�/&����/&�M/&S�-.� C xq�/����#)M/�.�J�H*_3JIV����&�&4!�W�� � � ������8 �4p���� =�� � �o[�� �"� \

? � �'A B�\"��3�#)��z)�"!V*y\ BsI�� C &�� C -.� K!�*y\/*,#)������#)-Oz�!V#)�/KL$ \V�V�/-O3�!�� 3��B� ��� �7����^� :�$7 ����±q��®.�B±1� 7 �:°��:�87� � � 3��_�87���� ��� �=3)!4*_3QI�������K/-.�/("&,I)5 �op"p h+02�����43Q��#)��-.I"��#)���¢I"�V5R�43Q���/���FIg��*,#"3�#)�.�.���v*<3JIV����&�&�-.�/(�!m,I"�:\�0J0J0�!�G/G\ �4p���v�gf � !"}qM/("M/&��o! �op"p h�\

? �4�oA }Z\ +��-.&��4!<}9\<�_��(gM/��� -.�! ��\, �I"�/(�#g3�3�#/!�¤U\ �"-O#)�/(�!��+\�$k#7�/� C �4z�!F#7�/Kem9\_�VM/�/K/�43�#"XH! 3 � �!�3�°)��°"® ®.�o®"� ³���³�/°"®���°g� �� 7���# ��.P�µ�B�%$ �'&���95"��°87E5 1�� �:�)� R°g® ���)�)(���� �_�7�D4 3�°)��°"® ®.�o® � �)±q��� � 7���!$;0>] *_3J��&�&o! �op"p h�\

? � � A ��\���\ �3�#o�"!qTN�sI"����&�I"�; �#)�N#7E�#)&���xqG��43�#)��-.�/(;�V��&����4XZ&4!�W+*��/����°�� 7�� � �)� �:��±Z�,�L°87^° 5 �)°87��'�D5�'�)�V�N���-�".�'���³�V�Q�/(����:��� 7 � �)±q��� �:��� ��� R� 7��'� 0�1"!��VG�3J-.�/("�43�m,�43Q�£#7(�8 �op���� =<� p �o[>h � � \

? � h A ��\ B�M�#)�/(�!��s\�*�\ ��#)&������!�#7�/K�*�\ �Z\�$%���q-.�/� ���"!sT� ���&�-.("�%#)�/K�06XZG/�.�4XZ�����'#)��-.I"�;I)5,$%M/�.��-.�4#)&��xqG��43�#)��-.I"�/&�5:I�3�}_]�$w[���#)&���K Bs- ( C *��43�5RI�3�X #)�/������I�XZG/M/��- �/(gW�!"*_3JIV������K/-.�/("&_I75��VM/G��43J��I�X1G/M/�J[-.�/( p hn��I"�V5R�43Q���/���"!�G/G\ �o@ h)[ ��� ��!"¤Y#)& C - �/(g��I"�H  \���\ !v�sI)d"�4X�E��43 �op"p h�\

���

Page 19: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

? ���oA �Z\ ��- ��� #)�:\O! *_3J-.�/������I"� �s�/- dg�43J&�-.�J�"! � C � � C 3J-OXZG *<3JI��J�����4\ �V���C ����G§-� �)S�S�S�\ ��&4\�G�3J-.�/������I"�\ ��K/M �)& C 3J-OXZG\

? �4@oA $%��&�&N#7("� *,#7&�&�-.�/(+0:�V���4365>#)���<��I�3JM�X ! � 3�� � � �%���'�µ°��V�:� 3F°)�'�� 7�� � 7 �:��� ��°"�N� � �:°87E5"°7� 5g!4$;#o� �4p"p h�\? ���oA ��\r��\"$%I"("M/�:!/��\���\V��#)& C -.K!�#7�/K�$e\ ��\g}+���������N#/!�TN] C ��*,#)��z)���_�,-.�.���43�§�}q�{������-.���V�F$%��� C #)�/-.&NX

5:I�3���&��43�[>� ��dg�����s����S�I�3�z���I�K/��W�!"0:�63<�Q�o�N�'� 5 7V�"�_� ������ �� � �)±q�v�7��³��±²� 7 *��/����°�� 7�� � �)���:�B±3<�� 7�� ���®.�B�µ!g}+��$��/0 �x�*_��!/}qM/&���-.�!�]�'u�#)&4!/�sI¡dg�4X�E��43 �4p�� � \

? ���oA ��\��+\�$%I�3�3J-.&4! �9\�]¢&�M ��-:!�#)�/K�*�\���#"3J�/��d)#)�.-:!_T�}qK�#)G/��-.d"�Z�VI"�.M/��-.I"�;�V�N3�#)����("� 5:I�3��VIg� dV-.�/({�#"3J(g��V�V&����4XZ&LI)5ZGV[>���VG��%�,-.�/-.���Y��� �4X1�����{��¬�M�#)��- Ig�/&�W�!+02���o\ ��\���M�X1�43�\_$%��� C IVK/&{�,�/(�\O!�m,I"���"�/!�"f��"p [ �"f�� � ! �4p"p"� \

? �4poA ��\�*,#"zg- �!�$e\��P#)M�3J-O#H#)�/K{}Z\�� C -.���!�TDB�-.( C *��4365:I�3�Xn#)�/����$%��&�&N#7("-.�/(�I"�w¤;I�3�zg&��N#7��-.I"�/&4§�0:�.�.-�[�/I"-.&q��#)&���$%��&�&N#)("��&Z8:�,$;=�5RIV3�$%�/3J-.�/����W�!/-.�;�VM/G��43J��IVXZG/M/��-.�/(Y� p�� !/�/#)�% �- ��(gI�!���}Z\��V��� #)�.&�IC ����G§-� �)S�S�S�[>��&'#)(�\���&4\ M/- M/�"\ ��K/M �)G�3JI��J������&��7��I�X X��o5>XL\ C �NXZ�g5RI�3s3J���O#)����K{G�#7G��43J&4\

? �"foA *,#"3�#)&�I)5:�9��IV3JG�I�3�#)��-.I"�!���u/G�3J��&�& d"�43Q&�-.I"� � \ f §L} ��I�XnX�M/�/-.�4#)��- Ig�­���VdV-£3QI"��XZ���V�Z5RIV3ZG�#"3�#)�.�.�����I�X1G/M/���43J&4! �4p���� \

? � �'A   \/*,#)�����43J&�I"�L����#)�:\O!,T�}U��#)&��q5:I�3��s����S�I�3�z"&�I)5y¤|I�3�zg&��N#)��-.I"�/&�8>�qxs¤�=QW�!/�V�vXZG�I"&�-.M�Xi������I�3JKI)5�B�I"�q0:�V���43J��I"�/�/������&�0J0�!�G/G\ � h � � p !"}qM/("M/&�� �4p"p h�\

? �"�oA ��\)�V�N3JIg�/(�!)  \4 �Ig� ��d�!"#)�/KZ��\)��3J-.&���-O#)�!�T�}^�s�/-r~���K�] C ��I�3J��I)5� �-.&��N3Q- E/M/����K���IVI�3JK/-.��#)��-.I"�ZS�-.� C��IVX X�M/�/- �4#7��-.I"���s�/���43J�N#7- �V�J�"!�W�06�_$¦����&��4#"3Q� C ����G�I�3J�+� � ���"��� ! �op"p"f !g- �w� C � 3_���4�'�N� 5 7��g�¢� ����� � � �� ��® ®.�B���:�87 � � 7 �������$7��N�o!)}+�.�.�43J��I"�!��V��G/���4X�E��43B! �4pgp"f \

? � � A }Z\��\]y#7�/����E�#)M�X !$e\���\ ��#g#)& C IV�4z�#7�/K B�\��\��#)�:!sTN*,#"3�#)�.�.���,G�3JI"(V3�#"X XZ-.�/(HM/&�-.�/(w& C #"3J��KI"E ��������&�#)�/KwE�3JI�#)K/�4#7&���-.�/(�!�W ������� � �)±q��� �:�B� �dgI"�:\ ��� ! �4p"pg� \

�4p

Page 20: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

LAN Data−Link Layer

URTP Protocol Layer

MPI Applications Layer

multireceive/receive

MPI−CCL Layer

MPI−CCL routines (messages)

multicast/send (data packets)

multicast/send (URTP data packets)

ACK/REQ (URTP control packets)

�,- (gM�3J� � §%] C � 5RI"M�3n&�I)5:�JS�#"3J�L�£#o�"�43Q& I)5�� C �H&��V&����4X #"3J� C -.��������M�3J��&o\l0:�^� C - &HG�#7G��43�!�S��HG�3J��&����V�K/��&�-.("�!�-OXZG/�.�4XZ���V�N#)��- Ig��#)�/KwG��4365:I�3�X #7�/����I)5 � C ����S�I XZ-.K/K/�.�Z�£#o�"�43Q&4\

Library Library

Kernelextension

Kernel space

User space

Userprocesses

�,-.("M�3Q� � §_] C ��&��V&����4X #"3J� C - ��������M�3J��&qI)5 �q�y]�*�\

� � overhead in dropping unnecessary messages

|

0|

200|

400|

600|

800|

1000|

1200|

1400

|0

|50

|100

|150

|200

|250

|300

packet size in bytes

tim

e in

use

cs

� ��� � � �

� � � ��

��

� �

�,- (gM�3J�9�/§,] C ��I)d"�43 C �4#)KLI)5,K�3JI"G/G/-.�/(�#7�HM/�/�/������&�&N#"3J�{X1��&�&N#)("�"\

�"f

Page 21: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

one-way latency

|

0|

200|

400|

600|

800|

1000|

1200|

1400

|0

|500

|1000

|1500

|2000

|2500

|3000

packet size in bytes

tim

e in

use

cs

�,- (gM�3J��h�§,] C ��I"�/�'[>S�#o� �O#)�����/���HI)5_�+��]�*�\

� � 4 processors (slow subset)� � 4 processors (fast subset)� � 8 processors

|

2|

3|

4|

5|

6|

7|

8|

9|

10|

11|

12|

13|

14|

15|

16

|0.5

|1.0

|2.0|4.0

|8.0

|16.0

|32.0

|64.0

Log (message size in bytes)

tim

e (in

mse

cs)

per

MP

I_B

cast

, in

log

scal

e

� � � � ��

��

�� � � �

��

�� � � �

��

�,-.("M�3J� � §_] C ����-OXZ��I)5,$;*_0 �<�4#)&��+#7&+#`5RM/�/����-.I"�%I)5�� C �9XZ��&�&N#)("�q&�-.a��"\

� � 4 processors (slow subset)� � 4 processors (fast subset)� � 8 processors

|

2|

3|

4|

5|

6|

7|

8|

9|

10|

11|

12|

13|

14|

15|

16

|1

|2

|4

|8

|16

|32

|64

|128

|256

|512

|1024

Log (message size in bytes) tim

e (in

mse

cs)

per

MP

I_A

llgat

her,

in lo

g sc

ale

� � ��

��

��

� � � � �

� � �

� � � � ��

� �

�,-.("M�3J� @ §,] C ����-OXZ��I75 $;*_0 }q�.� (V#)� C �43�8:}+�.("IV3J-.� C X � ! � � � =�#)&+#�5:M/�/����-.I"�wI)5 � C ��XZ��&�&N#)(g��&�-.a��"\

� �

Page 22: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

|

2|

3|

4|

5|

6|

7|

8

|0

|100

|200

|300

|400

|500

|600

|700

|800

Number of processors

mse

c pe

r al

l-to-

all b

road

cast

of 6

4 K

Byt

e m

essa

ge

�,- (gM�3J� � § ] C ����-£X1��I)5�$;*_0 }q�.� (V#)� C �43H8:}q�.("I�3J-.� C X � !F� � � =�#)&9#�5RM/�/����-.I"�eI75¢� C ���VM�X�E��43�I)5SFIV3�z"&��N#)��-.I"�/&�M/&�-.�/(L&��.I¡S &�M/E/&����4\

� � 4 processors

|

1|

2|

3|

4|

5|

6|

7|

8|

9|

10|

11|

12|

13|

14|

15|

16

|0

|50

|100

|150|200

|250

|300

|350

|400

|450

K

mse

c pe

r al

l-to-

all b

road

cast

of 6

4 K

Byt

e m

essa

ge �

����� ���

�,-.("M�3J� � §<] C ����-OXZ��I75y$;*_0 }q�.� (V#)� C �43q#)&�#�5RM/�/����- Ig�{I)5 �LM/&�-.�/(�&�� I)Sl&�M/E/&����4\

� � 4 processors (slow subset)� � 4 processors (fast subset)� � 8 processors

|

2|

3|

4|

5|

6|

7|

8|

9|

10|

11|

12|

13|

14|

15

|0.5

|1.0

|2.0

|4.0

|8.0

|16.0

|32.0

|64.0

Log (message size in bytes)

tim

e (in

mse

cs)

per

MP

I_S

catte

r, in

log

scal

e

� � � ���

���

� � � �

��

� ����

���

�,-.("M�3Q� p §,] C ����-OXZ��I)5,$k*<0 �V�4#)�����43F#7&+#�5:M/�/����-.I"�{I)5,� C ��XZ��&�&N#)("��&�-.a��"\

�"�

Page 23: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� � 4 processors (slow subset)� � 4 processors (fast subset)� � 8 processors

|

2|

3|

4|

5|

6|

7|

8|

9|

10|

11|

12|

13|

14|

15|

16

|0.5

|1.0

|2.0

|4.0

|8.0

|16.0

|32.0

|64.0

|128.0

|256.0

Log (message size in bytes)

tim

e (in

mse

cs)

per

MP

I_G

athe

r, in

log

scal

e

� � � � ��

��

� � � � �

��

� � � � �

��

�,-.("M�3Q� �4f §,] C ����-£X1��I)5,$;*_0 �#)� C �43F#7&+#�5:M/�/����-.I"�{I)5,� C ��XZ��&�&N#)("��&�-.a��"\

� � slow subset� � fast subset

|

2|

3|

4|

5|

6|

7|

8

|0

|1|2

|3

|4

|5

Number of workstations

tim

e (in

mse

cs)

per

MP

I_B

arrie

r

� �

��

� �

��

��

� ��

�,- (gM�3J� � � § ] C ����-OXZ��I)5,$;*_0 ��#"3�3J-.�43�#7&+#�5:M/�/����-.I"�{I)5,� C ���VM�X�E��43sI)5yS�I�3�zg&��N#)��- Ig�/&4\

� � 4407 vector length� � 1102 vector length

|

1|

2|

3|

4

|0.0

|0.1

|0.2

|0.3

|0.4

|0.5

|0.6

|0.7

|0.8

|0.9

number of processors

tim

e in

sec

s

�,- (gM�3J� �4� §%*��4365RIV3�X #)�/���wI)5�&�G�#"3J&��%X #)�N3J-ruV[>d"������I�3LX�M/�.��-.G/� -.�4#)��- Ig� #)&L#%5:M/�/����-.I"�lI)5��VM�X�E��43LI)5G�3JI�����&�&�I�3J&�5:I�3��JS�IZd"������I�3<�.���/("� C &qM/&�-.�/(LI"M�3�$;*_0R[������%I"�{�q��]�*´G�3JI"��IV��I"�:\

� �

Page 24: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� � 4407 vector length� � 1102 vector length

|

1|

2|

3|

4

|1.0

|1.2

|1.4

|1.6

|1.8

|2.0

|2.2

|2.4

|2.6

|2.8

|3.0

number of processors

spe

edup

�,- (gM�3J� � ��§�VG�����K/M/GZI)5�&�G�#"3Q&��_X #)�N3Q-�uV[>d"������IV3X�M/� ��- G/�.-.�4#)��-.I"�L#)&y#<5:M/�/����-.I"�ZI)5/��M�X�E��43PI)5/G�3JIV����&�&�I�3J&5RI�3¢��S�IZd"������IV3_�.���/("� C &+M/&�-.�/(LI"M�3�$;*_0R[������%Ig�{�+��]�*´G�3JI"��IV��I"�:\

� � MPL on UDP protocol� � MPI-CCL on URTP protocol

|

1|

2|

3|

4

|0

|1

|2|3

|4

|5

|6

number of processors

tim

e in

sec

s

�,- (gM�3J� � h�§ *��43�5RI�3�X #)�/����I)5,K/���/&��9Xn#)�N3J-ruV[�X #)�N3J-ru{X�M/� ��- G/�.-.�4#)��-.I"�|M/&�-.�/(�I"M�3¢$k*<0³[����s�;I"�{�q��]�*G�3JI"��IV��I"��d"�43J&�M/&s� C #)��M/&�-.�/(H0>�<$¦$;*_�%G�3JIVK/M/���qI"�{��}���\�] C ��-.�/G/M/��Xn#)�N3J-.����&+#"3Q� �4��� � �4��� \

� � 128 by 128 matrix� � 64 by 64 matrix� � 32 by 32 matrix

|

1|

2|

3|

4

|0.031

|0.062

|0.125

|0.250

|0.500

|1.000

|2.000

|4.000

|8.000

number of processors

tim

e in

sec

s, in

log

scal

e

�,- (gM�3J� ��� §%*��4365RIV3�X #)�/���wI)5�K/���/&��;X #)�N3Q-�uV[�X #)�'3J-ru­X�M/�.��-.G/�.-.�4#)��-.I"�U#)&H#%5:M/�/����-.I"�bI)5��VM�X�E��43LI)5G�3JI�����&�&�I�3J&�5:I�3�d)#"3J-.I"M/&+Xn#)�N3J-ruH&�-.a���&+M/&�-.�/(LI"M�3�$;*_0R[������%Ig���q�y]�*©G�3JI"��IV��I"�:\

� h

Page 25: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� � 128 by 128 matrix� � 64 by 64 matrix� � 32 by 32 matrix

|

1|

2|

3|

4

|1.0

|1.5

|2.0|2.5

|3.0

|3.5

|4.0

number of processors

spe

edup

�,- (gM�3J� �4@ §�VG�����K/M/G I)5/K/���/&���X #)�'3J-ru�[�X #7�N3J-ru`X�M/�.��-.G/�.-.�4#)��-.I"��#)&�#�5:M/�/����-.I"��I75v�VM�X�E��43�I)5/G�3JIV����&�&�I�3J&5RI�3¢d¡#"3J-.I"M/&qX #)�N3J-ruH&�-.a���&+M/&�- �/(LI"M�3�$;*<0³[������|I"�{�q�y]s*eG�3JI"��I���I"�:\

���

Page 26: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

� �)�����Z���,�� �¶��� ��� � �

 ��'~��/�90:�/¤b-.�/K/I)S�8= '! �/=F#7&

8 f�� ?� � 'e¤l06�� �xs¤l= %�� 8 f�� �´��}�� �� ���'e¤l0>�s �x�¤·=��

 ��'~��/�{0:�/�"8��9���"= � 8�� � � =,XZIVK �/\H ��'~��/�H ����"8��9���"= �¥8�� � � =,X1I�K �/\H¤|��X #7- �V�N#)-.�e#wE/MVcD�43G�IVI"��_MV5:&�� C #)��-.&�I�3J(�#)�/-.a���K{#)&�#�&�M/E/G�I�I"����3J���4�<MV5R&�#)�/K!V5:I�3��4#)� C &�I"M�3Q��� ;!�#)�L-.�/K/�'uv��Kw&�M/E/G�IVI"���������-.d"��K8 �� J=�S C �43J�

��������-.d"��K/¤b-.�/K/I¡Sq�F#7&��/8 {= � $'l86��������-.d"��K/¤b- �/K/I)S+��#)&��v8 {= �©¤l0>�s �x�¤l=,XZIVK���}�� ����

¤;��#)�.&�I{X #7- �V�N#)-.�Y# G�IVI"�,I)5�XZ-.�/- E/MVc�43J& �s��#)��z"&�� C #)��-.&�I�3Q(�#)�/-.a���K;-.����I{#H&�M/E/G�I�I"�<��3J���4�s��#)��z"&#)�/K{#Z&�M/E/G�I�I"�PS�-.� C �4#)� C ��� �4X1������� C ���N#"3J("����I)5�&�I�XZ�q��M�X�E��43�I)5�� C ��-.�/K/�'uv��K 52#"X1- �.�HI)5�G�I"-.�V���43J&�V�����48 �� �=B!"S C �43J�

�V���V��¤b- �/K/I)S+��#)&��"8 {= � $'l86�V������¤b-.�/K/I)S+��#)&��"8 {= �©¤�06�� �xs¤l=_XZIVK ��}�� ����

] C �{&��V&����4X¥�4#)�.���V��&'������d�82��3J���4�<MV5:&4!�XZ&�(V= XZI)d"��&ZI"�/�HI)5�� C �HE/MVc�43J&Z5>3JI�X¦��3J���4�<MV5R&n��IYXZ&�(�!,-r5&�M/������&�&J5:M/�:\ ��3J���"8>�¢������- dg��K8 �� J=�=H3J����M�3J�/&H� C ��E/MVc�43L-.�·��������-.d"��K8 �� �=L��Ie��3J���4�<MV5:&{#)�/Kl&�����&��������-.d"��K8 �� J=,��I��q�q��,\"��3J���"8>�V���V�48 �A �=�=PK/���43J�4XZ���V��&_� C ����I"M/�V�,I)5y3J��¬�M/-O3J��KH#)��z"�/I)S��.��K/("�4X1������&- �|� C � XZ-.�/- E/MVc�43`��I�S C - � C �V���V�48 �A �=�G�I"-.����&o\90R5F� C �Z��I"M/�V��E�����I�X1��&�a��43JI�!�� C ���%� C � XZ-.�/-.E/MVc�43- &�3J����M�3Q�/��K{��IZ� C ����3J���4�s��#)��z"&�&�M/E/G�IVI"� #7�/KH� C ��E/MVc�43���IZS C -.� C -.�qG�I"-.�V��&+-.&s523Q����K\_0:�%#)���L�4#)&��"!��3J���"8>�V���V�48 �A �=�=�&�����&+�V���V�48 �A �=���I��q�+���\

��IV3&�-OXZG/�.-.��-.�J� S�� C #od"�_&�M/G/G�3J��&�&���K � C �F�.IV�µzg-.�/(���IVK/���/������&�&N#"3J����IqG�3JI"��������K�#)�N#s&��N3JM/����M�3J��&y-.��#3J�������'3�#)�V�y���Vd�-O3JIg��XZ�����o\¤;� C #od"�F#7� &�I+&�M/G/G�3Q��&�&���K � C �<K/���N#)-.�.&_I)5/� C ��3JI"M/��- �/��&,S��<G/M/�y-.� I"M�3�z)�43J�/����'uv�����/&�- Ig�\{xqM�3���I�K/�L-.&93J��&�G�I"�/&�-.d"�H��IH&�- (g��#)�.&1#7&�S����.�¢#7&��4#)�.� &1523JIVXi� C ��#7G/G/� -.�4#)��- Ig�\{¤;� C #4dg�&�M/G/G�3J��&�&���Ke� C ��XZ��� C IVK/&ZE��%S C -.� C SF�n&�I"�.d"��Kj� C � G�3JI"E/�.�4X¥I)5�K�#)�N# &��N3JM/����M�3J� & C #"3Q- �/(%E�����S������#)G/G/�.- �4#7��-.I"�Y#)�/Kw&�-.("��#)� C #)�/K/�.�43qS�-.� C I"M/�q&�-.("��#)�,X #)&Nzg-.�/(�\�}+�.&�IHS�� C #od"��&�M/G/G�3J��&�&���K%&�IVXZ��I)5,� C �K/���£#o�V& -.��dgI"�.d"��K!_�'u/����G/��#)& #)G/G/�.-.��K^��I�E/MVc�43 Xn#)��#)("�4XZ���V�4!�S C �43J�HS��L-.� �.M/&��'3�#)���H�'u/G�I"�/���V��-O#)�.�.�(�3JI)S�-.�/( K/���O#o��8:&������,-.("M�3J� ��� =�\

0:�j�,-.("M�3J� � � S�� -.�/K/-.�4#)���H� C ��#)����- Ig�;I)5�� C �L&�-.("��#)� C #7�/K/� �431� C #)��-.&Z�4#)�.�.��KeE��|� C � -.�����43�3JM/G/�C #)�/K/�.�43,-.� � C ��z)�43J�/���/� C #)�yG�3QI�����&�&���&,�/��SeG�#)�µz7����& #7&,� C ���9#"3�3J-.d"�"\�B��43J��� C ��G/&���M/K/IV��IVK/��-.&,S+3J-.�������#)&�-r5¢�'u�#)�����.�%I"�/�ZG�#)��z)����S��43J�Z�N3�#)�/&Q5R�43�3Q��K{5>3JI�Xiz)�43J�/���<&�G�#)���Z��IHM/&��43q&�G�#)���"\Z}+����M�#)�.� �j�V��&N�¢����d�4#)�{�N3�#)�/&J5:�43+#)�HM/��zg�/I)S��%E/M/�+E�I"M/�/K/��K%��M�X�E��43qI)5 G�#7�µz)����&+-.�V��I�M/&��43�&�G�#7���"!�G�3JI)dV-.K/��K�� C �43J�9#"3Q�&�MV����-.������� �LX #)�V��E/MVc�43J&_-.�L��3J���4�<MV5:&4\,] C M/&_� C ���VM�X�E��43,I)5��I"�V���'u/�,&�S�-.��� C ��&,5>3JI�XªM/&��43���I�z)�43J�/���- &�XZ-.�/-OXZ-.a���K\

] C ��d)#"3J-O#)E/�.�Z$�-.������¬ �#7G{I)5,�,-.("M�3J� � �Z-.&�� C � �ZXZ���V��-.I"�/��K{-.���V������- Ig���/\ � \ � \

�"@

Page 27: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

¤Y#)-.��}q�/K/ �I"M/E/�.�"8:K!/u�=�

S�#)-.�48:K�=��K � X1- �8RuD! � K�=��3J����M�3Q���

�,- (gM�3J� ��� §y¤j#)-.��}+�/K/ �IgM/E/� �L8:�'u/G�I"�/���V��-O#)�.�.�{(�3JI)S�-.�/( K/���O#o�HS�-.� C M/G/G��43�E�I"M/�/K�=�\

XZ�4#)&���G�3Q��G8:K/��&���-.��#)��-.I"�/&o!�E/G�=�

K/���O#o� � $%-.���V���/K/¤Y#)-.���K/I S C -.�.�H8:��3Q���4����#)��zg&�&�M/E/G�IVI"�I75��s��#)��z"&�-.&q�4XZG/�J�v=

¤j#)-.��}+�/K/ �IgM/E/� �"82K/���£#o�"!�$;#ou��V���/K/¤Y#)-.�N=��K/���O#o� � $%-.���V���/K/¤Y#)-.���M ��K/��¬VM/��M/�"8:��3J���4����#7�µzg&N=��M\���I"M/�V� � f �M\�E/MV5 ��E/G��5:I�3�8 f � X 'b$�}q� B+06�+�<�/=�

-r5+8>X - &s- �wK/��&���-.��#)��-.I"�/&'=�� C ����

K/I S C -.�.�8:�/I"�+02�/¤b- �/K/I)S�86]I��<�4�V���V�48>X =B!��V������¤­-.�/K/I)S+��#)&��"86X =�=�=

¤Y#7- ��}+�/K/ �I"M/E/�.�"8:K/���O#o�"!�$k#¡u��V���/K/¤Y#7- �'=��K8>X =�� ]PI��<�4�V���V�48>X =���V�����o8>XH!/]IV�_�4�V���V�48>Xn=�=�� #)K/K�3J��&�&48:M�=��M\���I"M/�V� � 02�/�"8:M\���I"M/�V�N=��

���.&���K8>X =�� �¢}�� �� �

3J����M�3Q�8:K�=��

�,-.("M�3J� ��� §,XZ�4#)&���G�3J��G;8:�4#)�.�.��K%E��L$%�4#)&��N=�\

���

Page 28: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

$��4#7&��48:K/��&���- ��#7��-.I"�/&4!/E/G�=�

K � X1�4#)&���G�3J��G82K/��&���-.��#)��-.I"�/&4!�E/G�=����-OXZ��&��'#"XZG8:��-OXZ�4=��5:I�3�8>Xt-.�%K/��&���-.��#)��-.I"�/&N=

�P#)&��N�V���/K/$%I�XZ���V�48>X !v]PI��<�4�V���V�48>X =�= ����-OXZ����V�V&N�<&����/K8:K!�E/G�=��5:I�3�8>Xt-.�%K/��&���-.��#)��-.I"�/&N=

]PI��<�4�V���V�48>X =�� 02�/�"8>]PI��<�4�V�����486X =�=��3J����M�3Q���

�,- (gM�3J� �4p §y}qG/G/�.-.�4#)��-.I"�;��#)�.�:§_$%�4#)&��4\

3J����d�86X =�

K/I"�/� � f �K/���O#o� � $%-.��������d�¤j#)-.���K/I S C -.�.�H8:K/I"�/� � f =�

- � ��������-.d"��K/¤b-.�/K/I)S+��#)&��"8>X =��-r5+8>�¢������- dg��K8>XH!�-£= ��²�q�+��P=�� C ����

E/G � ��������-.d"��K86XH!�-O=����������-.d"��K8>XH!�-O= � �q�q����-� 0:�/�"82-R!���}�� ��_=����������-.d"��K/¤b-.�/K/I¡Sq�F#7&��"8>X = � -=�K/I"�/��� � �

���.&���

�V��&'�V���/K����N3J�:8>��� �Z!�X !/-O=��¤Y#)-.��}q�/K/ �I"M/E/�.�"8:K/���O#o�"!�$k#¡u�������dV¤Y#)-.�N=��

3J����M�3Q�8:E/G�=��

�,-.("M�3J� �"f §�}+G/G/�.-.�4#)��-.I"�;��#7� �:§�������d�\

���

Page 29: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

C #)�/K/�.�"8>=�

K/I M/�V��-.�F82�/I1X1I�3J��G�#)��z)����&N=�

�V�V&N������d�8:��3J���4�<MV5R&4!�XZ&�(V=��&�S�-.��� C 86XZ&�(�\��J�VG��4=�

�4#)&���*<] ]�x *<]�§�4#)&�������}��/]�§

Bq#)�/K/�.�4�/��  86XZ&�(�=���E�3J�4#"z ��4#)&������ �Z§

Bq#)�/K/�.�4�����Z86XZ&�(�=���E�3J�4#"z ��4#)&���}+� �Z§

Bq#)�/K/�.��}+���Z8>X1&�(�=��/E�3Q�4#"z �

3J����M�3J���

�,-.("M�3J� � � §_�V-.("��#)��Bq#)�/K/�.�43�§ C #)�/K/�.�"\

B+#)�/K/�.��}+� �Z8>XZ&�(�=�

X � XZ&�(�\�&�I"M�3J�����-� XZ&�(�\���IgM/�������� �V���V��¤b- �/K/I)S+��#)&��"8>X =��-r5+8>0:�/¤b-.�/K/I)S�8:-:! ��=�=�� C ����

-.- � 0:�/�"8:-:!���}�� ��_=����3J���4�V���/K��<MV5Q86XH!���!/-.-O=���V���V��¤b-.�/K/I)S+��#)&��"8>X = �� ����"8:-.-R!���}�� ��_=��

��3Q���"8>XZ&�(�=��v3Q����M�3J���

�,-.("M�3J� �"� §�Bq#)�/K/�.��}+���i8:�4#)�.�.��K{EV� C #)�/K/�.�4=�\

�"p

Page 30: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

B+#)�/K/�.�4��� �Z8>XZ&�(V=�

X � XZ&�(�\�&'3J���-� XZ&�(�\����V������ �V���V��¤b- �/K/I)S+��#)&��"8>X =��-r5+8:�/I"�N02�/¤b- �/K/I)S�82-R! �Q=�=<� C ��� ����3Q���"8>XZ&�(�=��v3Q����M�3J��� ��-OXZ��&��'#"XZG8:��-OXZ�4=-r5+8:��-OXZ�'[��#7&��N�V���/K/$%I�XZ���V�48>XH!V-O= 'b$�-.������¬ �#7G�=�� C ���

����3J���"8>X1&�(�=��/3J����M�3Q��� �V�V&N�V���/K�xq�.K8>XH!�-O=����3Q���4�V���/K��_MV5�8>XH!���!/-O=���V���V��¤b- �/K/I)S+��#)&��"8>X =��  ����"8:-:!���}�� ��_=����3Q���"8>XZ&�(�=��v3Q����M�3J���

�,-.("M�3J� � �/§�B+#)�/K/�.�4��� �i8:�4#)�.�.��K�EV� C #)�/K/�.�4=�\

B+#)�/K/�.�4� uvG���������K8>XH! ��!V�4=�

K/I S C -.�.�H8>0:�/¤b-.�/K/I)S�8:�"! ��=�#)�/K;86��������-.d"��K8>XH!��4= ��²�q�q��=�=��� 0:�/�"8:�"!���}�� ��_=��

����� 02�/�"8:�"!���}�� ��<=��-r5+8>0:�/¤b-.�/K/I)S�8:�"! ��=�#)�/K;86��������-.d"��K8>XH!����4= ��²�q�q��=�=�� C ���

�V�V&N�V���/K����'3J�:8>�����Z!�XH!/�4=���O# � �P#)&���}q�µz7��K8>X =��-r5+8�8:���b�O#��b}+��z"¤b-.�/K/I)S+=�I�3`8>��}�� ����l��}�� �� �ª� �b�O#��b}q��z"¤b-.�/K/I)S+=�=�� C ����

�4#��  ����"8:�"!��¢}�� ��<=���V�V&N�V���/K����'3J�:8:}+���Z!�XH!V�4#"=���P#)&���}q�µz7��K8>X = � �4#"�

]PI�I��<#"3J�.��8>X = � f ���u/G���������K8>X = �����3J����M�3Q���

�,-.("M�3J� � h�§�Bq#)�/K/�.�4��u/G���������Ke8:�4#)�.�.��K%E��6Bq#)�/K/�.�4�/�� �=�\

� f

Page 31: (MPI) for Parallel Computing on Clusters of Workstations - Paradise

B+#)�/K/�.�4�/�s  8>XZ&�(V=�

X � XZ&�(�\�&�I"M�3J�����-� XZ&�(�\���IgM/�������� ��������-.d"��K/¤b-.�/K/I)S+��#)&��"8>X =��-r5+8>0:�/¤b-.�/K/I)S�8:-:! ��=�#)�/K;8>�¢������- dg��K8>XH!�-£=7�U�q�+��P=�=�� C ����

�¢������- dg��K8>XH!�-£= � #)K/K�3J��&�&48>XZ&�(V=����� ��u/G���������K86X =��-r5+8:���q-O=�� C ��� Bq#)�/K/�.�4��u/G���������K8>X !���!/�4=�����.&���

]IVI��<#"3J�.��86X = � 0:�/�"86]IVI��_#g3J�.��8>Xn=�!/�����q ����O#o�v=��-r5+8>]IVI��<#"3J�.��86X =+� f =�� C ����

�V�V&N�V���/K����N3Q�R86�����Z!�XH!/�4=���#7&���}q�µz)��K86X = �  ����"8:�"!��¢}�� ��<=��

���.&�����3J���"8>XZ&�(�=��3J����M�3Q���

�,-.("M�3J� ��� §�B+#7�/K/� �4�/�s  82�4#)�.� ��K%EV� C #7�/K/� �4=B\

��3J���4�V���/K��<MV5�8>XH!��µ!/-.-O=�

K/I S C -.�.�H8 � ��ª- -O=�

��3J���"8>�V���V�48>XH!���=�=����� 02�/�"8 ��!���}�� ��_=��

3J����M�3Q���

�,- (gM�3J� �"@ §y��3J���4�V���/K��<MV5+8³5>3J����&�E/MVc�43J&N=�\

� �