IBM Research Reportfeit/papers/MemoPower03PACS.pdf · 1 2 4 8 16 Set Associativity FA 32 64 128 256...
Transcript of IBM Research Reportfeit/papers/MemoPower03PACS.pdf · 1 2 4 8 16 Set Associativity FA 32 64 128 256...
H-0196 October 19, 2003Computer Science
IBM Research Report
"Look It Up" or "Do the Math": An Energy, Area, andTiming Analysis of Instruction Reuse and Memoization
Daniel CitronIBM Research Division
Haifa Research LaboratoryHaifa 31905, Israel
Dror G. FeitelsonSchool of Computer Science and Engineering
The Hebrew University of Jerusalem91904 Jerusalem, Israel
Research DivisionAlmaden - Austin - Beijing - Haifa - India - T. J. Watson - Tokyo - Zurich
LIMITED DISTRIBUTION NOTICE: This report has been submitted for publication outside of IBM and will probably be copyrighted if accepted for publication. It has been issued as a ResearchReport for early dissemination of its contents. In view of the transfer of copyright to the outside publisher, its distribution outside of IBM prior to publication should be limited to peer communications and specificrequests. After outside publication, requests should be filled only by reprints or legally obtained copies of the article (e.g. , payment of royalties). Copies may be requested from IBM T. J. Watson Research Center , P.O. Box 218, Yorktown Heights, NY 10598 USA (email: [email protected]). Some reports are available on the internet at http://domino.watson.ibm.com/library/CyberDig.nsf/home .
����� �� ��� � �� �� ������ �� �� ��� � �� ��� ������
�������� �� ���������� � �� ��� � ��� �����
������ �����
�� ���� ����
���� ���������� ������
���� ������ �����
�������� ��� ��
��� ! "�������
#�$� � ������� #������ ��% &�'�������'
($� ����) ���������� � *��������
����+ *��������� �����
������� $�,� �� ��
��������
����������� ��� �� ���� ���� ������ �� ������ ������ ������ ��� ��� � �������� ��� ����� ��� ��� ��� ���� �� �� ����� ����� ������� ������� ��������� �� ������������ ��������� ������ �� ������� ������� ������ ����� �� �� �������� �� ���� ��������� �� ��� ������������� ������ �� ����� �� � ���� �� ��� ���� �������� ���������� ��� ������� ��� ���� �������� �� ������� �� ����� �� �� ������ ������� �� ��������� ���� �����
���� ��� ��� ������������ ����� �� ��!"#$ $"%&''' ������� ����� �� ��� �� (����������� ������� ��� ���)�������� �� �� ������� �������� ��� ������������ ���� ������ ������ #����� ����������� �� � ������ ����� �� ��������� ���)��� �������� ����� ��� ������������ ����� ������� �� ���� ���� ����� �� � )�������� ������� �� ���������� ���� ������������ ������)� ���� ���� ���� ����� �� �� ���������� ����� ����� �� �� ��)����
� �������
������ ������ ��� ��� �� �� ���� ���� �� ��� � �� ��� ���� �� � � �� ������ ������� ����� ����� �������� �� � �� ��� ������������ ��� ��� ��� �� ������ ������� ��������� ����� ��� ��� ��� ���� ���� �������� ��� ���� � ������� �� �������� ������ ����� �� �� ������� � ����� ��� ��� �� �� ��� ��� ���� �� � ����� � ����� ��� ��� ��� ��� ���!� ������� �� � ��� �� �� � ����
"� �������� �� ���� ��� ������ #$%& �� � ��� ���� ��� ���� ���� �'��� �� � (����� )��� �� ����
�� � ������ �� � ����� ��� ������� �� �� � ���������� �� ��� ����� ���� �� ����! �� ������� � ���� � ��� ��� ���!� ��� ������ ���� "��� ����*� �� ����� ����������� *���
)� ���� +� ����� ��� ,������ #-& � �� � ����� ,��������� #$-& ��� ����� � ��� � �� ������� ����� ��� ���� ���� �� ������� � ��� ��� ������ ���� "��� ����� ��.�� � � �� ��� ��� ��� ���� ���� � ��� ��� � ��!� ���� �� "��� ��� ���������������� +��� �����
/������ 0��12��1� ��� "����� #$$& ����� �� ����������3 � � �� �� '�� � � � ��� ������� � () ��� �� �� ����� � ������ ����� �� ����� �� ����� 4 ��� � � ��� ��� ������ ��� �� ����������� ����� �� 41�� +���1��� ��� 5�� #$& ����� ���1� ��� �� � ���� ������ ����
6����� �� ���� �� ���� ��� �� �� ��"�� ���� �� � �� ��� �� � ��� ������ ��� � ����� ����� �� � ��� � ������ �� ��������� ���� �� ���� � ��� �� ��� ��� ���� �� �������� �� ��� �� � ��������� ������ ���� ����� ���������� "�� ��� � �� ���� ������ ��� ������� �� )� ��� ��� +� ���� #7&�
"��� $ ����� �� � �� ���� �� �� ��� ���� ���� �� � ����� ���� ��� �� ������������� ��������� �� ��������� � ��� ���������� �� ���� ��� /��1� ���� �� / � ��� �� � � � ���� �� �������� ��� � ����� ��� � �� � ��� � ���� �� �� ���� ��� ����� �������� ���� � ��� �� �� ���� � � � �� �������� ���� ������ ��� ��� ���� ���� � �� ���� ��� �� �� ��������������� "� ��� ���� ���� �� ��� � ��� �� ��������3
$� ,� ��� �� ��� ����� ��� �� � ��� ��� �� )(8�� ���� ������� ����� �� ��� 9 ���� � � ����� � ��� � �(:) )(89��� ��� ������ ��� ;/!� (���- #$�& %-��� ����� � ���
9� :����� � ������1� ��� �� � ������ ���� ��
$
��������� ����� �� �� �� ��� � �� ������� � � � � � � � � � � � �
������� ��� ����� � � � � �� �� � � � � �� ��
����� ��� ������ � � � � �� �� � � � � �� ��
������� �� �� ��� � � � �� �� � � � � �� ��
������� �� ������ �� �� �� � �� �� � � � � �� ��
������� !" ��� ����� � � � � �� �� � � � � �� ��
������� !" ��� ������ � � � � �# �� � � �� ��
Table 1. ��������� ��� ��� ���� �� ����������� �� ����� ��� ������� ��������� �� �������������
�� �� ��� �� � ����� �� ���� ������� ���� ��� ���� �� ��� 7 ������ ��� ���������� � 9� ��� ���� ��� ����� �������
7� :����� � ��� ������� �� ��� - ���� ������� ����� �� ��� ������ ���� ��� ��� ��� ���������� ������ ���� � ��� � � ���� ��� ���'���� � �� ��� ��� ���� � ��� �� ��� ����� � ��� ���� ��
-� � ��� ����� ��� ��� ���� ��' �� ��� /� �� ��� < ������ � �������� �� ��� ��������� ���� ����� ��� � � ������ ���� �� � �� ��� ���� ��
� ������� ��� ��� �� �����
���� ��
"��� �� ��� ���� ����'� � �� � ��� �� / ��������� � ��� �� �� �� ��'�� �� ���� ������ ���� 4 ������ ���� ����� � ���� ���� � �����
������ �� � ���� ��� � ��� �� �� �� ������ ��� ��� ���� ���� �� ������ = �������� ��� ������ � ��� ���� ���� �� � ��� ��� ����� �� +����$ ����� � ���������� ������ � ��� ��� � �������� �������� ��� ���� � �� ;/!� (���- #$�& %-��� ��� ��� ����� "� � ���� �� �� +/4�� �+��� ���� ���� /�� ���� 4��� ��� ��� ���� ����� � � �� ���� �� �� %-��� ������� �� � ���� "� ������ '�� �� ������ �� % �� � �� � ����� ������>()� ��� $� �� � �� � � ��� ����� �?>�� 4���� � �� ���! ��� �� 1��� ��� �� ��� ��� ����� ����� �� � ���� "�� �� �� �� ��� � ������� � �� ������ ����� ����� � ��� � � ���� ���� � ����� ��� ������ ������� �� ��
"� ���� ��� ����� �� � ����� 9�@ �� � �� ������ �� ��� �� ���� � �� ������� � ���� �� ������ �� �� 79��� �������� A������� %-��� ���� ��� ��� ������ ��� ��� ��� � � ����� �� ���� �� � ��� ����� ������� �� ��� 7 ����� � ���� ��� ��� �� ��������� ����� ��� �������� ��
OPC XO Operand1 Operand2 Operand3 Result0123
n-1
5 + 10 + 64*3 = 207-bit Tag 64-bit Data
Figure 1. � ������� ���������� ����� �� � ������� � ������ �������������
2.1 Simulation Methodology
"� ������ ��� �� ��� ��� ��� ����� ���� �� 4���#$9&� �� ������� ��� (���() ��������� � �������� ���� "� ������� ���������� ���� ������ ��� ������� ��� ���� ����� �� ��� � �� �� ������ ������ ��� � ��� � �� ����� ��������1 ��� ���� �� ��� ��� ��� ���� �� � ��������� ������ �� ����'������ � ���� ������ � ����� ��1� ��� � � �� ��� ��� ������� ��� ��� ��� ����
"� �� � ��� ����� � ��� � �(:) )(89������ ����� � /����(:) #$�& ���� � �� "��� 9����� � ��� ���� � ��� ��� � ���� �� ���� ��� ���� ����� �� "� )B)== �������� �������� �� � (���- ������� 4 ? ������ <�$ ������ � ;/ ������ ��� �%�� �� � � C���3 ����
���� �� ��� ��� ���� "� +�� ��� ���������� ������ ����� � ��� �D�$ ������ �� � �C���3 ���� ����
2.2 Instruction Memoization Potential
� ���� � ���� � �� � ��� �� ��� ��� ��� ���1� ��� � ������ �� ����� �� ����� � ��� �� �� �� ��� ��� ���� ����� �� E��'�� F���������� �$ ������ � ��� �� � %-���� �������� ��� �� 5,8 ������ � ��� ����� ����� � ?>,
9
��������� ���� � �����
�� �$��% �$��& � ��$ � �
����'%� �$��& � %��(� �����
����$(( �$��& �����
�����() �$��& ����
����(��)�* �$��& ����
�#��%��+�� �$��& �����
������� �$��& � (��, ����
����%���-�, �$��& �#���
�� �$�% �$��& ����
����'����. �$��& �����
����-��%� �$��& � +���(� ���#�
��������) �$��& #���
������%��+� �$��& �����
����+��� �$��& �� �
�����$��& �$��& # �
�����%%�� �$��& ���
������+� �$��& ����
����$��$�� �$��& ����
��#���� �$��& �����
�����/��,� �$��& ����
����)�(���( �$��& ����
�������% �$��& �����
��#���(�+ �$��& ����
�#��)���& �$��& � ��
����+�.���(, �$��& ���#�
�����%+� �$��& ����
Table 2. �������� ��������� ��� ����������� ����� ���!� ����� ����� ��� ������"����� �#������� �� ������� ������ �� �� �������� �� $����%�&�� �������� '�� ������������� � ������ ������������
�� � ���� �� � �� � ������� ��� �������� "���� ��� ���� �� � �� �� �� ������3
� ��������� )���� ����� ������� �� � (�������� � �� � ��� ��� �� �� �� ������� � �� � �� ����� ��� ���� ��� /��1��� ���� ��� ��� � �� ��� � �� () ���� �� ������ () ��� ����� ��� �� � �� ��� �� ��� �;����� (���� ��� 8�� ���� �� �� �� �� �������� ��� ���� ������ ��
� ���� ����� /��1� ��� �� ��� ������� ���� �� � ��� ������ ��� �.� �*����� ����� � .� �� ������ ��� ���� ��� ���������� ��� ������ ��� � �� � �� � ��� � ���� "��� ����� � ����*� � G�� ���� �� ��� �� � ��� ��������� H�� ����� � .� �� ������ ������� ��� �� ��1��
164.
gzi
p
175.
vpr
176.
gcc
181.
mcf
186.
craf
ty
197.
par
ser
252.
eon
253.
per
lbm
k
254.
gap
255.
vort
ex
256.
bzi
p2
300.
two
lf
WH
mea
n0
20
40
60
80
100
Memoizable Success
168.
wu
pw
ise
171.
swim
172.
mg
rid
173.
app
lu
177.
mes
a
178.
gal
gel
179.
art
183
.eq
uak
e
187.
face
rec
188.
amm
p
189.
luca
s
191
.fm
a3d
200.
sixt
rack
301.
apsi
WH
mea
n0
20
40
60
80
100
Memoizable Success
Figure 2. ������ �� ��� �����(� �� ��� �������"����) �����(� �� ����������� '�� ���� � ��)�� � �����������
+���� 9 ����� � ���� �� ������ ��� ��� ��������� �� ��� �� ��� ��� � ��� ��� ����� ����������������� ��� � ���� ��� �� ��������� ������� ������ 9% ������� ���� �� � �(:) )(89��� ��������H���� @<I �� ��� ������ ��� ��� ���� ��� � ������������ ��1� ��� � ) H"9��� ��� ��� %<I ��� � )+(9��� ��� � "� ���� � ������� �� ����� ��� ��� ������ �� ��� � ���� ��� ����� ��� � �� �� ���� ����� �� �� �� �� ��� � ��� �� ��4 � ��� �� J� ��� 5��G� #9$& ����� @ )(89��� ��������� ��� ��.�� ���� �������� �� � ��������� ��� �����'��� ���� � �� ������� ���� �� ����� >�� � ��� �� �'� �� ����������� �� � ������� �
� ���������� ���������� ������
"� ��� ��� �� ��C��� � ��� �� � ����� �� ���� ������ ���� ��� ��� �� ������3��1� ������� ��� �� �������� ���� �� ��� �� �� 4���� ��� ����� ����� ����� � ��� ������� �� ������
7
����� � ���� � ���� ��� � � ������� ��1 ����� '�� ����� � 9� ��� ����� ����� ����� ���� ��� ������ ��� 7�$� ��� �� ����� � ���� ������ �� �������� ��� 7�9� �� � ��C�� ��� ��� ����
������ ��� ����� �� � �����
+��� �� ������+ ��� ������+
�++�(����'��* &���(����% ����*
��&�.��$ ��&� �" �%����&+ 0 �%(�&�
��%��(����� ��&� ���&�� 1��+� !�(����* �+�&
Table 3. ���������� ������ ��� ������ ���� ���� 9� �������� ���� ��
3.1 9� Factorial Design
4 9� +�� ����� ����� #�& �� ��� � � ��� �.� �� � ��� ���� ��� �� ����� ��� �� ����� A��� ��� �� ��� � ��� ���� � �� ���� �� � �� �������� "� ����*� ���� � � ������ ��� �� ������ ��� ��� ���� � � ��� ��� �� ����� �� ��� �� ������� ��� �� � � ���� "� ��� ��� ��� ���� � ������ ������� �� ��� 7� "� ���� ����� ��3
$� ,�� �� � ��� � ) H" ��� )+( ������������� �� �������� � ���� �� �����������1� ���� �� � ���� �� ��1��� ���� ��� ���� ��� � ���� �� ����� � ���� �������� ����
9� :���� �� �� ����� ��K��
7� 4���� � �����
-� "� �� ��� ������
����� ��������� �! ��������� "#$� � !
!��+� !��� 2"345 �� � # �
!��+� !��� 2"6�5 #� � � �
7���$* �� �� � �
((�++ 4��� � � � �
��� �� �� � �
Table 4. *��������� �� �������� �� �� 9� ���"����� ���� � �%�(�� *�����������)� $����� � +�"���������!�
>� ������ �� ����� �� � �� �� � ������� ��� �� � ��� �� �� ���G��� ��� �� � � ���� ���� ���� A ���� � �� ��� ��� �� �������� ��� � �� � � � ��C��� �� � ����� � ���
���� ���� �� 4���� � ��� ���� �� ������� ������ )4)" 7�� #$<& ���'� � ������� ����� �� ��1� ��� � ��� ������� � �� ��.�� �������� ��� ������ ���� >� ��� ��� � ����� ��� ��� � �������� �� ��� ������� ��� �� ���� ��� ��������� �� ���'����� "� ��� ���� ��� �� ��� < ��� � ������ ��� �� ����� ��� �� ����� ��� -� +�� �� � � ��� �������3
$� "� ��1 �� � ���������� �� � ������ ���� �� ��� ��� ���� ��� ����� 4 ��� �� � ���� ��� �� ���� ��� � ��� � ��� ����� � � ������ � ��� �� � +�� �� ������ ��� �� ��� � � ��� � �� ��� ��� ��1�
9� "� ������� ��� � �� � ���������� ��� � ������� .� �� � ��� �� � � ���� .� �� �� ����� ��� ���� ����� ���� �� �������� ��� � ������ � �������
7� 8���� � ������ ���� � �� � ���� ����� ������� �� � � ������ .� � �� ����� �� ����"� ����� ��� �� �� � ���� ��3 ��� ��� ������� ��� ���� �� �� ��� ��� ��� �� ���� � � �� � � ��� �� ��� � � � ��1 �� � � L���� ������ ��� ��� ���� �� ��.�� � � �� ��� ���� ���� ��� � � �� ������ ���! �� ��� � ������� �� 5�� ��� ���� � ��������� ������� ���� � ���� � � � �� � � �� ��� ��� ����
-� "� ������ ��� ��� ������ ��� .� ����� �� � �����
<� A�� ������� � ����� �� �� 9061 ������ �� ��� �� �� ;/ (��� ���� � ������� � ��� � ���'���� ���� �� �� ��� ������ � ���� � ������� "��� �� �3 �� �����1�� �� ������ ������ � �� ��� �� ���1� ��� ��� �����
4� � '���� � ������ ��������� ��� ������ ������� ���� � �� � � �� ��� � ��� �� � ������ � ���� ������ �� ��� ����� ����� ����� ��1 ���������� ��� ��
3.2 Full Two-Factor Factorial Design
� ��� � �� ����� � � ���� � ��1 �� ����������� ��� 79 � $�9- � ��� ��� � ����� ������� ��� � ��� ���� ����� � $%���� ��� %-���� ������ ����� � ����� ������� �� �� ��� ����� ������ �� ������ ����� � ������� ��� ��������� ����� ������ �� ���� �� +���� 7����� � ��� �� ��� ����� ����� �� ��� ���
���� ������ ��� �� �� ��������� ��� ��� � �����
�� �������� � ����� ��������� �� ���� ����� �� ��� ���� ������� ������� ��������
-
���% ������� ������� ���% ������� �������
� � ! (��� ()% �� �� ��� � � ! (��� ()% �� �� ��
�
�� � %( ��& ��� ��� ��� ���� ����� �8 � %( ��& ���� ���� �� � ���� �����
�� � %( ��� ��� ��� ��� ���� ���� �8 � %( ��� ���� ���� �� � ���� �����
�� � �%+ ��& ���# ��� ���� ���# ���� �8 � �%+ ��& ���� ��� ���� ��� ����#
�� � �%+ ��� ���# ��� ���� ���# ���� �8 � �%+ ��� ���� ��� ���� ��� �����
�� � %( ��& �� #� ���� ���� ��� � �8 � %( ��& ��� ��� ��#� ���� ��#�#
�� � %( ��� ��# #�� ���� ���� ��� � �8 � %( ��� #�� ��� ���� ���� ��#��
�� � �%+ ��& ���� ���# ���� ���� ����� �8 � �%+ ��& � � ��� ���� �� � ��#�#
�� � �%+ ��� ��� � � ���� ���� ����� �8 � �%+ ��� ��� ���� ��� �� � ��#�#
Table 5. ���, ������� ��� ������ �� 9� �������� ���� �� %" ��(�� * " ������������)� $" ������ � + "���������� ������
�M������ �� � ���� ��� �� ��1 �J������ ��� ������� ��� ��?�������
4 ���������� ���� �� �� ������������� �� ������ ��� � ��� ����� ��� ���� ��� ��������������� ���� �� � ���� � �������� �� ����� "����� �� � � )4/ �)�� � � 4�������� /�������� ����� �� � ������������� �� ���� �� � )4)" ���� +�� ���� ���������� � ������ �� ������� ��� ���� ��� ��������� �� ����� � � �������� ��� ���� �� � ���� )4/ ����� 6����� � ���� �������� .� �� ������� ��� � ��� �� � ��� �� ������ � �� � ���� ����� �����
����� �� � ��� � � ������4������ � ����� �� �� 9061 � ����� � ���
� ����� � ���'���� ��� �� ����1� � ����� �� ����� � ��� � ����� � ����������� 4<$9�� ��� ���� ����� ���������� ��� �� ����� � �� G�� ���� 9������ ����- ���� � ��� �� ��-@�@I �7@��I ��� )+(�� �� ���� ������ ��� �� ��-$�K����� ��� � � �� ��� �� ��-� ���� � �� ��� -� ���� ���� ����� ����*�� � ���� � �����
�����!� ��1 � � ��� � � ��� �� �
3.3 Instruction Reuse
"� ���� ������ � ���� � � � �� ����������� � ��� �� � ������������� �� ���������� ��������� ��� � �� ��� �� � ���������� ����������� �� � ������ � �� ��� ��� ,�� � ,���� �� ���� ��� ������ �� #$%& ��� ���� � ������ , ��� �� �������3
�� "� () �� ��� � ���� � ,�� ;�.� �,;�� � ������ ����� �� ��� � ����� ���� "����� ������ � � ���'���� ���� �� �� ��� 7�$ ��������� �� ������ �� � ()� "� ��.����� �� � () �� � �� ��� � ������ ���� ��
�� 4� � �� �� ���� �� � () ��� � ��� ���� �������!� ���� � ���� ����� ����� � ����1� :��� � � ���� � �� ������ � � ������������� � ��� �� �������� �� ,�� �� ����'� �� � () � �� ��� ����� �� � 6����� ���� ����� � )4/ ���� ����� ������� ��� � �������� �����
���� � ���� � ����� ��*�� �������� ����� ��������� ��� ��� ���� �� ����� � ��� ���������4� � �� �� ����� �� � � ������� �� �� � ������ �� � ��� ������� �� � ���� � ���� ������������ ��� ��� ��� ����� � � ���� � � � ,; � �� ����� ��� � � �� � ���� �� "����� ������ ��� � ������ �� �� � 7 ��� �������� ��� ��� ��� �� ��������� ��� �� ������ � � ��������� ����
"�� ������� �� ��1� ���� �� ����� � � ��� � � �� �� ������ ���� � ��� ������ � � ��� ������'� � ,; � ��� ���� ��� �� �������� ��� � ����� � �� ��� �� ������ � �� � � � ����� ���������� � �������� ��� �� �� "��� % ��� � ��� ����'���� ���� ������ ��� '��� - �������� � ���� ������ $�9-�� ��� -���� ���� ��� $9D�� ��� ���� ����� �����
4� ����� � �� � ��� ��� � � �������� ����� ��� /� ��� �� ������� � ��� �� �� � ���� ���� � �������� ��� �� ��� � ��� ��� �� ��� �� �� ������������ ������ ��
� ����� � ��� ����� ����
"� ���� � �� ���� �� � ������� �� ���� -@�@I�) H"� ��� 7@��I �)+(�� �� ���� � �� � � ��� �� ��� � ���� ����� ����� ����*�� ��� ��������� � ��� �� ��� ���� ��� ��C��� �� �� ����� ��� ����
<
1 2 4 8 16 FASet Associativity32 64 128 256 512 1K
Size
0
10
20
30
40
50
60 Reuse Rate
1 2
4 8
16
FASet Associativity 32
64
128
256
512
1K
Size
0.5
1
1.5
2Access Time (ns)
1 2
4 8
16
FASet Associativity 32
64
128
256
512
1K
Size
0
0.5
1
1.5
2Energy (nJ)
1 2
4 8
16
FASet Associativity 32
64
128
256
512
1K
Size
0
0.5
1
1.5
2
2.5
3Area (mm^2)
Figure 3. +���� ���� ������ ����� ��� )� ��� �� �� ��� �� � �������� �� � ����������-� ��(� ��� �������"�����)�
&��� ���% �������
� ���������� &�+(��-�& �� +�(���� ���
�' �� +(9��� &�+(��-�& �� ����
�� �� +(9��� �) ���: -���� ���9 " � (���+
���+ �� +(9��� �+��$ ���� +���%+
��+' �� +(9���: +��� '���� &��+�;� ��'���&���
��0& ���� +(9��� �) ����
Table 6. ���������� +���� ���, ��������� ������ �� ���������� ��� �� ���
�� �������� �� � � �� ��� �!���
4.1 Multi ����������
� � ������� ����� � ��� ��1� ��� ���� ���� ��� �� E����F �� �� �� � �� ���� "����� ��������� ��� �� ��� ����� ��� � � ������� � ��������!� �� ��� � ��� ��� ��� ���� �� ����
�� ��� � ��.�� *��� ���B�� ����� ��� � � ��������� � ��� ���� 8���� ��� ����� � ���� � �����
����� �� � 7 ��� ��� ����3 � �� ���� ����� +(���� ����� ��� :.� �� 4����� �:4� ������� ���� ����� � ��� �� ����� ��� ������ � ���� �+( ���������� ����� � �� �� �� � ��� � ������ ��� �� �����
"� ��� �� � ��� �� <$9�� �� ���� ��� ��$9D�� �� ���� �� ����� �� '��� <� � ���� ���� ������� ��� �� �� ����� ����� �� � �� �������� ������ �� ���� �� � �� �������� +��� �������� ����� �� � �� ������ ��'���� ����� � ������ ����������� "� ������� � ���� ��� :4 ��� �� � ��� ������ 6����� � ��1�� � ���������� �� ��� ����� "� ��� �� �� �� ����� ���������� ��� � �������� �� ����� ���������� ����� ����� �� ���� ��� ������ ��� ��������� H�� ����� � ��1 �� � ��<$9 ���������� �� ��� ��� ���� � ��1 �� � 79N;������� ����� �� � �� ���� �� ���� ������ ���
%
1024 4-way 128 1-way0
10
20
30
40
50
60
70
Reu
se R
ate
(CIN
T)
1024 4-way 128 1-way0
0.5
1
1.5
2
Acc
ess
Tim
e (n
s)1024 4-way 128 1-way
0
0.5
1
1.5
2
En
erg
y (n
J)
1024 4-way 128 1-way0
1
2
3
4
Are
a (m
m2)
IM Sv Sn Snts Snsv Sn+d
Figure 4.+���� ���� �����!� ������ ����� ��� )� ��� �� �� ��� �� ��.���� �����(����� ��� ���� �������
512 -CINT 512 - CFP 128 - CINT 128 - CFP0
10
20
30
40
50
60
Reu
se R
ate
Global Combined Int FP EA
Figure 5. +���� ���� '�� �� �� �� �����
����� �� ����� ���� ���� �� ������ ��� &* ���"�������� �� ���� ���������� ��(�� �� /0� ���0�1 ������ ������"������!�
� �� ���� �� ����� �� ���� ���
"��� ����*� ��� � ��� �� ��� �� �� ���� � ��� � � �� ���������� �� � ���� ��� ������ ��� ��� ��� ���� � /85 ��� � O� ��� �� ���� � ��� � +( ���������� �� � +4��B+�8;� +/85�+� OB+�P,"� +/4��� ��� ��� � �� +( ��� ���� ����� "� �� ����� �� � ���� � ���� ���� �� � ������� �� ���� �� � � �� �����������
+���� % ����� � ��� �� � ��� ��� D���� ���� � � �G��� � �� � ���������� � �� +( ��������
512 - CFP 128 - CFP0
10
20
30
40
50
60
Reu
se R
ate
GlobalCombined
ALUIMUL/IDIV
EAFADD
FMULFMADD
FDIV/SQRTFSIMP
Figure 6. +���� ���� '�� �� �� �� �����
����� �� ����� ���� 1 �������� �� ���� �����
����� ��(�� �� /0� ��� 0�1 ������ ������"������!� 2��) ��� ������ �� ��'��
���� �� ���� � )+( ���� � �� ������� "� ���� ��� ���� � ������ ��� �� �� � �� �� ����� <$9�� �� ������ ����������� ��� � �������� �� $9D�� �� ���������� �'��� <�� 6����� ��� �� ������ �� � ��� � ����
,����� � ���� ���� � ���'���� ��� ������ ��� ���� ������ �3 ����� � ���������� ����� � � +��� ����� 8�� �+8� � ���� ��� ���� �������� "��� ���� ����� �������� ���������� �� ���.�� ������ ��� ���3 4 �P," ��� ��� ���� �������� ���� � +/4�� ��� ��� ���
@
Int FP EA0
20
40
60
80R
euse
Rat
e
NOTR CINT 512TRIV CINT 128
NOTR CFP 512TRIV CFP 128
Figure 7. ��������� �� ���� ���� �� /0�"���)���������� �� 0�1"���)���������� '�������� �������� ����������
NOTR CINT512TRIV CINT 128
NOTR CFP 512TRIV CFP 128
0
200
400
600
800
1000
1200
(in
mill
ion
s)N
um
ber
of
Inst
ruct
ion
s Trivial ops MT hits MT misses
Figure 8. ��������� �� �� ��� � �� �������"����) �����(�� ����������� �� /0�"���) �����
����� ��� 0�1"���)���������� '�� ���"��� �������� ����������
4.2 Trivial Operations
"������ ���� ��� � � ��� ��� �� ��� �� � ��� �� � ��1� ��� '� �� ;� � ,��������� #$-& ��� )� ���� ��� #-& ��� ��� � �� ��� ������ >��� ������ �'�� �� ������ ��� �� ��� � � ��� ������ ���� �� ����� ���$��$� ��� ��� ���� � �� � ����� �������� ��� � ������� �� = � Q �� � � $ Q ����$ Q �� ����� "� ���� �� �� ��� �� �� � ����� �� ���� ���� �� ���� � � � � �� ����� � ������� �� ���� �� �� ������� � � ���������� ������� � ��� � � ������ ���� ��� � � ��� ��� � ������ �� � �� ��� �� ������� ��� ��
+���� @ ����� � ��� �� �� � �� �G������������ � � ��� +��� � :4� �� � ��� �� ��� ������ ���� ��� � � ��� ��� ��� ��� � ������ ����� ��� � � ��� �� �������� � ��������� �������� 4 '�� ����� � � ���� � �� �������3 ��� �� � ��� � ������������� ������� �� ������ ��� �� � /������� � ������ ������ ���� � � ����� ����� �����
�� � �� �������� <$9�� �� ���������� �$9D�� �� ����������� ;� ����� ������ ���� ���� � ��� � ��� *��� �� � ��1 �� � �����
������ ��� ������ � ��� �� � +���� D ������� � ��� ���� �� ������ � ���������� ���� � ���� ������ ���� �� ����� �� ���������A�� ����� � ����� ���� � ���� �� ���� �������3 ���� ���� ������ ���� ���� �� ��1�� �� �� �� ��� ������ ����� ���� ���� ��� ���� ��� � � ����� ��� ��1���
H�� ����� ������ ���� ��� � � ��� ���! ���>�� ������� ���� ���� �� � ��$��$ � � �� ��� �� %-��� ������� ��� �� ���� ������ ��� �� �����<$�K��� �� ��� �� ����97���� "�� �� ������*��� ��� ��� ������ � � ��7<�K ��� ��$9��� �� ����� ������ $9D�� �� ����������� 6����� � ��� �� ����� � �� ��9$��� 4������� � �� ������� � � ���������� ���� ��� �� ��� � ����� ������ 4 �*�� ��� ������ �'�� ������ ���� ��� ������������� ���� � �� �� ����� � �� ���%�� ���9$= ��@<� ����� �� �������� � � <$9�� ��� ���� ����� ���������� ����-��� ��� �� G�� ���� ������� ����� ��� � 9061 ������
J� ��� 5��G� #99& ����� � � ��� ������ ���� ��������� �� � ������ �� � ��� � '�� ������ ������� ��� ��� ���� � ���� ����� ��� ������ ��������� �� � � ���� ������ ����
NOCONF CINTCONF CINT
NOCONF CFPCONF CFP
0100200300400500600700800900
(in
mill
ion
s)N
um
ber
of
Inst
ruct
ion
s Unconfident MT misses MT hits
Figure 9. ��������� �� �� ��� � �� �������"����) �����(�� ����������� �� 0�1"���) �����
������ '�� ��� '����� ���,����� ,����� ������� ��������� ���3� ��������
4.3 Confidence Counters
4� ����� ������ ���� ��� � � ��� ����� ����� ������������ ������ � ���� �� ������ � ��� ����� �� �������� G�� ���! ����� ���1� ��� ��������� ��� ��������� ��� ��� �����4 ��� ����� ����*� ��� '� ���� �� ��� ���
D
���������� ������ �� � �� �� ���)��� ��������� "�� �� ������� ��� ��� ������ #D& ��� ��������� ��� #9&�
� ��� ��� ��� ��� ��� ��� � ��� �� ���� �� )��'��� "��� �)"� ����� ��� ���� � ���� �� ���� ��� ���� � �� � ��� A�� � ������ ��� ��� ������ ��� �� � ��� �� ������� � ���� � �� ���������� � ���� � �� �������� 4� � � ���� � � � ����� ��� ��� �� ���� �� ������1��� ��� ����� � ��� � ��� � � � ��� ������� �� ��� ��� �� � �� ������� �� � � � � ����������� 4� � � ��� ����� ���� �� ����� � )" �� C���� �� ���� ���� E�����1���F ��� ��� ���� � ����� ������
+���� � �������� � ����� �� ���������� �� ���� ���� ��� � <��� �� ��� ��� ���'��� ���� ��� ��� �� � �� � ������ ��� ���! ���� � �� � ������� �� ����� ���������� ������ "� )" ���� ���� $�9- � ��� ��� �� C���� ��� $7$�@9 �������� � ���������� �� ���� ����� �� � $9D� ��� ��� ������ �� � � ���� "� ���� � �� ��������� � )" ����� � '� � �� ��� �������������� ��� ���� ���� ������� � ���� � ��1� ���� ��� ����� "� E����F �� � ��� �� ��� �� ���������� ��� �� ���$$�K� �� ��� �� ���D@���� ��� ������� � �� ��9-��� "� ���� ������� �� ���� ���� ���� � ������ ���� ��7<� ���$$ Q ��77��� ��� � )" ��� � ������ ��� ���� ��1� ���� ������� � )"!� �� ���� "� ���� ������ � �� ������� � ���� � �� � ���������� ������� � � )"� ��� ��� � � ������ �� � � ���� �� ��� � ������
"� )" ��� � ��� �� ����� � 9<% � ��� ���- �� � �� ���� �� ���� � ������ � � � ��� �� ��� �� ����� ���'��� ���� ��� "��� ����� �.����� ���������� ��� � ����� � ���9-�� ���9$�� Q 7����
�� !" �� #�$ � % ��� ����$&
+������ �� � �������� � ���� �� ����������
� ���� � � �� ����� � ��1� ��� ������� � � ����� ���� � ���� ������ "��� @ ��� � ������� ��� ��� �� ����� %-��� ���� ����� ��� �� ��� � ���� ��� ������ ���� ��� ���� ��� ���'������ �� � ���� ��� ���� �� ����! ����� ��1�� ���� �� � $9D�� �� ���������� �������� ��
�� ����� �� � ���������� ������ �� ������� �� ������� � ���� � ��� ��� �*����� � ����
��� ���� ���� � " �� �� ����� ������� �� ����� �#$
�� %� ���� �� �� ��� ���� ����� ��� ������� & �� ���'� "
� ����� � " ��������� ����� ���� ���� �� (��� ���� �
���������� ���� �( �����(�� ����)���� � ������ �� �� �����
���� �( � �������� � *�����
������� 4�� ��� ��� ���� ����� � )" ��� ��1���� ��� ���� ���� � �� ���� "� ���� � ��������� �� ��1� ��� � �'�� �� *�� ���� �� ����� � 4���� /��� 4��� "� �4/4"��
��� ���� ���������� ��� "� ����� ���� ������ � ���� �� ���� ���3 �� Q ��� = ���� = #$� � = ��&���
��� ���� ���������� ����� "� ����� ����� ��K����� ����� ��� ���� ��� �� ����� ���� "� ���������� ������ ��� ���� ���� �� ��� ��� ����� �������� ������3 �� Q ��� = �� � �������� = #� � � =��&������ = ���� = �$� ����� = �$ = �����
+���� $� ����� � 4)" ��� 4): �� � ���� ��� ���� � ������ � � �� ���� ��� ����� �� ��� ��1� ��� � � )+(9��� ��� �� ����� "� 4)"��� 4): �� � ���� �� � �� ���� ������� �� ���1 �� �� ���� ��� ��� ��� ����� � ������ �� ��������� ��� ���� ���� ��� 4�� � �� ��� �������� ���� �������� ����� ��� ��� ���������� "� ����� �� ������ ����� � � ��� � �� ���� � ����� � �� ��� � ����� � �������� ��� � ���� "� ����� �� �� ���� �� ��� ��� ��� ����������� ��� � ��� ��*���� �� ��� ���� "��� �� � ����� �� �� �� �����
'� (������� � �� )���� �
+��� � ���� ��� ����� �� ������ ���� �� ��������� ��� � ��� ��� �� � ���� �'� � ����� ����� �� ��� ��� ��� ��1� ��� ������ ����
� ,�� ����� ��� �� �� ����� �� �(:))(89���� %<�@<I �� ��� ������ ��� ��� ������� �� ��� � �� � � �� ������� �����������
� /������ � ���������� ����� � ����������� � ���1� � ���� ��� ��� ����� ��������� ��� ��� ��� ���� �� ��.�� � � �� ��� ���� ���� � �� ��� � ��� ���� ��
� "� ������� ��� � �� � ���������� �����������.� � � � ����� �� ����� ��� ��1 � ������������ � � ��� �� � ���� ����� �� � ��� � ���
� ���� ��� ��� ��� ���� � ����� ����������
���� �� ��� ��� ��� ������ �� �� ��� .� �� ��� � ����� ����� ��� ����
� "������ ���� ��� � � ��� ��� *��� � � �����
�����!� ��1 ���� ��������� � � ��� �� �
� )��'��� ���� �� '� � �� ��� �����1��� ��� ��� ���� �� ��� ������� � ���� �� ��������� ���������� ��������
�
����� ���� �������� ��� ��������� ������' ���� ' ���� ���%(���� ����� �������
<< � ���� ���� ��� ��� �#��
��1 � ��� ���� � ��� #��
<= �� ���� ���� �#�� � �� ����
6 << � ���� ���� ���� � �� ���
6��1 � ��� ���# � � �� ���#
6� << � �� � ���# ���� ��# �#�
6<= �� ���� ���� ���# ��� ����
���������� � ���� ���� ��������*: ����*: �%&��� �����>
4? &���(��� � ������� ������
"4 � ����� ����� ��� �����*: ��-�� (������
Table 7. ������������ �� 45" �� ���������� ����� ��� ��� ��6����� ���������� �
� 4 ��������� � �� ���� ���� � ��� � ����� � ��� = ��1� ��� ����� �� � �� ����� ���1 ���������� ��� ��� �����
� /��1� ��� �� ���� �� ��� ��� ��� ���� ����� ��� � ��� ��� �������� ������ � ��� �� � � �� �� ���'��� ���� �� ��1� ��� ����� � �� ���� ������� ��� �� ��� ��
"��� � ��� �� � '�� � � �� ������� �� ��� ���� ��� ��1� ��� �� � ����� �������� �������� ����*� ��� ���� �������������� A ��� ����� �� � �� ������� � �� ��� ���� ��� �� � �������� � ��� ���� ���� �� ��� ��� ������� H�� ������ �� �� � ��� ��� � �� ���� ����� �� ���� �� ��������� ���� � �� ����� � ���������3
$� )���� ������ � ��� �� ����� � ���'��� ��� ������ ���� ��� � � ���� � ������� ��� ������ ��� ���� � � � �����������
9� ������ ������� � � ���������� ��������� � � ������
7� � ��� ����� ��� ��� ���� �� � �� ���1� ��� ��� �� ��� � ���� �� �� ������� � � ���� ��� ��� � ������ )��� � ���,�� ��� �� )������ ��� 6�� #<&��
-� "� � .� �� ������ ��������� �� ��1���� ��� �����
��� ���� ����� +�� ����� �� � �� ��������� � �� ��� �� ��� ����� ��� ��� ����� �� ��� ���/��1� ��� ��� ���� �� �� ���� ��� ���� ����� ������ ��� � ��� �
��*������
�� �� ���: �� 6������: ��& @� 1��� 1�� ����� <������(�++��$ -* 7���������� �) !�&��&��� "��%����
����+� � ������(�� � �! ��� )�� ������������ *'�+������ �� ��� ����� ,���������� ��( ���� �: %�$�+��#A�� : �$�+� �##��
�� �� B���+(9�� ��& B� �� C���� ���&�(���� ?��(�����+���*�-�+�& "��D&��(� 7+�������� )�� 1��& =�������&�(����� -������ �! ����������+����� �����������:�: ��* �###�
�� <� "����� ��& <� 6�����+��� !�'�+����$ ��+���(���� ��'�����+�� � ������(�� � �! ��� .�� /������� �� �����+����� 0 ������������� 0 ��( ��1����� : %�$�+ ��A��:��* �����
� <� "�����: <� 6�����+��: ��& 1� !�&��%9� ((��������$��������&�� %��(�++��$ -* ��%��������$ ������$ �������%��(����� ��& &�'�+��� ����+� � ������(�� � �! ���2�� ������������ ���!������ �� ������������ *������!�� ��� ������ ��� �� �� ��( 3�������� *'�����:%�$�+ ���A���: ?(��-�� �##��
�� <� "�����+ ��& @� ��� ���� "��%�����<���(��& <*�����( "��%������� !��+�E !�������� ��& ������ !��+���+� � ������(�� � �! ��� 45�( ������������ *'���+���� �� ����������������: %�$�+ ���A��#: 3�'��-���###�
�� ���� "��%�������� ��6������� �� 3�����7�� !�� ���������� 8 ��������� ��� ��� ������� ����������
�� ���� "��%�������� +45 ���� ����������� 3�����7�+���� ��!������ �����: �����
�� 7� >�(�-+��: 7� !����-��$: ��& >� ����9� ++�$����$ "��D&��(� �� "��&������� B���(9 ���&�(����+� �������(�� � �! ��� 59�� ������������ *'������� �� ����������������: %�$�+ � �A���: <�(��-�� �##��
#� !� >���� :�� �� �! �������� *'����� ���!����������'���� @���* ���)�++����� "��%����$: �##��
��� � 8����?+��+,� ��& <� >� 1��F�� �������7"E 3�� ��7" B��(9���, @��,���& )�� �����������B�+�& "��%���� �(9���(���� !�+���(9� ������������������� �������: �: >��� �����
��� "� ������: � ����G����: ��& >� 4�-����� <*����( !����'�� �) !�&��&��� "��%�������+� � ������(�� � �!��� .999 ������������ ���!������ �� *������������ :%�$�+ � A ��: >��� �###�
$�
1
7
68
6 6 6
30
IADDIMUL
IDIVFADD
FMULFMADD
FDIV0
5
10
15
20
(in
cyc
les)
Ave
rag
e C
om
pu
tati
on
Tim
e Latency ACT
0.050.35
2.53
0.120.34 0.41
1.72
IADDIMUL
IDIVFADD
FMULFMADD
FDIV0
0.5
1
1.5
2
2.5
3
(in
nJo
ule
s)A
vera
ge
Co
mp
uta
tio
n E
ner
gy
Energy ACE
Figure 10. ������� �� �������� �� � ����� ���������� �� �������� ������ ����� �� ����� ����� �������� ��� ������ ����� ����� �� ����� ���������� ������ ��� ������ ��� ��� � �!"""�
��� �� ���&$���: >� @������: ��& >� ������� 7�'��������� )�� ������" ��(����(9���(���� 7.%���������,,, ����: �#2�5E��A��: ��*H>��� �###�
��� 6� ?;"������ ��& �� @9���� �?@7!�E �9� ��.� $���������� �) ������" %��(�++��+� � -������ �! ��+������ ��( �����������: 2�5E���A�� : �����
� � �� !�(9��&+��� 7.%������$ 4��'��� ��& !�&��&���"��%�������� � ������(�� � �! ��� ..�� *'��������� �������� ���������: %�$�+ ���A���: >��* �##��
��� �� �9�'�,���� ��& 3� >��%%�� " "4 ���E � ����$����& "�(9� 4����$: �����: ��& ��� ��&��� 4�(9���(�� ��%���: "��%�/E @�+���� !�+���(9 1�-������*: �$�+� �����
��� � ��&��� ��& �� ��9�� <*����( �+���(���� !��+��� ������(�� � �! ��� 58�� ������������ *'������� ���������� �����������: >��� �##��
��� 9��%EHH����+���(��H%��(�++��+H������� !"�H&�����+�9����
��� ��� ��(��+*+���+� �����*��� ���� �����: ����&�����: ��* �����
�#� >� �� 4��&���: >� �� <�&+��: >� >� �� 6���&+: �� 1�:��& B� ���9���*� �?@7! +*+��� ��(����(9���(������ -������ �! �������� ��( �����������: �2�5E�A��: �����
��� �� =����� �� ��� :�� �3/,�8 ��������� ����(��������( :���� ;��(�� B�: 3�'��-�� �����
��� >� I� ��& <� 1��F�� � ���*+�+ �) �9� ����� �)���-�� 1�'�� !�&��&��� "��%������� �� �9� ��7"#� ��& ��7" ���� B��(9���,+� � ������(�� � �! ���8�� ����� /������� �� /������( ����������7�����:<�(��-�� �����
��� >� I� ��& <� 1��F�� �%��'��$ ���(�++�� ���)�����(�-* ���%��)*��$ ��& B*%�++��$ 4��'��� "��%�������+�� ������(�� � �! ��� 5<�� ������������ ���!������ ���������� ���� �: ��%���-�� �����
$$