دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J...

13
S &$ = Ψ * X' J D O C Y + L$Q ? O R(Q ( E > , J W ;$ 2 V T* X' JS @I X% X$ M Y 0 Y V TE 2 ; &$ &Q 1 &$ ' C X$ VQ + ( % O , T A&) W ; @ R(% N S Q G 6 J V( +( D K V&$' S NQ K NE K 8 H N & E J @ V( +( S @I X$' @W ;' 9 JW O Y > X' C , * X' JW ' 5 V' W X T-P& L$Q ? O R(Q L$Q HQ G 9 J I Y O @W JW +&' L$Q ? O R(Q L$Q HQ G 9 J N X P HQ G 9 J F P$ &$ & S F , J &Q 7 O JM X V' % O O @W JM Y K 4 P V(+R$'0; !'N &$ LQWJ V&$'SNQKN RQN L$'@ W6"'Y: X S@ IYO@WJ W+&' HQG9J R(Q F &$ ;X +$ V$QU S V(+( &$ W+J WB%YY X %O,T ( S;'B ' E2; MX F6J ( WK,= !" S I Y , T D O C Y + L$Q ? O R(Q L$Q S " O / N H C O T W O Y > X V&$' S NQ K NS F , JW +&' D N$ S . # M X &$ W ;$ 2 ' Y :P V&$' S NQ K N -P& ? X ( LQ W J X % / N HQ G 9 J V&$' S NQ K N H C O T &$ Ψ ' B ' C X$ L Y E JW 6 " V T-P& S JP) F V&$' S NQ K N M X &$ $P' M Y ( V( +( Y G =S @M X LP% $' @ R$ < + E>,J S@ IY,T WX&$'SNQKN -P& M;X W &$ WG@ F &$ WO9X ,YN $P%J Φ *X'J ?X ( R$<+ S0J Φ *X'J '3 W6" -P& ( % W+&' V' $'@ V(+( & L LQ DOCY+ L$Q?O R(Q ( SYFP VTSNQKN VP,J X '0Y TSNQKN $%9 %/ m n W *X'J Φ m×n 'B IYO@WJ (: E= E2;

Transcript of دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J...

Page 1: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

��������

�������������� ��� �������������� �������������������

����������� ���

S� �� &$�� �= �Ψ *��X'� ���� �J� D�� �O� �C� �Y� �+ L$Q� ���?��O� �� R(Q� �� (� E� �>� ��� �,� �J W� �;$�� �2� �� V�� �T�*��X'� ���� �J S� �@ I� �X%� �X$ M� �Y� �0� �Y� �� V�� �T�E� �2� �; &$

�&Q��1 &$ '� �C� �X$ VQ��+ (� �%� �O� ��� �,� �T �A&)��� W��;�� �@ R(�%� �N� S� ��� �Q��G� �6� �J V(�� �+(�� �� D�� �K� ��� ��� �� �� V&�$'����S� �NQ� �K� �N E� �K� �8 H�� ��� �N�

�& E��J�� �@ V(���+(���� S��@ I��X$'��@ W��;'��9� �J W��O� �Y� �>� �X '��C��,��� *��X'����� �J W����'��5 V�'��� W��X�� �T�-P& L$Q����?��O� �� R(Q��� L$Q��� HQ��G� �9� �J

�I��Y��O��@�W��J W��+&'��� L$Q����?��O��� R(Q��� L$Q��� HQ��G��9��J���N ���X P HQ��G��9��J ���F���� P$ &$ �& S��F���,��J &Q��7��O��J M��X� V�'��� �%��O��O��@�W��J M��Y��K��4���

P V(���+�R$'��0��; !'��N &$ L�Q����W��J V&�$'����S��NQ��K��N RQ�� ��N L$'��@ W��6��"�'��Y��: ���� ���X� S��@ I��Y��O��@�W��J W��+&'��� HQ��G��9��J R(Q��� ���F���� &$

����;���X ���+$ V$Q�����U��� S��� V(���+(���� &$ W���������+��� ��J W��B%��Y�����Y��� ���X

�%��O�����,��T �� (� S�����;'��B '��� E��2��; M��X� ���F���6��J (� W�����K��,��=

��������������� ������������� ����� ����� !��������������"��� ������������������ ���

S��� �I��Y�����,��T D���O��C��Y��+ L$Q����?��O��� R(Q��� L$Q��� S�����"���O��/���N H���C��O��T W��O��Y��>��X V&�$'����S��NQ��K��N S��F���,��J W��+&'��� D������N$ S��� .��#��� M��X� &$

W��;$���2���'��Y��: P �������� V&�$'����S��NQ��K��N -P& ?��X (� L�Q����W��J ���X� %��/������N HQ��G��9��J V&�$'����S��NQ��K��N H���C��O��T &$ Ψ '��B� '��C��X$ L���Y���

E� ��� �J W� �6� �" V�� �T�-P& S� �� �� �JP)� �F V&�$'� ���S� �NQ� �K� �N �� ���M� �X� &$ �$P'� �� M� �Y� �� (� V(�� �+(�� �� ���Y� �G� ���� �= S� �@ M� �X� LP%� �� $'� �@ R$�� �<� ��� �+�

E��>�����,��J S��@ I��Y�����,��T W��X&�$'����S��NQ��K��N -P& M�����;���X W��� &$ W��G��@ ���F���� &$ W��O��9��X ����,��Y��N $P%�� ��J Φ *��X'������J ?��X (� R$���<�����+�

S������0��J� Φ *��X'������J �'��3 W��6��" -P& (� �%������� W��+&'��� V�'��� �$'��@ V(���+(���� �& L� L�Q������ D���O��C��Y��+ L$Q����?��O��� R(Q��� (�

S��Y��FP� V���T�S��NQ��K��N VP���,��J ���X '�����0��Y��� ���T�S��NQ��K��N $�%��9��� %��/���� m ≥ n ���� W���������� *��X'������J Φm×n '��B� �I��Y��O��@�W��J (���:� �E�����= E��2��;

��

Page 2: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

`��;��&�*��b��B `��D'���4����*��b��B _)�'*����\��WZ��T��W � N��4��D��

Φ Z��� _���7��D ,� �b� �W m < n ���O�� �$ )' ����.� ['*��2��D _)�'*����\� �WZ� �T� �W C�(��]� Q�� �T� �� �� �� 6��F�� �X� ��� �S ���� �T� �P� �/� �S \� �I ���.� M�� �X� �L� �b� �.

\�����b�����W )' ����1�' (��]�Z��& n − m > � (��A���

∃v ∈ Rn, ∥v∥ℓ = � : Φ · v = � �����

n − ��� �� *� ���*� �� V ⊥ (� �A� �� \� ��� �b� ��� �W )' �(� �1�� �� Rn )' v *� �� 'Z� �T� �@ _�� �]�)�'*� �� Q�� ��� �T� �� +� N� �3�� ��� �$ _�� �7� �D V ⊥ (� �b� �X� �I 5*� �D

\� �@Z��T� ����S V��a�*� ���� �X� �� �'*��I )�� �b� ��� �&� V ⊥ _�*��� \� �a�� �� U�Z��X� �@ \��� �) {u�, . . . ,un−�} \��J� �a (��S�� �A� ��� �S _���])�'*��� U�Z����`��S Y ���.�

R��b��1���� \�����1�' `��E��a*��A��� V��b��X��" *��K� �(��X��]'�`��S \��J��a (��S���A�����S \��a���� H��a N��b��J��2��� �Rn _�*��� {v,u�, . . . ,un−�} _���])�'*���

Ψ = [v u� . . . un−�] ⇒ v = Ψ ·

⎢⎢⎢⎢⎢⎢⎣

����

⎥⎥⎥⎥⎥⎥⎦����

`� �J� �X� ���� )�'*� �� V� �a�*� ���� �X� �� �Φ · v = � �� �S� 'Z� �1�`� �S U�� �b� �� H� �X� ���� �)Z� �3 \� �� Ψ \� �J� �a (� �S�� �A� ��� �S [+Z� �$ )' v �\� ��� �b� ��� �W )'

�`��;��& _)�'*����\��WZ��T��W >Z��W *��] )' �\�����b� ��� �W )' ����/��b� �W _+���.+���� N������F Φ ���� [(��1 (��b� �OZ��� _���]�\��WZ��T��W 9��.Z��� \��I ')�' 'Z���Y

�)������@ \��� �R��a+�'*����`��S `��;��&*��b��B _���]�_)�'*����\��WZ��T��W \��� UZ��X��I� �(��X�����/��b��W _+���.+���� N������F \��I (��W)�' 'Z���Y `��J��X��� _���])�'*���

_'Y)Y H��X��� )�'*��� U�Z������ ���]�U� [(��1 (��b��OZ��� _���]�\��WZ��T��W _Y) +� \��I R��b�����/��] f�, . . . , fn _)�'*����\��WZ��T��W ?����Z��� `���)' �*��L��a'

')Y� ���.(��� �)⎧⎪⎪⎪⎨

⎪⎪⎪⎩

y� = f�(x) = f�(x�, . . . , xn)���

ym = fm(x) = fm(x�, . . . , xn)

����

H��a ?������� `��X��A��a �(��W*����*��� R��] ���� *��=��W +� R Y Rn \��I ���.� V��a� '*��I [)���1� U� \��� (��a���� \��I `��T��^��S \�����J��W

�`� �G� �b� �G� �$ '�(� �@� �� �� H� �a \� �� H� �a )Z� �: \� �� �) `� �a�� �� n _�� �])�'*� �� `� �S�� �T� �� \� �I ')�' 'Z� ��Y g : Rn → R _�� �1Z� �� Y H� �a \� ��

8*��1 \��� +�� �b� �W UY(��� `���� �$ �) \��b� �OY� _�\��WZ��T� �W n Q���T� �� �'Z��1 ['�� �E� ��� �.� _)�'*����\� �WZ� �T� �W _�*��� ?����� �� V��a� +� *��K� �(��X� �I�`��S *��<�� �X� ��� �S

`� �P� �J� �2� �S �?� ���� �� V� �a� ,� �b� �L� �W���*� �b� �$ _+�� �.�['*� �2� �D �� �b� �P� ���� �F 'Z� ��Y �� �� �R� �a��['*� �I ['*� �2� �D �`� �a�� �^� �W \� �WZ� �T� �W H� �a )' �U'Z� ���H� �X� ��

�(� �WY)�`� �S V� �b� �� +� �\� �b� �OY� _�\� �WZ� �T� �W n Q�� �T� ��� ��� �@c� �:� Q�� �T� �� �'Z� �1 _(� �X� �" `� �a�� �^� �W \� �WZ� �T� �W \� �#� �W�� �X� �" ')�' 'Z� ��Y `� �.�� �.�

')Z��S `��1Y) �*����['���. U���b� �� \��� �')�(��W `��P��T��@ 0+)� !��b��] U'*��I�_(��X� �" UY(��� _+���.�['*��2��D ���b��P� �����F V��a� \��I ���.� `��^��a(���

�(��1���� �'Y(��%��S `��a���;��& ����/�����$� ����� \��b��OY� M���X��L��b��. _+���.+���� \��� )'���F +Z��X��] ����]�\��WZ��T��W U'*��I�_(��X��" +� -��� \��I ���.� *��=��W

ym� _���]�\��WZ��T��W \��I (��1����� �W Rn +� _)�'*��� ���^��X� �� x )�'*��� `��X��A��a �'Z��1 ['���E���� �.� U'Z����H��X��� 8*��1 +� (��a���� ��� �T���� �$ �\�����b� ��� �W )'

Page 3: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

W��5��"�'��Y��: W��=$���/����'��Y��: V&�$'����S��NQ��K��N E��/��=��

V���T�D���O� �C��Y� �+ V(���+(���� ;%��T '��B� S��@ $�$ I��Y� �T�Q��" L���-��N �%��,���� ���Y� �.���" M��X� �� �� ?��O� �� &�$'��� �� �U� �O� �� S��A��G� �� %��O� �@�W��J %��Y� �FQ��� �&

���F��� V�'��� ���J� �$Q��� %��O� �T�Q��#��N %��J�&���@ )��Y� �N �L$'��@�V%��O� �� ���Y��G� �����> ����� W��5��"'��Y� �: 7����Q��� W���� � �%��,���� k ≥ � V�'��� ?��O����k

���� xn × � &�$'��� (� R%��J� ���+%��� V���T�S��NQ��K��N (y�, . . . , ym) P k ≥ � %��Y��O��@ 0'��= ����+� S����&� E������> W��9����Q��� M��Y��O��� k = �

%��Y��O��@ <��X'��9��� �%��O��,���� (f�, . . . , fm) V&�$'����S��NQ��K��N 7����Q���

S =!z ∈ Rn

"" ∀� ≤ i ≤ m : fi(z) = yi

#���

(� R%� �, %� �Y� �FQ� �� V�� �T�S� �NQ� �K� �N �� �� �� �T�L� R%� �, %� �Y� �FQ� �� V�� �T�S� �NQ� �K� �N S� �@ ���+� W��X�� �T&�$'� �� H�� �K� �� E� �J�� �, S S��8Q� �K� ��� �J �'� �C� �X$ L�� �Y� �� S� ��

xn×� ∈ S S��@ ������N� (� �$Q��,�W��J $P%��!��J S V���2��8� (� W��A��X ����#�����N� S��� V(���+(���� &$ ���J H���U���� S�����Y�����N &$ P %��N'����'��� xn×�

&$ �'��X( %��,���� S Q��2��8 ���U��O��� %��N�Q����W��K��N xn×� �%��, R&���,� L� S��� E�����> &$ S��@ W��FZ%�����+� S������-��J '��C��X$ ;'��4 (� �S = ∅ *���

$Q��,�W��J V(���+(���� xn� D���O��C��Y��+ �L$Q����?��O��� 3'��, S��� S���Q��� LP%��� �&Q��. M��X�

∃v� ∈ S, v� = xn×� ���

%��Y��O��@ <��X'��9���

v� = x − ⟨x,v�⟩⟨v�,v�⟩

v� ����

v��v� V�� �T�� ��� �+�& &$ S� �A� �X V�� �T&�$'� �� v��v� %� �Y� �O� �@ 0'� �= ��� �+� b�a &�$'� �� P$ W� �G� �"�$ �'� �1 ⟨a,b⟩ (� &Q� �6� �O� �J S� �@

V��S��X�� �� {u�, . . . ,un−�} P v��v� '��� $Q��K��8 V���T&�$'��� H���K��� (� R%��, S���� �"���+ V���2��= V ⊥ %��Y� �O� �@ 0'��= M��Y� �O� ����K��T �%��O� �,����

%��,���� ���2��= M��X� V�'��� S��A��X %��J���9�����J

⟨v�,v�⟩ = ⟨x,v�⟩ −⟨x,v�⟩⟨v�,v�⟩

⟨v�,v�⟩ = �

⇒ v� ⊥ v� ⇒ v� ⊥ v� ����

&���O��@ (� �& Ψ *��X'������J '��B� �%��O��T$�W��J Rn V�'��� S��A��X %��J���9�����J S��X���� ?��X E��Y��A��-��� {v�, v�,u�, . . . ,un−�} �M��X�'������O���

P $Q� �� %� �T�Q� �" S� �A� �X %� �J�� �9� ��� �J Ψ *� �X'� ���� �J ��Ψ = [v� v� u� . . . un−�]� I� �X&P� $Q� ��Q� �� �� �T&�$'� �� M� �X� L$�$&�'� �> I� �T

Page 4: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

]��:��(�,��_��> ]��?)���5����,��_��> \+�),����Y��TW��Q��T � K��5��?�

�*��T+�) E��U��� 1��^���Q��T �X-W��% S��^� +) v� V x \���Z+�),���

v� = ∥v�∥ℓ� v� ⇒ Ψ ·

⎢⎢⎢⎢⎢⎢⎣

∥v�∥ℓ�

����

⎥⎥⎥⎥⎥⎥⎦= v�

x = v� +⟨x,v�⟩⟨v�,v�⟩

v� = ∥v�∥ℓ� v� + ⟨x,v�⟩v� ⇒ Ψ ·

⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣

⟨x,v�⟩

∥v�∥ℓ�

����

⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦

= x ����

�� �Z�'� �/�� �� S� �^� V) ,� �Z ��� �/� k ≥ � Y� �F �� �"� �T� -� V *� �U� ��� �0� �Z E� �U� ���� V E� �U� ���� �� �_� ��,� �� Y� �� X-W� �% S� �^� +) v� V x ]� �U� �=� �^

E� �U� ���� AW� �? \�� �Z�'� �/�� �� -� ]� �G� �^ Y� �F �� �"� �T� -� �*� �2�� �� k = � ,� �H� �)+�*� �T �� ��� �G� �^ ��W� �! Y� �M� ��� �0� �P S� �^�,� ���� �U� �� �*� �T��JW� ��� �C K� ���� �C

]��=� ���W� �� S��_� �U� �$ k = � \�,��� �;��C�V+) �)W��2 ]��/+,��� Y� �T�� �H�*��! *��^�� �� k = � ���L�� �% Y��"��_� ��� �T +) V ���0��_� �T JW���� �C K����� �C ����/�

�)W��2�]��P R���_��� ]��?���F V N-` 8,��2 E��^ �*������� �;����W��� S��^� ]��?,��=��P -� K�����C Y��F *��T+�) )W��!V

*�)�� �� � %�)�������'� � *�)��� +��� ����� ��� �& �� ���'� ��� -���,���� �'� ��� �0� �� -����� �� �� ��� �/ -��� ����� �� ���0� �!� ���� �� S ⊂ Rn +���)��$� ����# ��� ����

� ����� ������� ( ����� ���'����.��# "��,�����

∀a = b ∈ S : � < |⟨a,b⟩| < ∥a∥ℓ�∥b∥ℓ� � ��

.��� ����/� ]��@��U��P���T �]��D��_��D��% )*��< ,��Z B��M��:��P +*��C Y��F S��^� JV� �),��F X+���2� Y�����G��T V) Y��� *��^���� �AW��? O��L ������� � -� K�����C

���Q��/ \V���0��P�� �T \+�,��C,��� �,���� �[� �� �+����� �< Y��� ����/� ,��@� �4 ���� \V���0��� N*��< ����$ ���Q��/ \V���0��P�� �T +) ]��[� �^*����� �T Y���� �G��T �� �[� �U� ��

-� X)�� �@� ��� �/� �� �� Y� �F �� �/� S� �^� NV) Y� ��� �G� �T �*� �U� �2�� ��� �T )W� �Q� �< ,� �I� �^*� �G� �^ ,� �� S -� \W� �7� �< V) #� �_� �Z Y� �F *� �U� �F�]� �P ��� �"� �^� �� �$

�O��^+�) S��_��U��$ �]��2W��F \V���0��P���T

∀a = b ∈ Rn : |⟨a,b⟩| ≤ ∥a∥ℓ�∥b∥ℓ� �����

�*��U��2���� ������/�+ E��^ +) b V a Y��F *��Z)�]��P &+ ]��T���P- \V���0��� V

|⟨a,b⟩| = ∥a∥ℓ�∥b∥ℓ� ⇐⇒ ∃c ∈ R : a = cb �����

V) #��_� �Z ]��U� �=� �^ ����/� \V���0��� N*��< � � �� ���/�+ ���Q��/ \V���0��P�� �T +) ]��[� �^*���,��_� �> Y���� �G��T �� �[� �U� �� ���)*��"��P S��^�,����� �U� ��

Y� �G� �^ *� �P�� �=� ��� �P Ψ ,��Z \�,� �� �*� �U� �F �� �6+� �+ AW��? O� �L 9��^�,� �2 S ,��H� O� �_� �Z)�]� �P R�� �3� �T RW� �U� �F� �*� �U� ��� �0� �_� �T �� ��� �/�,� �Q� �Z S -� \W��7��<

Page 5: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

a��>��$�*��c��C a��E&���6����*��c��C `)�&*����]��X[��U��X � O��6��E�

1��b�� �U� �X a,b `Z&*� �^ Z a,b ∈ S '��c� �Y� �J 7*��E �&)�& I��Y� ���� 1��b�� �U� �X Ψ \+[� �" )& S +� [� �:� �A I��b *� ��� �J�'� �" �\�[� �%� �P&

Ψ `�� �^�V[� ��� �/ +� a� �K� �b +� a� ��� �b*� �9 b�a +� R�'� �J*� �^ W� �b�*� ���� �Y� �� �'� �Y� �2�� �� ]� ��� �2�& ]� �K� �b '� �T�� �B� ��� �T Ψ I� �b \+[� �" )& I� �Y� ����

Ψ +� V[�����/ W��b� `������/�) ���� Z&*��^ `������/�) V[��! �'��Y��2���� Ψ )& 4���$ V[�����/ I��b +� a�����b*��9 �Z& *��^ *��L� �&[��� '��Y��^�[��$

)& a,b ]��� ;[���*��T `���^�V[�����/ ]��J S��^ a���)[��5 )& ����/� S��P ;*��2 ���� *��b���D��T ]��J &[��� '��Y��^�[��$ ������/�*��U��^ b�a ����/� V���0��K��b

&[��� '��Y��^�[��$ '��T���B�����T a,b ]�� ��c�����X )& Z '��X&[��U��A S��^ *��� V[�����/ Z& W��b� �Ψ ]��K��b '��T���B�����T )������$���/ O��c��P& ]��� �'��Y��2���� ,��b���U�����T Ψ

[��:��A I��b *�����J�'�����" Ψ \+[��" )& �'��Y��2���� &[���[��T '��Y��X�[����a��U��X `��a,b W��c��Y��! .��� ����/� S��P ;*��2 ���� 8��H���Y�����T ����_������3��T ]��J

����/� V�� �c� �� O� ���� �H a��_� ���� �3� �T �)[��5 ]��� ,� �c� �X �<��b�*� �2 V&[��� R+d� G[��E ���Q� �>� �T .��K� �A ������ ��� �&)�& I��Y� ���� 1��b�� �U� �X S +�

S��P )& \'��2 *� �J( <��b�*� �2 �� �� a� �b�� �^�]� �A[� �U� � � �T �� �_� �X� `�� �^�a���Z*��$ `+)��S� �^ `�� �^�-e��J ]� �J S� �c� �Y� �J a��E*� �B� �T a��B� ���[� �� '� �b�� �� N�� �"

'��Y��Y��J�a��T &��� ��b� �) a��>��b�*��2 W��c��Y��! *��b+ `)�&*����]��X[��U��X @������� Z& ]��J S��c��^&�a��T V���3��X �'��2����⎧⎨

⎩f�(x) =

∑ni=�

i−�sign(xi)

f�(x) = ∥xn×�∥ℓ� =∑n

i=� |xi|������

V� )& ]��J

sign(a) =

⎧⎪⎪⎪⎨

⎪⎪⎪⎩

� a > �

� a = �

−� a < �

�����

���� �/� \'� �2 '� �c� �P[� �� `�� �Y� ��� �T <� �0� �� `*� �c� ��� �B� �� ]� ��� �� �/� xn� )�&*� �� `�� �^�]� �b�)& �� �Te� �A *� �M� �X�� �c� �� �� �_� �Y� �� f� @� ���� �� @� �H�Z )&

W��c� �� f� ��*� �c� �c� �D� �� \+�� �� ]� �J �� � � �X� +� �&*� �J \&�� �F� ��� �/� ]� �b�)& *� �^ ���Te� �A `�*� �� �,� � � �T @� ���� �� �� �� n +� f� @� ���� �� `�� �� ]� �� V�[� ���a� �T

+� O�����H ����/� +���c��X &)[��T ���c��� ⌈n log� ⌉*�����J�'��" �@������� W��b� a���Z*��$ V&*��J�`'��Y��! `�*��� ����/� &Z'��#��T − n−�� ,

n−��

���_��Y��� �'��2���� f�(x) = � *��L� ����/� G&���5 S��P <��b�*��2 ]��J S��c��^&�a��T V���3��X �'������� � f� @������� a���Z*��$ V&*��J�`'��Y��! *���� a��/)*���

]� �� +�� �c� �X VZ'� �� a� ��� �" a� ��� �P�� �" W� �c� �Y� �! )& �W� �b�*� ���� �Y� �� ���� �^�]� �b�)& �� �Te� �A ]� �� ]� ��[� �� �� ��� �� �/� xn� = � N[� ��� �H O� ���� �H �� �P�� �"

S��c��2���� ]���� �2�& W��c��Y� �! a.b )�&*��� Z& `�*��� *��L� �&[��2�a��T `+���/+���� ����� �K��b )[��= ]��� `)�&*����]��X[��U��X `&Z)Z �f� @������� a���Z*��$

�R�'� �J*� �^ `�� �^�]� �b�)& W� �c� �� )& Z �� �/� ]� ���� �3� �T b�a *� �?�� �Y� ��� �T `�� �^�]� �b�)& �� �Te� �A �)[� �5 W� �b� )& �f�(a) = f�(b) = �

&)�& &[���Z *��F��5���X &'��A I��b O��H�'��"⎧⎨

⎩a = [a� . . . an]T

b = [b� . . . bn]Tf�(a) = f�(b) ⇒ ∀� ≤ i ≤ n : sign(ai) = sign(bi)

⇒ aibi ≥ �⇒n∑

i=�

aibi ≥ �⇒ ⟨a,b⟩ ≥ � �����

Page 6: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

Y��7��$�)��[��< Y��>&���2����)��[��< X(�&)����U��PS��M��P �� I��2��> �

�&S��� '��V�S��$ )��?��1���P aibi �I��1���# i (�'��B��L C��Z X�)��� K��D����-& �)��Z* '�����>��Y��M��P @���?���� K��V XR���.��� R

⟨a,b⟩ > � ������

*� O� �Z�)� ���� �Q� ��� �� ��)� �?� �1 �� �J�� �# (& +� � U� ��� '� �Q� �/�� �� &S� �M� �: '� �Q� �P�S� ���Y� �M� �P b�a (�&)� �� R& �f�(a) = f�(b) )� �F� �)� �G� �Z& N�� �[� �� U� ��

*� I��1���# U��PS��M� �P '��P�S����Y��L Y��E��Z )���� �D�'��# �'��Q� �D�Y��L &�� �!��Z� Ψ T�S��%��J& U��E��Z '��L�� �;� ��� �L ,��Z)����� �L U��D Y��E��Q� ���� X���V�� ��� �-�( O���� �[� ��

�T�S��%��J& X����� �-�( )��V (& U��D '��Q� �D�Y��L ����!��Z� f *� I��1���# U��PS��M��P U� �D ���-� O��Z� T'��P�� �L Y��A�� �� U� ��� �E� �P �� �W� �Q� �� �'��Q� �D '��[� �JS��� �( f�

����-� O��[��Q��" �'��Q��/���� ������-�)��M��V b�a )��F� �'��Q��D &���!��Z� �( f R f� *� I��1���# X���V�U��PS��M��P �(�&)��� C��Z )�����D�'��#

∃c ∈ R : a = cb ⇒ f(a) = ∥a∥ℓ� = |c| ∥b∥ℓ� = |c|f(b) ������

�� �L� '� �Q� �D�Y� �M� �P &�� �!� �Z� Y� �3� �A�� �Q� �� R �� �-� )� �8� �P &(S� �L �� �J�� �# c = � ���J�� �# �'� �/�� �� |c| = � '� �Z�� �� �f(a) = f(b) )� �F� ,� ��

����.��[��P HS�����A I������A c = −� ���J���#

c = −�⇒ a = −b ⇒ ⟨a,b⟩ = −∥b∥ℓ �� ���

R& C��M���� �D U��� X(�&)����U� �PS��M��P 5��-S��� U��D '��/ ������ �� O��Z�)����� �Q� �� ����-� &���3��� (& f�(a) = f�(b) *� T'��/ '��[� �JS��� 4)��/ ���� U��D

X*���-*���� C��Q� ���� (�&)��� C��Z )���� �D�'��# ��Ψ ,��Z)������L� N&S����C��Q� �� T*S��# ����%���� �P� *� I��B���� �.��L �T'��/ Y��>)��;��L f R f� 9����� ��� ��

���� U��!��[���� �P (& R &S��/�Y��L O��[��[� �;��� f� *� I��1���# U��PS��M��P 5��-S��� C��Q����� (�&)��� X������-�( �'��/ T'��V���0��L U��D (S��6�N���M��V �&S��/�Y��L

(& '� �Z��Y� �L &S� � S� �� U� �D Y� ��R�� �?� �� �� �W� �Q� �� �'� �Q� �D�Y� �M� �P )� �[� �[� �=� �� T'� �/ X*�� �-*�� �� H�� �Q� �G� �[� �- X�� ��� �-�( � f9� ���� �� Y� � R)� �$ N&)� �D�X'� �Q� �"

(S� �6 U� �� �(�&)� �� T*�'� �P� (& T'� �/ '� �[� �JS� �� X�� �7� �$ U� �D &)� �D T'� �V�� �0� �L N�S� ���Y� �L ���JS� �W� �- U� �� ����-� T'� �/ X*�� �-*�� �� (�&)� �� T*�'� �P�

U� �� �X&R(R C� �"S� �D X�� �V�� �7� �$ �,� �� ��� �-� f *� I� �1�� �# U� �PS� �M� �P N&)� �D�X'� �Q� �" *� Y� �/�� �P X�� �7� �$ �� �� �� �-�� �Q� ��� �L Y� �7� �$

R& X��� U��� �'��Q��/���� )��8��P &(S��L Cn X���V(�&)��� �Rn X���V(�&)��� X��� U��� )��F� �'��PS��/�Y��L I��Z'������ Y�� R)��$ C��"S��D X���V���7��$

�&)��D T&���?�����-� )��Z* 9������� U��- *� '��Z���� @S��> 9�������⎧⎪⎪⎪⎨

⎪⎪⎪⎩

f�(x) =∑n

i=� (i−�)sign

(ℜxi

)+ i−�sign

(ℑxi

)

f(x) =∑n

i=� |xi|

f(x) =∑

xi =�msign(ℜxi)·ℑxi

|ℜxi|+|ℑxi|

������

�N� (& U��D

msign(a) =

⎧⎨

⎩� a ≥ �

−� a < �������

Page 7: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

d��?��(�.��f��D d��F*���9����.��f��D c-�*.����`��[^��X��[ � R��9��F�

c�.��� ����2� /���F d����� �e/���� c�.��� U^��2 A����� �� �+��\� �\� �L�d��W �� �G� �e� d��b� ���� �7��W 5��J� �[ ] +��\� ��� �3��a d��T� ��� �I A����^��� `����� �7��W ��� ��� �e.��J� �� Q]� A����� �� ]*

�V��f��\��L�d��X��[ ��������� �- Cn ���S���% Z�����W Y+��6 d��[g^��> /� 0��f��a.���

����������� ������������� � ��� ������ ������������������� ������������������� ���

c�� �e�0� �W Y*^� �� d� �?� �( ��� �2� c-�*.� ���`� �[^� �X� �[ c�_^� �&� �[ Y*^� �� d� �?� �( _*.� �7� �F c-�*.� ���`� �[^� �X� �[ ��� �;].� �G� �W Z� �e.� ���d� �e�+� ��� ��� /�

`� �� *]-] �� �� Y�^� ���d� �W �� �e� �� �W� *-�* .� �� -* �- d� �C� �X� �! 0� �e^� �[ Y*.� �M� �[ �� �e^� �J� �� ] _*�� �2 R� �f� �T� �&� �� �� �f� �T� ���� �I `� �T� �X� �! /� c-�� �f� �3� ��

c�� �a�4]- /� _*�� �G� ��� �2� �� �� `� �L V� �f� �a*�d� �W Y�� �7� �[ 5� �)� �� Z� �e� -* �*-]� ���2+� �� d� ��� �e0� �W d� �?� �(.� �f� �D c-�*.� ���`� �[^� �X� �[ c�� �a�4]-

-�� �f� �3� �� `� �L *-]� Z� �f� �e�� �� �k − � �� �� �- 0� �e^� �[ Y]+� �� �� �S�� �% -* c/�� �2/�� �� c�.� �� U/g c�� �a�`� �[^� �X� �[ *�+� �C� �� Y�^� ���d� �W d� �?� �(.� �f� �D

c.� ��� �X� �L -�� �f� �3� �� d� �O+� �f� �#� �f� �� �� �� c/�� �2/�� �� _^� �&� �[ Z� �f� �\� �#� �X� �a ��� �2� _+� �6 .� �L, d� �?� �( c�� �a�4]- -* U/g '.� �[ /� .� ���Z� �f� �e�� ��

R����� �J� �W -* �d���g�� �X� ��� �%� �-^��8 `��� `� �[ ] ���2� d��C� �?� �I �-^��8 `��� `� �f� �S]� Q�� �\� �P� �f� �2 c/�� �2/�� �� Z��f� �X� �<��� ] *.��f� �O�d��W �-^��8

5��e�0� �F� �- c-�*.� ���`� �[^� �X� �[ d� �O+� �f� �#� �f� �� Z� �f� �\� �#� �X� �a ] +� �[-�* c.� ��� �X� �L c-�+� �e�� �� d� �C� �X� �! 0� �e^� �[ `� �� ����� �3� �[ d� �?� �(.� �f� �D c�� �a�4]-

�+��\��a*�d��W

`� �[^� �X� �[ *�+� �C� �� �� �� xn� /� d� �?� �(.� �f� �D c-�*.� ���`� �[^� �X� �[ �� �� V� �f� �a�^� �(�d� �W �+� �6�� �� K��\� ���k -�*.� �� K��e xn� +� �f� �\� �L :.��F

��*�* V��f� �X��C��� 0��f� �[ ���2� $.��?��W Ψ Y*^����K��\� �� _/^��% `��L d���� �S�� �% `��� Y�^����d��W �- ��e����� �[� V��f� �\� �L c/���2/���� �- Y� ��k − �� V��L

�V��f��\��L�d��W E��e.��C��� .��e/ �-^��8 `��� �- d��?��(.��f��D c���a�`��[^��X��[ �+��\��6���� _�^��)��S* d��J��f��J��% *�+��B� a�, . . . , an+��f��\��L :.��F

⎧⎪⎪⎪⎪⎪⎪⎨

⎪⎪⎪⎪⎪⎪⎩

y� = a�x� + a�x� + · · · + anxn

y� = a�x�� + a�x�� + · · · + anx�n

���

y�k−� = a�x�k−�� + a�x

�k−�� + · · · + anx�k−�n

�����

Y�^� �� `� �� �g^� �b� �"� �W *^� �( `� �L +� �f� �\� �L �� �I* +� �[^� �W-+� �[�] c�� �a�1� �e.� ���� �W �� �e ] � N� �\� �e+� �L `� �� c.� �a�� �@ �� �a�� ��� �6 *^� �!] �� ���

Z� �f� �� -* K� �\� ���k ���S�� �% .� �a `� �L V� �f� �a* d� �W Y�� �7� �[ ���� �2� d� �?� �(.� �f� �D c-�*.� ���`� �[^� �X� �[ Z� �e�.� ���� �\� �� ��� �e�.� �; `� �[ ] +� �\� �2-�d� �W

H^��F =����]- -* `��L +��f� �\� �L ���I* �+���� ��� �*.��L ��.��)���� �2� {y�, . . . , y�k−�} c���a�`��[^��X��[ c]- /� Y�^����d��W �- xn×� c���a-�*.���

`� ��� �?� ���- K� �e -* {yi}�k−�i=� `� �S�� ��� ��� �[* Z� ��� �e�.� ���� �\� �� �{xi� , . . . , xik} �h� ��� �W +� �\� ��� �3� �a.� �G� �8�� �[ xi c�� �a�`� �T� �X� �! /� �� �� k .� ��� �L�+� �%

Page 8: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

X��6��&�*��Z��: X��;'���3����*��Z��: W)�'*����T��OR��L��O �� F��3��;��

�(��P��A�X��K =(��2 k T������*��K +� N��D��L��U Q X��6��& �X�����1��C+����

∃c�, . . . , ck ∈ R : yi +k∑

j=�

cjyi−j = � (k ≤ i ≤ �k − �) ������

W�*��� ��J��Z� ��� �&���-�X��K X��U���P� ��� �K�� �O )R��6��� �) T��G�� ��� �O' *��C�� 'R��� (��P� �U�R��& yi T��G�� ��� �O' Z F��Y(���� �� W���U����6��> �*��<� �2���O W���U�xi 8��>�Q )'

ER��V��!��K�k Q T��G'���9��K�k +� )R��7��P� �K N��Y� W�*��� �����U�ci� ���-� yi X�����1��C+���� T��G����� �O' ���Y�*��4 N�����;���Y �I���C N��Z��GQ� ����U�xij N�����;���Y

�����-� IR��H��9��K F�����> +� y� =∑n

i=� ai )�(��?��K�J��Z��P��A�X��K S'���<�����-� *��Y+⎡

⎢⎢⎢⎢⎢⎢⎣

yk−� yk−� . . . y�

yk yk−� . . . y����

���� � �

���

y�k−� y�k− . . . yk−�

⎥⎥⎥⎥⎥⎥⎦·

⎢⎢⎢⎢⎢⎢⎣

c�

c����

ck

⎥⎥⎥⎥⎥⎥⎦=

⎢⎢⎢⎢⎢⎢⎣

−yk

−yk+����

−y�k−�

⎥⎥⎥⎥⎥⎥⎦������

���$��� ')R��K T� �K�'� )' �(��0�� �� N��Z� �B� �� S�� �D� ��� �-' N��Y� T� �A X���� �G�� �#� (��P� �Y��X��K ���-(��� ci ���Y�*� �4 �=R��; S�� �D� ��� �-' F��# �� �� N��Y�*� ���� �P� ��

���Y�*��4 ���� W��T��H��L�� �(��P��" T��1��Y) ����U�xij � xn� )�'*��� *��<��2���O *��Y'���?��K �(��0 T�����<��C T��A )R��6��O���L��U MR��P��A� �����;*��C (��U�R��& )�*��>

�(��P�����.��U ci

q(z) = zk + c�zk−� + c�z

k−� + · · · + ck

⇒ q(xi�) = q(xi�) = · · · = q(xik) = � �����

xn� )�'*� �� *� �<� �2�� �O *� �Y'�� �?� �K ��� �U�ci M(� �K� �� �-(� �� +� ,� ��� q(z) W��T� �H� �L� � (� �P� �" W�� �U�T� �1� �Y) M')Q� �� �-(� �� �� �� N� �Y�*� ���� �P� ��

Q ���� X��?� �Z� �?� �# W�� �U�(� �A )' �� �6� �& W�� �U�M�� �B� �K N� ��� �;�� �Y )' /Q) T� �� W'�� �Y+ ���U�� ��� �0 =R� �; /Q)� (� �OR� �0�X� �K F� �2�� �#

W)Q�R��O %*��O �� �� W���U�E���P� �D��Z� �- +� W)�'*����T��OR��L��O ���$���� �K )' @��L��A T��� X��D���� �-R��Z� ���� �O W���U�M���K+ N���� �;�� �Y

X���)' ,���� �- Q (��OR��0�X��K T���� �-�� �$��K xn� )�'*��� *��<� �2���O *� �Y'�� �?� �K �(���� ��� �/Q) N��Y� )' T��A (��Z� �P� �A ���>' ��� � ')�' 'Q(��$��K

(��OR��0�X��K N��Z��Z��9��� ���U�M���B��K EQ� �S'*��1��; W)�'*����T��OR��L��O ���Y�) W���U�/Q) )'� 'R��� J��Z��U�R��& xn� )�'*��� )' *��Y'���?��K N��Y� M���B��K

��*��Y'���?��K (��9��� Q

T� �A y�, . . . , yk−� @��L� �A T� �� M�R� ���X� �K X� ��� �#�) T� �� ���� �U�xij � yi T� �G�� ��� �O' Z F��Y(� ��� �� W�� �U����6� �> M')Q� ���-(� �� +� ,���

��dj� ')Q� ���-(��� J��U �) ���6��> *��U �������� ���Y*��4 ����-� X�����1��C+���� T��G������O' W�*��� T��Z��GQ� 5��Y�*��0 (��P��O���L��U

yl =k∑

j=�

djxlij

, � ≤ l ≤ �k − � �����

Page 9: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

`��=��'�,��b��A `��B)���7����,��b��A _+�),����\��WZ��T��W � N��7��B�

Q�� �L� ��� �X� �] \� �I *��X� �3�� �� \� �b� �OY� _���]�ai U���T� �] *��a�� �� *� �W��[*��3 N��6���& `�� � �4� �K-�� �� \� �O�� ��� �W) N��& -� \��I ��� �]�dj� ���a�,� �9 V��a� `��B,� �< -�

���0*��� _�� �]�\� �4��a+ -� Q�*��I,��] R��b� �]) 5��b� �(��4��� R� �b� �W�Z� ���`��S �� �]�ai �� �� �� �]dj E����� �=� �� -� �/��� �*� �W��[*��3 ����(�� � �W� _+�),����\� �WZ� �T� �W

*��X� �3���� .��a�� �T�� � �S �� �]�ai *��a�� �� �E����� �=��� V��a� +) Q���^� ��� -� _,��b� �KZ��P� �! _�,��� �*��W��[)Z��� xn� +�),��� +) U���J��S Q�*��I \��� :Z���,��S [*��S�

`� �=� �' [�� �L� � � �0) \� �I `� � � �O�� �& +) �V� �a�,� ���� �X� �� ��xj �� �a ���0� [)Z� �� ,� �C� �6�� �W xi \� �I ���1� �b� �W QZ� �P� �@� �S �ai Y aj _,����,� �� �+Z� �6+)�

�*��S� *��]�Z��' ���0*��� `��@��=��F Y ��� ��J��a +Z��< \��� H��X����k ��Z��! �*��3������W V��b��J��� [*��3 %,��=��S

�*��3���� V��b��J��� `��=��' [���L�� ��0) \��I )Z��3�`��S %,��=��S `�� ��O���& UZ��X��I�

det

⎢⎢⎢⎢⎢⎢⎣

yk−� yk−� . . . y�

yk yk−� . . . y����

���� � �

���

y�k−� y�k− . . . yk−�

⎥⎥⎥⎥⎥⎥⎦= � ����

V��a� �*��X� �X� �I�`��S D*��6 �k 8Y,��C� �S MZ��< \��� ����� �1��W� _,�� � �J��$Z��I `�� � �4��K-���� \��O�� ��� �W) +) ���]�{yi} \��I ���0���X� �@� �S V��a*��� ,��S� V��a�

_,��L��a) Y [)Z��� k -� ,�� � �T��I xn� +�),��� ,��C� �6,��b� �A _���]�\��C� �OZ��S )�*��@��� \��I V��a� MY� �*��3���� \�� � �3�) *��W�Z����`��S ����4��X� �S Y) D���C� ���

R� �] �� �� �� �]��� �=� �F �� �a�,� �9 �+�*� �G� �S Y) _,� ���,� �� �+Z� �6 +)� *� �W��[)Z� �� ,� ���,� �� R� �] �� �� ,� �C� �6,� �b� �A _�� �]�\� �C� �OZ� �S -� _)�*� �@� �� \� �I V� �a�

Y *��X��a� ���0*��� ,��C��6���W ,��a)���G��S *��a���� �*�� ���� �N�����F \������4��S ��*��X��X��I�`��S [Z��P��! ���=��F H��a �+Z��6 \��� ���a���^��W +) Y *��WZ��3�`��S >��T��!

_�,��� ����0� -���b��W ���0���X��S `�� ��4��K-���� \��O������W) H��a \��� �\��"��b�� ��W +) �)Z��3 V��b��b��@��� ���]�U� U)Z�����W Y U)Z��� _+�,��J��� Y ���]�U���J��S /�����0

V��b� �J� ��,� �b� �A /��a,� ���� �S H��a \� �� �� �� R� �b� �]) 2��]�� �I +*��G� �W� �)Z��� [*��3 8,��B k �*� � � ��� -� \� �I �+ `��=� �' [�� �L� � � �0) )�� �@� ��� *� �a�� �� ,� �S� V��a�

�R��b������a ���0)

Ai =

⎢⎢⎢⎢⎢⎢⎣

yi yi−� . . . y�

yi+� yi . . . y����

���� � �

���

y�i y�i−� . . . yi

⎥⎥⎥⎥⎥⎥⎦, � ≤ i ≤ k − � �����

V� �b� �� �Y�� �C� � � �S ,� �C� �6�� �W ,� �a)�� �G� �S )�*� �@� �� ,� �L� �W�� �b� �� i V� �a� � detAi = � \� �I R� �b� ���� �b� �� �+ _��i V� �a,� � � �K+.� �� *� �a�� �� �,� � � �^� �� U�� �b� �� \� ��

\� �� xn� +�),� �� ,� �C� �6�� �W ,� �a)�� �G� �S ��� ��� �F�� �@� � � �S Y i \���� ��,� �S `� � � �4� �K-�� �� \� �O�� ��� �W) U*��S� ���0*��� -� /��� ����0� xn� +�),� �� _�� �]�\� �a�+)

���� ,����,��� dj ,��] ���� �^� ���� �4��S �*��WZ��3�`��S N��6���& ����]�dj� ���]����=��F ���a�,��9 ��`�� � �4��K-���� \��O�� ��� �W) \��b� �OY� ;��a�,��3� y�, . . . , yi H��T��I

>��T��! R��] ���� ���]�U� aj ���a�,��9 �*��X��3���� ,����,��� xn� -� ,��C��6���W _�\��a�+) *��X��$ \��I `��S���L��X��]� ���0���]�aj -� `��@��T��!,��a- ���a H��a

*��X��3���� _��\��WZ��K \��� ���]�aj *��a���� ����]+�,��J��� Y ���]�U���J��S Q���^���� UY*��� 5��b��(��4��� _�,��� UZ��X��I� ��)Z��3 N��6���& `��a���^��W dj ���� )Z��3�`��S

�� �� �� �]�aj -� `��@� �T� �!,��a- Y) #��b� �] ,� �K� ����0� D)�� �6 .��b� �W ���P� �=� �S V��a� /��J� �? �)Z��4� �W ,� ���,� �� �� �]�U� -� `��@� �T� �!,��a- Y) #��b� �] \� �I

Page 10: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

`��;��%�*��b��A `��D'���5����*��b��A _)�'*����]��X[��U��X � O��5��D�

\'���. ����&�����X� I��a �'*��J W��b��b� �@��� �) ]��b��PZ� _���^)�*��K��� Z ���^�V���K��T ���^����dj _Z) +� V�[����`��T ����� �K��a )[��;��� �(��Y��2������X *����*��� *��M��a(��K��a

����.� � _���^�V�[��� ����^�aj _�*���

� ≤ j ≤ n : aj = �j �����

_+�� �.+�� �� O� ���� �G �,� �a[� �X VZ(� �� �� �P�� �# )'� `� �Y� �b� �H� �a )[� �: ]� �� ]� �b� �PZ� I� �Y� ���k _�� �^)�'*� �� R�� �U� �� ��� �^�aj ���.�� �Y� �T ��� �&� ��� �X� �� �� -� ��

�(��Y�����/��^

_��� ]��� V�[����`��T ����� )' \(��2 (��b��P[��� `��;��%�*��b��A _���^�]��X[��U��X )' �(��2���� f(�) = � ���� I��a ]��� I��a `��@������� f *��L�

f ]��J ���!��X� +� Z (��a��`��T ���.' ]��� f(xi) �xi _��� ]��� ,��b��X _+���.+���� (��XZ) )' �)[��4 W��a� )' �'*��J \'���E�����.� f(xi) +� xi

)�'*� �� V'[� ���I� �Y� �� ]� �J ')�' �� �b� �U� �^� Z) W� �a� +� f(�) = � 8*� �2 �'*� �J �(� �b� �� �� �.' xi ]� �� V�[� ���`� �T ��� �.� I� �a ]� �� I� �a

�(� �Y� ��� �/� �^ *� ��� ��� �@� �T +[� �Y� �^ \(� �T� �� �.' ]� �� �� �a�� ��� �X W� �a�*� ���� �Y� �� Z �� �.� F'�� �4 [f(x�), . . . , f(xn)] )' V�� �J�� �U� �J [x�, . . . , xn]

W��b��� xi *��^ ��*��b��b� �B��� ]��Y� �T�' (��b��Y� �J 6*��D ����.� *���[��T )���b� �/��� ���^�]��X[��U��X ��*��b��b� �B��� ]��Y� �T�' V'*��J 'Z(��$��T )' f >������� +� \'���E���� �.�

W� �a� _�� �^�V�[� �� `� �;� �%�*� �b� �A _)�'*� ���]� �X[� �U� �X 0Z) )' �(� �2�� �� *� �E� �4�� �X ]� �a�)' k O� �T�� �2 [x�, . . . , xn] )�'*� �� Z (� �2�� �� [−�,�]

*��L� V[��Y��J� �(��^'�`��T 1��a�,��D� [−��k−�,��k−�] ]��� �) ��*��b��b��B��� \'Z(��$��T ]��J (��X[��2 ]�����.���$��T (��a���� �k − � ]������*��T ���� *��a'���H��T

_�*��� >������� W��a� `��D*��: +� ����.� �������� i *��^ _�*��� f i(x) ��*��b��b��B��� \'Z(��$��T �'*��b��L )�*��G \'���E�����.� ')[��T f(x) = ejπ� x >�������

O��# �) ��*��b��b��B��� \'Z(��$��T O��K��3��T V�[����`��T ���.���Y��T f >������� +� \'���E�����.� ���� -��� ����.� I��a ]��� I��a xi *��<��X ')[��T \'Z(��$��T

]� �� 'Z(��$� �T xi ��*��b� �b� �B� ��� (� �a*� �b� �M� �� *� �<� �X)' �) *� �a+ _�� �^�]� �X[� �U� �X �`��H� �b� �H� �# _�� �^�]� �X[� �U� �X �� �� `� �;� �%�*� �b� �A N�� ��� �T I��a V�[� �Y� �? ]� �� �'*� �J

�����.� [−M, M ]⎧⎪⎪⎪⎪⎪⎪⎨

⎪⎪⎪⎪⎪⎪⎩

y� = a� sin(

πx��M

)+ a� sin

(πx��M

)+ · · · + an sin

(πxn�M

)

y� = a� sin(�πx��M

)+ a� sin

(�πx��M

)+ · · · + an sin

(�πxn�M

)

���

y�k−� = a� sin((�k − �)πx�

�M)

+ a� sin((�k − �)πx�

�M)

+ · · · + an sin((�k − �)πxn

�M)

�����

�'*��J ]��a,��!��� 9��Q�����&��T `��a���U��X >������� Z' ]��� V�[����`��T �) F[��D _���^�]��X[��U��X )' `��.[��Y��b��. >������� *��^ �sinx = ejx−e−jx

�j ]��J ���!��X� +�

`��2Z) *��L� ]��!��b�����X )' Z (��Y��J�`��T F(��4 �k ]������*��T `�����3��L+���� ]��;����) I��a )' {yl}∞l=� ]��P������X' ]��J (��^'�`��T V���3��X =[��7[��T W��a�

)�'*� �� V�[� ���`� �T ]� �X[� �U� �X �k �� �� ���P�� �# W��a� )' S��b� �^'�`��T V�� �3� �X ����.� ��� �b� ��� �#� ]� �X[� �U� �X k − � ]��� �'[� �2 \'�� �E� ��� �.� O���� �G ]� ���� �3� �T

�S��a)�' O�����G �)[��4 ]��� q(z) _��]��Q��U�� (��Y��" C��a*��@��� ���� �'*��J `������a+���� �) I��Y����k

∀� ≤ l ≤ k : q(z) =�k∑

i=�ciz

i =k∏

l=�

(z − ej

πxil�M

)(z − e−j

πxil�M

)=

k∏

l=�

(z� − �z cos

πxil

�M + �)�� ��

Page 11: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

_��;��%�+��a��@ _��B'���7����+��a��@ ^*�'+����[��VY��S��V �� M��7��B��

����/� T*���G�����R ^��[��O��S���(��W��! H��` q(z) X c� = c�k = � [�� ��a�����V *'

ci = c�k−� �����

.���

∀l : � =�k∑

i=�ciyl−i = ckyl−k +

k−�∑

i=�ci(yl−i + yl−�k+i) �����

�Q��a��`Y��� Z+��]��� +��`, Z���L�����/' M��# ,� Q��a��V�Y����_��R ���\ci T'*X� ���/' [��� ^�+��� .���

⎢⎢⎢⎢⎢⎢⎣

yk + y�−k yk−� + y−k . . . y� + y� y�

yk+� + y−k yk + y−k . . . y + y� y����

���� � �

���

y�k−� + y� y�k−� + y� . . . yk+� + yk−� yk

⎥⎥⎥⎥⎥⎥⎦

⎢⎢⎢⎢⎢⎢⎣

c�

c����

ck

⎥⎥⎥⎥⎥⎥⎦=

⎢⎢⎢⎢⎢⎢⎣

−(yk+� + y�−k)

−(yk+� + y�−k)���

−(y�k + y�)

⎥⎥⎥⎥⎥⎥⎦�����

[�� ��a�����V *' �y−l = −yl Q��`*�' ���\�[��VY��S��V A��`+��?��� [��� [���Y��� ���� U��a��W��"��S��\ X ���/� PY��O��?��R 1��a��� ,� y� = � -��a��V ��� ��W��`� *'

[��VY��S��V �k ���]� �W� �� ����� Z���L���� �/' M��# ^�+��� .��� �'Y��� (��W� �\�Y��% PY��O� �?� �R y−�, . . . , y�−k +��`'���G� �R �y�, . . . , yk−� U���� �2�' ����

,� .��� X Q��a��\'�_��R M��a��J��3��� �* q(z) ^��[��O��S���(��W��! M�����F [������3��R �c�, . . . , ck ���`�+��8 T(��R� ���/' [��� ���� ����/� P,b ���\yi ,�

[��N�� ��� �V' X ai ���`�+� �8 H��S��I �� �� X Q��a� �W� �I�_��R *�� �J� �2� �* [x�, . . . , xn] *�'+��� +� �C� �6��� �V +� �`'�� �G� �R �T� ^���\�[� �3��`* T'*X� ���/' [���

�(��VY��2�_��R 5��&��3��R -��a��V +��`'���G��R U��`� T���J��R �{yl}l _�����3��K,����

+� �C� �6�+� �a� �@ *�(� �G� �R k 'Y� ��X *' �� �]� �W� �� Z(� �2 _� �/*+� �� _� �;� �%�+� �a� �@ ^*�'+� ���[� �VY� �S� �V *' x *�'+� �� T'Y� ���H� �W� ���k �� �a� �S� �\�

+� �`'�� �G� �R *' =Y��W� �� [� �J� �O� �� ����0��a� �V +� �C� �6��� �V +� �`'�� �G� �R '�(��?� �� _��O� �6� [���� �J� �V �+� ��� �]� �� �*����� �> [� �� ����/� *�'+��� +� �`'�� �G� �R U��a� �� *' A��O� ��� �&��R

�'Y� �2 ���B�� �` T� ^�� �\�[� �`�*' U��a� �� *' A��O� ��� �&� �R *�(� �G� �R k �� �]� �W� �� �� �R� (� �W� �2�� �� +� �C� �6��� �V x *�'+� �� +� �`'�� �G� �R _� �R�� �S� �� +� �K� ����/� +� �C� �6�� �V

X +��`'�� �G� �R U��`� �Z(��2 T���a� �� ���N�� �;��R E����� �;��R X '+��I (��\�Y��% D(��6 k [���*' _���� �3��K,���� [� �N�� ��� �V' H��` *' T���W� �"��S��\ {yl}l [��N�� ��� �V'

�U� �`�+� ���� �W� �� �(� �V��[� ��� �/�� �$� �R M� ���� �F �� �\�[� �VY� �S� �V ^X* ,� �ai �� �`�+� �8 T(� �2 ��� �&� ��� �V� �� �/�� �W� �R �*Y� �6 *'� �� �\�T� ^�� �\�T�� �J� �R

[� �J� �O� �� �(� �\'�_� �R 1��\�� �I �* ^,�� �/,�� �� M� �S� �> _� ���� ��� �/�� �$� �R _� �K(� �a� �"� �a� �� X P,b [� �VY� �S� �V '�(� �?� �� �� �]� �W� �� [� �V _� �;� �%�+� �a� �@ ^*�'+� ���[� �VY� �S� �V

�(��W��I�_��R U��a��S��9��� (��W�����0��\ H��W����k ^���\*�'+��� ,� _��S��a��S��?��� [��I _��$��;��/�k ^���\�*�'+��� [��>Y��S�� ��R ^�+��� �* M��R���I ^,���/,����

'+��J��O��S��> M��a��O��$��� �_��;��%+��a��@ ^���\+��L��O��S��> ,� Z'���C���� �/� M��a��N' [��� �-��`Y��V 4Y��7��%*' �(��2 +��I) �(������� *' [��I *Y��:�T���S��\

*�� �<� ��� �V� T�Y� ���_� �R �'+� �J� �O� �S� �> '*Y� �R *' X 'Y� �2�_� �S� �V Z(� �\�� �3� �R _� �V�(� �W� �! �� �B� �Q� �I ^�� �\-� �`Y� �V *' [� ��� ��� �N� ��� �/� Z(� �a� �"� �a� �� *�� �a� �0� ��

����2�' � � [��� ������0��V _��]������3��R

Page 12: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

Z��7��"�'��\��< Z��?$���4����'��\��< Y&�$'����V��QT��N��Q I��4��?��

50 100 150 20050

100

150

200

250

SNRinput (dB)

SNR

rec (d

B)

k=1k=2k=3k=4k=5k=6

�O$T����C��R��� �S���@�����M Y���W�V������'��M Y�'��� Z��7��"�'��\��< Y���W�V��QT��N��Q 5��,T��� U%��0 Y(���,(���� H���R��G��\��, ���\��@��\��D �� I��E��0

����� ��������� ����������� ���

Y�'��� �L��\��R��D�Z��M Z��,&'��� �$&�%��Q ��'��\��\��=��� U$S%��!��M I��E��1��M V��D Z��,T��R��\��, 9������� .S& ���� �& Z��7��"�'��\��< Y&�$'����V��QT��N��Q $'��E��K��N��:

S Z� �?$�� �4� �� �&T� �3 V� �� '� �@� �3�� �Q Y�� �W�O�� �E� �M V� �D L� �[��V� ��� �?'� �F '� �8� �Q &$ n = � HT� �6 �� �� C� �R� ���k Y�� �W&�$'� �� &T� �8� �R� �M P� �[�

[−�,�] &$ ���"�T��R� �E��[ 9��[(T��� �� �� '��@� �3�'��\� �< '��[$���B� �M P��\� �R� ����N��W �%��QT��0�Z��M ����#���� �Q� >��K� ��� �#��M ���J�� � !�

k

"P��\� �� (� H���N���� � ��L��W

ai = �i ����#�����Q� V��� Y(���\��Q ����,� )��\������Q &���\��-��� &�$'��� &$ '��@��3���Q &�%��B��M S$ Y'����'��� H���N����� � V��D ������Q� (� �%��QT��0�Z��M &���\�����"�

'� ��� Z� �,&'� �� Y�'� �� �L� �[��U$'� �D U$�� �@� ��� �,� '� �@� �3 P� �\� �G� �Q�� �\� �MS Z� �,T� �F 9� �[(T� �� �� �� Z� �?$�� �4� �� Y�� �Wai (� &T� �8� �R� �M P� �[� Y�'� �� S ���-� �\� �Q

Y�� �W �� �� %� �Q��V� ��� �?'� �F &�'� �A 2��#� �1� �M Y�� �W�+��Q�� �[&�S �� �� Z� �,T� �F Z� �;� �N� �� )� �[T� �Q '� �\� ���� �� �� �!� �� Z� �7� �"�'� �\� �< Y�� �W�V� �QT� �N� �Q �)� �[T� �Q

�$T��0 $������[� Z���S���@�����M

O�� �1� �Q k = �, . . . ,� Y�'� �� Y$S&S �� �-� � '� �� �& � � U%� �0 Y(�� �,(�� �� H�� �R� �G� �\� �, �� �\� �@� �\� �D �� I� �E� �0

Y(���,�V��\�����0 �� Y�'��� ���[������Q S ���,� U%��0 U$���@�����,� V��QT��N��Q �k (� �k '��W Y�'��� �&�$T��N��Q P��[� O$&S� ���,$ V��� Y�'��� �%��W$�Z��M

%������[�Z��M /��[�)��?� )��[T��Q V��� ������-��Q ���\��,���-�� �k /��[�)��?� ���� V��D %��W$�Z��M O���1��Q �� I��E��0 �%��Q��U%��0 Y'��\��F�P��\��G��Q������M �S���@�����M

�$T��0�Z��M '���$T��X��1��M ���\��@��\��D ���?� S

P��\� �;� �M��'��? U���G���� �,$ C��[ V��� I��[%���� �� ���� V��J$���;��M �%��0���� *'���� �,$ &$ ���Wyi (� V��QT��N��Q �k (� '���� �1��\� �� V��D Z��M���G��R� �W

Page 13: دانشگاه صنعتی شریف - خانهsharif.edu/~aamini/Thesis/Chapter5.pdf · [ : AI b* J ' "Ψ \+[ ")& ' Y 2 &[ [ T' Y X [ a U X` a,b W c Y !. / S P;* 2 8 H Y T _ 3 T] J

@��(�������B��+ @��,����&�������B��+ ?��������=��8;��6��8 � 3��&��,��

50 100 150 20040

60

80

100

120

140

160

SNRinput (dB)

SNR re

c (dB)

OSR= 4OSR= 3OSR= 2OSR=1.5OSR= 1

��:���-�����5 ?���> �� k = ?��� =��� @��(�������B��+ ?���>�=��8;��6��8 '��";��� <���% ?����"����� 2���9��1��B��" ���B��-��B��/ ��� 3��0��%

�� �4��A��<��� �/ @��"����� k = ?����� �� �� ��� 7��A� �� 3��0� �% �� ������� �A�@� �5 $��>�� �/ ?�:�: ��A;� �8 �� �B� ���� �� =� ��� �B� ��� �8 �� : �;��%�@��5

=� �� = �D C���� �5 ����"� ��k� ��� �B� �8 ��;� �5 3� �.��� �� =� �� !����� �"� �� =� �8;� �6� �8 ���� �*� �� ����� �#� �8 �� �;� �)� �9� �5 3� �0� �% 7��A�

����"� =��8;��6��8 �k �� <����-�����"� ?���9��*��5