Efficient BackProp

44

Transcript of Efficient BackProp

� � ����� � �� ��

���� ������ � ���� ������ � � ��������� � � ��� � ��! " #��$%&�'��� ( )�##��*+ ,- ./0 123405567/ 8050.249 :0;.2<- 07< =>? > @.A5 B 8 050.249 C DEE F49GHI :26J0 C

80K L.7M C N O EPPE DBPEQQ C R F=S T 6HH.- 0<<0 R76J0256<UC VEE F<.<0 F<200< C F.H0- C W8 VPQE DC R F=

X YZ: [,8F> C 8GK3\02 ]9.G5500 ^ C D_`aV L02H67 C Y02- .7UbU.77 CH037A cd2050.249 e.<< e43- C /322d\ 6HH.- 0<<0 e0KG C M H.G5df25< e/- K eK0

326/67.HHU ;GAH6590K 67W22 C Y e .7K Z gGHH02 C h e iN0G2.H N 0<\32M5 j <264M5 3k <90 <2.K0l C

F;267/02 C DVVa e

mnopqrsp t >90 437J02/0740 3k A.4MB;23;./.<637 H0.27 67/ 65 .7.HUI0K53 .5 <3 0u;H.67 43--37 ;9073- 0737 3A502J0K AU ;2.4<6<637025 e Z .7UG7K0562.A H0 A 09.J6325 3k A.4M;23; 4.7 A0 .J36K0K \ 6<9 <264M5 <9.< .202.20HU 0u;350K 67 50263G5 <049764.H ;GAH64.<6375 e >965 ;.;02 /6J05 53- 03k <9350 <264M5 C .7K 3v025 0u;H.7.<6375 3k \9U <90U \32M eZ.7U .G<9325 9.J0 5G//05<0K <9.< 50437KB32K02 3;<6- 6I.<637 - 0<93K5.20 .KJ.7<./03G5 k32 70G2.H 70< <2.67 67/ e ,< 65 593\7 <9.< -35< i4H.5564.Hl50437KB32K02 - 0<93K5 .20 6-;2.4<64.H k32 H.2/0 70G2.H 70<\32M5 e = k0\-0<93K5 .20 ;23;350K <9.< K3 73< 9.J0 <9050 H6- 6<.<6375 e

w xyz{|}~�z�|y��������������� �$ � ���� ����#�� �����# ������� #���� ��� �#������� '����$��� �$ ���������##� $���#� � ������������##� �� ����� � ��! '����$� �� ����� ����$ �������� � ������� �� �� ���� ��## � ��! $������ �$ �� ���� �� �## � ��� $��� ���� ���� ��� ���� � $������ � ��$������ ��! �������� � ������� �$��� '������� �������$������ ���� $��� ���#� ��'������ ������$ $��� �$ ��� ���'�� ��! ����$ �� ��!�$ �#����$ � #������� ����$ � ����� ��� ��! ��$� $��$ � ��! $� ����� � ���$� ������$ ��� '��������# � ��� ����� �$ �� ���#����� ����� � ��� !���!��� ���� '����$� ���� ��� #����#����'#�� ��! !��� !����!��� � ������� � ����� ��� �����$���$ ��! $�� � ��!��#���������� ���� ��� ��#� ���!� � ������������ �� � ��� '����� ������$ �

�� ��� ��$� $������ '�#�� �� �����!��� $���!��! '�������������� ��! !�$��$$� ���'�� �� $���#� �����$���$ �� �����$ ��� ��������� ��$ � ���������� � �� ����!�$��$$ �$$��$ �� ����������� � �� ���� !�$���'� � ��� ��#�$$���#� $����!%��!�����%#����� ����� ������� ���������$ ��! $��� ���� ����� ���#������� �� �����#������� �������� �$ ���� #�� ���! � !�$���� � ��� �#��� $ �� ��� �������� �� ���#��������� � � ���##�� �� ���$��� � ��� $����!%��!�� � ����!$ ���� !� ����#�����#������� �� ������� ��$�$ �

� ���{y�y� �y} ��y�{�����z�|y����� ��� $�����# ���������$ �� ����� ���� ������� #������� � '�� ���� �� ���$����$$��# ���������$ ��� '� ����������! �$ �  ¡¢£¤¥¦§¨¡©¤¢ ª¤¡ ¥£¥� « ¤¦¬ ­¢©� ���

#������� � ������ � �$ �����$����! �� ������ � � �������$ � �������� � �� � � � ������ � � �$ ��� � %�� ����� ������� � ��! � �����$���$ ��� ��##������ �� �!�$��'#������ ����$ �� ��� $�$��� � ��$� �������� � � � ��� �� �� � � � �� � � ��$���$��� !�$�������� '������ �� � ��� ��������� �� !�$���! ������ ��� ������� �� � ��!��� ������ ���!���! '� ��� $�$��� � ��� ������� ��$� �������� ������ �� � �$ ���������� �� ��� �����$ � � ���� � $�� �� ������������ ����$ ��##�! ��� �������� $����� � � � � � � ������ � � � � �� � �� ��� $���#�$� $������ � ��� #������� ���' #�� ���$�$�$ ����!��� ��� ��#�� �� � ���� � ���� ���$ ������ �� � � �� �������� � ��� � ������ ������ ��� $�$��� �� � �������� $�� �$ �� #���#� ������$� � ��� ���� ��#����� � ��$����$ ��� ����� ���� �� ��� $�$��� �� ��� ��#! � ����� �� ���#! ' � �$�! �� �������� ����$ ������� ���� �$ �$��� ���! '� ���$����� ��� �������� �� � $�� �� $���#�$!�$���� ���� ��� �������� $�� � ��##�! ��� ��$� $�� � ��� ��$� ������#� �$�! ��$��������� �$ ��� (��� ������! � ���� �

� � � �� ��� � � ��� � � �� � � ����� � �� �� �� �

COST FUNCTION

LEARNINGMACHINE

Parameters

Output

E0, E1,....Ep

Error

DesiredOutput

D0, D1,...Dp

Input

M(Z,W)

Z0, Z1,... Zp

W

!"# t $ t Y2.K607<BA.50K H0.2767/ - .49670 e

���$ ������� �$ �� ��$�! �� $��������$ ��� ��������� ��� ��� ��$$ �� � ���� �������� ��$� �������� � ������� � ���$� $��������$ ��$� ' � �$�! �� ���������� � ��������!$ ��� � ���� ����� ��� ������� %$ �' �#��� �� � ¤¥¤ ¡ª£& ¤� ���� �$ � �� ���!������ ������� ������$ ��� �������$ ��� #������� $�$��� ��$ ��� �������$#� $��� ������� !����#� �

�� ��!��$���! ������#������� � #�� �$ ���$�!�� ��� '�������������� ����$ ��� $���� � ��� � $�� �� $���#�$ ���� �� ����� �$ �� ������������ ���� �� ����������� �� ' � #�����! � � ���� ��� � ��$���� ��� ��� ��$$ �$ ����� ���$�� ����� ���'� �����$ �� ��� $���#�$ � �� ��� �� ����� ���� �� �� ��##����! ��#���#� ©¤¦©�� $���#�$ ���� ���� $�� ���#! #��� � #���#� !�'����� '����$� �� ��� ���$� ��!'����$� �� ��� !�'����� �����$ $���#�! � ���� �� ���$� !��� $��$ ���#! �#$� ��$�#�

�� �������$ � ��� � ���� � ���� ��� $#����#� !�'����� ���� ���� ����� ��! ���� ������� �������� � �� ���$ ������� � �� ����������� �� ��������� ��� ��� ��$$ �� ��!������ � �� ���� ��� ��� �������#�� $�� �� �����#�$ ���� �� ��� ����� � ������#����������������$ ��� �� ������� ��� ��� �����$ �����!���! ���� ��� ������� �$ � ��$�#��� ��� ������ �� !���$�� � ���� ��� ��������� �������# ����������# �'���$ ���� ���#���! ��� �����$$ �� #���� ��� '� � ���%� ����� ��� ����� �� � �������� $�� �� �����$$ $�� ���� �$ ��##�! ��������# & �$�( �� �� ������� � ��� � � �� ���� � �� ���$� ����������# ���#�$�$ ��� '�$�! �� !������$��� ��� ������#���%���� ����� ���� ��� ���� $ � '��$ ��! �������� �$�� � �� � ����� � ��� '��$ �$ � � ��$����� ��� ���� ��� ������� ������ � �������! ���� �## ��$$�'#� !��� $��$ !�'��$ ������� !�$���! �������� � ��� �������� �$ � � ��$��� �� ��� ���� ��� ������� �����������$ ' ������ !���$��$ � ���#� �� �������� � ��� '��$ �$ #���� '����$� ��� ������������� �$ ��� ���� ��� !�$���! �������� � ��� �������� �$ ���� $� �## ' ����$� ���!��� ��$ ��! #���#� �������� ��� � ���� �� �������� � ��� '��$ �$ $� �## ' ����$� ���������� ��$ #�����! ��� ��!��#���� �������� � ������� � �� ������! ��� #��� � ���������� � �## �#$� ���� #�����! ��� ���$� $������ �� ���� !���$�� � ���$ �$ �������!�� �$ ��������� ��� � �� $��� � ��$� � ��� �������� � �## ' � #���� ' ����$� ��� ���$������$ ' ������ !���$��$ � �� ��� '� $���� ���� ��� � ������ ����# ����� � �## � �������� ��� $�� �� '��$ ��! �������� ��� � �� �� �# �

����� ��� � ���'�� �� ���������$ �� �� � ���#� $������� � ����#��������� � ���� ���� ����� ��� ������#������� �'�#��� �� � ������� ���� �$��� '������� �

��� �!�� �� ���$ ������� � ��������� � �$ �� ���$��� � �� �� ������� $��������$������ � ��$� �������� � ��! ��� �����$ �$$� �����! � ��� ������$��� ��� $���! ��!���#��� �� ��� � ���� ������� � �� �$ ������� �#��� ���� ��� ������ �� ��� ��!�#���!�# $�#������ � � ��� ������������ ��! ��� ��$� �������� �$ ������# ��� �'�������� ������� ���� ������#���$ ��## � �� ���� �� � ��! ���� �� ��� ����� ��!�# �#�$$ �$�$�! ��! �� ������ ��!�# $�#������ �$ !��� � ���� ���� � $����' � �� �� ������� � �##�#���#� ��� ��#� ���� ���� � �� ���� � ��� �� �$����� �� ������������ ��$ #�! $�����#������$ �� $����$� ���� ���������� � �� �� ������� �#������� $ ��� '� '����� �������! ���$ �

� �z�y}�{} ����{|���z�|y

#������ ��� �����$ ��! ���#�$�$ �� ���$ ����� ��� ���� ���#� ���$����! �� ���������� �� ��#�$$���#� ��#��%#���� ���!%������! �����# �������$ � � ��� �� �����#$� ���#� �� ��$� ����� ���!����%'�$�! #������� � ����!$ �

��� $���#�$� ���� �� ��#��#���� #���� ��� ������� ������! � ��� ���!����%'�$�!#������� �$ $���#� � $���� �� � �!�#�$ � ���� �� ����� ���#�� ���$ � �������� � ��� ��� � ��� � � ����� � �$ � ������ �����$������ ��� ������ �� ��� ��!�#� � ���$ ��� ������ �� ����'#� ����� ����$ �� ��� ��!�#� �� $�'$�� �� � � � ��! ��� �$��� ��!�#� %$ ����� ������ ��$ ��## �$ ��� �������$ ��!�#� %$ ������ ������� � �������� �� ��� ��$� ��!�#� �$ ��� ����� ������� �� � �� ��� ������# !��������� ��� � ���� ��$���� �� � �$ ����� � ���� ��� ������# !���������$ �� � � ���� ��$� ���

�� �� ��! ��� ��� '� �������! �$��� ��� '������! ������������ ���� � ��

�� ��� � ��� � �� �� �

�� �� ���

� ��� �� � � ���� �� �

� � �������� ��

���� � � ��� � �$ ��� ����'��� �� � ���� ��$���� �� � ���#����! �� ���

����� ��� � ��� � � ��! ����

�� � � ��� � �$ ��� ����'��� �� � ���� ��$� ��� �� ���� ����'��� �� � ������ �������� �$ � � ����� ���������� ��� ������# !���������$�� �## ��� ������$ � ��� ��$� ��� �� �## ��� �����$ � � ��� ��� �'��� ��������$��� ���#��! �� ��� ��!�#�$ �� �����$� ��!�� � ���� #���� � �� #���� � � �## ���������# !���������$ �� ��� ��$� �������� � ��� ��$� ��� �� �## ��� ����� ����$ ��� '��������! � ��� ��� �� ��������� ���!����$ �$ ����� �$ '���%����������� �

���!������# ��#��%#���� �����# �������$ ��� � $�����# ��$� �� ��� �'��� $�$�������� ��� ��!�#�$ ��� �#�������! #����$ �� � ����� ��#���#�������$ ���� ������$���! ���������%� �$� $�����! ��������$ ���� ����$� �

�� � �� ��� ��� � � � ��� � �� �

����� �� �$ � � ����� ���$� ���'�� �� ��#���$ �$ ��� !�� ��$��� �� ��� � ��!���'�� �� ��� $ �$ ��� !�� ��$��� �� � � � �$ � ������ �������� ���� ���#��$ �$�����! �������� �� ���� ��������� �� ��$ ����� � �� �$ ��� ������ �� �������!$�� $ � �� ¦­¦¡ª £¥ ¦©� �� #���� � ���#���� ��� ����� �� #� �� ��� �������� �'��� � ��� �#�$$���# '����������������������$ ��� �'�����! �

�� �� � �� � � �� �� � �� �

� � �� �� ��� ��� ��� � �����

�� �� � �� ���

�� �� �����

� �� � ��� �� �� � �� � �� �

��� �'��� ��������$ ��� �#$� '� ������� �� � ����� ���� ��� �� �� � � � ��� � �� �� � ����� ���� � ���

�� �� �� �� �

�� �� ���

� � �� �� �� �� � �� �

��� $���#�$� #������� �� ���� ������� � ��� ��!��� �� $��� � $������ �$ ��� ���%!���� !�$���� �#������� ����� � �$ ���������#� �!�$��! �$ �� ##�� $ �

� ��� � � �� � �� � � ���� � ��� �

�� ��� $���#�$� ��$� � � �$ � $��#�� ���$���� � (��� $����$������! ��� ��!���$ �$������' #� � � �� ����� � ����!$ � ����$ ��� ���� �� � !������# � ����� � �� �$ ���$��� ��� �� ��� �����$� ��$$��� � ����� �� ��� ��$� �������� �$����! !��������������� � $��� �$ �� ��� ������ ��! ���$�%� ����� � ����!$ !�$���' �! #���� ����� ������� � ������ ������ �� � �$ ��������� ��! � �## ' � !�$��$$�! �� #�����#���� �

� � ��� � {��z���� �{����

��������������� ��� '� ���� $#�� �������#��#� ��� ��#��#�����! �������$ �������� ��$� $������ �$ ������##� ���%���!����� � ���%������ � ��! ���� !�� ��$����#� ��� � ��� #���# � �� �� � ��!��� ��� ������$ � ����� �$ �� �����#� �� ������������� ��� ��� ������� � �## �������� �� � ���! $�#����� � ��� ����������� �$ $� ��� � ����� ����������� ���� � ����$ �� �## � ������� � �� �� �$ $������ �� !�$��$$ � ���'���� �����$ ���� ��� �����#� ������� ��� ������$ �� ��!��� � ���! $�#����� ���#��#$� !�����$��� ��� ����������� ��� � ����� '� ��!��$ �� � ������!� � ( ��� !����#�!����������# �$���������$ � �## ' � ����� �� #���� $������$ �

� � � ���� �� ������ �� �� ��������

� ���� ��������� � �������� ���� �������$ � ����#��� ��$$ ������� ��� ������!���$�� �� ��!�� �� ������� ��� ¡�¤ ¡� ¤ �� ���� ���!���� � ���$ �$ �������! �� �$'���� #���� ��� $���� �� ������ �'����� �� !��� ��$� ' � ���$�!���! '����� ������$��� ��!���! � #���������#�� ��� ��� �$� $�����$��� ���#��� � #������� ����� �©£¥� ª¤ �����#� �� � � � � � �$ ���$�� �� �� � ���!�� #� � ���� ��� �������� $�� �� ������������� � � � ¤©¦£« ¡¦¤ �� ��� ���� ���!���� �$ ���� �������! '�$�! �� ��� ������ � �� ���� �����#� � ��! ���� ��� ������$ ��� ��!���! �

� �� � �� � � ��� � ��� ��� � ����

�����$� ���$ �$��� ��� �� ��� ���!���� �$ ���$�� ��� ������$ � �� ��� ���� �����$�#�!��� ��� ���!���� �� ���� ��������� � $ �� $��## $�� � ���$ ����$�� �� ���� ������������ '� �!���������$ � ��� ���$��� #������� �$ ������##� ��� ��������! � ����! ���'�$�� '�������������� ��� ��� ��##�� ��� ����� ���$��$ �

� ���� ���� � � � ���� �� !�������� � ������$��� #������� �$ �$��##� «"¬ ��$��� ���� '���� #������� �� � ������$��� #���� ��� �#$� ����� ��$�#�$ �� ' ����� $�#�����$ �� � ������$��� #���� ��� ��� '� �$�! ��� �������� ������$ �

��� ���$��� #������� �$ � �$� ����� « "¬ ��$��� ���� '���� #������� �������#��#��� #���� ��!��!��� !���$��$ � ��� ���$�� ��� �� �$ �$ $���#� �� $��� � ���$�!�� ���$���#� ��$� ����� � ����� ��� $�� �� $��� ���� �$ ���!�������#� �����$�! �� ���!������# ��� ��$ �� � $�� � ��� ��� $���#�$ � �������� ��� ���!���� ���� �## �����������$ ����$ ��� ����� $�� � ��$�#� �$ ��������� ��� ���!���� '�$�! �� �$���� ��$� ��� � ���$ � '���� ���!���� !�$���� �$ ��$����# ' ����$� �� ���������$

��� $�� � �������� �� ��� �$ ' ����� ��� ����� ���� ��!��� � �� ��� ����� ���! �$�����$��� ���!���� � �## $�� � ��## ����� �$ �� ���������$ ������� � ���%#����������� $�� � �� �������� � �����#�$ ����#� ������ ���� ���� ���� �� � !���$�� �'�� ����� ��� �$��##� �#�$���$ �� ������� $ ���� ��� ���� $�� �#�� � ��� �����#� �������� � �#�$$�������� � �## �� ��� �������$ ��� ��� ������ � �� � ��## �������##� �������� ���� �� ��� $��� ������ ����� � �� �$ ���$ ��!��!���� ���� ��� � ��� '����#������� ���� $#���� ���� ��%#��� ���� ���$��� #������� �#$� ����� ��$� #�$ �� '����� $�#�����$ '����$� �� ��� ���$��� ��� ��!���$ � ���#����� �������$ �$��##� ���� ��#���#� #� ��# � ���� � �� !�'��%��� !����$ � ��� ���# �� �������� �$ �� #� ���� ��� �� ���$� � ���� � � ����� #�������� �## !�$����� ��� � ������ �� �������� '�$�� ��� ������$ ��� ������##� �#���! � ��$�����$��� #������� � ��� ���$� ���$��� �� ��� ��!���$ ��� ��$�#� �� ��� ������$������ ���� ��� '�$�� �� ������� � � �$$�'#� !��� �� � #� ��# � ������ � ���$ ��$'��� !����$�����! �� ������� $���#���! ��$�$ ��� � ��� ���� ���$��� #������� �$ �#$� �$��� # ���� ��� �������� '���� ��!�#�! �$ �����%��� ���� ��� � � � ����� ������ $������� �� ��!�$����# ���#�������$ ����� ���!��� !�$���'����� ������$ ���!��##� ���� ��� � �� �� � !�� �� ���� ��! ���� �� ����������$� � �� ��� #������� ������� !��$ ��� !����� ��! ��##�� ��� ������ �� �$����$$�'#� �� #���� ��� !��� ���� ��#� ��! #���� ������#������� �����$ � �## ��$�#� �� ��� '���� #������� � ������$ �� ��!������! ��! �� �'���� ������ '�! ��$� #�$$���� �� ��� #���#� �� ������� ���� $�����# ��#�$ � ������$ ��%#��� #������� � ���� �����! ������#� �$�� ' �#�� �� $������ � ��� � ��## ����� ��� ������$ ��! ���#!���! �������� ����� ��$�#�$ �

��$���� ��� �!�������$ �� $�� ���$��� #���� ��� � ����� ��� $��## ���$��$ ��� ���� ���� ���$�!�� �$��� '���� #������� �

����� ���� � �� �� !�������� � ���!�����$ �� ����������� ��� ��## ��!��$���! �� � ( ��� ����#������� ���������$ �� �� � �������� ���!����� ��#� ��%����� �� '���� #������� �

� � ����������# ���#�$�$ �� ��� ������ !���� ��$ ��! ���������������$ ��� $���#�� �

���$� �!�������$ $��� ���� ��� $�� � ���$� ���� � ��� $�� ���$��� #��������!���������$ � ���$ ���$� � ����� �$ $� �������# ��� ��!��� '����� #� ��# � ���� � �#$��������$ ��## ����������� �� ��� � �� ���� � ��$���! �� ���������� �� ��� ������ ������ � ��� ����������� $��##$ ��� !�� �� ��� ������ ����������$ � ��� $��� ����� ����������$ !�� ��! �� ��� !����� �� ���$� �� ��� $�� ���$��� ��!���$ � ����������� �� ��� ����������$ �����! ��� #� ��# � �� ���� �$ �����������# �� ���#������� ���� � ��� � �� � �� � �� �� ��!�� �� ��!��� ��� ����������$ �� ��� ������!�����$� ������#� ��� #������� ���� �� ���� �� �!������ '���� $��� � �� ������ ��� ��� � �� � ��� �� �$ $���� ���� ��� ����� �# �����#��� $���!�#� �� ��� #������� ���� �$�� ��� ����

� � ��� ����

����� � �$ ��� ���'�� �� �������$ ���$����! ��! � �$ � ���$���� � �� �������� � ���$� �� '� ��� ��$�

������ � ����! �� ������ ���$� �$ �� �$� �� ���%'�����$� � ���� �$ � $���� � ���� $� �## '���� $��� ��! ������$� ��� $��� �$ �������� ������!$ � ( � ##�� !�$��$$�$��� � ����! ��� !���� ���$ ���� ��! ��� �� �� !�$��$$�$ �� �$ ��� #����� ���'#�� $ �������� � !���!��� ��� ���� �� ����� �� ������$� ��� '���� $��� ��! ����� �����$�� ���#�!� �� ��� $� �## '�����$ �$ �$ !�� ��#� �$ !����� ����� ��� ���� �� #����������� � �'������#� ��� $��� �� ��� #������� ���� �� $�� ���$��� #������� �����$���!$�� ��� ��$� ������ $��� �� ��� � ��� '���� �

���� �#$� ���� ��� ���'#�� �� �������� ��� ���$� �� ��� !��� � �� '� #�$$���� ���# ���� ��� �����$ ' ����$� �� ������#������� � ������������ ��� ����� #���'����� ��� ���$� ������ �$ ���� ������! ������� �!������� �� '���� �������� �$ ���� ��� �$ �'#� �� �$� $����! ��!�������!$ �� $� ��! ��� #���� ��� ��� ��$$ � �����! ��!�� �����!$ $���! #�������'� �$��� ����� ��� �$� ��� ���!���� '�� �#$� ��� ��������� �� ��� ��$� $������ �� ���� ��� ��������� � ��� ��� �$��� ��� ��� ������ �� ��� #� ������ �� ��� �����#� ������ �

��$���� ��� �!�������$ �� '���� ��!���$ � $�� ���$��� #������� �$ $��## ����� �����������! � ����! �������#��#� ���� !��#��� � ��� ���� #���� !��� $��$ '����$� ���$ $���#� ���� ��$��� �

� ���� ��� �� ����� ����������$ #���� ��� ��$��$� ���� ��� ��$� ���������! $���#� � ��������� � �� �$�!��$�'#� �� ����$� � $���#� �� ���� ��������� ���� �$ ��� ��$� ����� �#��� ����� $�$��� � ���� � ���$ ���#��$ ��#� �� $�� ���$��� #���� ��� $���� ��� ��!�� ������� ���$�������� �$ ����#����� ��� '���� � � �� ����$� � ����� �$ �� $���#� ����� ���� ����� �����$ ��� ������ ����� ���� � ������� � � ���� $���#� ����� �������!�#� ���#�� ���$ ���$ �!�� �$ �� $���#� ����$� $����$$��� �����#�$ ���� ������� ¢£� ¤ ¤¥¦ �#�$$�$ $���� �������� �����#�$ '�#������ �� ��� $�� � �#�$$ � �##��$� #���#� ������� $�� �#�� ������ ����� ������� �����$��� ��� �!���� ��� ���� ��� ������ ����� � �������� �����#��������$ �$ �� ���� ��� ��� ����� ' ������ ��� ������� ������ ��! ��� ������ ��#������ �� �$ ����� �$ ���$����! � #���� ����� ��!�����$ ���� ���$ ����� ��$ ��� ' ���#�����! '� ��� ������� ��! $� �������$ � #�� �� ��� ������ ����� � ��������� � ��� ���$ $��$� �� ���$��� ���$ ����� ���� ��������#�� �� ����$� � '� �#����� �� � �����#����� �� �## �� ��� ����� �������� �����#�$ � $ ��� ������� �����$ � ���$� ��#����������$ � �## ������ ��! $� $���#! ��� ��������� �� ���$�������� ��� � ������� #������� ������� � �����! ���� ��!���$ ��� ���'�'�#��� �� ���������� �� ����������� �$ ��##�! �� ¤« ¬ ¡©£& £¥� ©"¬ ¤« ¤�

������ ����� ��� � � �� ���� �� ��� � ��� ��� �� � � ���� � ��� �������� $�� $� ���� $����$$��� �������� �����#�$����� �����#� � '�#��� �� ��� $�� � �#�$$ �� � ��$��� ����� �����#�$ ���� ���!��� � #���� ����� ���� ���%�����#� ���� �����#�$ ���� ���!��� � $� �## ����� �

+ >90 32K02 67 \9649 /2.K607<5 .20 5G--0K 67 A.<49 - .U A0 .v04<0K AU 23G7K3v 022326k <9020 65 . 56/7 6f4.7< 2.7/0 3k /2.K607< J.HG05 e

������� � ��� ��$� ' � ������# ���� ������'��� ��� ���� �# ����������$ ������� �����#�$ ' ����$� ���$ ������$ ��� ��#����� ���������� ���� ��� ��������#���$ �� !�'����� �����#�$ � ���$ � �� �� � �� ��� ' � !�$���'#� � ��� �����#� � ¦¬ £©¦¤"¬¥£�¤ ¡ ª£¤¢ ¦­ ¢¡¦¡ "­¥¦¡£¥£¥� ­ ¦ª£¤ © "¡¥ ¨¤ ¢£©¡©¦ ­© ' ����$� ���#���$��� ���!��� #���� �����$ ��� $���#! ��� ' � ���$����! ��������#�� �� ��� ��������! � ���$ ��������� ��� '� ������� #��#� ' �������# ��� '��$���� ��� � ������ ������� ����������#� � �������� �����$ � � �� � ��� �� ������ � �����������

� � ��� ������� �� ���� �

����������� �$ �$��##� ��$��� �� ��� ������� �� ���� ����� �����'#� ���� ��� �����%��� $�� �$ �#�$� �� ���� � �� $�� ���$ � ���$�!�� ��� ������ � ��$� ����� �## ��� �����$��� ��$����� � ������$ �� � ������� #�� ��!� �� ��� ��$� ������ #���� ��� ��!���! '��� ������ �����������# �� �� ����� � �$ ��� �$��#��� ����� �� ���� ��!� ��! � �$��� ����� ������ �$�� ��������$ ��� ��! ����� � � ��� �## �� ��� ���������$ �� ������� ������ ��� ��$����� � �## �� ��� ��!���$ �� ������$ ���� ���! ���� � ��!� � �##' � ��� $�� � $��� �� �� � $��� �� �� � $ � ��$�#� � ���$� ������$ ��� ��#� �## !�����$��� �## ������$� ¦­� ¤¦¬ ¤  ��� � ����� ����� ������� � ���$ � �� � ������ ������ ��$������� !�������� �� ��� ��#� !� $� '� ���������� ����� �$ ���� ����� ��! ���$���� $#�� �

�� ��� �'��� �����#� � ��� �����$ ���� �## � �$����� � ������� � �� ������# � ���$���� �� ��� ������� ����� ���� ���� ���� � �## ' ��$ ��� ��!���$ �� � ������� #��!�������� ��! ���$ $#�� !��� #������� � ��������� � �� �$ ���! �� $���� ��� �����$$� ���� ��� ������� ���� ��� �������� $�� �$ �#�$� �� ���� � ���$ �����$��� $���#!'� ���#��! �� �## #����$ ����� ����$ ���� �� ���� ��� ������� �� ��� ­ ¦ ¦©�� � ��!� �� ' � �#�$� �� ���� '����$� ���$� ������$ ��� ��� �����$ �� ��� ����#���� ���� � ���$ ���'#�� ��� '� �!!��$$�! '� ����!������� ��� ��� �����$ �������$���� �! � ��� ��� ������ �� $�����!�# ���������� �������� � ���� �� !�$��$$��� ����� ����$��������� � ��� !�$��$$��� �� ��� $�����! ��##�� $ �

����������� �$ ��$��� ��� �� #� �� ��� �����$ ��� $� ����! �$ !�$���'�! �'���'�� �#$� �� ���� ��� $��#�! $� ���� �## ���� �'��� ��� $�� � ���������� � � � �����

� � ����� �

���� � � ��� ����� � � �$ ��� ���'�� �� �������� �����#�$ � � �$ ��� ���������� �� ��� ��� ����������' #� ��! ��� �$ ��� ��� ��������� �� ��� � �� �������� �����#� � ���#��� $���!$#������� '����$� �� ��#�$ �� '�#���� ��� ��� ���� �� ����� ��� ������$ ��������!�� ��� ����� ��!�$ #���� � ��� ��#�� �� ��� ���������� $���#! '� � �����! � ������� �� ��� $�����! �$�! � ��� ��� $�����! ����� '�#�� � � ���������� �� � �$ ����! ������ �

��� ��������� �� $��#��� �## ����������$ �� ��� $�� � ��#�� � ����$ ���� �� �$����� ���� $�� � �����$ ��� �� #�$$ $����� ����� ���� �����$ � �� $��� � ��$� � ����� '� '�������# �� $��#� ��� #�$$ $��������� �����$ !��� $� ���� ���� ��� �#�$$��$�' #�� �� ��� #������� �����$$ �

����� ��� ��� �� ���� �� � ��� ������� �� ���� ����� �����' #� ���� ��� ����� ��� $�� $���#! ' � �#�$��� ���� �� � ���#� ����� �����'#�$ $� ���� ����� ����������$ ��� �'��� ��� $�� � �

� � ����� �����'#�$ $���#! '� �������#���! �� � �$$�'#� ���� �'��� ��� �����$ �� $������� ��! $��#��� ��� �����$ ��� �� ��� $���#� ��

���#�� ��� � ������ ����� ���� �$ �� ��� �'������ '�� ���� !�� ��#� �� ���#�� ����$ �� !������#��� ��� �����$ � ���$�!�� ��� $���#� ������� �� ������ � � �� �����$��� �������#���! ���� �� �$ ��$$�'#� �� $�#�� ��� ��� ��#�� �� � � ���� � �� �� ���$��� ����� � ������ ��� ������� ��� � � ��! ���� ���$� � �� ����� ���!$ � ��� ��������' #�$ ��� ��!�� ��!��� ���� $�$��� �� ��������$ �$ !������#� � � ��� �����#���!�����$ � ��� ��$� $�#�� ��� '��� $���#������$#� ����� �$ � ���� ���!�� ���' #�� � �������# ��������� ���#�$�$ ��#$� ����� �$ ��� "�������%����� �����$��� ���� '� �$�! �� ������ ª£¥¤¡  �����#�����$ �� �����$ ���� �

�����$ ���� ��� #�����#� !�� ��!��� ���� ������ � ��$� �� �����#����� � ����#$� ���!��� !����������$ ����� � �� $#�� #������� � ���$�!�� ��� ��$� ����� �������� �$ �#���$ �� ��� ��� ����� ����� �� � �� � � � ��� ������� ������ �$ ���$�����#��� #���$ � � � � ������ � � ����� � �$ � ���$���� � ���$ � ��� ���!���� �$ �����#��� ���$� !��������$ �$�� ������ �� � ( ����� �#��� ���$� #���$ ��$ �'$�#���#� ���'��� �� #������� � �� ��� ������ �� $�#�� �� �%� ���� �$ �'������#� ��#� � �%����'#�� � �!��##� �� ���� �� ������ ��� �� ��� �����$ ����� � �## !�����$� ���$��� �� ��� ������� �

������ � $��� $ ��� ������ ��� ��$$ �� ����$���� ��� �����$ � ��� $���$ ��� ���$���� �����$ $� ��� � ��� �$ ���� � ��� !������#��� �����$ � ��! �� � ����#��� ������%����$ �

z1 z2

y

ω1 ω2

ω2

ω1

Lines ofconstant E

!"# t � t @ 670.2HU K0;07K07< 67;G<5 e

MeanCancellation

KL-Expansion

CovarianceEqualization

!"# t � t >2.75k32- .<637 3k 67;G<5 e

��� ���� ���

���#����� ���������� ��������$ ��� ���� ���� �����# �������$ ����� ���#���������'�#����$ � ��� �� ��� ��$� ������ ���� $ �� ���������� �������� �$ ��� $�����!����� �$ � ����������##� ������$��� �������� ���� �$�������$ �� $��� ����� ��#���$ �� �$ ���������! � ��� ��$� ������ �����#�$ ��� ��� $���!��! #���$����������� �� � � �� �� � ��� � ��! �����'�#�� ������� �� � � ���� �� � $���� �������� � � � ��� ��!$ ���� ��� $�������� �'��� ��� ���� �� �� �� � $�� ������ �' � �����������! ��� ��� $��� ���$�� ���� �����$ $���#! '� ���� �#���! � ��� �#�� ' ����$����� ��� ���� #���#� �� ���!��� ������$ ������ ��� £¥ ¦© �� ��� ���� #��������� ��� �� ������� �#�$� �� ���� � ���$ �$ �� ������$� � $��� �� ��� #���$��� �����������$� ������$ ��� �#���$ ��$����� ��! $� ��$� ���� � � ��� ���� �$ ��$����� �

���� ����� � ��������� $�����!$ $��� �$ �����'�#�� ������� ����� �������� ��$������� ��� $���!��! #���$��� �������� �� � ��������!�! $�����! ��� � �$ � �� � � ������ ���� � * � � � � ���� ������� �������� �$ $�� ���� �$ ������������##� �����$��� � �� ������ �� �%���� �� �� '� � ����� �� ��#���� ��#$ ��� '� �$�! �� $���! �

� � ��� ���� �$ �� �$ ��#���# �� �!! � $��## #����� ���� � � �� � �� � � ���� �� ���� $� �$ �� ����! ��� $���$ �

-6 -4 -2 2 4 6

0.2

0.4

0.6

0.8

1

-3 -2 -1 1 2 3

-1.5

-1

-0.5

0.5

1

1.5

(a) (b)

!"# t � t �.� N3< 2043--07K0K j <90 5<.7K.2K H3/65<64 kG74<637 C � ��� � D� �D � � � e �A ��U;02A3H64 <.7/07< C � �� � � D �PD^V <.79 � SX �� e

��� ���$����$ �� ��� ��������!�! $�����! ����� �'��� ���� '��� ���$�� $����� � �¬ ¤¥ ©¤¢ � £¦¬ ¦ ¡¥©� ­ « ¤¢ £¥ ¦© �$�� �������$ !�$��$$��� � � ��� ���������� ��� ������$ � �## �#$� ' � �#�$� �� � '����$� ��� �'������ ���� �� ��� $�����!�$ �����#� � ���� ��$ � $���# ����� � �� �������#�� � ���$ $�����! ��$ ��� ���������$��� �� �� � � � � �' � ��� $����! !��������� �$ � � ������ �� � � � � ��! ��� ����'������ ���� �$ �#�$� �� � �

��� �� ��� ��������# ���' #�� $ � ��� �$��� $�������� $�����!$ �$ ���� �������� $������ ��� '� �¤ � ��� ���� ��� ������ � ��� ���$ ���$�� �� �$ ���! �� ����!������#����� � ��� ���� $� �## ������$ � �����$� �� ��� $��������� �� ��� $�����!$ ���� ����� $������ �$ �#$� ��� ��� ���� ��� ���� �� � !!��� � $� �## #����� ���� ����� $�����! ��� $������ �$ ��#� ����! ��� ��� ������$ � � �������� ����� �������� �#�$$�������� ���'#�� $ � ������ ��#��$ ��� ��� ���##� '����� �� �� � �% � �� ��� � ��� %��� � �$!�� � ���� $��� �� $����$� ���� ��� ������ ��#��$ '� $�� �� ��� ��#�� ����� $�����! %$ �$�������$ � ������� � ���$ ��$ $�����# !���'���$ �

���$� � ��$��' �#�� ��$ ��� ��$�#� � ��� �������� ��� ��$$ � �## ��� �� !���� ��� �������$ �#�$� �$ ��$$�'#� �� ��� ������ ��#��$ � ����� ��� ��#� '� ��� ����! �$�������%��##�� $ � ��$� #� � ��� ������$ ������� ��! ���� ��!!�� � ��� !����� �� #����� ��!#����� ��#��$ ����� ��� $�����! !��������� �$ �#�$� �� ���� � ��� ���� #���� ������$������$� ��� ���!����$ � ������� � ���$� ���!����$ ��� ���� ��#���#��! '� �� ����%������##� $� �## $�����! !��������� ������� ���� � �� �$���� ���� �$ �!!�! �� ���$�����! � ���!����� � ������ ��!��� �#�$� �� ���� � $ � ��$�#� � ��� ������$ ���'���� � $���� ������! � ���� ��� ������$ $������� � ��� ������� ����$ �� ��!������� �� ���%�!���� #���# � � ��� �� ����� ������� ��##$ ���� � !���$��� '���!��� ��� �������#�$$ �$ ��������� � �!��##� ���$ $���#! '� �������! �� ��� ������� '� �� ���%��� ��#�� ���� �$ �� ' ������ ��� ��� ��$$�'#� ������ ��#��$ � � �� � ��� ���� �������$������� � ������� � #���� ������$ ���! �� ����� �## ������$ �� ��� ���#$ �� ��� $��%���! �����!#�$$ �� ��� ������������ ���$ � ��� ������� ��� ���!��� � ����� �#�$$� ������ ������ ��� ��!������� �� ��$ #�� ����!���� �� ��� ��$�#� � ����� ������$���� $������� ��� ��!�$ � ��� �� ����$$�'#� �� !�'��������� ' ������ ��� ���# ��!���������# �����#�$ � $�#����� �� ���$� ���'#�� $ �$ �� $�� ��� ������ ��#��$ �� ' � � ����� �������� �� ��� $�����! � ������ ���� �� ��� �$�������� ��#��$ � ���� ��$� '� ����� �������� � �� �� $��� ���� ��� ��!� �$ ��� ��$������! �� ��#� ��� #����� ���� �� ���$�����! � ������� ��� ������ ��#��$ �� ��� ����� �� ��� � ������ $����! !����������� ��� $�����! �$ ��� '�$� ��� �� ���� �!������� �� ��� ���#�������� � ������$��������� ��� $�����! � ���$ �$ ������� ���$�� ��� $�����! �� ������ �' �$ ����! ������ � �� ��$ � ������ $����! !��������� �� � � ����� �����$���! �� ���'����� ������ ��#��$ ������# �� �#�$$�������� ���'#�� $ �

����� �����$� ������ ��#��$ �� ��� ����� �� ��� � ������ $����! !��������� �� ���$�����! $� �$ �� ����! $��������� ��� ������ ����$ �

S = <\ 65<67/ <02- 65 . 5- .HH H670.2 <02- .KK0K <3 <90 73K0 3G<;G< C 0 e/ e� �� � � <.79 �� � � �� e

� ��� ����� ��� �� ���� ���� $������� ��#��$ �� ��� ������$ ��� ���� � $��������� �'��� �� ��� ����������� ��$$ � ������$ $���#! ' � ���$�� ���!�� #� '�� �� $��� � ��� ���� ��� $��%���! �$ ���� ���#� ��������! �� ��$ #����� ������ � �� ������$ ��� �## ���� #���� ������� $�����! � �## $������� ��$�#���� �� $��## ���!����$ ���� ���� #������� $#�� ��� ������$ ��� ���� $��## ���� ���!����$ � �## �#$� '� ���� $��## � ������ �!����������$ ���� ����� ���� ��� $�����! %$ #����� ������ ���� ��� �!������� ���� ������ ���!����$ ��� #���� ������ ���� #������� ��� ��� ���! ��! ��� ��� �������� �## #���� ��� #����� ���� �� ��� � ������ '����� ��� ���� !�� ��#� ��� #����� ���� � �������� ���$ �������$ ����!������� '������ ��� �������� $�� ���� �#������� ���� ������ �� $�����! � ��! ��� ������ �� ������ ������#������� � �� $���� '� ������%��� ���� ��� !�$���'����� �� ��� ������$ �� ���� ��!� ���� � $���!��! !���������� � �� ������ �� ���#� � � ���$ �$ ��� ����! �� ��� ����� #���� '� ���� �#����� ����������� $�� �$ !�$���'�! ���#��� � �� �'���� � $���!��! !�������� �#�$� �� � ����� ������ �� ��� ��$� ��!!�� #���� �� �$� ���! �� �$� ��� �'��� ��������!�!$�����! �������� � ��� ��� �������� ��� ���� ��� ����� �� ��� $�����! �#$� ���� �$���!��! !�������� �� � � � $$�� ��� ��� �����$ � � � � �� � ���� ��� �������#���!� ��� �������� � � ��� $���!��! !�������� �� ��� ����$ �������! $�� ��## ' �

��� � ���� � ���� �� � ��� ����$ � �� ��$��� ���� ��� ��� ��� ������ �� ���#� � ��� ������$ $��� #! '� ���!�� #�!���� ���� � !�$���'����� � ��� � ��� ���� ��! � $���!��! !�������� ����� '�� � ��� ��������� �$ ��� ���'�� �� �����$ �� ��� ���� �

��� �������� ����� � $$�� ��� ���� �� � ��� �������� $�� ��$ ' ��� �����#���! � ��!� � ��� $�����! ���� ������ �' ��$ ' ��� �$�!

���� ������$ $���#! '� ���!�� #� !���� ���� � !�$���'����� �� �� � ������� ����� � ��� ���� ��! $���!��! !��������

� � ��� ��� ������ �$ ��� ���%�� ���� ���'�� �� ����������$ ���!��� £¥¦­ ��� ��!�� �

� �������� !������� �� ������� �$ �� #��$� ��� ��##%�������#�! � ����! �!�$���'�! �� $������ � ��� ��� �$��%� ����� ��� �!��# #���� ��� ���� � � ( ��� ����� $���� �$ ���$� �� ���� ������ ��%������#� ���� '��� �����$�! �� ��� #��������� �� ����� �����##� �!�$� ��� #�������

���� � (�$� �� ���$� $���� �$ !�����$� ��� #������� ���� ���� ��� ������ ��������$��##���$� � ��! ������$� �� ���� ��� ������ ������ �� ##�� $ � ��#�����#� $���!�!�������� � ��� � ��� ���'#�� � ��� ���$� � ����!$ �$ ���� ���� ��� ��� �������������� $�� ���$��� ���!���� �� ��%#��� #������� '����$� ��� ������ ������ ��������$�## ��� ��� � �

�����! ����$��� � $���#� �#�'�# #������� ���� � �� �$ �#��� ���� ������� � !��%������ #������� ���� � � ��� ���� ������ ��� ������� ��� ����������� � ��##%�������#�! ��� �� !���� ���$ � '�$�! �� ��������� $����! !���������$ � �$ !�$���'�!�� $������ � �� � ��� � ��� ���#�$���� �$ �� � ��� $��� ���� �## ��� ������$ �� ���������� �������� �����#� �� ��� $�� � $� ��! �

�����!��� ���� ��� ��������� �� ��� ����� $������ � $�� � ������$ � �� ���� ���� $� �## #������� ���� �� ��!�� �� ����! !��������� � ���#� �����$ ��� ������� � #����#������� ���� �� ��!�� �� �������� �� � ���$���'#� $���! � �����$� �� �� �$ � #�����������$ �� ��� #���� #����$ $���#! ������##� ' � #����� ���� �� ��� ������ #����$ �$�������� � �� � ���$ �������$ ��� ��� ���� ���� �� ��$� �����# ��� ������������$ � ���$����! !��������� �� ��� ��$� �������� � ��� ��$���� �� ������$ �� ��� #���� #����$�$ ������##� $� �##�� ���� ���� �� ��� ������ #����$ � ��� �������#� ��� ��� �'��������$���$ � �## ' � !�$��$$�! �� ���� !����# �� #���� $������$ �#��� � ��� $����$����$��� ��� �� ����$� ��� �����# ��#�� �� ��� #������� ���� ��� ��� !�'����� ������$�$�� $������ � ��� �

�� $����! ������$ ��� �$�! $��� �$ �� ��� �%!�#�� �����# �������$ ����� ����� �� �����#������# �������$ ���� � ��� #������� ���� $���#! ' � �����������# ����� $����� ���� �� ��� ���'�� �� ����������$ $������ ���� ������ � '����$� ������ ���� ��� ���!����$ ��� � $�� �� ����%��%#�$$ ��!����!��� ���� $ �

�������� �� !������� �� ����� ���� ���� ������ ��$ ��� #������� ����� #���� ��� ����$ $���#! '� �����������# �� ��� $����� ���� �� ���

���'�� �� �����$ �� ��� ����� ������$ �� #���� #����$ $���#! ��� ���##� '� #����� ���� �� ���

� ����� #����$

����� �����$ ��� ��������� ��� ����������� ���#�!� � �� �� �� (�������

�� �� � �� � � ���� ��� � ��� ��� �

��� ������$� $� ��! ���� ��� ��$� $������ �$ ����#� ���$�������# ' ����$� �� !���$��� $��� �� ��� $���$ �#��� !��������$ �� ���� ��������� ���$ ���#!��� � #������'������ #������� ���� �#��� ��� !��������$ �� #�� ��������� ���� �� !�����$ ���$������� �� ��� �������� ���� � � �� ��$ '��� �#��� �! ���� �������� ������##���#�$ ���� �� '���� ��!� ���� �� $�����$��� ��!� � '�� �� $�$��� ���� $��!� �����$ ��� ����� �� ��� ������$ �

���� ��� �������� �� �� (��� ������$ � ���#�!��� �����#��$�� �� �# � ���� ������� � (��!� �� � � ������ ��� � � (����� �� �# � ���� ���� �����$�! ��#�$ �������� �����##� �!������ ��� #���� ��� ����$ �$�� �#$� ����� � ���$� ��#�$ ������# ���$� ��! �� ����������� '� ������$��� �� !�����$��� ��� #������� ���� '�$�! �� �������� �

�� �$$�� � ��� ��##�� ��� ����$ ��� � #������� ���� �!�������� �#������� � ������ $� �##�$� �������#�� �� ��� ��$$��� �$�� �� ������ �$ $�� �����#� $� �##�� ���� ���$����! $� �##�$� �������#�� ��! ��� ��������� ����� � #���� ���'�� �� ���������$ ���� ����� ���� ������ � ��� ��## �������� ��� � �� ���� ���� ��� !�������� ����� � ������ ����������� �� ��� ��$$��� �$�� �� ����� � � ����� �� � ��!�� ���$����!�����$ ��� ���#����� �� ��� �$��� ���! ����� ���� ��� '� ������� �� �$ � ���%!�� ��$����# ��� ��$$ ��! ��� � ������ ����������� � ��� '� ������ �� ���! ����� #���� ���'�� �� ���������$ � $�� ������ �� '�

� � ����� �� ��

���� � ��

����� � � !�����$ ��� � ���� � ����� �� ��� �!��� � ��� ������

� � �� ����� � � ������ � �

�� ��� ������ �� ���! � ������ � ���������� � �$ � ��� !�� ��$����# � ��$��� ����� !�$����� �� ��� � ������ � ���$ !�$����� ��� '� �$�! �� ������# ��� #����������� ���� !����#$ $�� ��� ��

� �� � �� � � �� � �� � � � ����� � ����

� �� � �� � �� � � �� ��� � ������ � �� � � � �� ��� �

� �� � �� � � ��� � �� ��� � �� �� � ��� � � ���� � ��� ������ � ������#$ ��� #��� $��� �� ��� ������� � � � ��� ���$����$ ��! � �$ � $�! �$��� �#���� �����'#� �� ��#��#��� ��� #���� ������� �� ��� ���!���� �

� ����� ���� ���$ $�� �� ��#�$ �$ ��$� �� ������� ��! $�������������! �� �� %

�#�� ��� � �� $���#� ���� �� ���� ����� �� �� �!!������# ������ �� �� ���� � � ����������! ���!���� � � ��� ���� �� ���$ ������ ���� ������#$ ��� $��� �� ��� #����������� �$�� �� ���� �� � ��� �#������� ��##�� $ ��� $���#� ��������� � ��� ���� ���� ���� ������ �#���� !�$����� � � �� ��� ���!$ �� '�� $���$ ��! �#�$� �� ��� � �������� �����#$ ��� #������� ���� ���� ����������# !����#$ $�� ��� �� � � � ����� ����� ��� ���� �� ���� ��� ��� �

#������ ��$� $�$��� $ �$� ��!�$ '�$�! �� !�� ���!���$ ��! $�����!$ � � �������� ����$ �� ����$ ��� #����$� ��� '� �$�! � ������ �#��������� �$ ��� ��!��#'�$�$ �������� �&�� � ������� �$�� �� � �� � � � ���� �� &�� �������$ � ��� !�� ���!%��� �� ��� ������ ��! ����� ������ �$ ���#���! � ��� � ���#�!��� !�$����� ' ������

!"# t � t ]37J02/0740 3k <90 �3\ e :G267/ <90 f7.H 5<./0 3k H0.2767/ <90 .J02./0 �3\ 65.;;23u 6- .<0HU 370 K6- 075637.H <3\.2K5 <90 - 676-G- � � .7K 6< 65 . /33K .;;23u6- .B<637 3k <90 - 676-G- 06/07J.HG0 K6204<637 3k <90 � 0556.7 e

��� ����� ��! ������ ��! ��� $�����! �$ ���#���! '� �� ����������# � ��� ����������� ��� �$ �������! � � �� � ��� ��� ������ � �$

� �� � � ��� �

� � ��� �� ��� � �� � � � � � ������ � � �� � � �$ ��� � ��� �$���!��! !�������� � �� ��� �%�� ���$$��� � ���$� ����$��� ���#��� �� ���� �$� � ��� ��� $���!��! ����$ ��! ���� ��� �$��##� ������! '����'������� �� ���!���� !�$���� ���� ������ ����$� ��! ��$������$�! �#�$��������� !����� �� ��� ��� � ���$ ��! � �!��$ �� ��� &�� ����$ �

��#��� $�����!�# ����$ ����� ��� ����� ��� ������ $���� � � $���#� &�� ���������$ ��#� � $� �## #� ��# ������ �� ��� ����� $���� � ���$ ��� '� �� �!�������'����$� #������� ��� '� ��$��� � &�� ����$ � �� �#$� ���� � '����� $�� �� '�$�$��������$ �� ��!�# ��� ����� $���� ���� $�����! ����$ � �#������ ���$ �$ ���� #����'#�� !����!��� � �� ��� �������� $�!� � ��� #� ��#��� �������� �� &��$ ��� '�� !�$�!������� �������#��#� �� ���� !�� ��$����# $����$ '����$� � �� ����$ ������!�! �� ����� ��� $����$ � &��$ ��� ���� ����������� �� �#�� !�� ��$����#������ #����$ ��! $�����!$ �� ����� !�� ��$����#� #���� #����$ �

|y��{��y�� | � �{�}��yz ����yz

� � � !� �� �������� ���$ $������ �� ���� ��� $�� � �� ��� ������ '����! ��� �����$ ���$����! ���#��� ��� '���� �� ��� !�� ��$��� ����� ��� ��!��� �������� ��� ���!���� !�$���� ���'� ������� �$

� �� � �� � � ��� � � �� �� ��� � ��� �

�� ���#! #��� �� ���� ��� ��� ��#�� �� � �'���$ ����������� ��! ��� #�������$� ��! � � ����� � �##�$�����$ ��� #���� ��� '������� ��� $�����# !�'����� $���$ �� ����� ��� ������ � $����$ ��� �� ��� �������� �� � #� ��# � ������ � �� ��� !�� ��%$��� � �� �$ ��$� �� !���� ��� ����� �# #������� ���� � � �� � � �$ ' ���� ��� #����������� ���� � �## � ��� ��� ������ �� ��� � �� ���� � �� �� � �� �����$�#� ��� $����$�� ������ � ���' � � �� � �$ $� �##�� ���� � �� � ���� ��� $���$��� � �## ' � $� �##�� ��!����������� � �## ���� ��#���#� ��� �$���$ � �� � �$ '������ � �� � ��! �� �� � ���� ��������� � �## �$��##��� �����! �� �� '�� � �## �������##� �������� ������� � ����� � ��� �$ � ��� ���� �� ��� ��� $��� �� � �� � ������� � ���! � ���� ��� $���$��� �$ $� #�������� ��� ������ ��!$ �� ������� ���� �� �� ���� '����� � � ��������� ��$�#�$ �

E ( ω )

ω

η > η opt

ω min

E ( ω )

ω

η < η opt

ω min a)

c)

E ( ω )

ω

η = η opt

ω min

E ( ω )

ω

η > 2 η opt

ω min

b)

d)

E ( ω )

ω

η = η opt

ω

∆ω

dE/d ω

ω c

ω min

ω c

ω min

d E( ω c )

d ω

�6� �66�!"# t � t Y2.K607< K05407< k32 K6v0207< H0.2767/ 2.<05 e

� ��� �$ ��� ����� �# ��#�� �� ��� #������� ���� � �� �� ��� �$ ��$� ���$�!����� ��$� �� �%!�� ��$��� � $$�� ��� ���� � ��� '� ������ �� ���! '� � ���!������������� � � �� � ��� '� !�����! '� ��$� �����!��� � �� � ���#�� $����$ �'��� ���������� ������ � � � �

� �� � � � �� � � � �� � � � � �� �� � ��� �

�� �� � � � � � � �� � ��� � � � � � �� ��

����� �� �$� ��� $�������! � �� � ��� ���

� � � � �� � �$ ���!����� ��� $����!��!�� !��������� �$ ���$���� ��! ��� ������ ��!�� ���� $ ����$� � � �'�����������'��� $�!�$ � ��� ��$� ��� �� � ���� ����$

�� �� ��� � �� �� � �

�� � �� � � � � � � �� � ��� � ����

������� � � �� �� ��! ������ ���� �� ��� �� ���� � � � �� ��� #��� ����� ����%������� � ���

�� �� � � � � �� � �� � ��� � �� �� �� � �

�� � ��� ���������� ���$ � ��� ��� ��!��� �������� ��� � � �� ��! ���� �� ��� ����� �� ������ �� ��� $��� ��

� ��� � �� � �� � ��� � �� � ��� �

�����$ �� ��$��� ��� �� �'���� ���$ $�� � ��$�#� �$ �##�$�����! �� ������ � ���� ���� '����� ����� �#��$ ��� ���!���� �� � �$ � �������� �� � � � ���� � �$���!����� � ��� ���!���� �$ $���#� � $������� #��� � ��� ��#�� ���� �� ��� � ���%��� ��! � �� � �

���� ��� ������� ������ � � � � � �� � �$ $���#� ��� $#��� �� ���$

#��� ��! �$ �������! �$��� ��� $���!��! $#�� � �����#�

� � �� � � �� �� � ���� � �� � � �� �� � ������#���� ��� �� �� ���� ����$ �������� ��� � �

� ��#� ��� #������� ���� ���� ����$ ��$��$� ����������� �$ � �� � � ��� #����$�#������� ���� ���� ��� '� �$�! � ������ ���$��� !��������� �$ ��#$� $�� ���%��� � ���! �

�� �� � �� ��� � ��� ��� � �$ ��� �����#� ���!����� ���� ��� ������ ��!�� ���� $ �� �������� �� �� ������ �����$�#� ���� ��! ���� �$ ��#� �� ������ �� ����� � �� $��� � ��$� � �� � ������ ��#���#� ���������$ �� #� ���� ��� � ������ ���� ���� �$��� � �� � � ������� ������������ ��� $��## ' � ����� ��$� �

�� ��#���#� !�� ��$���$ � !����� �� ��� � �� � �$ � '�� � ��� !�� ��#� '����$� �������� $�!� �� ��� � �$ � � ����� � �� ����� � �$ ��##�! ��� ��$$��� ���$� �����%����$ ��� ����� '�

� �� � �

����� �����

���� � � � � � � � � ��! � ����# �� ��� ����# ���'�� �� ������$ �� �$ � � ��$��� �� ��� ��������� �� � � �� ��� !�� ��$���$ � ��� #���$ �� ���$����� ��� � ���!����� ��$� ��� ���# �� $���� �$ $���� �� ������ � � ��� �����������$ ��

� ����� �� ��� !��������$ �� ��� ���� ��! � ���� ���$ � ��� �������#��$ � ��$������ $������$$ �� � �#��� ��� �����$���!��� �����!�������� ������ �� �� ��� #��$� � ��� $����� ��( �� �#������� � �� ���� � $���#� #����#����� ������� � ��� ����� ��������

� �� � � ������ �

��� � �� � ���� � ��� �

Eigenvectors

of H

ω min,1

ω min,2

ν 1

ν 2

ω 1

ω 2

P

E

�.� �A �!"# t � t @ 6705 3k 4375<.7< � e

����� � �$ ��� ���'�� �� �������� ������$ � ��� ��$$��� �� ���$ ��$� ����$ ������ ' � ��� $�� � �$ ��� ���������� � ����� �� ��� �����$ �

� � �� ���� �� � � ��� �

���$ � ���� �������#�� �� � �$ �#$� � � ��$��� �� ��� ���������� �� $����! �� ��������$ �#��� ��� �����$���!��� �����!�������� �$ $���� �� ������ � �

x 1

x 2

!"# t � t [32 <90 @ZF .H/326<9- C <90 06/07J04<325 .7K 06/07J.HG05 3k � -0.5G20 <905;20.K 3k <90 67;G<5 67 67;G< 5;.40 e

� $��� � $��#�� #������� ���� �$ ���'#�� ���� �� ��#���#� !�� ��$���$ � �� ����� �� ' � #���� $� ���� ����������� �$ ��$� �#��� ��� $��##�� !��������$ �� � �$� �##�������#��$ �� � � � ������� � �� � �$ ��� #���� ��� ������$ � �## !������ �#��� ���$���� !��������$ �#���� �������#��$ �� � � � �� $�� ���$ � ��� $�������##�� #�� �$����� �����! � � '�� ���$ ��� � �'��� � � ������

� �� � � � ��� �� � ��� �� � �� �� �� � ��� �� � �� � �� �� � � ��� �

��'����������� ���� ��! �$��� ��� ��$�#� �� ��� ��!��� �������� ��� � ����$

� �� � �� � � ��� � � �� ����� �� ��

� � ��� � �� ��� �� � �� ��� � �� �� � � ������'�������� �� �� ���� '��� $�!�$ ����$

�� �� � �� � �� �� � � �� � �� ��� �� �� �� ��� � �� �� � � ��� ��� ��� ��������� �� � �� ��� �� �� �$ � � ����� ����$���� ����� ���� �#���$ $�����$� ������ �� �� � ��$ �������#��$ �## ���� � ������!� #�$$ ���� �� ���� ��� ��!����������� � �## �������� �

��� !��$ ���$ ��#� � ��� ����$��� ��� #���� ��� ����$� �!��##� �� ���� !��%������ #������� ����$ �#��� ��� !�'����� �����!��������$ � ���$ �$ $���#� �� ��������!��������$ ��� #���! �� � ��� ��� ����!����� ���$ �� ��� ������$ � �� $��� ���$� � ��� ������$ ��� ������#�! ��! �� ��� �$$��� ���� ������ ��$ ��� #����������� '�$�! �� ��� �����$���!��� �������#�� � ������� � �� ��� ������$ ��� ����#�!���� �� ��$� ��$� ������ � $��� ���� � �$ !������# � � �� � ��� ����!����� ���$ #����� � ��� ��� �����!��������$ �$�� ������ �' � � ���$ �$ ��� �����$� �� !������#�������� ��$$��� !�$��$$�! ���#��� �

��� � '� ��� �������� � ����� $��� ����� � �� � � ��� �

����� � �$ !������# ��! � � � � � � ��� ��$� �������� ���� ��� '� ������� �$

� �� � � � ��� �� � ��� ��� � �� �� �� � � � ��� ��� �� �� � � �� �� � �� �� �� �����

(����� � ������ �� ����!�����$ �� � � � �� � �� �� � $���#���$ ��� �'����������� ��

� �� � � � �� � ��� � � �� ��� �

��! ��� ����$�����! ��!��� �������� '���� �$� �� � �� � �� � �� �� ��� � ����

���� ���� � � �� �$ !������# � ��� !������# ���������$ � � �� � � ���$ ��������� �## �������� �� �� � �� � � � � � � �� � � � � � ��� �## � � �� ���$������! �� ���� � ©£¥� ª¤$��#�� #������� ���� ��� �## ������$ ���� �� ��$� ���� ���

� � ��� �� ��� �

�� ��!�� �� ����! !��������� � ����� �� �� �$ ��� #����$� �������#�� �� � � �����$��$� ����������� �� ����

� �� � � ��� �� � ��� �

�� �� �� �$ � #�� $� �##�� ���� �� �� ���� ����������� � �## ' � ���� $#�� �#��� ����� �� !�������� � �� ���� � ����������� ��� � �$ �����������# �� ��� ���!����� ���'��� �� �� ��� �� $� ���� �� �$ !�$���'#� �� ���� �$ $� �## �� �������#�� $����! �$��$$�' #� �

������� � $���� �� ���� ������! � �� '� �#����! � ��� ��� ����!����� ���$ ����� ���$�$�$ �����##� �� � ��!�� ��!��� �%!�� ��$����# ��������$ � ��������� � ����� ����$� � #������� ���� ��� ���� ������ ��!����!��� �� ��� �����$ � �� $������ ��� ����� �# ���� ��� ��� ��� ������ � � �$ � �� � �� � �� � �� � ����� ���

!����� � � ��� ������ �� !�$�#��$ � $�� �� ��� �����#�$ !���� ���� ������$$��� !�$���'���! �#�$$�$ �������! �� �%� �� �%� ��� ��! �� �� �� ��� � ��� �������#��$�� ��� ���������� � ����� ��� � ��� ��! � ���� � �� ����� � $���#� #���� #����� �������� ��� � �����$ � � ������ � � ������$ � ��! � '��$ �$�� ������ ���� �$��� ��� �( ��#������� �� '���� ��!� � � ����� �� !�$�#��$ ��� ������ ��� ������ ��! �����!����� #������� ���� �$��� � #���� ��� ����$ �� � � ��� ��! � �� � ���� ���� ���#������� ���� �$�� �� � �� � �� �� � ���� �� � �� ��� � � ��� ��## ���$� !���������$�$ �$ ���!��� ��� � � � �� �

ω1ω0

ω2

χ0

y

χ1

!"# t � t F6-;H0 H670.2 70<\32M e−1.4 −1.2 −1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4

−1.4

−1.2

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

!"# t $� t >\3 4H.5505 K2.\7 k23- /.G556.7 K65<26BAG<6375 407<020K .< �BE e` CBE ea� .7K �E e` CE ea � e

������ �� $��� $ ��� $�� � �����#� �$��� $�����$��� ��$���! �� '���� ��!�#������� � ���� � � #������� ���� �� � � � �� �$ �$�! � ��� ��� $�� ���� ��� ��� �������$ ���� ���$��� ���� �� '���� ��!� $���� �� #� �� �$��� ��� �� ��� ���!���� �$�$�! �� ���� ��������� � ��� ��$� �$ �#����! �$ � �������� �� ��� �� � � ��� ������ �$ $���#� !����! �$ ��� ����� ���$��������$ ����� � ��� $�� ���$��� #������� �

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10−20

−15

−10

−5

0

epochs

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10−20

−15

−10

−5

0

epochs

�.� �A �

!"# t $$ t T06/9< <2.� 04<32U .7K 02232 4G2J0 KG267/ H0.2767/ k32 �.� � � D �^ .7K �A �� � _ �^ e

�����$���!$ �� ��� ������ ��!���$ � �� '���� � �� ��� �� �����$���!$ �� ��� ��������!��� �

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10−20

−15

−10

−5

0

epochs

batch

!"# t $� t T06/9< <2.� 04<32U .7K 022324G2J0 KG267/ 5<349.5<64 H0.2767/ k32 � �E �_ e

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5

0

Weight space

−2 −1.6 −1.2 −0.8 −0.4 0 0.4 0.8 1.2 1.6 2 2.4

−1.4

−1.2

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

epochs

!"# t $� t T06/9< <2.� 04<32605 .7K 022325k32 DB DB D 70<\32M <2.670K G567/ 5<349.5B<64 H0.2767/ e

�� ������ � � ��� ������ �� $��� $ ��� ������������ ��� � ���� $���#� ��#%��#���� ������� � �� ��$ � ����� � � ��!!�� � ��! � ������ ��!� � ����� ��� � ������$��! � '��$�$ � ��� ���������� �������� �$ �� � � ���� ���� ����� �� � � ��� ��������$�� �������$ �� �����#�$ ���� ���� �� � �#�$$�$ � ���� �#�$$�$ ��� ���$$��� !�$%���'���! � ��� $���!��! !�������� � �� � �#�$$ � ��$ � � ��� �� % � ��! �#�$$ � ��$ ����� �� � � � ������ ��#��$ ��� %� ��� �#�$$ � ��! � � ��� �#�$$ � � � ����� �� $��� $��� $�� ���$��� ��� ������ ��� ��� �����#� �

ω1

ω0

ω2

ω3

χ

y

!"# t $� t >90 - 676- .H -GH<6H.U02 70<\32M e

� � ���� ����� ��� � ���� ��� ����� ��� ��� ����� ��� � ����� ����� ��

�� ��� �$� ��� ��$�#�$ �� ��� �������$ $������ �� �$���� $�����# �� ��� �����$!�$��$$�! ���#��� �

��� ��� �� � ���� ��� �� ���� ������ ���

��� ���$�� ��� ��� �'��� ����� �$ ���� � ������� � ��� �� ��� ����� �����' #�$������$ � �¤ � ª¡ � ¤ �������#�� � ���$ � ���$ ��� ���!����� ���'�� � �## ' � #���� �� �� � ��� ��$� $������ � �## ' � $���� �� $�� � !��������$ ��! $��##�� �� �����$ $� ��������������� � �## ' � ���� $#�� � ��� $�#����� �$ �� $���#� ������ ��$$ ��� �����$'� $�'�������� ����� � ���$ �

��� � $���#� #����� ������ � ��� �����������$ �� ��� ��$$��� ����� ����$ $�'%������! � ����� �#��� ��� ��������# ���$ �� ��� �#��! �� �������� ������$ �����##������ �� � �����$ ���� ���� � #���� ��������� �� $����! �#��� !�'����� !��������$�� ��� ����� $���� � �## ���� � #���� ���!����� ���'�� ��! $#�� #������� � �! $��� ��������! �

� ��� ����� �� ��������� � �� ���� ������ ���

�� ��� ����� �����'#�$ ��� �����#���! � ���$ � �## ��� � ��� ��� ����� $������$�������# � '�� �� � �## � �$$�'#� ��!��� ��$ �������������

�����#���! ����� �����' #�$ � $��##� ���$� ��� �����������$ �� � �� ' � ������!���� ���� ��� ����!����� ���$ ������� �� ���$�$ �' � ���$ ������ ��!���$ ��� ���!�����#�! � ������#�! ������$ � ��� ��� ���� #������� ���� � �� ������� � ����!����� �# � ���$ � �� ���� ��� ��##�� ��� ����� �

� �������� � �� ���� ������ ���

��� $����$� ���� ��� ����� �����'#�$ �� � ������ ���� '��� !������#���! ���� ��$$��� ��� ���$ ������ �$ ���� !������# ��! ��$ �������#��$ ����� �#��� �������!����� ���$ � �� $��� � ��$� ��� ���!���� �$ ��� ��� ' �$� !�$���� !���������$ ��� '� $��� �� ��� �' � � ��� ����� � �� ����� $��� $ ���� ���!���� !��$��� ����� �����!$ ��� � �� ���� � ������� � �� �� ��$���! �$$��� ���� ������ ��$��� #������� ���� �����# ��� �����$� �� ��� �����$���!��� �������#�� � ���� ���

!�$���� !�������� � �## ' � �� ��� !�������� �� ��� ����� ����� ���� �����$ !�����#������!$ ��� � ������ �

� �� � ������ � �������� �� � �� ���� ����

� �������� ���|y} |{}�{ |z�� ���z�|y � �z�|}�

�� ��� ��##�� ��� �� � �## '����� �����!��� ��� � ����� � �������� ���!���� � ���$$%������ � �����'��� ( ������!� ��! ��� ���$�%������ ������ �����! �$�� �#$���� � �� � � � ��� �� � � � �� � ����� ��

�� ��� �� ��!��$���!��� �� ��� � ����� �����! #�� �$ ��������#��� ��� ��$� #�$���� $������ � �� � $$�� ��� � ���!����� #�$$ �������� � �$�� �� ��� ��� �$ !������!�� ������ � ���� � �� ��� ������� ��� ������ ��!��� �#��� ��� #���$ �� �� ��� ��% ����

�� � � �� ��� �

�� ���� � �� �� ��� ��

�� � ��� ������ � ��$� �� ' � ���$�� �� ��� ����� � � � � � $���� � �$ �� �������� ����������#� ���!����� � �� ���$ �������� ������ ����� �'��� ��� ��$$��� � �$ ��������� ������� � �� ��� ����� �������� ��$ ���!����� ��� $��� ���#! '� $�� ����� ���������� �

� $��##� ��� ������ $������ �����! ��� � ������ �$ ������ �##��$��! � �� ����� ������� #��� � ���� $��## � !�� ��!��� �� ��� ���!�������� �� ��� ��$$��� � ��������� ����$���� � ��## ����� ���� $����# ��� ��$$��� #��������� ��� � ��� ���������$ �##�� $��! $���� �� � $�������# $���� ������� � � �� �� � �$�� ������ �� ��!�� ���� �� � �� ��� �����$� ��$$��� �� �� ����� '�$���##� $�����$ ��� ��� ����� $������#� ��##�� ��� ��##�� ��� ��� ���������$ ��� '� $���� �� '� ������#��� � �� � �$� ��������� �#������� �� �� ������$���� �! ������ $���� ��! �' � !� �$��# ���!����!�$���� �� � �������! ����!����� $�$��� �$�� ������ ��� ���� ������������ � ��� � ����� �#������� ��������$ �� ��� $��� �� ��� ����� ����%���� �$ ���!����� ��! ���#��� ���!���� !�$����� �� �$ ��������� � ��� ��$� ��� ��#����� ����$���� �����$ �� ��� ����� ������$ � ���$ � ���$ ���� ��� �������������� � �$ ��� �'����! '� $� ���$ � $��#��� ��! �������� �� ����� ������$ � ���������� �� ��� � ��� !���'���$ �$ ���� �� � � � ��$$��� � ����� ��$� ' � $����!��! �������! � ����� ����$ � �� * � ��� ���������$ ��! �$ ��������� ����������# ������� ���� � ��� �����'#�$ � � ���� ��� ����� �������� �$ �� ������# ���%���!����� ������ �$ �� ��������� �� ����������� � �� ��� ��$$��� �$ ��� ��$����� !������ ����� ��$ $��� ���� �� ���� �������� � ������#��$ ����� ��� ����� $������ �$ ��� ��$��� !��������$ ��� �����! !������! � � ���� ��� � ����� �#������� � �## !������ �$� ��� ��$$��� « ©¦ ¨¤ ��$����� !������ � �� ����$� ��� ��$$��� � ����� �� ��#��%#���� �������$ �$ �� ������# ��� ��$����� !������ ���������� � ��� ���$� ���$��$��� ������ �#������� �� ��$ ���� ���# ���� �$ ��� �$�'#� ��� ������# �����# ���%���� #������� � ������� �� ����$ ���! ��$����$ ��� !���#����� ���� $����$������!�#������� $ � �$ !�$��$$�! �� ��� ��##�� ��� �

ω -½Λ Θ′

-½ΘΛ

U

Network

input

output

ω Networkω

input

output

Θ-½ΛU

Newton Algorithm here ...... ....is like Gradient Descent there

!"# t $� t FM0<49 3k <90 \96<0767/ ;23;02<605 3k <90 N0\<37 .H/326<9- e

� � ���� ��� � � ������

����� ��� $�����# ��������� ���������$ �� �������� ���!���� ����� ������� � ����� �$ � � �� � �����! � ��� �� !��$� %� � $� ��� ��$$��� ���#���� #�� �� � �� �������$�� ��! !�$���� !��������$ ���� ��� �� � �� �� �##� $���# ��� ��$�#� �������! �� ����������$ ���������$ � �� � �� �$�$ � #��� $����� � ��! ��$� ���������#�� ��� �� ����$��#� ��� '���� #������� �

��� ����! ���� ���� �$ $���� �� ������ �� � $$�� � �� ���� � !�$���� !�������� �� �� � ��� ���!���� � ���� �� � ���� ��� �#��� � #��� �� ���$ !�������� �#��� $����� � ���'$������#� �� $���#! ��� �� ��! � !�������� �#��� ����� ��� ���!���� !��$��� ������ ��$ !�������� � '�� � ���#� ��$ #����� ��������� !�������� � � ' ����$������� �#��� ���$ !�������� � �## ��� $���# ��� ��$�#� �� ��� �������$ ��������� ���� ���#����� �� ��� !�$���� !��������$ �� �� ��������� � �$ ����� �$

�� � ��� ��� � � �� ��� � �� ������� ��� ������ �� � ��� '� !��� ������ �����!��� �� �#������ ��! &����$ ����

first descentdirection gradients

conjugatedirection!"# t $� t FM0<49 3k 437�G/.<0 /2.K607< K6204<6375 67 . _: 02232 5G2k.40 e

� � �� ��� �� �� ��� ��� ����� �� �� ����� � ����

�� �#�� ��! &�' ����

� � ��� ��� � � �� ����� ��� �� ��� ��� ����� �� �� ����� � � ��� �

��� !��������$ �� ��! � ��� ��� !����! �$ �������� ����� � ���� � � �

� �� � �������� !��������$ ��� ���������# !��������$ �� ��� $���� �� �� �!��������$$��� � ����� �$�� ������ ��� � ���� ��������� ��� ����������� �� '��� ������$ �$

ρ κ−1

ρ κ

κω

!"# t $� t FM0<49 3k 437�G/.<0 /2.K607< K6204<6375 67 . _: 02232 5G2k.40 e

� ���! #��� $����� �����!��� � ��� � � ������#� ���!����� �������� � ��� � �����' #�$

� ����������� � ����� � $���$ ��� '� �����! � ��� ���%���!����� ��������$ �#����! &�'���� %$ ������ $��� $ ���� ��'�$� � �������� ���!���� �� �� ��� �#$� ' ������! �$ � $� ��� ������ ��� ����$��� ��� �������� ���� ����� �� �����#������� �������� � �� ��$ '��� ���#��! � ��� #���� $����$$ �� ��#��%#���� ��������������� �� ���'#�� $ ���� ��� ��!����� $���! � ��� ������ #�� ��!��!���� �� ���!��� � ������# ���#�������$ ����� ���� �������� �������� ����� � ��'���� ������#���� � ��� �%$����$ ���!������ ��! ����� ���# ��#��! ���'#�� $ ����� ���� ���������$ �����! � �#���#� �� #���� ��! ��!��!��� ��#�$$�������� � ���' #�� $ $�� ���$���'�������������� �$ ��$��� � #������ �������$ ���� ' ��� � �!� �� !���� � ���%'�����$ ���� � ��� � ��� !�$�!������� �� �������� ���!���� � ����!$ ��� ���$ ������ �$ � '���� �����! �����#� !�� �� ��� �����$��� �������� ���$ �� #��� $�������� ��!���� �� � ������� � �� �� ������ ���$�%������ ������ �����! ��� ���������#� �������$ �� �$��� ��� �� ��������$� ��$$��� � ��� �$ �� � �� � �#������� � ��� �������$ #��� $����� ��! �� � ������$ ��#� ��� '���� #���� ��� �

��� ��$����� !������ �$��� ��� �� ��� �����$� ��$$��� �$ !��� !�����#� � ���������� ����� ������ �����$��� ��! '� ��#� �$��� ���!���� ������ ����� � #������� �%��##� ���$ ��� '� !�$���' �! �$ �� ##�� $ � ��� ��$� � ��$����� !������ � ����� � �$���$�� � � �� � � � � � ��� ���� ��� $����� !�������� �$ $�� ��

� ��� � � ����� �� ���� ���� � #��� $����� �$ � ������ �! �#��� � � ����� ����$ ��� ��!��� ��� ��� ����� ����$�� ��� � �

� ��� � � �� � �� � � ���� ��� �����##� �� � ��� �$��� ��� �� ��� �����$� ��$$��� �$ ��!���! � �������! �� ��������� �#������� ��� ���$�%������ �������� ��#� ���!$ ���!���� ������ ����� ���� ��$� $����$$�� # ���$�%� ����� �#������� �$ ��� ����!��%�#������%��#!���'%������ ������ �����! � ��� ��!��� ��#� ��� ��� �$��� ��� �� ��� �����$� ��$$����$

� ��� � � �� � �� �� � �� � ��� �

� ����� �

� ���� � � � ����� �

� � ��� ������ $��� �''���������$ ���� '��� �$�! ��� ��� ��##�� ��� � � � ������$

� � �� �� ���� � �� �� �� � ���� � � ��� � � �� � �� � ����

#������ � �$ � �������! �'��� � ��� ����#�� ��� �$ ��#� � �� � � �� ��� $��## ��%�� ���! �� $���� � � � � ������ � $� ��� �#������� �$ ��#� ��������# ��� $� �##�������$ � ��� ���%��!��!��� �������� $��$ � &�����#� $�� � �������$ �� �$� ������� �� ��!��� $������ �������� ���$ �$�� � �� � �� �� �

� ������� � �� ��� !����� ��� �������

���$$%������ ��! �����'��� ( ������!� �#������� ��� �$� ��� $����� ����' ������� �� ����� � ��� ��� � ���#� !�$����! ��� '���� #������� � �� � ���� � ����#�� ����� � �� * � ��! �� � ��$� ��������� � ���� ���� ��#� ��� ���� $�����! ����� #�$$��������$ � ��� ���$$%� ����� �#������� �$ #��� ��� � ����� �#������� � ���������� ��$$��� �$ ������ �� ���! '� ��� $����� �� ��� ����'��� �$�� �#$� $������ � ����� � ������� !�$��$$��� �

�� � ��� � �� � �� ���

� � �� � �� ��� � ��

�� �� � � ��� ���� �����'��� ( ������!� � ����! �$ #��� ��� ���$$%� ����� �'��� � '�� �� ��$ �����#��������� ��������� � ���� �������$ �� ���� '#�� ��� �� � �� $�� � �������#��$��� $� �##

�� � ��� � �� � �� ���

� � �� � �� ��� � � �� ��

�� �� � � ��������� � !�����$ ��� ����� � ����� � ��� ���$$ ������ � ����! �$ ��#�! ������!����� ��$� ��������$ ������� � $�� �#�� ��� ��!��� �#$� ����$ � ��� "�##'���%���'#�� ��$� ��! �$ ��##�! � �����# ���!���� �$�� � �� � �� � �� � ��� �� �{���� z| �|�~z� z�� � �����y �y �|{� �z�|y �y

�~�z�����{ y�z�|{��

�� ��## ��� !�$��$$ $�����# ����� ����$ ��� �! �� ��������� ��## �� ������# ��$$��������� ����� '� �� � ����� !�'������ � ����! � �' � $����� ����'��� ������ �� ��������� ���$$%������ ��! �����'���%( ������!� �#������� � � ��� ����������� ����� !������# �� ��� ��$$��� ��! �! � '� �'������� � ���!��� �� ��� ��$$��� ��!� ������ � ������ ��������� ��� ��$$��� � ����� $�� �%���#�����# ���������$ �����##�� ��� ����������� �� ��� ��## ��$$��� ��� �� ����! '����$� ���� ��� ����������#�����! ��! �#$� ������� � ��� ������!�'������! ����������� $���$ �� � �� �

� � ��� � � ��������

�� ��� ����� ��� � %�� #��� �� ��� ��$$���

� ��� � � ��� �� ���� �

��� �� � ��� � � �� �� �

��

����� �� � �� � � � � � � � � � �� � � � � �� �$ � ������ �� ����$ ��! ��#� ��� � �� ��� �%����$����� � ���$ ��� '� ���#�� ����! � ��� � $���#� ����� � � ��� ������� ��� ����#���!���� '� ��#��� #� ������! ��! '������! ����������� $���$ � ��� !! � �� ���� %�� ����� ���� ��! ������� ����� ��� ���!���� � ��! ���##� �� � $�'����� '�����$�#�$ ��! !���!� '� � � ��� �� ��������# �����$ �� ���$ ����������� $���� � �����$�#���� ��$$��� � ���� ��� ' � � ������#� $�������� � �� ���$ ��$� �� $���#! ' �©�«« ¤¦ £& ¤¢ �$ !�$���'�! '�#�� �

� � ������ ����� ��� ������ �� � ��� �� �� ������� � �� ���!����� ���� ������� ������ �� �

$$�� ��� � � ��� $�����! ��$� ��������

� �� � � �� ����� � �� � �� ��� ��� � �� � �� �� ��� �

���� ��� ���!���� �$�� �� ��� � � ��

��� � �� � �� ��� � �� � �� ��� ��� �

��! ��� ��$$��� ��##�� $ �$

� �� � � ��� �� � �� �

��� � �� � �� �

�� � ����� � �� � �� ��� � �� � �� �

�� �� � ��� � $���#��� ��� �������� ����� �� ��� ��$$��� �$ ��� $����� �� ��� ����'��� ������$ � ��$����� $�� �%!������ ������ �� !�� ��$��� � � � �

� �� � � ��� �� � �� �

��� � �� � �� �

��� ����

����� ��� $����! ���� ���� �� ���� � ��$ !�����! � ���$ �$ ������#��� �� �$$�� ������� ��� ������� �$ � #����� �������� �� ��� ����� ����$ � � ���� �� �$ �$ ���!�#����#�� ����! ��� ��� � %�� ��#��� �� ��� ����'��� � ��� �## �������� ������� $ � ����� ������! ��������� � ���� ��� $�� ��� �������� �� ��� ������ ����$ �� � ��! ��#���� � %�� ������ �� � � �� � � '�������������� $��� �$ ����� ��! ��� ���!���� �$������#���! �

� � ����������� ��� ������ ������ ����

��� �$ ���$�!�� � ��#��%#���� $�$��� � ��� $�� � ���������# '#� ��$ � ��� � � �����$ �� � ������$ ��! � ���������$ �� ��� ���� � � � �� � � � ��� �$$�� � �� ����� � ��� � ����� �$ � � � � � � ������ � ���� �� �$ $������� ������! �� ����������$ � �����

� ��� � ��

�� � � ���

���� �

����

� ��� � ����

�� ��� !��� ��� $����! ���� �� �� ����� ��! ��� ��$�#���� �$��� ��� �� ��� ��$$����$ ��$����� $�� �%!������ � ������� ��!������ �$ �������! � �� �� ������ �## '�� ���!������# ���� $ �� � �

�� ��

� ��� � � �

� �� � �

�� ���� � � � ��� �

$�� �#�� !��������� ��� '� !��� �� �'���� ��� � � ��� �$ � � ������ � � �� � �

� ����������� ��� �� �������� � ������ �� ������ �� �

��������������� �����!���$ ��� ��������� ��� !������# ��$$��� ��� ��## �������� � � � �� � � �� �$ �$$�� �! ���� ���� #���� �� ��� ������� ��$ ��� ���������# ����� � � �� � � � �� � � �� �� � �$�� ������ �� ��� ��� $�����!�# ������� � � � $��� ������$$%������ ������ �� ����� �!������� ��� ���� ���� ������� �� �� �� �� �'���� �

� �� � �

� � �� � �

� � ��� �� � ��� �� ��� � � �

� �� � �

� � ������!

� �� � � �

� �� � �

� � � � ��� �� ��� '���� � ���$$��� ���#�������� �$ $���� �� ������ �� ��� ��� &�� ���%����$ �� �'����

� ��� � � �

� �� � �

�� � � �� � � ������!

� �� � � � �

� �� � �

�� � � �� � � � ��� ���� ��$� �� ��������� ��� !������# $����! !���������$ '� ������� ���$� ����%����$ ���� ��� #�$� #���� �� ��� ��$� ��� �$ �$$�����##� ��� $�� � �$ ��� ����#��'������������ ��$$ �$�! ��� ��� ���!���� � ������ ���� ��� $����� �� ��� ������$��� �$�! �� ��� �������! $�� $ � ���$ ��������� �$ ���#��! �� ��� ������ �# '����!�� ���� ������� ��� ��!��� �$�� ����� �

||ω−x ||2y

x

f( )

ωx

x

ω

y

z

1/2

!"# t $� t L.4M;23;./.<67/ <90 K6./37.H � 0556.7 j 56/- 36K5 �H0k< � .7K 8L[5 �26/9<� e

� � ����� ��� �� ������ � �� � ������ ��� � ��� ��

�� � ��� �����!$ ���� � ��� �$� �� ��� ��$$��� � ��� ��$$��� �$ �$�! ���#�$���#� �����!���$ � ��� � ������ � ������$����#�� ����� �$ � ��� �� ��������� $��� ���!���$� £¦¬ ­ ¦ ����� ������� ��� ����'#� �� ��������� ��� ��$$��� ��$�#� � ��� �����!�'������ � ����! ��� ��#� ## ���$ ��$� ��� �� ��'������ ������ �

� � � �� ���

���� � �� � � ��

���� �� � ��� �

�$��� ��#� ��� ���!���� �����������$ ��� ����� � ��! � � �� ��$�������#� � ������ ��� '� ���!�#� �������! � ��� '������� �� �$ � $� �## ���$���� � �

���$ � ����! ��� '� ���#��! �� ������� ��� ��������# ����������� ��! �����%��#�� �� � '� ��� ����� � ����! � �� ��������� ��! $������

� �� � �� � � � ����� ��� � � ��� �

��� ������ � ��� ��## �������� �� ��� #����$� ����������� �� � ��! �� ���� �� ��������$���!��� �������#�� ��� � �� � ��� � ��� �#$� ��� � ��� �� ���� ���� �������������! ���� ��� !��$ ��� �$� ����� !�'������$ ��! ��� ��$ $�� �#�� ����#�� ����

� � y��� ��� | � z�� � �����y �y �~�z�� ����{ y�z�|{��

�� �$ ������$���� �� ��!��$���! ��� $�� � �� ��� �����$ $���� �������$#� ���������� ��� ��$$��� � � �� � ��� !��$ ��� ��$$��� ������ � ��� ���� �������� ��! !����#$ ����� ���#�� �������� � ������##�� ��� �������#�� !�$���'����� �� ��� ��$$��� #���$#��� ��� ��� $������! �� ������ �� � � ��� $� �## �������#��$ � � ��� ��!��� ���$��! ��� ���� #���� ���$ � �� � �## ��� ����� ���� ��� ª¡ � ¤ ¤£� ¤¥�¡ª¤© � �## ���$���� ����'#� �� ��� ����� ��� ��� ��$$ ' ����$� ��� � ���� ���%���� � ��� �����$ �� ������ $����$ ����� ��!� ���������$ �� ��� $����! !���������$ ���� #���� �� #����� �����#����� '������ $���� �����'#�$ �

�� �����#��� ���$ � �� $��� ��� �������#�� !�$���'����� �� � ������� ������!�� ��& !��� �� ������ �� � �#���#�� ����� �$ � � �!� $����! �� �������#��$ �$�������� �� � ��! �� �'$���� ���� ��� ����� ' ������ � �� � ��� ��$� ��! ��� �#�������������#�� �$ �'��� � � ��� #��� ���# �� ��� �������#�� !�$���'����� �$�� ������ �� ��$ ������ ������# ' ����$� ��� ����� ' ������ ��� #����$� ��! $� �##�$� �������#������$ ��� ���!����� ��� �� ��� #������� ���'#�� � #���� ����� �����$���!$ �� �'�� !�'������ �� ��� �� �$ �� ��� �##�� $��!�# $����! ����� �������� � ��� #����� �������� � ��� ���� �� ��! � ����%$��## $����! � ���� � � ����� ��� ������ �#� $���������!$ ��� $� �## �� �$ ��! ���� ��� �#��� ��� #��� �� �$ ������� ������# ����������$��� �� ��� ��$$��� �� ��#��%#���� �������$ �$ ���$����! '������ #����$ � �� ������ �� �� �����#� $����� ��� ��� $���� �� �����$$��� �����$ ���� '���� ������ ��� �� ��� ��$� #���� �� '���� ����� $���� ��

0 100 200 300 400 500 600 700 800−6

−5.5

−5

−4.5

−4

−3.5

−3

−2.5

−2

−1.5

−1

−0.5

0

Eigenvalue order

10Lo

g

Eig

enva

lue

the ratio between the 1st and the 11th eigenvalues is 8

!"# t $� t � 6/07J.HG0 5; 04<2G- 67 . ` H.U02 59.20K \06/9<5 70<\32M �_^� � D_a ��` � DE �<2.670K 37 Q_E 9.7K\26<<07 K6/6<5 e

��� #�$� #���� � ���$ �'���$ ��� #���� ��� $� ��! ��! ��� �����!� �� �����!������ ���#��� ��� $#�� #������� �� #���� #����$ ��! ��� ��$� �$�� ���� � �$��##����� �#������� �� ��� #�$� #���� � ����� �� ������$��� ���$ !�'����� $��#� �� #������� �$�� �$� ��� �����$� !������# ��$$��� �� ������# ��� #���� ��� ���� �$�� �#$� $������� �

� � �� �y� ���|y} �{}�{ � �z�|}� z| � ~�z�����{� �z�|{��

������ �� ����������� �� ���$ $������ �� ��� �� ���#�� $����! ��!�� ���������$��� �������� #���� �������$ � #�� �$ ��$� ��� ��� $�� � ������ � �$$�� �$��� ����$ �'������#���� �#�$$���# $����! ��!�� �����!$ � ���������$ �$��� ��## ��$$��� ������ �%���� ����$$ %������ � �����'���%( ������!� ��! ����� ��� ��#� ���#� �� ����$� �## �������$ ������! �� '���� ��!� � ������� ���$� $� �## �������$ ��� ������ ���$ ���� ���! $���!��� �� ��� ��$� � ( �$� $����! ��!�� � ����!$ �����%���� ���!���� � ���� � � � � � ������� � #���%$����� ��! ��� ��������� ��� '� �$�!�� ��� $�� ���$��� � �!� � ( ��� �� ��� �����$ !�$��$$�! �������$#� ���#� ��#� ��'���� #������� � ���� ��� ���������� �� ���� ���� � ������##� ����! $�� ���$������!���� !�$���� �$ ���! �� '��� �� #���� �#�$$�������� ���'#�� $ � ��� $� �##�����'#�� $ ���� ������� �������� ���#%��#��! ������$ #��� �� �������� ������ �� �%���� �� ������# ���'#�� $ � �� $�� ���� �������� ���!���� ����� �#��%& �'����

0 2 4 6 8 10 12 14 160123456789

1011121314151617181920

Eigenvalue magnitude

Nu

mb

er

of

Eig

en

valu

es

Big killers

!"# t �� t � 6/07J.HG0 5; 04<2G- 67 . ` H.U02 59.20K \06/9<5 70<\32M �_^� � D_a ��` � DE �<2.670K 37 Q_E 9.7K\26<<07 K6/6<5 e

!"# t �$ t ZGH<6H.U020K .2496<04<G20 j <90 50437K K026J.<6J0 65 3k<07 5- .HH02 67 H3\02 H.U025 e

�� ���� �� �'��$ ��� ' �$� ���'������� �� $� ��! � ��#��'�#��� ��! $���#������ ������#�������$ �$��� �� ��� '�����$� �� ���#���� �������� ���!���� �� #���� ��! ��%!��!��� ���'#�� $ ���� '��� � �!� ������#� ��� � �� � � �� � ������� �� �����������!���� ����� ������� ���##�! $��#�! �� � $��� $ ������$���� � ���� ��� #��� $�������� ��!��� �$ ��� #���! '� � �� �����'��� ( ������!� ���� �#������� ���� �� � � � ����� �� �������� !����� ��� ������� � � ���

�� �'���� � $�� ���$��� ���$��� �� ��� �����'��� ( ������!� �#������� ��� �!���$ �� ������� ��� !������# ��$$��� ������� � ������� �$��� ��� �� ��� $����!!��������� � ��� ��$� ��� �� ���� ����� ���� � ��� �� $���������$ $����! !������������ '� �'�����! ��� '�������������� �$ $���� �� ��� �����#�$ �� $������ � � $$��� �$ �� ���� ���$� ������� �$��� ���$ �� ��� �$� ���� �� ������� ��!���!��##������� ����$ ��� ���� ����� ����

�� � � �� � �� ��� � � �

� �� ��

����� � !�����$ ��� �#�'�# #���� ��� ���� � ��! � � �� �� � � �$ � ������� �$��� ��� �� ���

!������# $����! !��������� � ��� ��$� ��� �� �� � � � �$ � ����� ���� �� ������� �� ����� '#�� ��� �� �� ��$� ��� $����! !��������� �$ $� �## � � �� � ���� ��� ����� �����������$ �� ��� ����$ �� ��� ����� �������� � ��� ������� �$��� ��� �$ �������! �$

� � ��� � � ��� � �� � � � � � �

�� � � ���� � � � � ��� � � � ����

����� � �$ � $� �## ���$���� ���� !����� ���$ ��� ������ �� ������ ���� �$'���� �$�! � ��� $����! !���������$ ��� '� �������! ����� �� �������� ���� � �� �� $�'$�� �� ��� ����� ��� $�� � � ���� ���� ������ ��#� ���� $#�� #� ���� ��#� ���!�� '� ���$��� ���! ����� ��� �����$ � ���� ���� ��� �!!������# ��$� ���� ����#��'�������������� �$ ���#���'#� ��! ����������� �$ � �$ � ��#� �� ����' � �'�������� ��� �$ ��$��� ���� � ������##� ����! $�� ���$��� ���!���� �#������� �

�� ������ �� ��! �� �� $�� ��� ����������� �� ��� $�� ���$��� !������# �����%'��� ( ������!� � ����! �� �� ��� � ��� �����#� � ��� ��� !�'����� $��$ �� #����%��� ����$ � �'����$#� ��� ������� ��� $���� ������ �� �������$ ����� ����������$���� �� ������ �� !�� �� $��##�� #������� ����$ �

� � ����� ��� �� ��������� � ������������� �� � �� � ������

�� ��� �� ##�� ��� �� ���� ����� �����$ ��� ��������� ��� ��������# �������#������%��� �� ��� ��$$��� � ������ ������ �� ������� ��� ��$$��� ��$�#� � &�� ��'������ �� $������ � �� �� �#$� �����!���! � �����! �� ������ �� ��� ��� $� �##�$������������ �� ��� ��$$��� �������� ������ �� ������� ��� ��$$��� � ���������������� �$�� �#$� ����� �

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5

0

Hessianlargesteigenvalue:

λ = 0.84max

η = 2.38max

epochs

Learningrates:

η0 = 0.12η1 = 0.03η2 = 0.02

MaximumadmissibleLearningrate (batch):

!"# t �� t F<349.5<64 K6./37.H @0J07A02/BZ.2�G.2K< .H/326<9- e : .<. 50< k23- _ Y.G5B56.75 \ 6<9 DEE 0u.-;H05 e >90 70<\32M 9.5 370 H670.2 G76< C _ 67;G<5 .7K D 3G<;G< C 6 e0 e<9200 ;.2.- 0<025 �_ \06/9<5 C D A 6.5� e

Weight space

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

Log MSE (dB)

0 1 2 3 4 5 6 7 8 9 10

−20

−15

−10

−5

0

Hessianlargesteigenvalue:

λ = 0.84max

η = 2.38max

epochs

Learningrates:

MaximumadmissibleLearningrate (batch):

η0 = 0.76η1 = 0.18η2 = 0.12

!"# t �� t F<349.5<64 K6./37.H @0J07A02/BZ.2�G.2K< .H/326<9- e : .<. 50< k23- _ Y.G5B56.75 \ 6<9 DEE 0u.-;H05 e >90 70<\32M 9.5 370 H670.2 G76< C _ 67;G<5 .7K D 3G<;G< C 6 e0 e<9200 ;.2.- 0<025 �_ \06/9<5 C D A 6.5� e

���� � ��� �� ������ ��� ��$�#� �� ��� !�$��$$��� �� $������ � �� � $����������� � ���!�� ������# ������ � � ��� ���������

��� � �� ����� ��� �

���## �������##� �������� �� ��� ��������# ����������� ��� � ������ �� ��� ��������#�����$���� � ��! �� ��� � ��## �������� �� ��� �����$���!��� �������#�� ��� � ��� ���� ��� ��������� ������ � ����! � ���$ �$� �� ��� ���� ���� $� �## ������%'�����$ �� ��� ���!���� �#$� #��! �� ��� ��������# ����������� �� �

��� � �� ����� �� � � � ����� ��� �

� � ����

�� �� � ��� ������ � �$ � $� �## ���$���� � ��� ��������� �� ���$ �����!��� �������$ ��� ������!��! ��� '������! ����������� $���$ ��� ���� ������� �� ��� ����� ��� $�� �

������ ����� � ��� � � ��� ��##�� ��� ��#� � ���$ �$� �� ��� ������� ��%����� �� �'���� ��� #����$� �������#�� �� ��� ������� ��$$��� ���� ��$�

��� � �� � � �� ��� ��� ��� �� � � � ����� ��� �

� � ���� �� �� � ��� �

�� $�������� � ��� �������#��������� �����������$ �� � � ���!�� ������ �$ ���$�� ��� �� ����#������� �� � �� � �� ����� ������� �$ ���$����! � ��� !�$���! ������ � � ������! ��! '������!

����������� � $��� �$ ������� �! ��! ��� ���!����$ � �� � ��� $����! �� � � � ���

�� ��� ��$ �!!�! �� ��� ������� ������ ������ � �

� � � ������! ��! '������! ����������� $��� �$ ������� �! � ��� ��� � �����'�!������ ������ ��! ��� ���!����$ � �� � � ��� $����! �

� � ��� !�'������ ��� �� �� � � � � �� �� �$ �������! ��! ��� ������� ������� ����� ����������� �$ ��!���! �

� � �� #��� ���� ���% �� � ����# � ���$���'#� $��'#� ��$�#� �$ �'�����! ��� � �� � ��� ����� �# #���� ��� ���� �$ ���� ����� �$

� �� � � ��� � �

�� ������ �� �� $�� ��� ���#����� �� ��� �������#�� �$ � �������� �� ��� ���'�� ��������� ���$��������$ ��� � �����# ������� �� � ���!������� ��������� �������������$� � �� �������� �� �!��� ��� #��� $��� �� ��� ������� ������� �� ��!�� �� �������� ����������$ ��$ �#$� ��!�����! �� ��� ������ � �� ��� ����� �� $�� ��������� ����� ���� ��� ������� ���$��������$ ��� ������� ��!�� �� � ������!� ������ �������#�� � � �� ��� #������� ���� �$ ������! � ���� ��� ������� ���$ �� �#$��'$���� ���� ��� ����������$ �� ��� ������� ��$$��� ���� �������� ��� $� �## �

0 50 100 150 200 250 300 350 400

0

10

20

30

40

50

60

70

80

Number of pattern presentations

eige

nval

ue

γ=0.1 γ=0.03

γ=0.01γ=0.003

!"# t �� t �J3HG<637 3k <90 06/07J.HG0 .5 . kG74<637 3k <90 7G-A02 3k ;.<<027 ;20507B<.<6375 k32 . 59.20K \06/9< 70<\32M \ 6<9 ^ H.U025 C �`�Qa 437704<6375 .7K D_Pa k200;.2.- 0<025 e >90 <2.6767/ 50< 437565<5 3k DEEE 9.7K\26<<07 K6/6<5 e

�� ������ �� ��! �� �� $���� � ��� ��� $�� � ������# ���!�����$ � ��! �������� ���! ���'�� �� ��� ��$ � ��� #���� ��� ����$ �������! '� ��#���#���� ��� ���%!����! #���� ��� ���� '� � ���!����! ���$���� � ����$��� ���$���� � �� �� � �$��� ������!����! ����� �# ���� � �#���$ ����$ ��$�!��# �����$ ����� ��� ���� �#�$� �� �������� �������! '� ��� '�$� ������ �� ��� ���$���� � �� ����� ���!$ � ��� ����!����!����� �# ����� �$ ����� �# ������ �

0 0.25 0.5 0.75 1 1.25 1.5 1.75 2 2.25 2.5 2.75 3 3.25 3.5 3.75 4

0

0.5

1

1.5

2

2.5

LEARNING RATEPREDICTED OPTIMAL LEARNING RATE

ME

AN

SQ

UA

RE

D E

RR

OR

1 epoch

2 epochs

3 epochs4 epochs

5 epochs

!"# t �� t Z0.7 5�G.20K 02232 .5 . kG74<637 3k <90 2.<63 A 0<\007 H0.27 67/ 2.<0 .7K;20K64<0K 3;<6- .H H0.27 67/ 2.<0 k32 . kG HHU 437704<0K 70<\32M �Pa` � QE � DE� e >90<2.67 67/ 50< 437565<5 3k QEE 9.7K\26<<07 K6/6<5 e

0 0.25 0.5 0.75 1 1.25 1.5 1.75 2 2.25 2.5 2.75 3

0

0.5

1

1.5

2

2.5

LEARNING RATEPREDICTED OPTIMAL LEARNING RATE

ME

AN

SQ

UA

RE

D E

RR

OR

1 epoch

2 epochs

3 epochs4 epochs

5 epochs

!"# t �� t Z0.7 5�G.20K 02232 .5 . kG74<637 3k <90 2.<63 A 0<\007 H0.27 67/ 2.<0 .7K;20K64<0K 3;<6- .H H0.27 67/ 2.<0 k32 . 59.20K \06/9< 70<\32M \ 6<9 ^ H.U025 �DE_` �D^�a � QV_ � `EE � DEE � DE� C �`�Qa �H3 4.H� 437704<6375 .7K D_Pa k200 ;.2.- 0<025�59.20K \06/9<5� e >90 <2.6767/ 50< 437565<5 3k DEEE 9.7K\26<<07 K6/6<5 e

w� ���~���|y �y} |y��~��|y

����!��� �� ��� ��������!�����$ � �������! �'��� � � ������������ ������ ���#��%#���� �����# ��� �������� ���'#�� ���#! �� ������� ��� ��##�� ��� $���$ �� $��� � ��� �����#�$� ������ ��� ����� �����'#�$ '� $�'�������� ��� � ���� ���� �#��� ��� ����� �����'#� �� � $���!��! !�������� �� �� �� � �$$�'#� � !������#��� ��� ����� �����'#�$ �� ���� � ������� � ��� ��� $�����! �������� $���� �� ����� �� $�� ��� ������ ��#��$ � ����� ��� ����� �� ��� $�����! � ������##� � � ��! % � �� �� ����#��� ��� ������$ �� ���!�� ��#��$ �$ ���$���' �! '� �� �

��� ��������! � ����! ��� �������� ��� ������� $���#! ' � �����! �$ ��##�� $ �� �� ��� �������� $�� �$ #���� ����� ���� � ��� ���!��! $���#�$� ��! ��!��!��� �

��! �� ��� ��$� �$ �#�$$�������� � �$� $�� ���$��� ���!���� � ��� ������# ������ ��� �$� ��� $�� ���$��� !������# �����'��� ( ������!� � ����! �

� �� ��� �������� $�� �$ ��� ��� #���� � �� �� ��� ��$� �$ �����$$��� � �$� �����������!���� �

�#�$$���# $����!%��!�� � ����!$ ��� ����������# �� �#� �$� �## �$���# ��$�$ ���� ���%#����� !���� ��$ �� $�� ���$��� ���!���� !�$���� �� ��#��%#���� �����#

�������$ � �������#��#� �$ �� �������$ �� ������#������� � �$ $��## ��� ���� '���� ��##��!��$���! � ( ��� ����������# ���� ��! $�$������� ��� ���� ����# ���� �$ ���!�! �

����� ������ �� � �� � � � �� � � " �%& � ( � �������##� ������ #�!�� �����#�������� �����$ ���� �� ��! ��� �

� � ��{�y���

De F e =- .26 e N0G2.H H0.2767/ 67 5<2G4<G20K ;.2.- 0<02 5;.405 � 7.<G2.H 260- .776.7/2.K607< e ,7 Z 649.0H ] e Z3I02 C Z 649.0H , e O32K.7 C .7K >93- .5 10<5490 C 0K6<325 C������ �� � ��� ��� ��� ����� � ������ ���� C J3HG- 0 V C ;./0 D_P e >90 Z,>12055 C DVVP e

_ e F e =- .26 e N .<G2.H /2.K607< \32M5 0� 4607<HU 67 H0.2767/ e � ��� ���� ������ CDE �_� j_^ D� _P� C DVVa e

Q e 8 e L.<<6<6 e [ 625<B .7K 50437KB32K02 - 0<93K5 k32 H0.2767/ j L0<\007 5<00; 05< K05407<.7K 70\<37 �5 - 0<93K e � ��� ���� ������ C ` jD` D� D�� C DVV_ e

` e F e L04M02 .7K � e @0]G7 e ,-;23J67/ <90 437J02/0740 3k A.4MA23;./.<637 H0.2767/\ 6<9 50437K 3K02 - 0<93 K5 e ,7 : .J6K >3G20<IMUC Y03v20U � 67<37 C .7K >0220740F0�73\ 5M6 C 0K6<325 C � ������� �� �� !"" ���� ������� # ��� � �� � ��� ���C;./05 _V�QP e @.\20740 � 2HA.G- =55346.<05 C DVaV e

^ e ] e Z e L 6593; e � ��� � �$ ��% � �� � ����� &��������� e ] H.207K37 12055 C Wuk32K CDVV^ e

� e @ e L3<<3G e W7H670 .H/326<9- 5 .7K 5<349.5<64 .;;23u 6- .<6375 e ,7 : .J6K F..K C 0K6<32 C'���� (������ �� � ��� � �$��% ) !!* +��%� �� �� �� � $��� ����� �, C].-A26K/0 C DVVa e >90 N0\<37 ,75<6<G<0 F02605 C ].-A26K/0 R76J0256<U 12055 e

P e : e F e L233-90.K .7K : e @3\0 e ZGH<6J.26.A H0 kG74<637 67<02;3H.<637 .7K .K.;<6J070<\32M5 e ���� �� ���� C _ jQ_D�Q^^ C DVaa e

a e T e @ e LG7<670 .7K = e F e T06/07K e ]3-;G<67/ 50437K 32K02 K026J.<6J05 67 [00KB[32\.2K 70<\32M5 j = 20J60\ e ���� ���������� �� � ��� � �$��%C DVVQ e >3.;;0.2 e

V e ] e :.2M07 .7K O e � e Z33KUe N3<0 37 H0.27 67/ 2.<0 5490KGH05 k32 5<349.5<64 3;<6B- 6I.<637 e ,7 8 e 1e @6;;- .77 C O e � e Z33KUC .7K : e F e >3G20<IMUC 0K6<325 C �������� � ��� ��� ��� ����� � ������ ���� C J3HG- 0 Q C ;./05 aQ_�aQa e Z32/.7 h.GkB- .77 C F.7 Z.<03 C ]= C DVV De

DE e h e , e : 6.- .7<.2.5 .7K F e � e hG7/ e � ��� ����� �������� � ��� � �$��%e T 6H0UCN0\ �32M C DVV� e

DDe 8 e [H0<4902 e � �������� # �� �� �� '� ��� ������� C 49.;<02 a eP j 13HU73- 6.H <6- 0.H/326<9- 5 C ;./05 DaQ� Daa e O397 T 6H0U ? F375 C N 0\ �32M C 50437K 0K6<637 C DVaP e

D_ e F e Y0- .7 C � e L 607075<34M C .7K 8 e :3G25.< e N 0G2.H 70<\32M5 .7K <90 A6.5�J.26.740K6H0--. e � ��� ���� ������ C ` �D� jD� ^a C DVV_ e

DQ e @ e Y3HK5<067 e Z0.7 5�G.20 3;<6- .H6<U 67 <90 437<67G3G5 <6- 0 83AA675 Z3723 ;23B40KG20 e >049764.H 80;32< :8LBQE� C : 0;< e 3k Z.<90- .<645 C R76J0256<U 3k F3G<9027].H6k3276. C @= C DVaP e

D` e Y e � e Y3HGA .7K ] e [ e �.7 @3.7 e # ����� ���� ������� _7K 0K e O3975 � 3;M675R76J0256<U 12055 C L.H<6- 320 C DVaV e

D^ e > eZ e � 05M05 .7K L e h .;;07 e W7BH670 H0.27 67/ ;23405505 67 .2<6f46.H 70G2.H 70<B\32M5 e ,7 O e Y e >.UH02 C 0K6<32 C # ��� � ������ ��� ����� �� � ��� � �$��%C J3HBG- 0 ^DC ;./05 DVV� _QQ e � H50J602 C =- 5<02K.- C DVVQ e

D� e 83A02< = e O.43A5 e ,7420.50K 2.<05 3k 437J02/0740 <923G/9 H0.2767/ 2.<0 .K.;<.<637 e� ��� � �$��%C D j_V^�QEP C DVaa e

DP e = e � e h 2.- 02 .7K = e F.7/63J.776B� 67407<0HH6 e �� 4607< ;.2.HH0H H0.27 67/ .H/326<9- 5k32 70G2.H 70<\32M5 e ,7 : e F e >3G20<IMUC 0K6<32 C ������ �� � ��� ��� ��� ������ ������ ���� � � ������� �� �� !"" ���� ���C ;./05 `E�`a C F.7 Z.<03 C]= C DVaV e Z32/.7 h.Gk- .77 e

Da e � e @0]G7 e # ��� ���� � ������ � � ���� ������ )����������� ������� � ���, e 19: <90565 C R76J0256< 0 1e 0< Z e ]G260 �1.265 � ,� C DVaP e

DV e � e @0]G7 e Y0702.H6I.<637 .7K 70<\32M K056/7 5<2.<0/605 e ,7 8 e 1k06k02 C � e F4920<02 C[ e [3/0H- .7 C .7K @ e F<00H5 C 0K6<325 C ���� ������� �� � �� ���� C =- 5<02K.- CDVaV e � H50J 602 e 123400K67/5 3k <90 ,7<027.<637.H ]37k020740 ]37704<637 65- 67 102B5; 04<6J0 C R76J0256<U 3k � gG2649 C DE e � DQ e W4<3A02 DVaa e

_E e � e @0]G7 C L e L3502 C O e F e : 07M02 C : e � 07K02537 C 8 e � e �3\.2K C T e �GAA.2K C .7K@ e : e O.4M0H e � .7K\26<<07 K6/6< 2043/76<637 \ 6<9 . A.4M;23;./.<637 70<\32M e ,7: e F e >3G20<5MUC 0K6<32 C ������ �� � ��� ��� ��� ����� � ������ ���� � ����� C F.7 Z.<03 C ]= C DVVE e Z32/.7 h.Gk- .7 e

_De � e @0]G7 C O eF e : 07M02 C .7K F e= e F3HH. e W;<6- .H A2.67 K.- ./0 e ,7 : e F e >3G20<5MUC0K6<32 C ������ �� � ��� ��� ��� ����� � ������ ���� � ���� � C ;./05 ^Va��E^ CDVVE e

__ e � e @0]G7 C , e h .7<02 C .7K F e = e F3HH. e F0437K 32K02 ;23;02<605 3k 02232 5G2k.405 e ,7������ �� � ��� ��� ��� ����� � ������ ���� � ���� C F.7 Z.<03 C ]= C DVV DeZ32/.7 h.Gk- .77 e

_Q e � e @0]G7 C 1e � e F6- .2K C .7K L e 10.2H-G<<02 e =G<3- .<64 H0.2767/ 2.<0 - .u6- 6I.B<637 AU 37BH670 05<6- .<637 3k <90 90556.7 �5 06/07J04<325 e ,7 Y6H05 C � .7537 C .7K]3\.7 C 0K6<325 C ������ �� � ��� ��� ��� ����� � ������ ���� � ���� �C F.7Z.<03 C ]= C DVVQ e Z32/.7 h.Gk- .77 e

_` e Z e Z � HH02 e = 54.H0K 437�G/.<0 /2.K607< .H/326<9- k32 k.5< 5G;02J650K H0.2767/ e� ��� � �$��%C � j^_^�^QQ C DVVQ e

_^ e Z e Z � HH02 e FG;02J650K H0.27 67/ 37 H.2/0 20KG7K.7< <2.67 67/ 50<5 e �������������� ���� �� � ��� ���� C ` �D� jD^� _^ C DVVQ e

_� e O e � e Z33KU .7K ] e O e : .2M07 e [.5< H0.27 67/ 67 70<\32M5 3k H3 4.HHU B<G70K ;23405567/G76<5 e � ��� ���� ������ C Dj_a D� _V` C DVaV e

_P e N e ZG2.<. e )�� ����� , e 19: <90565 C R76J0256<U 3k >3MU3 C DVV_ e_a e N e ZG2.<. C h eB8 e Z gGHH02 C = e � 6090 C .7K F e =- .26 e =K.;<6J0 37BH670 H0.2767/ 67

49.7/67/ 07J6237- 07<5 e ,7 Z 649.0H ] e Z3I02 C Z 649.0H , e O32K.7 C .7K >93- .510<5490 C 0K6<325 C ������ �� � ��� ��� ��� ����� � ������ ���� C J3HG- 0 V C;./0 ^VV e >90 Z,> 12055 C DVVP e

_V e = e� e W;;07906- .7K 8 eT e F49.k02 e � �� ���� ������ � ������ e 1207<640 � .HH C�7/H0\33K ]H6v 5 C DVP^ e

QE e Y e L e W22 e � ���� �� ��� � �� ������ � �� ��������� ������� e 19: <90565 C W20/37Y2.KG.<0 ,75<6<G<0 C DVV^ e

Q De Y eL e W22 e 80-3J67/ 73650 67 37BH670 50.249 G567/ .K.;<6J0 A.<49 56I05 e ,7Z 649.0H ] e Z3I02 C Z 649.0H , e O32K.7 C .7K >93- .5 10<5490 C 0K6<325 C ������ ��� ��� ��� ��� ����� � ������ ���� C J3HG- 0 V C ;./0 _Q_ e >90 Z,> 12055 C DVVP e

Q_ e Z eO e@ e W22 e 80/GH.26I.<637 67 <90 50H04<637 3k 2.K6.H A.565 kG74<637 407<025 e � ������� ������ C P �Q� j�E���_Q C DVV^ e

QQ e L e= e 10.2H-G<<02 e [.5< 0u.4< -GH<6; H64.<637 AU <90 90556.7 e � ��� ���� ������ C� jD`P� D�E C DVV` e

Q` e T e � e 12055 C L e 1e [H.7702UC F e = e >0GM3H5MUC .7K T e > e �0<<02H67/ e � � �����&��� � �� � � �� ��� �� � ������ � � ������� ��� e ].-A26K/0 R76J0256<U 12055 C].-A26K/0 C �7/H.7K C DVaa e

Q^ e : e F..K C 0K6<32 e '���� (������ �� � ��� � �$��% ) !!* +��%� �� �� �� � $ ��� ����� �, e >90 N0\<37 ,75<6<G<0 F02605 C ].-A26K/0 R76J0256<U 12055 C ].- BA26K/0 C DVVa e

Q� e : e F..K .7K F e = e F3HH. e �u.4< 53HG<637 k32 37BH670 H0.27 67/ 67 -GH<6H.U02 70G2.H70<\32M5 e ������� & ��$ (��� C P` j`QQP�`Q`E C DVV^ e

QP e � e F3-;3H675MUC N e L.2M.6 C .7K � eF e F0G7/ e W7BH670 H0.2767/ 3k K6493<3- 605 j .HB/326<9- 5 .7K H0.27 67/ 4G2J05 e ,7 OB� e W9 C ] e h\37 C .7K F e ]93 C 0K6<325 C � ���� �$��% � �� ���������� # �� ���� � �� ���� C ;./05 DE^� DQE e F67/.;320 j T32HKF4607<6f4 C DVV^ e

Qa e 8 eF e FG<<37 e =K.;<67/ A6.5 AU /2.K607< K05407< j =7 67420- 07<.H J025637 3k K0H<.BA.2BK0H<. e ,7 T 6HH6.- F\.2<3G< C 0K6<32 C � ������� �� �� ��� � ������� ���� ����� ����� ���� ���� ��� ��C ;./05 DPD� DP� C F.7 O350 C ]= C OGHU DVV_ e Z ,> 12055 e

QV e 1e J.7 K02 F- ./< e Z 676- 65.<637 - 0<93K5 k32 <2.6767/ k00KBk32\.2K 70<\32M5 e � ���� �$��% C P �D� jD� DDC DVV` e

`E e � e �.;76M e �� � �� � �� ���������� (������ �� ��� e F;267/02 �02H./ C N0\ �32M CDVV^ e

` De � e �.;76M e ���������� ( ������ �� ��� T 6H0UC N0\ �32M C DVVa e`_ e = e T.6A 0H C > e � .7.I.\. C Y e � 67<37 C h e F96M.73 C .7K h e O e @.7/ e 19370- 0 2043/B

76<637 G567/ <6- 0BK0H.U 70G2.H 70<\32M5 e ���� ���������� �� ��� ���� �� �� ���� ������ � ������ C = FF1BQP jQ_a�QQV C DVaV e

`Q e T e T 60/02674M C = e h3-3K. C .7K > e � 05M05 e F<349.5<64 KU7.- 645 3k H0.27 67/ \ 6<9-3-07<G- 67 70G2.H 70<\32M5 e �� ���� �� ����� � C _P j``_^�``QP C DVV` e

`` e � e� e �.7/ .7K F e =- .26 e >90 0� 46074U .7K <90 23AG5<7055 3k 7.<G2.H /2.K607<K05407< H0.27 67/ 2G H0 e ,7 Z 649.0H , e O32K.7 C Z 649.0H O e h 0.275 C .7K F.2. = e F3HH. C0K6<325 C ������ �� � ��� ��� ��� ����� � ������ ���� C J3HG- 0 DE e >90 Z,>12055 C DVVa e