35036865 Markov Chains

16

Transcript of 35036865 Markov Chains

Page 1: 35036865 Markov Chains

c

��������������

|����������������� ���� ���|�

��������������

��������

� �

�|�����

���� |��

�����

Page 2: 35036865 Markov Chains

c

P��������

������ � ���~�����������

� � ���� ���!�"�����#��$�

� � ���� ����"�%�����%�������

��������������������������� � &�|�'��������������

�������� �����������������

� � ����� �����'�"���(�"#�)�*�����

� � ����� ��������+��,�#�

���������������������������� � &�������+�����"�(�"#�)�*�����

���������������������������� � -��|��"�%�.�|��"�%��

�������� ��������������~���������

���������������������������� & ����+��#����

����������������������������� ���& � ����/���#��

��������������������������� �����& � ������%���

���������������������������� ����& � &������$�'����

��������������������������� �����& � -���|��"������������cc

ccccccccccccccccccccccccccccccccccccccc �����ccc��������c

cccccccccccccccccccccccccccccccc ����ccc��%���������

���������������������������� & ������%0����������������������

�������������������������������

P� ����~�������

Page 3: 35036865 Markov Chains

c

p�����������

�������

��!���(�"#�)�1(�"#�)�*����2��3��������!��!�#��#�%�!�%�!�#��4��$�0�����3�$���#���

��!�#�+�%0��!��� %�3��� 1%�3�����$2�0�"%�,�%.%�,�%����!�%�3���+"�����0����� �|�#��#�����

3�+�!� 3�$���#��� ��!�#� %�%+�"#�"�#��� +�"�0����.+�"�0����� 3�� 5�#!�� 4��$� �#��� 3�!��$�

3���%� )�"��0��.)�"��0��� 3���%��� �!��� 3���"� +�"�0����.+�"�0����� 3�"�� )�"��0��.)�"��0���

3���%��� !�"��0�!� 3�� 5�#!�� 4��$� ���� � |�#��#� ���� 3�+�!� '�$�� 3�$���#��� ��!�#� %��$��������

#�'�3���.#�'�3����3�5�#!�.5�#!��%��3�!��$���,�"��%�!�%�!�� �|�#��#� %�"#�)�,������3�+�!�

3�$���#��� ��!�#� %�%+�"#�"�#��� +�"�0�����6� +�"�0����� 3�5�#!�� 4��$� �#��� 3�!��$� 3���%�

)�"��0���6�)�"��0���3���%����!���3���"�+�"�0�����6�+�"�0�����3�"��)�"��0���6�)�"��0���3���%���

!�"��0�!�3��5�#!��4��$� ���� �|�#��#� ����3�+�!� '�$��3�$���#�����!�#� %��$��������#�'�3����6�

#�'�3���� 3�� 5�#!��6� 5�#!�� %��3�!��$� ��,�"�� ���!�%�!�� �����"�+��� �"����� (�"#�)� %����6�

%���� �3����� 3�$���#��� ��!�#� %��$�������� 3��� %�%+�"#�"�#��� +�"���#�� +�"!�#���6� +�"!�#���

$��� 3���%� ���!�� 5�3��� 1,��!����"2� !�"!�!�+� ��"!�� %�"�%��� #��3���� ,��,� � ��0�$��� ���!��

+�"���!��� "���!� �+�"���� 3���%� +��$�%0���%� #�+�!����� %���'�"��� � �"����� (�"#�)� !�����

0��4�#� 3�!�"�+#��� ��!�#� %��$�������� !��!��$� +�"+��3����� %�"�#� 10"��3�� 5�!,���$2� 3���%�

+�%���"��7� +�"��!��$��� "�#����$7� '���� +�"��5���� %�0��7� +�"��,������ +��'�����7� %�������6�

%������� +�"��3����7� +�%�����"���� %����7� ��!"���7� +�"�0����� ��"$�� +���"� ����%7� 3���

�3%����!"���� "�%��� ��#�! � �"����+�4�7� #�!�#�� #�!�� %��$�%�!�� "��$#����� +"�0�0���!���

+�",�0���7���%���������%���������0����%�%+��$�"����+"�3�#�����!�#�+�",�0����0�"�#�!�4� ��

|��������87�� � �(�"#�)�%�����%�%+���'�"��!��"��0�"��4��$�4��$�0�"#��!���3��$���

+"�0�0���!��7�3���%�+"����� ����������+�",�0����!�"!��!��3�+�!� %�%+��$�"����������+�",�0����

0�"�#�!�4� �(�#����� ���� �#��� %�%0������+�#���+"����� �!�#��!�#��!�7�4��$� %�"�+�#���3���"�

3�"�� (�"#�)� *����7� 0�$��%���� +"����+� 3���"7� !��"�%�� 4��$� 0�"��#�7� �!�!��.�!�!��� (�"#�)�

*����7������0�$��%����+���"�+����!����+��#����4� ��

*��!����!�3��#�����%��3�+�!#���������4��!��+�"#�"����"�%�����,��,��+�3����"��������

9�1&2� r����������������r��r�� XX ~|| 7�%�#��-�:�+�����$��#���,�"��7�-�:��#���0�"�5��7�3����;:�

��'�� �

Page 4: 35036865 Markov Chains

c

J�J���

~�P��������

����������

x�xc �������J�����������������������

�������������0�$���� 0���"� +�����!���� +"�0�0���!��� %����$���� +"����� +�",�0���� ��3�+��3��7�

����%�"�+�#���+"�����3���"�!��"��+"�0�0���!���#����#�3���%��$�"���#���!�!��!�# ���!��!�����

%�����!� 0��5�� #�!�#�� �"�!��� �#�+�"�%��� %�%0��!�#� ��3�+��3��� %�#�� ������ 4��$�

%��$#��� ��!�#� ��!��+� +�",�0���� �3����� ��%�� 3��� � !�"'�3�� 3��$��� +"�0�0���!��� 4��$�

��%� ���0������'�!7�+��$�!������3�"��������+�",�0������0���%�4��!�3�#�%�%+��$�"����

������ 0�"�#�!�4�� +�",�0��� � |��"�� +"�0�0���!��� %�3�"�� %�%��$#��#��� %��$�!�����

+��$�"�����������0���%�4����!�#�%�%+"�3�#���������+�",�0���������'�!�4� ��"����+�4�7�

#�!�#�� #�!�� %��$�%�!�� "��$#����� +"�0�0���!��� +�",�0���7� ��%��� ������ %���� ����� 0�����

%�%+��$�"����+"�3�#�����!�#�+�",�0����0�"�#�!�4� �����#�"�����!��3���%�%�#���������

�#���%��'����#�����0���'����!��!��$�!��"��!�"��0�!7�4��!���"�����(�"#�)�0�"�+��p������

����3���+���"�+���!��"��!�"��0�! ���������

x��c �~���������������

p�������������$�!�0�"#��!����"�!�3��$���!��"��+"�0�0���!�� ���!�#�%�%0�"�#���

3���"� ��������� !�"��0��� 3������ #�!�� ��"��� %��$�!����� ���%��7� 3�<�����7� ��%+��� 0�0�"�+��

!��"�%�� 4��$� 3�+�"��#�� � (�#�� %������� 4��$� �#��� 3���%� %�#����� ���� �3����� �+�#���

+"������!�#��!�#��!��4��$�%�"�+�#���3���"�3�"��p���������7�0�$��%����+"����+�3���"7�

!��"�%�� 4��$� 0�"��#�7� �!�!��� .� �!�!��� p������ ���7� ����� 0�$��%���� +���"�+��� �!���

�+��#����4��

x��c ��������~��������

���������|�'����+�%0��!���%�#�����!��!��$�p���������������3�������0�$���0�"�#�!��

� c(��$�!�����+"����.+"������!�#��!�#�

� c(��$�!�����+"����+�3���"�p����������

& c(��$�!�����!��"�%�.�!��"�%��4��$�0�"��#��+�3��p����������

- c(��$�!������!�!��.�!�!���p���������7�

; c(��$�+��#���#���+�"��!��$���p��������� �

Page 5: 35036865 Markov Chains

c

J�J����

���P����������

��x�����������������������

cp����������0�"��3�+�"#����#������#�!�"�!��������87���������"��$�(�!�%�!����

����� ��3"��� � � (�"#�)� 1�=;>.����2 � ���� p������ %��$�����#��� ������ +�"!�%��

1���>2���!�#�+"��������7�%�"�����,�"��!��"�!�� ����0����$���"��������#��0��!�#�!�#�!�"0�!���

3���%�"���$�3��#"�!�3�0�"�#�����������%�$�"�)�1��&>2 � � ��!���(�"#�)�!�"#��!�3��$���

$�"�#����"�5��3����"$�3�,���+�!����7�3���!�+�#�3���%�<���#��4��$�+��!��$�3���%�!����.

!����� �5��� �0�3� #�.��7� !�!�+�� !�%+�#�4�� (�"#�)� ��0��� <�#��� +�3�� +�"������� ��#�%�

0����$��� 0���"� 3���%� +�",�0����.+�",�0���� � (�3��� ���� 0�"��0��$��� 3��$��� ���!��

"��$#�����+"�����3�%����#�'�3�����#�0�!����!�����!���#�+�"�%������4��!�"$��!��$�+�3��

#�'�3���� 4��$� ���$���$� %��3�������4�� � 3��� !�3�#� !�"$��!��$� +�3�� "��$#����� #�'�3����

��0���%.��0���%�4�� 4��$� ���� � ��3�� ���&7� ��� %���"�+#��� !�%����4�� ��!�#� +�"!�%��

#����4����!�#��� ����+�"!�%������#�����"�<�?��$������$��? ����

������~���������

���$���%+�##���!�+��+�+������3�"��+"������,�#�0����3�$�%0�"#�����0�$���'�#��@�

�3����� +"����� �,�#7� %�#�� +�+������ 3�"�� +"����� �,�#� �3����� ��%��� ������ 4��$� %��$#���

4��$�0����3�%���##���3���%����!��+"�����,��!���4��

�� |����������� w�� �r� �

��#��@��3�����+"������,�#�4��$�%��$$�%0�"#������!��+�"��%���7�%�#��+�+������3�"��@�

3�+�!�3�$�%0�"#�����0�$������!��������4��$�%�%������+�"��%����!�"��0�! ���#��+�+������

3�"�� �� 3�"�� ���!�� +"����� �,�#� @� 3�+�!� 3���!��$� 1,��!���9�������� �27� 3���%� ���� ���� @�

3���0�!�������������������������������+�"�0������!�!�� �!�"'�3��+�3��!�!�#.!�!�#� ��!�$�" �

��#��+�+������3�"����3�"�����!��+"������,�#�@�!�3�#�3�+�!�3���!��$�1�,��!���9����2�%�#��

@�3���0�!�������������������������������+�"�0������!�!��13��,"�!���!�!�2�!�"'�3��+�3��

��%0�"��$�5�#!� �

Page 6: 35036865 Markov Chains

c

p����������c���������cG������ ����c��c����c ����c �������c !��!���c���c

�����c !���������c��c�����c�������c�������c ���!�c�����c !����c�����c��������c���c

����c ��!��c �����!����c ���c �������cc ��!��c ���� c !���!����c ����c ��������cG��G����

�����c����c�����!�c�����c���!��c��c�����c�����c!�����!���c����c�������c��������c

���c !����c ������!���c ����c���!��c ����������c c ������c ��!�c �����c ��������c !��!���c

�������c ���������c ���������c ����c �������c ����c ����!c ������������c ���c

�����c ����c ����c �������c ���!�cp������ ����c ���������c ����c !���!��c �����!�c

�����c ����c !�����c ������c ���������!�c ��!��!����c ����c ����!����c ����c ���c ������c

��������c!����c����!c���������c�����c��!����c�������c�������c���������c�����c��!c

!�!�!���c ���������������������

� ���������G�����������������

������c ��!�c ��'�����c c !��!��!�c ����c ��!�c ���������c c ���������� !�����!���c ����c

��������c �����������c ��'�����c �c ����c ���������c ���������c !�����!c �����!c ����c

�!���!���c

c

c

������c���!��c(�����c������c��!�c���!��c����c�������� ��������c����c�c��c�c��c�c��������c

������c ��!c (�����c ���!��c ��������!c �������c ���c �����c ���c ���c ����c �������c ����c

�����������c������c��!�c�����c

c

�����c����c�������c��!��c������!��c��c�c�����!c�������������c���!���c

c p����������c ������c �����c ����c(�����c ������c �������c ����c �����!c c ����!c

����!����c ����c ������c ����c ��!�c����� ���� ���������c ���c ���A�����c �!�c �������c !�!�c

����c���� �����c��c��������c�����c������c����c���!��c���!��c������cc

Page 7: 35036865 Markov Chains

c

� c ����������p������%�%���#����3�#��#��!��� ��

� c ����� "��!��� (�"#�)� ��%�$��� 1"��!��� (�"#�)� �!������"2� �3����� +"����� 3�� %����

���!�#���%���� ���"�0�0���!���!"�������!�3�#�!�"$��!��$�3�"��� �

& c ��0���� "��!��� (�"#�)� �"3�� �� 3�� %���� �� �3����� !�"0�!��7�

����$��� #�!�� ����7�#��3���������'�!�4��!�"$��!��$�+�3��#��3�����������'�!�4� � ���0����

"��!���������3�"��������4��$�%�%���#��B#����#B�(�"#�)�+"�+�"!����0�$���0�"�#�!�� �����������

C�����������.�7� ������.�����27�4��$�%�%�"��!��#����!�� �"�3�"�������.������� ��(�#�������3�����

��0����"��!���(�"#�)�3��$���"���$�#��3����9���3���%�%���#��#����#�+"�+�"!��(�"#�) ��

- c ��0���� �3�!�<� "��!��� (�"#�)� �"3�"� �� 3�� %���� �� �3����� !�"0�!��� �3�����

���!�#���%����#�� ��

�!�!��.�!�!���4���3������

x�c ��� ������������

� ������!�!��� ��������"��3�"���!�!��� ���+�0����3���%�"��!���3+�!� !�"'�3�� !"�������3�"���

�!�!�����#���!�!�����%���������'�%����!"�������0�"���$$�D�

� |�"3�+�!��7���$���$��7������$$�������#���

À�c ������ �����������

������������#�� 3���%� ���!�� "��!��� (�"#�)� ��!��+� �!�!���������"�� 3�"�� ��!��+� �!�!���

�����4�7�"��!���!�"��0�!��3���������������"� �

ë�c �~����� �������

������������!�� �!�!��� �� 3���0�!�� �������� 3��$��� +�"�3�� �� #� �7� '�#�� �����#� �7� ���4��

��!�#���C�37��37�&37 � � D���0���#�4��'�#�������#��7����4����!�#���C��7��7�&7� �%�#��

�!�!���!�"��0�!�3���0�!���������� �

u�c���~��������������������������

�� �"�0�0���!���#�%0����+�"!�%��#����4��#���!�!�����!�"'�3��3���%���!"���������!�����

%����$$��#���� �

ù �¬��������¬�¬��� ���

¬ �������×

r� ������������ �

Page 8: 35036865 Markov Chains

c

�1��!���������

3�3�<�����#���C�����!�#���%����2�

ÿ�c ~�������������������������

�� �"�0�0���!����#���#�%0���%4��#���!�!�������!�������0���%�4��%����$$��#���� �

����� 'X�

��

r�

ñ

ñ

¬¬ �� �

��c |�������������

�����������������!���!�!���3���0�!�����������'�#��+"�0�0���!������%����4��!��0��5����!�����3�"��

� ��%���������'�%����!"�������!�"3�+�!�#�%��$#�����!�3�#�3�+�!�#�%0����#��� �

å�c �� �������������

�����������������!���!�!���3���0�!�����������'�#��+"�0�0���!�����������4��!��0��5����!�����3�"��

� ��%���������'�%����!"���������������3��#�%��$#�������!�#�#�%0����#��� �

*�c p����� ������|�������������

�� ��!�#����!���!�!��������������'�%�����!�+�"�!�."�!����!�#�#�%0����#���!�!�����

������ '�

�x

r�

¬¬ ��� �

î�c ������� ������������

��������!������������9�����3���0�!�������������""�'�#���������

x��c�~���������� ������������

������� ���!������������������3���0�!���������������������!������������������""��������'�#����

���%���

xx�c������� ����������

��������������������!�!��7���3����7�3�#�!�#�%��0�"#�%���#����'�#����������"��3�"����3���'�$��

� ��������"��3�"����D�3�!�����3��$�����!���� �¬ Ô �

xÀ�c������ �

������ ��!��� (�"#�)� 3���0�!� ��&����� '�#��� ����������"��� ����������� 3��� ����"�����

�!�!��������������������� �

Page 9: 35036865 Markov Chains

c

������������

������������������������

����x������������������������������

���� �� ��������%'#���%�"�+�#���"�������#��)�����

�� ���!�#���!��+��!�!�����7�0�"��#�����EFG���

�� �'�#����%'#����%�#��'�$�����EFG���

�& �'�#����%'#���3�����%'#���%�#������%'#���

J���!�!��.�!�!������!�� ��!���(�"#�)�3�+�!�3�+�"!����#�3���%�#����.#����� � �#�)�������

�����$$�����%'#�����'�#��3������4��'�#�����3������0�"�3��3���%�#���������#�)�������

4��$���%� ��

������������* �����!�� ��!���(�"#�)��""�3�,�0���'�#��3������4��'�#��3�3���%�4�����4��!�"3�"���!�����

!�+�!���!��#������#�)������ �

���P ����#���%'#����%�#����3������%�%���#��+�"��3��4��$���%� �

��� ����!�#��%'#����'�#����"�,�""��!�%�#��'�$����"�,�""��! �

���������������������������������

�������������#��H@�I���!��"��!���(�"#�)7�%�#��!�+�!���������!��#��3����0�"�#�!�����!�"'�3���

� � ��%����!�!����3�����+���!�<�"�,�""��!�

0 � ��%����!�!���"�,�""��!������

, � ��%����!�!���!"��,���!�

Page 10: 35036865 Markov Chains

c

���������������������������~���������

� �������<�������9'1�2��3�����+"�0�0���!������!�� ��!���(�"#�)�H�@�I0�"�3��3���%��!�!������

+�3���!�+�#��� �(�#��9'1�2��C��J�@��C��K�

������������!"�0���� �5��� 1� ���!���� 2� 3�"�� %����$.%����$� �!�!��� �7� �7� �7� LL� 3��4�!�#���

��0�$��9'1�2�

�C��J�@��C��K7���!�#�'�C��7��7��7�LL�

�������������!��"��!���(�"#�)�%�%���#��3��!"�0����+"�0�0���!����!������"�9�C�19�7��9�7�9�7� 7�

9��2��+�0����!�"+������+�"��%����9�C�9�������#�����!��+�9���M���3���N��9��C� �

��#�� ���!�� "��!��� (�"#�)� ��%�$��� 5�#!�� 1�!������"� 3�"�� 5�#!�� #�� 5�#!�2� 4��$�

���������"������������7�%�#����%�!�+"�0�0��!���4��

r��� ��

�� ||

��

� 7���!�#���C��7��7� �

��������3��3�����3�+��3��!�3�"��3��!"�0����+"�0�0���!����!�!����5���9� 1�2�

C�19�1�2

�7�9�1�2

�7�

9�1�2

7�L 2 �

��#�� ����"��� �!�!��� !�3�#� +���!�<� "�,�""��!� 1'�3�� ����"���4�� "�,�""��!� ����� �!���

����"���4�� !"������!27� %�#�� 9'�� C� �� ��!�#� ��%��� �� 3��� !�3�#� !�"3�+�!� 3��!"�0����

+"�0�0���!����!������" �

Page 11: 35036865 Markov Chains

c

J�J�����

�~�����������~�J�������

��x��������

��x�x�� ���

��������������!�%� (�"#�)���� %��,��� ��,�"�� ����� 3���%� ������������ 3��� ��������

���������7�+"�0�0���!�����!��+�#����3�$���#�����!�#�%�5�#����������""���3�#�!������!���

"��,����3�"�����!�%7�'�#��3�+�!�3����%��#���0��5��3���%�#��5�#!�.��)�"���7�3���0��5��

!�3�#� �3�� ��'�"��� 4��$� "���)��� +�"��� 3�+�"!�%0��$#��� 4��$� !�3�#� ��3��� !�"%���#� 3��

#��3����0�$����3��#"�+�� ��

��x��������

�������������0���� ��$�"�!%�� 4��$� 0�"3���"#��� "��!��� (�"#�)� 3�$���#��� ��!�#�

%�%<�#��#��� +�"!�%0����� 0�"3���"#��� <"�$%��.0����� #�%��� 3�� ����,�� %���'�� #�����

4��$�3���$��#���3�"�����4�5����+�"!���0�!.�0�!����!���+"�3�#����%� ���0�$���%���#���

!�%0��7� ��0���� <"�$%��� 3�+����� 3�"�� %���#��� 0�"�� ����"� ��0�$��� ?���!� ���?� #��3��� ��

O�������!�3�#�%��4�3�"��%���������14��!�7�!�3�#�%��4�3�"���+��4��$���3���!�"�#�!���!�#�

�!�2 ������#�%�3����!"�������#��#��3����0�"�#�!�4��#�!�#����0����<"�$%���4��$�%���#�!�

+�3��4� ���

��x����~�������

������������0�"�+�� !��"�!�#��� !����� %��$����#��� $�$����� !��!��$� "��!��� (�"#�)� �'��

�!�!��!�#� 1(*�|27� ��0���� %�!�3�� (�"#�)� ,��'�����$� "��!��� ��!�#� %�%0��!�#� ���!��

B(�"#�)� ����%�!B7� %��$�!�"� "��!��� ���� 3�� 0�0�"�+�� ��+����� "�#�"��<� 1� B5�<�"��$B2� 3���

%�%+"�3�#��� ��0��� �<������ ��!� �'�� .� ��%+��� .� ��0�$��� +��$$��!�� +��$�'���� ���$#�+ ��

(*�|�'�$��%�%���#��#�$������3���%�#��3����3�����0�"0�����'�"��$��D�*����#�"���!��� �

B�� %�#����� 0�"'�3��� ?|�%+�"��� ��!�3�#+��!���� ������"��� ��#!�� ��"��$��� ��!�#�

�+��#���� ��!�#� /������ 3��$��� 04�#� ��!�#��� 3��� ����,�#��?� 1�,���,���"�,!2�

%�%0�"�#��� ��!�"� 0���#��$� 4��$� ���$�!� 0��#� 3��� �!�3�� #����� ��!�#� %���"�+#���

(*�|��#����0���0�"�$�%��+��#��� ��

Page 12: 35036865 Markov Chains

c

��x��������������c

��!���(�"#�)� '�$��3�+�!�3�$���#�����!�#� %�3���0�"0�$���+"�����3���%�!��"��

ö������7� 3��� �!�!��!�# � ��+�"!�� %�3��� �3���� 3�+�!� %����$#�+� 0��4�#� �!�!��!�#�

#�!�"�!�"��� ���!�% �����#��� !��+�� %��'����#��� �!"�#!�"� +����� 3�"�� ���!�%� ��%+�"��7�

��+�"!��%�3��.%�3������4���3�+�!����$�!��<�#!�<�%�%��$#��#���#�%+"����3�!��%�������

+��$#�3���� ������� !�#��#� ��+�"!�� +��$#�3���� �"�!%�!�#� � � (�"�#�� '�$��

%�%��$#��#��� �<�#!�<� ��!�%���� #��3���� 3��� +��$������� +��� � � ������ ���!�%� !���+���

������"� !�"$��!��$� +�3����$�"�!%���������� ��!�#� #��������.#�"�#��7� ��%��!�"�� %�3���

(�"#�)� !�"��%0��4�� �3����� ��,�"�� �#�!����<� 3�$���#��� 3���%�+��$������� ���"�� 3���

'�$��3���%�0����<�"%�!�#�7�%�����4����!�#�3��"���+��$#�3��P�$���+"�3�#�� �

��x�ÿ���������

(�!�3�� ��!���(�"#�)�'�$��%��'�3�����$�!�+��!��$���!�#�%��$�����#�����$#��

�,�#� �"�!��� %��,�"%��#��� ��,�"�� �#�"�!� 3��!"�0���� +"�0�0���!��� ���$�!� "�%�!� 4��$�

3���$��#��7�%�������+"�����4��$�3���0�!�������p������p�����������p�p�� �����%�

0�0�"�+�� !����� !�"�#��"� ���� !����� %�"�)��������"#��� #�+"�#!������������� ��������

%�!�3�7� 4��$� %�%��$#��#��� 0�"0�$��� ���������� ���������� %��'�3�� ��%������ 3���

+�"�%�!�"�4��$�3�!�%�#�����,�"����%�"�#�

��x��������������

��!��� (�"#�)� 0�����4�� 3�$���#��� 3���%� %��$$�%0�"#��� �"$�%��7� 3�� %����

���!� ���� #��3���� #��<�$�"���� �!"�#!�"��� ������ %���� 3�+�� � � *��!��� �3����� �%�%�4��

0�"+��3�+�!� ��0��$��� ��!�"�� +�%0��$����� �#���%�� 3��� 0��$#�!�4�� 3�%�#"��� �

��#���� ���!�� #��3���� %��,�+��� !��$#�!� !�"!��!�� +�"#�%0��$��� �#���%�7� #��<�$�"����

<�#!�"��!"�#!�"��7���+�"!���#�"���0�"'����#�%�"����7�"�����!��$$���3��+�3������+�"#�!���7�

!��$#�!�+���!�#�%�0�������7�3��7��#���%��$�����#���+"�0�0���!���4��$���0���!��$$��!"�������

3�"���!�"�!�"��!�"���3�%�#"�!�� �

Page 13: 35036865 Markov Chains

c

�����~���������

������������������*��,��#�!����#����3�+�!�3�+�"#�"�#�����0�$���0�"�#�!���

� c ��#����"������,�"���%�#��0���#��#���0�"+�����$�>�:�,��,��,�"��7�&�:�0�"�5��7�3���

��:��#���!�"�����'�� �

� c ��#�� ��"�� ���� 0�"�5��� %�#�� 0���#� �#��� 0�"+�����$� -�:� ,��,�� ,�"��7� -;:� 0�"�5��7�

3����;:��#���!�"�����'�� �

& c ��#����"�� ������'���%�#��0���#��#���0�"+�����$��;:�,��,��,�"��7�>�:�0�"�5��7�3���

�;:��#���!�"�����'���

��#��+�3����"����%�!���'���%�#��+�"#�"����,��,����"�������Q�

|�"����!�'�����0��5��+�"#�"����,��,��3�+�!�3��������#���3��$�����������������p������

����

� c�"����������'�!�4������4��!�"$��!��$�+�3��+"��������!���� �

� cR�#!��3��#"�!�3���+�+������3��#"�! �

& c�!������"�3�"��5�#!��#��5�#!��

���,"�!��|�%��p����������!�"3�+�!�&�<���7�#�!��%����#����C�,�"��7��C�0�"�5��7�&C�

��'��7�3�����0���%���"����%�!�#�!����$$�+��7�%�#��

r�� � �r � X| �

;;;

���

X

��������

��������

������

~ ��(�!"�#�!"�������

*��,��+�3����"����0!��9�1�2�

Page 14: 35036865 Markov Chains

c

® �À������x��

À����x��

x������� x�����rx���r�rx� �

;;;

���

�� || �

%�#���;:�+�����$��#���,�"��7�>�:��#���0�"�5��7�3����;:���'���

*��,��+�3����"��(��$$��9�1�2�

® �x���������������

À����x��

x������� x�����

rÀ������x���rx�rÀ� �

;;;

���

�� ~|| �

*��,��+�3����"��������9�1&2�

r����������������r��r�� XX ~|| �

%�#��-�:�+�����$��#���,�"��7�-�:��#���0�"�5��7�3����;:���'���

�#��� ���$�!� 0�"%��<��!� %���%+��#������������ �����p������ ���� ��,�"�� $"�<�� �

��$#�"��� %���%0��$#��� <���� 3��� ���#� +����� 3�0�"�� ��$#�� +�����$� 4��$� �#���

!�"'�3�7�3�"�������3��!���%�3���$"�<�#�4���

����c

Page 15: 35036865 Markov Chains

c

J�J�����

����~�����

����%+�����4��$�3�+�!�3��%0���+�3��+���������%�#�����!��!��$�p�����������3������

� c �"����� �!�#��!�#� �3����� ���!�� #�'�3���� !�"!��!�� 3�"�� ���!�� "��$#����� � �#�+�"�%���

!�"$��!��$�3�"��0�0�"�+��#�%��$#�����#�'�3��� �

� c �"����+�3���"�p�����������3�������0�����"�����(�"#�)�3��$���+�+������4��$�3��#"�!�1�

3�+�!� 3���!��$2� 4��$� 0�"�3�� +�3�� ���!�� ��������� ������ ����������� 3��� 3�� ��#��� ��!�#�

0�"�0����!�!��+�3��������������� ���0����"��!���(�"#�)��3��������!���"�!���3�"�����������

���������� ���@��7�@��7�@�&7 �3��$�����<�!�(�"#�)�4��!�7�%��$��$�!�#��3����%����3�+���

3���%���������#��3����4��$���3�+��3��7�3��$���#�!��������

������4��$�%��$#�����!�#�%�%0��!�#�@����3���0�!��������������"��!�� ��

& c |��"�%�.�!��"�%��4��$�0�"��#��+�3��p����������4��!��!��"�%��%��$����� ������

�#�)������7�!��"�%��%��$�����(��������"������"�%��%��$�����)������&��������"��*�

- c �!�!��.�!�!���p�����������3�����������"��9������(���������"����������������9������

�������"��*����+��������������������"��*����,����������������������9����������������9������

p����������������������9������-�""�����������9�������������������������9������

�����������9���������,�&���� �

; c ��"��!��$���p����������3�3�+�!#���������,��,��+�3����"��������9�1&2�

r����������������r��r�� XX ~|| �

%�#��-�:�+�����$��#���,�"��7�-�:��#���0�"�5��7�3����;:���'���

Page 16: 35036865 Markov Chains

c

P� ����~�������

���� ����� �� ����������� ��� �������� ������� ������ ���������� ����������� |����

������ ����p������ !������ ������� �� �����"� ���#�� �P��������� � ���� ������

��������

�� �P�������� ����� �~�� ����������������������������������� ��

�� ��������� $%������ ���������� ������ p������ �� ����������� ������$���

����������������~���

&&&�&������������

&&&�������� ���p������������

p������������������� ���