Real world performance of choice-based conjoint models
Transcript of Real world performance of choice-based conjoint models
���� ���������
��� ����� ���������� �� �������� �� ������� �����
���� ��� �� ���� ���� ���
������ �������� � �������� ��� ����� ������������ ������������� ������� ���� ������� �����
�������� !��" #$$$% ������ & ����� #$$'
��������
(������ ��" � � ��� �� �� �� ������ ��� � ����� ������ ����������� ������) �� �� ������) ���
�� ��� �� ��)���� ������� ��� �� ����� � ����� ����� ��� ���� ���������� * � �����" ������ � �����
� �� ��� ���� �����)����" ��� ������ ��������� ))��)� ����� �� ��� �� ������� � � +�� �� �� ���
��" � � ���� �)� ���������" ������ ��������� �� �������� �� ������� ����� ����� ��������� �����)����"
�� ���� ����" �� )������,�� � ����� ����� +� �� �� ���� �-� � �-���� �� ��� ����� ���������� ��
�������� �� ������� ����� �" � � �� ))��)� ����� ���� �� ��� ��" � � � �� �� ���� ��������� �������
� �� ������� ������) ���� ��������) �� �� . ��� ������) ��� /0123 �� �� ����� ������) �����" �����)
� ��� ����-����" �� "�� � �� ))��)� ����� ���� �������� ��� �� ���������� �� �� ����� �
�� �����)����" ��� ������ ���������� 4"� /543 �� ��� �� /6(3� ��� �������� ��" � ����� ��
�� �� ���� � �� ���������� � ��) ������� � � �� ��� ����� ���������� �� 54 �� 6( � ����� � ��
���������� �� �� ))��)� ������ ��� �� �� ������ � �����)����" ���� �� )������,�� � ����� ����
�� �))� � ))��)� ����� �� �7���� � ������ ���� ��� /�0 3� � #$$# 8� ����� 0������ 4�9� ���
��)� �� ������
!��"���# :�����) �� ����% (����� � �� ������� ��" � % 5��������� 4"� % 6�� �� % 5����)����"
� ���� ������
(������ ��" � � ��� �� �� �� ��������� � ����� ������ ����������� ������) ���� ������) ���� ��� �� ������) ������ /���;���� � ��� '<<.% ;���� �� (��� '<=<3�
�� ������ ��� ��������� ��>���� "�� ��������� ��" � /���)� �����)� ������ � ��3 ���� ��>���� �����?�� � � ��� ������ �� ������� ����� � � ������� � �����) �����) � �� ������� ������� � ������ � ��/6������� �� ;��� ����� '<= 3 ������� ���" � /(4(3 ��� ���� ���� �� �� �����) ��� ������) �������� *� (4( �� ������ ��� ����� � ��� ���) ����� ������� ������ �+�� � � �� ���� �� �� ��7��� � ��� �� ������� �� ���� ���� ��� ������) �� ���) �������) ������� � *� ��" ���� � �� (4(
8������ !����� �� �������� �� ���� ' @ /#$$#3 ..=A.&=������ ���������B����B� �
�(���� ������) ����� +���C D. �' ' E&E'$% �-C D. �
' ' E&E#<�
�����$ ������#��������F���������� /�� ���3�
���� ����� ���F���������� /�� ���� ���3�
$ @@�##'@B$#BG � �� ���� ��� � #$$# 8� ����� 0������ 4�9� ��� ��)� �� ������
:**C 0$ @@�##'@ /$' 3$$'.@�
����� � � �� � ����� ���� ������ � �������� ������) ��)�� % ����� ��� ��������������� �� ��� ���� ��� /�03 ����� �5������� (4( � �� �������� �� �������� ������ � ����� �" ��>�� ��� ������" ���� ��� ������) �������� *� "���� ��������� ��� ������ /�3 �� �� ����� �" � ����������� /��3 ����� ����� ����� � ����� ��� ����� �/���3 �� ���� �"������� ����� � �� /��3�� �� ��� �" �����" ��� �?����� � +�� �� ��� �� (4( ������� �� �� � �� ����� ����� � � � �� �� ������ ������ �(�� �?����"� ������) ���� � �� � �� �� ��� ����� �" �� ��� � �� �� �>�� ���������� � ����������� (4(������ �� ������� �0 �" ���)� ���� ���� H"���� ������ �� ���� ���� ����� �� �� ����������� (4( ��"� ��� ����� ��) ��������� � ���)� �� �� ����� �� �� ������� /���I���"� '<<&3� ���� �"��� �>�� � ��������� �����"� � ��� ���� � ��� ���� ���� � �����" ����� � �� ��� ����� �����" �� (4(����� �
:�������� "�����" � � ))��)� ����� �� ��� (4( �� ���� �� � ����� ���� ������ � 5������� � � ���� ���� ������ ����� ��� ���� �����)����" �� ��������� ������ ��������� �����" �� (4( ����� /5����� '<<=3� +�� ������ ������) ������� �������� �������) ��� ���) ���� �� ����������) ��� (4( � ����� ��������)�� ��� ��� �� /6(3� ���������� 4"� /543 �� ���������� ������ � ����� /*(83 / ��� ��)�� !���� ��� '<<@% 5)��"� '<=&% H�0��� � ��� '<<&%6��� � ��� '<<E% ���� � ��� '<<=% :������� '<<.B'<<&3� +�� ���� ��>������ ������ �� � �������� ��� �� �� �-�� � ����� ��" ����������)����" �� �� ������ � +�� ������$ ��$������� �� �� � ��� ������� � ���� � �� ����� �� �������� � �� ���� (��� ��" � /��� I���� � ��� '<< % 9���� � ��� '<<E% I��� ��� '<<=3� +�� ������ �� �� � ���� ������� ��������" �� ����� ����� ��� ���� ������)����" ������� � ))��)� (4( ����� �
5������� �� ��� ����� ���������� �� �� ���� ��������)�� � �� ���� �-����� � ���(�� �?����"� �� ��� �� �� ���� ��� )��� ������ ����� � ��J�� ��� �������� ������
���������� �� ������� ���� �� �� ���������� ��� ���� (��� ��" � ��� ��K��� �/ ��� ��)�� 9���� � ��� '<<E3 �� ���� � � ����� ?�� ���� +�� �� ���� �������� �� ��� ����� �� �%����$ ��$������ �� (4( ����� � *� ��������� ��"� �� ������ ��� ))��)� �������) � � ��������� ��� �" ��>���� "�� ��(4( ���� ������ �
� ���� ����� � ��� ���� � �" ���� ��5�� /'<<<3 ��� ���� �)� �� �-���� ��������� ���� ������ ��)���� � H��������) ���� ������ � �� �� ))��)� ��)�� 6( �� *(8����� � ��" ����� � 6( �� *(8 ����������� �� ���� �� ))��)� ��)�� ��� ��"� ��>���� ���� ���� �� 5�� /'<<<3 �� ������ ��� � ��� � �� � � ��� /�����3 ))���)� � �� �� ���" �� ��� �� ����� �� ��������� ����� ���� ;���� ��� ������� � ����� ��) ���� ��" � ��� ��� ��)�� �����))��)� ������� � ���� ����� ��) ��� ���������) K�� � ������ ��������� �� ���� ���� �0������ ���� �� 5�� �� ����� .& �� ��������� ������� ����� �� ������" ���)���
1���� �� �,�� /#$$$3 ������ �������� ���� ���� �� �� ���� �� ��� ���� ��� �����) ������� �� ����� �� �� ������ ���� �� � �� �� ���� � +�� � � ������� � ������" ������ � ��� �� ���������� ���� ����� ����� �� �������) ����� ����� �� �� ���� ��� �����) �������� 2 ���) ������� ���������� ��" � � ��" � �� �-���� �����" �� ������� � ��� ������� ��� ����� � ����� ������� � *����� � �� ���� �� 1���� �� �,��/#$$$3 ��� ������ � ��� �� ���������� ������ ������� �� �� �� )���� �� �� ���� ��� �� �� �� ���� � � ������ ��� ������������ ������ �" ��>���� ����� � ����0 � +�� � �� ���� �������� � ��������� ��� ������ ���� ����" ��� ���� �� �������� �� ���� �� ��� ������ ��� ��� ������� ���� � �� �� �� �����
+���� � �������� )���� �� �� ������ /(� �� � ��� '<<.% �� ��� � ��� '<<.% ;����� ��� '<<.% H�0��� � ��� '<<&% ���� �� 5���'<<<3 ��� ��� ������� �� ���� ��� ��������� ���� ���������) �-���� �����" �� ���������" � �
&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 ..<
+�� ��" � �� �� ��� ���� � �� ��� ������������ �� �� (4( � ����� ��������)�� �6( �� 54� ��� �������� ��" � � � �� �� . ��>���� ��� ������) ��� /012 3 �� ���������� �
+�� �� �� �� ���� ������ ������ C ����) ��� �� �� �� ��� �� �� ������� �" �� ��� �� ����� ������ /0����� #3� ��������� ��� �� ��������� �� ��� �"���� � �� �� ��� /0����� 3� +�� �� ������� �� ���� /0����� .3 �� �� �� /0����� &3 � ���������" � � ��� �� ��� ������ �
� �� ���
�� ������ ��� ����� �� ����� �����?�� ��� (4(������� � ������ *� �� ����� ���� ��� ��� ���� � �� �� �� ���� ��������������)�� � 6( /H�0��� � ��� '<<&% 5�����'<<=3 �� 54 /6��� � ��� '<<E% ������" � ���'<<&% ������" �� I����� '<<&3� ��� �� ����� ��� ���������"� �� � � ����� �� �� �� �� �))��)� ����� /�I3 ����� � � �� �� 6(������
+�� � ����� ��� ���� ������ �� ��� ��������� ���������� �� ��� ��K��� ��5���� /'<<=3� ��� ������ 54 ��� 6( ���-����� 6( /*(83 K�� � 54 ��� �� ����� �� K����) �� ������ ������ % �����"�� ��������) ������� ������ � ����� � �� ����� ��� 54 �� *(8 �� ��)��" ����� ��� 6(����� � I�� � �� /'<<=3 K�� � 54 ����� �� ���)��" ���� ��� ����� �� �� �� ����)�� +�� � �� �� �))� � �� ������������� �����)����" � � � ���� ���� ��� ���������) ��� ���� ����� � ��������� � � ����� ����4"� �� � �� � ))��)� ����� ������� ��� �� ���� ����� �� �� ����� ������� �� �� ��� ���� �� �����)����"� ;���� 54����� ���� � ����� �� ��������� ��� �����7�����"� � � �� ���� ������ �� ��������)")������,� � ��))�� ������
� ���) ��� � ����� �� �� �� ������� ��� ���� ��� ��������� /��)�� ����� ������)3��� ����� ���7���� /543 � �� �� �� ��� �� � �� � ������ ��� ������� �� �� ������;��� ��� �� � )������,� � ��)�� )���� ��
��������� �� ���� �� ����� �� ������� �� �� ����C ���� ����)����� ��������� � ������� ��� �� �" � �)� ��������� � ���������� ���7���� �� �� ������ �� � � ��/'<<E3 �������� ����)����� �� �� �������" ��������� �� �� � ����� �� � �� � �-���� ���������� L ��>������ �� �������� 5������� ������)�� ��� ��� �� ���� ���" ����� 0�� �?����"���� ��� �� �� � /'<<=3 ���� �� ��� ���������)���� � ��� �� ���� ���� ���� � ;����������� ��������� �� �� ��� ���� �� ������ � �� ����� ���7���� ��������� �� ��� ���� �� � ��� �� ��� � � �� �-������� ���� ��� �� ��� � �� �� ������� �������)����"� � ������� � � ))��)� �����54 ��� ������� ��>���� � ��� � 0���� �� ���� � ������ �� ����������������� �� �����K� 012 ��� ����� �� +�� �������� ����� ��� �� �� �� ������ ��������" ��� ���7���� �� ���� �� � �� ��������� /��63� *� �� � � �� 54 ������ �� ����������������� � )���� �"�� �-������ ���� �� �� ������ ��������"��� ���� �� �� ������� �� �����)����"���� ��� ����� +�� ���7���� �� � ))��)� ������� �� ������ ���� ����� ���7���� ������" ���) �� �-������ ���� �� �� ��������7���� ��� � ����� �� �� ��� ��������������� �� � ��� ���� *� ����� � �� �� ��>������ ������ �� ))��)� �� �� ����� ���7��������� ��� �� �-��� �� ��������� ������� ��� +"��� ���� ����� ��C
� ��� �� � � ���� � ��� ���� ��� ���� $�&��� ���#� ��� ���� �'�
+���) �-������ ���� � ��� ���� ��� �� ��� �������������� C
��� ��� ��� � � ��� ��� � $�&������ ��� ���� �#�
+�� ����� ��� $�&������ ��� ��� ��J�� ����>������ ������ � ))��)� ����� �� ������ ���7���� ����� ���)�� ���� �� �� �������� �� �����)����"� +�� ��>������ ����� � ���� ��)��� �� ����������" �� �� ������ �� ������� ���7���� /�����)����"3� (�� �?����"�� �� ���" �� ��������� ���������" ����������� � ��� ���� �����)����" ������� ����
.&$ &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1
�� ��))�� ����� �� ))��)� ����� � +�� � �� ���� ���� �� ��� ��" � �
�'�' 3��� �$�
H�0��� � �� /'<<&3 ����� � � � � 6(��� ��� �� (4( � �������� �� ������� ��))��)� ��" � �� ������ �)������ � +������ )������,� �� 1���� �� �� ���/'<=<3 ����� � �� ��� � ��������)" � 6((4( ����� ��� ������) ����� ����� ��������� ���� ������ � � 1���� � �� /'<<.3 ���������� 6( ������� ������ ����� ����� � � ��������� �������� ������ �
+�� �� ������L / �)��� ����K�3 ��������������" �� 012 4 ��� �)��� � ������ � )�����"
���� ��� ��-� ����� �� � �������
� ��
���-� ���� �� � ������
� � � � �
����� ����� �� � �� ����� �� ����" �� �� 012� � '� � � � � � � �)��� � � '� � � � � � �� ���� ������� ����" ��� �)��� � +�� MM���������� ������ 012LL � ����� ����" �� ,����� � � '� � � � � ������ � �� �� � ������� 012 �� �� �� ������ ��� � � '� � � � � � ���� �)��� �� ��� ����� �� 012 4 �� ������ � ������ � ����� �� �� (4( �)��� ����K� ������� �� � � �� ����� �� �-���� �������������������� ��� �� ���������� �� �� ������ �� �)��� � �� ��� �� � ��� � � ����� �� ������� � /�� ������ � ��� �� ������3�+�� ����� ��� ��)�� ������ ���� �� �� � ��� �� ��� ��� ����� ������� /��������" �������� � � � � 4�*( �� ���� ��������� ���������?����" ������ �� ����� �������3�
�'�' 5����������$ ����
*� ���� � �� 6( ������ ���������������� ��� �� ������ �" 54 ������ 6��� � ��/'<<E3 ����� ��"����" �� ���������" �54 ����� �� �� ��?���� ��������������� �� �)������ � �� �� ���� ���� +�� ��� � �� �� �
�����" �� � ��) ����� ���K�� ��� ������ ������"�� 6��� /'<<.� '<<&3 ������ 54 ����� ����� ������� +�� ��������� ��� ������ ����������� �� �� ���� ��)� ����C
���� ��� ��-� ����� �� � �������
� ��
���-� ���� �� � ������
� � � �.�
5����)����" ��� �� ������ � ��������� �" �������� ����� �� ������� ��� �� ������� /���� � ��� '<<=3 �� � ������ ��� ���� ���C�� � ������������ �&�+�� �������� ���- 6 � ���� ���� � �������� ;� �� �� �������� 2 ��) �� ��������� A5 ��) �)����� �� ������ �� �������� �� �� ����� �� �������C
� ��� � ����� �-�
�� '
#���� �����'���� ���
���:�
���
�E�+�� ��������" � � ��������� � ���� � ������ � �� � ������ �" :���� *� ��� ��" '$$$ ��� ���� ������ ����� �" '$ ������ ������� ��� ������ ��� �� '$ $$$ ������ �
� �������� �� ����������
���� �� ������ �� �� ����� �������� �������� ������ �� �� 4+6�"�� �� ���������� ��� �������������� �� �� ������ ������ � �� �� �� ��� ����� ����� �� ��� ������� +��(4( � ��� �� �� ��� �������������� � ���� ���� ����� �� ��� ����� ��� �� ������) � �0 � *� ����� � � �� ������ �������" �� �������� �� ������� ������� � ����K�� ��� ������ �� ���� �-���� ������C'� 7�����$� ��� �� ������ ���� �� ��� ����� �
� ���� � �� ������ ������� �� ���� +�� �� ��� ���� ������ �� ��� ���� ���� �5���� � � ����� ��) �� ��� ��� ��)����� ����)� � � � �� �� �� ��)�� ����"���"�
#� �%����$� �#�-� �� ?���� ��������� ������(4(������ / ��� ��������������3 �� ��� �����) �0 ���� �����) ����� �� ������� �� ������� ����� � ;�� ������) ��
&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&'
��� ����� � �� �� � ���� � ���" ����/0123 �� ����� ������ ���� � ����� (��� �?����"� �#�- �� ��� �� ?���" �� �� ������>�� � ���� ���� ������� ��
� �%����$� ��0� �� � ���� ������� ���������)� �0 �� (4( ��� �����������������0 �� ��� �� ?���" �� �� ����� � ��� /���� /0123 ������ 3� � ����� ���� ��� ��������) �� ��������� ������) �������� �� ����� �� �0 � �� �� ��� � � �������" ����� ��) ��� ��� ������ �
.� �%����$� *� ������� �� � �� �-��������� ��) ���������� �� ��� �� �� ��� ?���� ����� /�083 �� �� �0 ��������� ������� � �� ��� �0 � *� ���� � ��0
�� �08 �� ��� ���)�� ���� �� ��)�� �������� ���� �� ��� �0 �
*� �������� ��� �� �������� �������� ���-��� ��)��� ������ �����" �� 54 �� 6(����� � ����������� �� �"���� �,� � �������� /54 �� 6(3 ��� ��)��� ������ ������" �� � ))��)� ����� /�I3� 5���� ������� �����" � �� ���� �� ��� �� ������ ������ �� � ��� 5����� �� ������ �C
�'C 54 � ����� �� �� �� ��)��� ������ ���� �� �� �� 6( �� ))��)� � ������� ����������� �� ������ � 6(� ��)��� ������ ���� �� �� �� )�)��)� � ������
0���� �� ���� �� �� K��� ���" ���" �� �����������" �� ��� � � ����� ��) ��� �� �����" � � �� ?�� ��� ������ ������ �����"�� ��� �� )��� ������� ��� �� ��� ����������" �� (4( ����� � *� �� ��������� ������
������ �� �-���� �����" �� ��� � �)��K����" ��>���� ���� ,���� �� �� " � �����������" ������ ��)��� ��� ����� �����"� ���������)�"� �� �"���� �,�C
�#C +���� � �)��K�� �� ���� ��������������� ������ �� �-���� ��������+��������� �� �-��� � 54 ��� ��)������ ����� �����" �� ��� �� �08 �� ����� ��� �� �� �� 6( ������� ������������ �� �-��� � �� 6( ������ ��� ��)��� ��� ����� �����" �� ��))��)� �������
��� �� �� ��� ���� /8?� /#33 � � �))� ������ � ��������� �����)����" ������������
� ����
*� ��� ��" � � �� ��� ���� �� ��������) ���������� ��)���� C ������ ��� /('3� ������ /(#3� ����� )�� /( 3 �� ���� /(.3� +����������� ��",�� ���� ���� �������� ��� ������������� ������) ���� �������� ������'<<@ �� '<<<� +�� ���� / �� +��� '3 ��>���� ���� ������ �� /3 �� ������ /'#=�##$�##.�&'$3�/�3 ������ � ��� ��� �� /'.�#$�#$� $3 �� /�3������ ��� ������ � /E�E�&�E3� +�� 012 �����������,�� �" ����� ���)� �,� �� ���������� � *� �� ���� ���������� � ��������� �� �� �� �)�� ��� ��� ��)��"� �������,�� ������ �-������� � �������� �������)� �� �� ������ � ���)����� ��� (� ��� 0���� 0����� ?�� ������� ���)���
+��� '
H � �� �������
(' ������ ��� (# ����� ( ����� )�� (. ����
0(���*�IC ������ �� ���� <& '$= '$. '$=
0(���*�IC ������ �� 012 '' ' '$ <
0(���*�IC "��B���� �� � �� � <@B. <=B'< <=B# <<B@
(4(C ������ �� �� ������ '#= ##$ ##. &'$
(4(C ������ � ��� ��� �� '. $ #$ #$
(4(C ������ ��� ������ � E E & E
(4(C "��B���� �� � �������� <@B#& <=B## <=B&$ <<B'#
.&# &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1
+�� �����) � ��� �� � ������ )���� ��� �� �� . 012 ���� �������� �" �(���� ��� �( ���� �� ������ � ��� � ��) �������" �� �� ����� ���� ����� ����� ���� �� ��� �� ������ �� ���� � �������" ))��)�� K)��� � +�� ������� ������� ����� ���� �� �� ���)� � �� ����� ��������� �� ���" ����� � �( ���� ���+��������� �� ���� � �� ����� ������� ������ ���� ����� 5������� ���� ���� �� ���� �� ������ ���� ��� �� K)��� � �� �(���� �� ����� � ������� �� �-����� � �� ���� +�� �����) � �� ������ ��� �� �����)� "�� �� ���)� �,� �� �� ������� ���� �
+��� ' ��� �� ������ �� ���� /<&�'$=�'$.�'$=3� 012 /''�' �'$�<3 �� "���� ���� �� �� � �� ������ /<@�#&B<=�##B<=�&$B<<�'#3 ��� ��� ������ ��)��"� +�� �����"�� �� 012 � ����" � ��� ��� �� �� ������ ���" & 012 ���� ��������� �����) �� ��� ����� ������ �
0���� �� (4( ���� ��>���� �� �� ������ ������ � ���)� �,� �� ����� ����� � ��>�����������) �� ����� �� �������� ���� ��� ������ �� � ����� �� �� ������� ����� � �� ������ ���� ����� �� �� ��������) �"�
��� ('� ����� �������� �� ���)� �,� /'����� '�& ����3� �� � �� ����� ����� ������ ������ ���)� �,�� ����� �" ������ ��� �������� �� �����A���� �������� � +�� ?�� �������� ��� �� ����� � /(#3� �������� ���� ����K� ����� ��)� ����� ���� ��������� ������ ��� ����� ����� ��)� � +��������� �� ������������A���� �������� ��� (#� 0����� )��/( 3 � ��)��" ��� ��" ��>���� ���)� �,� � ;� � �� ��� ����� ����� ������ ��� ������)� �,�� *� �� ���� ��" /(.3� ���� ��������� ����� ��)� ���� ���� �� �� ?�� ��������� ��� 012 � �)��� � ��� �� ���� ���������� ������ � ��� ��)���� '� �� .� �� ���� � � �� ����� ��� �����A���� �������� �5������� �� � ����� ��� � ����� �� �� ����� �� ������ � � �� �� ��� �� ��� ������ �� ��� �� �� � �� ����� ����� ��������� ��� �� � ���� ��)���� �
� �������� ����� �������
�'�' 7�����$ ��$����
+��� # �� ��" �� ������ �� ������ ���)��" ����K� �� �� /��� �� 0�H�3 �� ��� ��"
+��� #
(4(�������� �� ��
(�)��" �� ��� �I
��
/N3
54
��
/N3
6( ��
/N3
�I
�#�-/N3
54
�#�-/N3
6(
�#�-/N3
�I
��0
/N3
54
��0
/N3
6(
��0
/N3
�I �08
/�$�$$'3
54 �08
/�$�$$'3
6( �08
/�$�$$'3
������ ��� ��� ..�' EE� .<�@ &#�= &#�= & �= �< �@ �E #�# #�' '�<
������ ��� 0�H� '=�E '#� '&�@ #=�' #=�E '�& '�< '�= '�< '�< #�$ '�@
0����� ��� E�' E&�< .�. & �' .<� .E�E �< �@ .�$ �. #�< �&
0����� 0�H� '&�' '@�E '$�< ' �$ '.�= '#�. �= �. �< E�. &�E E�@
0����� )�� ��� &#�@ &.�@ &E�' .<� .<�' &$�E E�' E�' &�< E�= @�$ E�E
0����� )�� 0�H� �< #@�. .�. ' �E '.�@ '.�. .�$ .� .�' E�= @�# E�=
4��� ��� &#�@ @ �& &#�E .'�# .�= .#�= .�= &�# &�$ �E �< �=
4��� 0�H� .�E '#�= &�. '.�= ' �@ '&�< �' #�< � � #�< �=
��� ��� E�. E&�$ =�' .<�E .@�' .=�E .�E .�& .�& �< �< �<
��� 0�H� #� '=�< �' '=�. '<�E '<�@ � � �. &� &�' &�.
+�� ��� �� ��" �� ������ �� ������ ��)��" ����K� �� �� /��� �� 0�H�3 �� ��� ��" ��� �� ���� ����� /�� ))��)�
����� /�I3� �� ���������� 4"� ����� /543 �� �� ��� �� ����� /6(33 �� �� ���� ���������� �� ��� /�� ?����
��������� ������ ���� ��� �� ������� ��������� ��#�-�� ���� ��� �� ���0�� �� ������ ���������� �� ��� /�����
/��33 �� �� ��� ?���� ����� /�0833� +�� �� �� �����" ��� � ���������� 4"� ����� ��������� �� ��� �� �����
�� �� ))��)� ����� �� ��� �� �� ������ �� ��� /��3� 5������� �� �-���� �� ��� �� �� ��� �" �)��K�� ��>������
������ �� ����� �
&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&
��� �� ���� ��������)�� /�I� 54� 6(3 �� ������ �� ��� � +�� K� ������ ����� �������� ��)��" �������� �" �� ������ /�����/������ ����33 ���������� �� ��� �� ����� ����� K �� ��� ��#�-� ��0� �� �083�
��� �������� �� �� �� �� ������ ����������� �� �� 54 �� 6( � ����� ��������� � �� ���� ��� �� �������� �������� 54 � ������ �� �� �� � ������ ���� �� �� �� E&�$N����� 6( ' ��� �� ��� =�'N ���"� +�� ����������� � �)��K�� /������� � .# ��3 �� 'N������ � �-������ �� ))��)� ����� A ��� ����� �� E�.N A ������� ��� � *L ����������� � �)��K���" ����� �� 54 �� ��)��"����� �� 6(� +��������� � �� �� ��� ���������� �� � �"���� � �' � ���K����� +�� ���)��� ����� �" �� ��� � ����� �����)� � ���������� ����� ���� ��� /��� I�� � ���'<<=3�
�'�' ,��$ "��$� ��$���� � �� ����� ��$���
��)� ' ��� 012 ����K� �����" �� ��� ��#�-� �� 54 � �� � �� 6(� :��� �� �� ��)������� ��� �?�� ���������� ��� ��� ����� � ��� �� ��� �����" �� ���� �� ��� ��� �� ����)��� ����� ���� ��� �� �� ����� � +� ��� ��� ����� 54 �� 6( ��� �� �� �������� ���������� �� ��� �� �� K �-���������" �� ���� �#�-� +�� � � �� /� � �$�=&'�.# ��3 ��� � 6( �� 54 �� �� ��� �)��������" ��>���� ��� � # *� ���� � �� ������� �������� �� ))��)� ����� ��#�- � .<�EN� ��� ���� ��)��" ��)��� ��� ����� ������������ �� ����� � ��� ���� �����)����"�
+�� �� �� � ��J���� �� �� �� �)��K���� � $�$&� ��������� ������ �� ������ ��� ��� /�����3 �� �� �-���� �� ��� ��#�-� ��0��(�� �?����"� �# � �� ������� ���������"�
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
External Validity of Hierarchical Bayes
Ext
erna
l Val
idity
of
Lat
ent C
lass
��)� '� +�� K)��� ��� 012 ����K� �-���� �����" �� ��� �� 6( � ����� � 54 � ����� �� ��� �� ?���� ���������
������ ��� ����� ))��)� ��� � �� ����� ��������� ��#�-�� +�� ��)��� ���� ��� �?�� ���������� ��� ��� ����� �
0���� �� ���� K�� �����" �� ���� �� ��� ��� �� �� ��)���� �� �� �� ������ �������� ���������� �� ��� ����� �
' ��� ��)���� ('� (#� �� ( � �� ��)�� �����
� ����� ��� ���� �� � � ��� (.� �� 6( ����� �����
�� ��� �� ��� # +��" ��� ��)��" �)��K�� ��������� �� � � $�=#�
.&. &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1
�'�' ,��$ "��$� ��$���� � �� 8���� ��$���
+�� ))��)� ����� ��� ��)��" ��������������� �� ��� �� �0 ����� ����� �5������� ��� ��0 �� .�EN �� ))��)� ������ �� �)��K���" ��>���� ���� 54 �� 6( / ��+��� #3� ��)� # ��� �� �0 ����� ����� �� 54 � �� � �� 6(� �)��� �� ��)��� ���� ������ ����>������ ��� ����� ��������)"�
+�� ��>������ ������ ���)� ��� ��������������� �� ��� ���)� �0 � ��0� � .�&N ��� ������ 6( ����� �� �� 54 ����� � +�� � � ��/� � $�'..� .# ��3 ��� � �� �� ������� �� �� ��� �)��K���" ��>���� �0 ����� ������ � ;� K�� ����� ��)� ��������� /� � $�<'3������ �� 54 �� 6( ����� ����� ��� �#�-�
���9� / �� +��� �� .3 ����08 �� ���
�������� ������ �� �� � ����� ���������)�� �� �� ������ ��)���� ���� ����K�� ��� K����) � ����� �� ������ �� �� ���������)" � �� ���� �� �� �-���� ��������������"� 5������� �� ��������� �����" ���� �)��K���" ���� �� ������ ��)���� � +�� � ���
+���
+�� ��� ��� �� �� �� �� � ���9� ��� �� �08
�������� ������ �� �� � ����� ��������)�� �� ��
������ ��)���� ����
0����� �� ) 0�)����
(�� � ' @<�@E$ $�$'#
��������)" # $�$$# $�<<=
:����� ��)��" &�$< $�$$#
8���� '#
+�� �� �� ��� � �� ������ �� �� ��������)" � ��
���� �� �� �-���� ��������� �����"�
+��� .
+�� ��� ��� �� �� �� �� � ���9� ��� �� �0 ��
���0� �������� ������ �� �� � ����� ��������)��
�� �� ������ ��)���� ����
0����� �� ) 0�)����
(�� � ' #E$�@ @ $�$$$
��������)" # $�$$= $�<<#
:����� ��)��" �&=< $�$'E
8���� '#
+�� �� �� ��� � �� ������ �� �� ��������)" � ��
���� �� �� �-���� ��������� �����"�
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.160
0.02
0.04
0.06
0.08
0.1
0.12
0.14
0.16
Mar
ket s
hare
bia
s of
Lat
ent C
lass
pre
dict
ions
Market share bias of Hierarchical Bayes predictions
��)� #� +�� K)��� ��� 012 ����K� �-���� �����" �� ��� �� 6( � ����� � 54 � ����� �� ��� �� �0 �� ���0�� +����)��� ���� ��� �?�� ���������� ��� ��� ����� � 0���� �� ���� K�� �����" �� ���� �� ��� ��� �� �� ��)���� ��
�� �� ������ �������� ���������� �� ��� ����� �
&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&&
���� �-��� �� �� ��������� �����" �����>���� ������ ��)���� � 5������� ���� ���������� �� (4( ���� ��" � � ����� ���� ������� �� ������ �� �� ��������)"��� �� ���)� �� ���������� �)��K���"�
+�� �� �� ��� � �� ���������� ��� ��� �� �� ���� /012 3 ����� ������ ���)��" ��" ��� ������"� +�� ��������� �� $� ������ �� ���)� �0 �� ���� �� �� �-����� �����" �� ��� �� �#�- ������ � ������� L �0 �� ���� ��7��� � ������ ����)�� ���� L �0 � ������ ��>������ ���������� ����� ��)��" �" �� �� �� �" �"����� �>�� / �� ����3 ����� �� �� ������ �� "���� (4( ��"�
!�""��� �� ���������
+�� �� �� ��� ��" � � ���� �)� ����������" ������ ��������� �� ����� ����� ���������� �����)����" �� ���� ����" ��)������,��� :������ �� ���� � ���" ���� ������ ���� 6( �� 54 �����" ��������� ))���)� ����� �� ��� �� ������ �����" �� ��� �+��������� �� ?�� ��� �� � ������ ����� ����� �� �����)����" ��� ������ �� ������������ ))��)� ����� ���� ������ � ��))�� ����� /�-���� �����"3� *� ��� ������������ �� ����� ���������" � �� � ��� � � ��������� +���������"� �� ��>������ ������������ ����� � ��� ��)��� �����)����"�� ��)��� ����������" �� �� ������ ��������"������� / �� 8?� /#33� +��������� �� ?�� ��� �����" �� � ����� ���������"�
2� � ��� �� ?�� ��� � �� ���� ����� �� ������" �" � � �� ��� ����� �����) ��� �" ������� � ���" /5����� '<<=3� �����" � � � �� �� ���� ��������� �������� ��������� ������) ���� ��������) �� �� . 012 �� �����" �����) � �� �� ������ ������) 012 ���� ����-����" �� "�� � ��))��)� ��������� ��)� ����� ����� �������� ��� �� ����� � ��� ���� ������)����" /6( �� 543� +�� ����� ��� ������� � � � �� � ������ ���������� ��� ���� *� �������� ��� ������� �� ����� ����� �� ��������� �� �������� �� �����)����"C
54 /�� � E&N3 �����" ��������� 6(/�� � =N3� ����� "���� ���� ����� �� ��))��)� ����� /�� � EN3� � ������������ ��� ��� �� � � � �� � ����� �� ������� ����� ����� �� � �� �� ?���� �����������#�-� ������ ����� ��������� � �� �� �����"���� ����� �� �����" �0 ���� �����)�� � �� ��� ��� �� ����� � ��� � ��������� �� � ���� �� ?���� ������� ������� ���)� �0 �� ����� ����� � *� ����� � �� ���������� � ��) ������� � � ����� ����� ���������� �� 54 /�#�- � .@N3 �� 6(/�#�- � .<N3 � ����� � �� ))��)� �����/�#�- � &$N3� +�� ���)� �� �� �0 ����� � .�&N ��� ���� �� 54 �� �� 6( ����� �� .�EN��� �� ))��)� ������ ��� �� �� ������ ������)����" ���� �� )������,�� � ���������� +�� � �� ���� � �� �� �� �� ������ 5�� /'<<<3� +�� ��>���� ������ �" ���-������ �" �� � �������� ��) �� ���������� �" ���� �� 5��� +��" ������ ���" @'N�� �� �� � ����� ����� �� �� ���)��������"�
+��(4( ���� ��� ������ �� �� ���� ��>�� �� ����� �� �)� ���� /������ �� �� ������ ������� � ��� ��� ��� ������ ��� ������ �3�0���� �� �� �� ��� ���� ���� � �� �� �� �������� ��>���� ����� ���� ��������� �� ��������� � �����) ��K������� ���� �-���� ��"�� ))��)� ���������� �� �� 54 �� �� 6(����� � �� ������� � ����� ))��)� ������
��� �� ���� �-������ ��� �� ��>������ �������� �����" �� ���� ���������� � ��� 54 ����� ���� ����� ��� ����K� ���� ��� � ������� �� ����� � �� ������� ��� �)�� ���� �� �� ������ � ����
��� �������� ��" � ������ � �� ��� �� �� ���� /�����)����" �� ����������"�� �� ������ ��������" �������3 ����� ��������� �� ��>������ ������ � ))��)� �� ���������� ����� ����� � ����
*� ��� ����������� �� �������� �� �� (4(���� ���� ����� ��� ������� � � ������������) ��������� ��� ����� ���� � ��
*� ��� ���� ������� ���� � ��� �� ���� �� ���� ���
�� ���� ��� �)��� ����K� ����� �
.&E &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1
�� ����� ����� ���� �� �� ������ � ���������) ������� ��� �� �� �))� � )�)��)� ����� �� �7���� � ������ �0 �
*� ������) �������� ����� �� ��� ���� � �� �)��� �� ������� � �� ��� � �� �� ��� �� ����� ������ � 6( �� 54 ����� �� ���������� +�� � ����� �� � � ���� �������" ������ ���� �)��� � 5������� ���� �)��� �� �����K��� ))��)� ����� ��� ��� �)��� �� )�� �7���� � ����� ���� �������
��#��$�� %�"����
+�� ���� �� � � ��� ���� 1��������� �( ���� �� ��� �� � ������ ���������� I��) ������"� �� !�� I���� ��� ������) � �� ����� ���� �� ���� ���������� 4"� ������ � ;� ����� � � ���� � ��� !"���;������ � �� ������ �� ���"��� ������� ���� ������� �� �� ������) 0������ '<<=���������� *�08�H �� �� 0���� 0������ (��������� �� 0� H��)�� '<<<� ������!��� ��� 4�"� ���� �� 0"��� ����������0������ )�� � ��� � ���� ��� �� ������� ���� ��� �� �� ��� ����� ���� ���� ��� � ������� �" �� �� ��� 0������ ��������/�;�3 ����� )�� 0�4 O$'$�
&�'�������
��� ���� ��� �� �� :�� '<<=� 0�������� �� ������ �������
��� ������ ��)���� � ������) 0������ '@ /#3� <'A'$E�
������"� I���� ����� ��� I����� !�6�� '<<&� *���������)
����� �������)� ��� �� ��" � �� ������� ���� �
!����� �� ������) �� ���� # /#3� '&#A'E#�
������"� I���� I����� !�6�� '<<&� 2 ��) �-���� � �� �)�
������ �� �)��� ���� � !����� �� ������)
�� ���� # /.3� <#A.$ �
������"� I���� 6���� :�!�� '<<.� �������) ��� ����� ����� �
������� ��� ��)� �� ����� ��)�� ���� !����� �� ��
������� 0� ��� � ������ =<� '#'=A'##<�
������"� I���� 6���� :�!�� '<<&� �� � ��) ���� ��"�"�
����� �� ����"� �� �������� ��) �>�� �� ��� ����
���� ������� !����� �� 4� ��� P 8������� 0� �� ' �
#='A#<=�
����� ��� ������"� I���� I����� !�6�� '<<=� � ����������
4"� ����� �� �����" �� ������" ������ ������)
0������ '@ /'3� #<A..�
(� ��� ��+�� 6�������� !�6�� ����� ��� H���� ������ :��
4����� H�0�� 5�� ���� H���� !��� ��� ����� 1�������;����
0������)� H�� 0��� !�� +������� � 5�� ;���"� !�4�� '<<.�
8-�������� ��" � �� ������� ������) 6��� & /.3�
&'A E=�
H�0���� ;�0�� �� ��"� 9�� (����� 0�� '<<&� ����
�)������ ��� �������� �� ������� ��" � � �����
��) 6��� E /#3� ' @A'.@�
I��� ��!�� ������� +�� 0�)���� :�� '<<=� ��� �" �
�-����� ��� ���� ���� �� ����� � �"���� � :�� �����
+�� ���� ����� ������� �� ���� +�����?��
������ (������� @A'$ !����
I���"� !�� '<<&� 2 ��) �� ���� ������ �������) � � ���
���� ���� !����� �� ������) �� ���� 9**� #&A#=�
I����� :�8�� 1���)��� ����� �)���� ��1�� '<< � � ���
������� � �� ���� ����� ��� ?����"��) ���������
�� ���������� � ������) 6��� .B.� E<A =$�
5)��"� ����� '<=&� *�������) �� ��������� ����� ��
������� ��" � C +�� � � �� ���� ��" � �� ��� ��
��" � � !����� �� ������) �� ���� QQ**� 'E=A'=.�
5����� '<<=� ��������) ��������������� ��������� ���� (4(
�C (������) ��� �� ���������� 4"� � :�� �����
)���� �� '<<= ������� �� ���� +�����?�� ������
!��� ��� ����� '<<@� *(8C *�������� ������ � ������
;�����) ����� 0���� 0����� *���
1����� ;�� �,��� ��� #$$$� � ������� ����������
�����" � �� ������ � ��� � *�C I� � ��� ���
5������� ��� 5����� �� /8� �3� (������ �� ������ A
����� �� ��������� � 0����)��� 4������
1����� ;���� ;����� ��� �)���� !�� '<<.� (�������
������ ��� �� ����� ��� ������� ��" � � *�����
���� !����� �� �� ���� �� ������) '' /&3� .&'A.E.�
1����� ;���� �� ���� I�!�� '<=<� � �������� �� ������
����� ��� ���� �)������ �� �� ���" �������
!����� �� ������) �� ���� #E� @<A <$�
6���� :�!�� H�0���� ;�0�� I����� :�8�� R���)� ����� '<<E�
5��������� 4"� ������� ��" � C �������" �� ������
�����)����" ���� ������� �-�������� �� �)� � �����
��) 0������ '& /#3� '@ A'<'�
6�������� !�!�� ;��� ����� I�I�� '<= � H� �)� �� ��" � ��
������ ������ �� ������� �-������� C �� ������
� �� �� ))��)� �� !����� �� ������) �� ���� #$�
&$A E@�
�� ���� 0�� ������"� I�� 8�������)� ��� 5���� 0�� 6����� I��
6����� ��� 6���� !�� 6��� �� 6�� 0�������� ��� ;�����
H�� '<<.� � �� ���� )��� ��� ����) ����� � ����
� ���� � ��)�� � ������) 6��� & /.3� <&A.'#�
����� 4�1�� 5��� ����� '<<<� :�������) ��� �� ���
(4(C 5�� ������) �����)����" ������� �� �� �
:��� ��� ���� �� 0���� 0����� (����������
0� H��)��
:������� !�� '<<.B'<<&� ����� )� ������� ����� � �� ���
����� �� ����"� *�C ;�� � 0� /8��3� 0���� ��� � ���� '$B
#� 0���� 0������ *���� 1������ *H� ��� &AE�
�� �� :�8�� ��(������� ��8�� ������"� I���� '<<E� +�� ����
�� ����� � �� ��" � �� �)� ������)� ������)
0������ '& /.3� #'A .$�
&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&@
9���� � ��� ;����� ��� ;��� � +�� '<<E� ����� �������
�)������ ����� C � ���� (��� ������ ��� !����
�� �� ������) �� ���� /'3� @ A=&�
;����� ��0�� 4������� ��8�� H��)���� !�� 8����� +�� �����
:�0�� *���� !�!�� 1���� 5�� 6����� 1�� �������� ���
'<<.� ;��� ����� �������C +�� ��������� �� ���� ��
� �� ������ ����� ��� ��� ���� �������� ������)
6��� & /.3� = A <.�
;����� H���� (��� :�� '<=<� (�������� � � �� �������
��" � C �� ����� !����� �� ������) & � <'A<E�
;����� H���� 9���� � ��� 4�������� ;�� '<<.� (��������
� � �� ������� ��" � �� 8�����C �� �� �� ������
��J����� � *�������� !����� �� �� ���� �� ������)
''� .'A&#�
.&= &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1