Real world performance of choice-based conjoint models

11
O.R. Applications Real world performance of choice-based conjoint models Martin Natter * , Markus Feurstein Vienna University of Economics and Business Administration, Pappenheimgasse 35/3/5, A-1200 Vienna, Austria Received 3 July 2000; accepted 5 April 2001 Abstract Conjoint analysis is one of the most important tools to support product development, pricing and positioning de- cisions in management practice. For this purpose various models have been developed. It is widely accepted that models that take consumer heterogeneity into account, outperform aggregate models in terms of hold-out tasks. The aim of our study is to investigate empirically whether predictions of choice-based conjoint models which incorporate heterogeneity can successfully be generalized to a whole market. To date no studies exist that examine the real world performance of choice-based conjoint models by use of aggregate scanner panel data. Our analysis is based on four commercial choice- based conjoint pricing studies including a total of 43 stock keeping units SKU) and the corresponding weekly scanning data for approximately two years. An aggregate model serves as a benchmark for the performance of two models that take heterogeneity into account, hierarchical Bayes HB) and latent class LC). Our empirical analysis demonstrates that, in contrast to the performance using hold-out tasks, the real world performance of HB and LC is similar to the performance of the aggregate model. Our results indicate that heterogeneity cannot be generalized to a whole market and suggest that aggregate models are sucient to predict market shares MSs). Ó 2002 Elsevier Science B.V. All rights reserved. Keywords: Pricing research; Choice based conjoint analysis; Hierarchical Bayes; Latent class; Heterogeneity 1. Introduction Conjoint analysis is one of the most important tools to support product development, pricing and positioning decisions in marketing practice cf. Wittink et al., 1994; Wittink and Cattin, 1989). Researchers have developed dierent types of conjoint analysis rating, ranking, choice based) as well as dierent techniques to estimate parameters of conjoint models. As compared to ranking or rating based conjoint approaches, choice based Louviere and Woodsworth, 1983) conjoint anal- ysis CBC) seems more realistic in imitating real shopping behavior. In CBC respondents have to choose one among several alternative products. This is, of course, a less dicult task for respon- dents and more like real shopping than rating or ranking alternatives. In many studies, the CBC European Journal of Operational Research 137 2002) 448±458 www.elsevier.com/locate/dsw * Corresponding author. Tel.: +43-1313365610; fax: +43- 1313365629. E-mail addresses: [email protected] M. Natter), [email protected] M. Feurstein). 0377-2217/02/$ - see front matter Ó 2002 Elsevier Science B.V. All rights reserved. PII:S0377-221701)00147-3

Transcript of Real world performance of choice-based conjoint models

���� ���������

��� ����� ���������� �� �������� �� ������� �����

���� ��� �� ���� ���� ���

������ �������� � �������� ��� ����� ������������ ������������� ������� ���� ������� �����

�������� !��" #$$$% ������ & ����� #$$'

��������

(������ ��" � � ��� �� �� �� ������ ��� � ����� ������ ����������� ������) �� �� ������) ���

�� ��� �� ��)���� ������� ��� �� ����� � ����� ����� ��� ���� ���������� * � �����" ������ � �����

� �� ��� ���� �����)����" ��� ������ ��������� ))��)� ����� �� ��� �� ������� � � +�� �� �� ���

��" � � ���� �)� ���������" ������ ��������� �� �������� �� ������� ����� ����� ��������� �����)����"

�� ���� ����" �� )������,�� � ����� ����� +� �� �� ���� �-� � �-���� �� ��� ����� ���������� ��

�������� �� ������� ����� �" � � �� ))��)� ����� ���� �� ��� ��" � � � �� �� ���� ��������� �������

� �� ������� ������) ���� ��������) �� �� . ��� ������) ��� /0123 �� �� ����� ������) �����" �����)

� ��� ����-����" �� "�� � �� ))��)� ����� ���� �������� ��� �� ���������� �� �� ����� �

�� �����)����" ��� ������ ���������� 4"� /543 �� ��� �� /6(3� ��� �������� ��" � ����� ��

�� �� ���� � �� ���������� � ��) ������� � � �� ��� ����� ���������� �� 54 �� 6( � ����� � ��

���������� �� �� ))��)� ������ ��� �� �� ������ � �����)����" ���� �� )������,�� � ����� ����

�� �))� � ))��)� ����� �� �7���� � ������ ���� ��� /�0 3� � #$$# 8� ����� 0������ 4�9� ���

��)� �� ������

!��"���# :�����) �� ����% (����� � �� ������� ��" � % 5��������� 4"� % 6�� �� % 5����)����"

� ���� ������

(������ ��" � � ��� �� �� �� ��������� � ����� ������ ����������� ������) ���� ������) ���� ��� �� ������) ������ /���;���� � ��� '<<.% ;���� �� (��� '<=<3�

�� ������ ��� ��������� ��>���� "�� ��������� ��" � /���)� �����)� ������ � ��3 ���� ��>���� �����?�� � � ��� ������ �� ������� ����� � � ������� � �����) �����) � �� ������� ������� � ������ � ��/6������� �� ;��� ����� '<= 3 ������� ���" � /(4(3 ��� ���� ���� �� �� �����) ��� ������) �������� *� (4( �� ������ ��� ����� � ��� ���) ����� ������� ������ �+�� � � �� ���� �� �� ��7��� � ��� �� ������� �� ���� ���� ��� ������) �� ���) �������) ������� � *� ��" ���� � �� (4(

8������ !����� �� �������� �� ���� ' @ /#$$#3 ..=A.&=������ ���������B����B� �

�(���� ������) ����� +���C D. �' ' E&E'$% �-C D. �

' ' E&E#<�

�����$ ������#��������F���������� /�� ���3�

���� ����� ���F���������� /�� ���� ���3�

$ @@�##'@B$#BG � �� ���� ��� � #$$# 8� ����� 0������ 4�9� ��� ��)� �� ������

:**C 0$ @@�##'@ /$' 3$$'.@�

����� � � �� � ����� ���� ������ � �������� ������) ��)�� % ����� ��� ��������������� �� ��� ���� ��� /�03 ����� �5������� (4( � �� �������� �� �������� ������ � ����� �" ��>�� ��� ������" ���� ��� ������) �������� *� "���� ��������� ��� ������ /�3 �� �� ����� �" � ����������� /��3 ����� ����� ����� � ����� ��� ����� �/���3 �� ���� �"������� ����� � �� /��3�� �� ��� �" �����" ��� �?����� � +�� �� ��� �� (4( ������� �� �� � �� ����� ����� � � � �� �� ������ ������ �(�� �?����"� ������) ���� � �� � �� �� ��� ����� �" �� ��� � �� �� �>�� ���������� � ����������� (4(������ �� ������� �0 �" ���)� ���� ���� H"���� ������ �� ���� ���� ����� �� �� ����������� (4( ��"� ��� ����� ��) ��������� � ���)� �� �� ����� �� �� ������� /���I���"� '<<&3� ���� �"��� �>�� � ��������� �����"� � ��� ���� � ��� ���� ���� � �����" ����� � �� ��� ����� �����" �� (4(����� �

:�������� "�����" � � ))��)� ����� �� ��� (4( �� ���� �� � ����� ���� ������ � 5������� � � ���� ���� ������ ����� ��� ���� �����)����" �� ��������� ������ ��������� �����" �� (4( ����� /5����� '<<=3� +�� ������ ������) ������� �������� �������) ��� ���) ���� �� ����������) ��� (4( � ����� ��������)�� ��� ��� �� /6(3� ���������� 4"� /543 �� ���������� ������ � ����� /*(83 / ��� ��)�� !���� ��� '<<@% 5)��"� '<=&% H�0��� � ��� '<<&%6��� � ��� '<<E% ���� � ��� '<<=% :������� '<<.B'<<&3� +�� ���� ��>������ ������ �� � �������� ��� �� �� �-�� � ����� ��" ����������)����" �� �� ������ � +�� ������$ ��$������� �� �� � ��� ������� � ���� � �� ����� �� �������� � �� ���� (��� ��" � /��� I���� � ��� '<< % 9���� � ��� '<<E% I��� ��� '<<=3� +�� ������ �� �� � ���� ������� ��������" �� ����� ����� ��� ���� ������)����" ������� � ))��)� (4( ����� �

5������� �� ��� ����� ���������� �� �� ���� ��������)�� � �� ���� �-����� � ���(�� �?����"� �� ��� �� �� ���� ��� )��� ������ ����� � ��J�� ��� �������� ������

���������� �� ������� ���� �� �� ���������� ��� ���� (��� ��" � ��� ��K��� �/ ��� ��)�� 9���� � ��� '<<E3 �� ���� � � ����� ?�� ���� +�� �� ���� �������� �� ��� ����� �� �%����$ ��$������ �� (4( ����� � *� ��������� ��"� �� ������ ��� ))��)� �������) � � ��������� ��� �" ��>���� "�� ��(4( ���� ������ �

� ���� ����� � ��� ���� � �" ���� ��5�� /'<<<3 ��� ���� �)� �� �-���� ��������� ���� ������ ��)���� � H��������) ���� ������ � �� �� ))��)� ��)�� 6( �� *(8����� � ��" ����� � 6( �� *(8 ����������� �� ���� �� ))��)� ��)�� ��� ��"� ��>���� ���� ���� �� 5�� /'<<<3 �� ������ ��� � ��� � �� � � ��� /�����3 ))���)� � �� �� ���" �� ��� �� ����� �� ��������� ����� ���� ;���� ��� ������� � ����� ��) ���� ��" � ��� ��� ��)�� �����))��)� ������� � ���� ����� ��) ��� ���������) K�� � ������ ��������� �� ���� ���� �0������ ���� �� 5�� �� ����� .& �� ��������� ������� ����� �� ������" ���)���

1���� �� �,�� /#$$$3 ������ �������� ���� ���� �� �� ���� �� ��� ���� ��� �����) ������� �� ����� �� �� ������ ���� �� � �� �� ���� � +�� � � ������� � ������" ������ � ��� �� ���������� ���� ����� ����� �� �������) ����� ����� �� �� ���� ��� �����) �������� 2 ���) ������� ���������� ��" � � ��" � �� �-���� �����" �� ������� � ��� ������� ��� ����� � ����� ������� � *����� � �� ���� �� 1���� �� �,��/#$$$3 ��� ������ � ��� �� ���������� ������ ������� �� �� �� )���� �� �� ���� ��� �� �� �� ���� � � ������ ��� ������������ ������ �" ��>���� ����� � ����0 � +�� � �� ���� �������� � ��������� ��� ������ ���� ����" ��� ���� �� �������� �� ���� �� ��� ������ ��� ��� ������� ���� � �� �� �� �����

+���� � �������� )���� �� �� ������ /(� �� � ��� '<<.% �� ��� � ��� '<<.% ;����� ��� '<<.% H�0��� � ��� '<<&% ���� �� 5���'<<<3 ��� ��� ������� �� ���� ��� ��������� ���� ���������) �-���� �����" �� ���������" � �

&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 ..<

+�� ��" � �� �� ��� ���� � �� ��� ������������ �� �� (4( � ����� ��������)�� �6( �� 54� ��� �������� ��" � � � �� �� . ��>���� ��� ������) ��� /012 3 �� ���������� �

+�� �� �� �� ���� ������ ������ C ����) ��� �� �� �� ��� �� �� ������� �" �� ��� �� ����� ������ /0����� #3� ��������� ��� �� ��������� �� ��� �"���� � �� �� ��� /0����� 3� +�� �� ������� �� ���� /0����� .3 �� �� �� /0����� &3 � ���������" � � ��� �� ��� ������ �

� �� ���

�� ������ ��� ����� �� ����� �����?�� ��� (4(������� � ������ *� �� ����� ���� ��� ��� ���� � �� �� �� ���� ��������������)�� � 6( /H�0��� � ��� '<<&% 5�����'<<=3 �� 54 /6��� � ��� '<<E% ������" � ���'<<&% ������" �� I����� '<<&3� ��� �� ����� ��� ���������"� �� � � ����� �� �� �� �� �))��)� ����� /�I3 ����� � � �� �� 6(������

+�� � ����� ��� ���� ������ �� ��� ��������� ���������� �� ��� ��K��� ��5���� /'<<=3� ��� ������ 54 ��� 6( ���-����� 6( /*(83 K�� � 54 ��� �� ����� �� K����) �� ������ ������ % �����"�� ��������) ������� ������ � ����� � �� ����� ��� 54 �� *(8 �� ��)��" ����� ��� 6(����� � I�� � �� /'<<=3 K�� � 54 ����� �� ���)��" ���� ��� ����� �� �� �� ����)�� +�� � �� �� �))� � �� ������������� �����)����" � � � ���� ���� ��� ���������) ��� ���� ����� � ��������� � � ����� ����4"� �� � �� � ))��)� ����� ������� ��� �� ���� ����� �� �� ����� ������� �� �� ��� ���� �� �����)����"� ;���� 54����� ���� � ����� �� ��������� ��� �����7�����"� � � �� ���� ������ �� ��������)")������,� � ��))�� ������

� ���) ��� � ����� �� �� �� ������� ��� ���� ��� ��������� /��)�� ����� ������)3��� ����� ���7���� /543 � �� �� �� ��� �� � �� � ������ ��� ������� �� �� ������;��� ��� �� � )������,� � ��)�� )���� ��

��������� �� ���� �� ����� �� ������� �� �� ����C ���� ����)����� ��������� � ������� ��� �� �" � �)� ��������� � ���������� ���7���� �� �� ������ �� � � ��/'<<E3 �������� ����)����� �� �� �������" ��������� �� �� � ����� �� � �� � �-���� ���������� L ��>������ �� �������� 5������� ������)�� ��� ��� �� ���� ���" ����� 0�� �?����"���� ��� �� �� � /'<<=3 ���� �� ��� ���������)���� � ��� �� ���� ���� ���� � ;����������� ��������� �� �� ��� ���� �� ������ � �� ����� ���7���� ��������� �� ��� ���� �� � ��� �� ��� � � �� �-������� ���� ��� �� ��� � �� �� ������� �������)����"� � ������� � � ))��)� �����54 ��� ������� ��>���� � ��� � 0���� �� ���� � ������ �� ����������������� �� �����K� 012 ��� ����� �� +�� �������� ����� ��� �� �� �� ������ ��������" ��� ���7���� �� ���� �� � �� ��������� /��63� *� �� � � �� 54 ������ �� ����������������� � )���� �"�� �-������ ���� �� �� ������ ��������"��� ���� �� �� ������� �� �����)����"���� ��� ����� +�� ���7���� �� � ))��)� ������� �� ������ ���� ����� ���7���� ������" ���) �� �-������ ���� �� �� ��������7���� ��� � ����� �� �� ��� ��������������� �� � ��� ���� *� ����� � �� �� ��>������ ������ �� ))��)� �� �� ����� ���7��������� ��� �� �-��� �� ��������� ������� ��� +"��� ���� ����� ��C

� ��� �� � � ���� � ��� ���� ��� ���� $�&��� ���#� ��� ���� �'�

+���) �-������ ���� � ��� ���� ��� �� ��� �������������� C

��� ��� ��� � � ��� ��� � $�&������ ��� ���� �#�

+�� ����� ��� $�&������ ��� ��� ��J�� ����>������ ������ � ))��)� ����� �� ������ ���7���� ����� ���)�� ���� �� �� �������� �� �����)����"� +�� ��>������ ����� � ���� ��)��� �� ����������" �� �� ������ �� ������� ���7���� /�����)����"3� (�� �?����"�� �� ���" �� ��������� ���������" ����������� � ��� ���� �����)����" ������� ����

.&$ &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1

�� ��))�� ����� �� ))��)� ����� � +�� � �� ���� ���� �� ��� ��" � �

�'�' 3��� �$�

H�0��� � �� /'<<&3 ����� � � � � 6(��� ��� �� (4( � �������� �� ������� ��))��)� ��" � �� ������ �)������ � +������ )������,� �� 1���� �� �� ���/'<=<3 ����� � �� ��� � ��������)" � 6((4( ����� ��� ������) ����� ����� ��������� ���� ������ � � 1���� � �� /'<<.3 ���������� 6( ������� ������ ����� ����� � � ��������� �������� ������ �

+�� �� ������L / �)��� ����K�3 ��������������" �� 012 4 ��� �)��� � ������ � )�����"

���� ��� ��-� ����� �� � �������

� ��

���-� ���� �� � ������

� � � � �

����� ����� �� � �� ����� �� ����" �� �� 012� � '� � � � � � � �)��� � � '� � � � � � �� ���� ������� ����" ��� �)��� � +�� MM���������� ������ 012LL � ����� ����" �� ,����� � � '� � � � � ������ � �� �� � ������� 012 �� �� �� ������ ��� � � '� � � � � � ���� �)��� �� ��� ����� �� 012 4 �� ������ � ������ � ����� �� �� (4( �)��� ����K� ������� �� � � �� ����� �� �-���� �������������������� ��� �� ���������� �� �� ������ �� �)��� � �� ��� �� � ��� � � ����� �� ������� � /�� ������ � ��� �� ������3�+�� ����� ��� ��)�� ������ ���� �� �� � ��� �� ��� ��� ����� ������� /��������" �������� � � � � 4�*( �� ���� ��������� ���������?����" ������ �� ����� �������3�

�'�' 5����������$ ����

*� ���� � �� 6( ������ ���������������� ��� �� ������ �" 54 ������ 6��� � ��/'<<E3 ����� ��"����" �� ���������" �54 ����� �� �� ��?���� ��������������� �� �)������ � �� �� ���� ���� +�� ��� � �� �� �

�����" �� � ��) ����� ���K�� ��� ������ ������"�� 6��� /'<<.� '<<&3 ������ 54 ����� ����� ������� +�� ��������� ��� ������ ����������� �� �� ���� ��)� ����C

���� ��� ��-� ����� �� � �������

� ��

���-� ���� �� � ������

� � � �.�

5����)����" ��� �� ������ � ��������� �" �������� ����� �� ������� ��� �� ������� /���� � ��� '<<=3 �� � ������ ��� ���� ���C�� � ������������ �&�+�� �������� ���- 6 � ���� ���� � �������� ;� �� �� �������� 2 ��) �� ��������� A5 ��) �)����� �� ������ �� �������� �� �� ����� �� �������C

� ��� � ����� �-�

�� '

#���� �����'���� ���

���:�

���

�E�+�� ��������" � � ��������� � ���� � ������ � �� � ������ �" :���� *� ��� ��" '$$$ ��� ���� ������ ����� �" '$ ������ ������� ��� ������ ��� �� '$ $$$ ������ �

� �������� �� ����������

���� �� ������ �� �� ����� �������� �������� ������ �� �� 4+6�"�� �� ���������� ��� �������������� �� �� ������ ������ � �� �� �� ��� ����� ����� �� ��� ������� +��(4( � ��� �� �� ��� �������������� � ���� ���� ����� �� ��� ����� ��� �� ������) � �0 � *� ����� � � �� ������ �������" �� �������� �� ������� ������� � ����K�� ��� ������ �� ���� �-���� ������C'� 7�����$� ��� �� ������ ���� �� ��� ����� �

� ���� � �� ������ ������� �� ���� +�� �� ��� ���� ������ �� ��� ���� ���� �5���� � � ����� ��) �� ��� ��� ��)����� ����)� � � � �� �� �� ��)�� ����"���"�

#� �%����$� �#�-� �� ?���� ��������� ������(4(������ / ��� ��������������3 �� ��� �����) �0 ���� �����) ����� �� ������� �� ������� ����� � ;�� ������) ��

&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&'

��� ����� � �� �� � ���� � ���" ����/0123 �� ����� ������ ���� � ����� (��� �?����"� �#�- �� ��� �� ?���" �� �� ������>�� � ���� ���� ������� ��

� �%����$� ��0� �� � ���� ������� ���������)� �0 �� (4( ��� �����������������0 �� ��� �� ?���" �� �� ����� � ��� /���� /0123 ������ 3� � ����� ���� ��� ��������) �� ��������� ������) �������� �� ����� �� �0 � �� �� ��� � � �������" ����� ��) ��� ��� ������ �

.� �%����$� *� ������� �� � �� �-��������� ��) ���������� �� ��� �� �� ��� ?���� ����� /�083 �� �� �0 ��������� ������� � �� ��� �0 � *� ���� � ��0

�� �08 �� ��� ���)�� ���� �� ��)�� �������� ���� �� ��� �0 �

*� �������� ��� �� �������� �������� ���-��� ��)��� ������ �����" �� 54 �� 6(����� � ����������� �� �"���� �,� � �������� /54 �� 6(3 ��� ��)��� ������ ������" �� � ))��)� ����� /�I3� 5���� ������� �����" � �� ���� �� ��� �� ������ ������ �� � ��� 5����� �� ������ �C

�'C 54 � ����� �� �� �� ��)��� ������ ���� �� �� �� 6( �� ))��)� � ������� ����������� �� ������ � 6(� ��)��� ������ ���� �� �� �� )�)��)� � ������

0���� �� ���� �� �� K��� ���" ���" �� �����������" �� ��� � � ����� ��) ��� �� �����" � � �� ?�� ��� ������ ������ �����"�� ��� �� )��� ������� ��� �� ��� ����������" �� (4( ����� � *� �� ��������� ������

������ �� �-���� �����" �� ��� � �)��K����" ��>���� ���� ,���� �� �� " � �����������" ������ ��)��� ��� ����� �����"� ���������)�"� �� �"���� �,�C

�#C +���� � �)��K�� �� ���� ��������������� ������ �� �-���� ��������+��������� �� �-��� � 54 ��� ��)������ ����� �����" �� ��� �� �08 �� ����� ��� �� �� �� 6( ������� ������������ �� �-��� � �� 6( ������ ��� ��)��� ��� ����� �����" �� ��))��)� �������

��� �� �� ��� ���� /8?� /#33 � � �))� ������ � ��������� �����)����" ������������

� ����

*� ��� ��" � � �� ��� ���� �� ��������) ���������� ��)���� C ������ ��� /('3� ������ /(#3� ����� )�� /( 3 �� ���� /(.3� +����������� ��",�� ���� ���� �������� ��� ������������� ������) ���� �������� ������'<<@ �� '<<<� +�� ���� / �� +��� '3 ��>���� ���� ������ �� /3 �� ������ /'#=�##$�##.�&'$3�/�3 ������ � ��� ��� �� /'.�#$�#$� $3 �� /�3������ ��� ������ � /E�E�&�E3� +�� 012 �����������,�� �" ����� ���)� �,� �� ���������� � *� �� ���� ���������� � ��������� �� �� �� �)�� ��� ��� ��)��"� �������,�� ������ �-������� � �������� �������)� �� �� ������ � ���)����� ��� (� ��� 0���� 0����� ?�� ������� ���)���

+��� '

H � �� �������

(' ������ ��� (# ����� ( ����� )�� (. ����

0(���*�IC ������ �� ���� <& '$= '$. '$=

0(���*�IC ������ �� 012 '' ' '$ <

0(���*�IC "��B���� �� � �� � <@B. <=B'< <=B# <<B@

(4(C ������ �� �� ������ '#= ##$ ##. &'$

(4(C ������ � ��� ��� �� '. $ #$ #$

(4(C ������ ��� ������ � E E & E

(4(C "��B���� �� � �������� <@B#& <=B## <=B&$ <<B'#

.&# &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1

+�� �����) � ��� �� � ������ )���� ��� �� �� . 012 ���� �������� �" �(���� ��� �( ���� �� ������ � ��� � ��) �������" �� �� ����� ���� ����� ����� ���� �� ��� �� ������ �� ���� � �������" ))��)�� K)��� � +�� ������� ������� ����� ���� �� �� ���)� � �� ����� ��������� �� ���" ����� � �( ���� ���+��������� �� ���� � �� ����� ������� ������ ���� ����� 5������� ���� ���� �� ���� �� ������ ���� ��� �� K)��� � �� �(���� �� ����� � ������� �� �-����� � �� ���� +�� �����) � �� ������ ��� �� �����)� "�� �� ���)� �,� �� �� ������� ���� �

+��� ' ��� �� ������ �� ���� /<&�'$=�'$.�'$=3� 012 /''�' �'$�<3 �� "���� ���� �� �� � �� ������ /<@�#&B<=�##B<=�&$B<<�'#3 ��� ��� ������ ��)��"� +�� �����"�� �� 012 � ����" � ��� ��� �� �� ������ ���" & 012 ���� ��������� �����) �� ��� ����� ������ �

0���� �� (4( ���� ��>���� �� �� ������ ������ � ���)� �,� �� ����� ����� � ��>�����������) �� ����� �� �������� ���� ��� ������ �� � ����� �� �� ������� ����� � �� ������ ���� ����� �� �� ��������) �"�

��� ('� ����� �������� �� ���)� �,� /'����� '�& ����3� �� � �� ����� ����� ������ ������ ���)� �,�� ����� �" ������ ��� �������� �� �����A���� �������� � +�� ?�� �������� ��� �� ����� � /(#3� �������� ���� ����K� ����� ��)� ����� ���� ��������� ������ ��� ����� ����� ��)� � +��������� �� ������������A���� �������� ��� (#� 0����� )��/( 3 � ��)��" ��� ��" ��>���� ���)� �,� � ;� � �� ��� ����� ����� ������ ��� ������)� �,�� *� �� ���� ��" /(.3� ���� ��������� ����� ��)� ���� ���� �� �� ?�� ��������� ��� 012 � �)��� � ��� �� ���� ���������� ������ � ��� ��)���� '� �� .� �� ���� � � �� ����� ��� �����A���� �������� �5������� �� � ����� ��� � ����� �� �� ����� �� ������ � � �� �� ��� �� ��� ������ �� ��� �� �� � �� ����� ����� ��������� ��� �� � ���� ��)���� �

� �������� ����� �������

�'�' 7�����$ ��$����

+��� # �� ��" �� ������ �� ������ ���)��" ����K� �� �� /��� �� 0�H�3 �� ��� ��"

+��� #

(4(�������� �� ��

(�)��" �� ��� �I

��

/N3

54

��

/N3

6( ��

/N3

�I

�#�-/N3

54

�#�-/N3

6(

�#�-/N3

�I

��0

/N3

54

��0

/N3

6(

��0

/N3

�I �08

/�$�$$'3

54 �08

/�$�$$'3

6( �08

/�$�$$'3

������ ��� ��� ..�' EE� .<�@ &#�= &#�= & �= �< �@ �E #�# #�' '�<

������ ��� 0�H� '=�E '#� '&�@ #=�' #=�E '�& '�< '�= '�< '�< #�$ '�@

0����� ��� E�' E&�< .�. & �' .<� .E�E �< �@ .�$ �. #�< �&

0����� 0�H� '&�' '@�E '$�< ' �$ '.�= '#�. �= �. �< E�. &�E E�@

0����� )�� ��� &#�@ &.�@ &E�' .<� .<�' &$�E E�' E�' &�< E�= @�$ E�E

0����� )�� 0�H� �< #@�. .�. ' �E '.�@ '.�. .�$ .� .�' E�= @�# E�=

4��� ��� &#�@ @ �& &#�E .'�# .�= .#�= .�= &�# &�$ �E �< �=

4��� 0�H� .�E '#�= &�. '.�= ' �@ '&�< �' #�< � � #�< �=

��� ��� E�. E&�$ =�' .<�E .@�' .=�E .�E .�& .�& �< �< �<

��� 0�H� #� '=�< �' '=�. '<�E '<�@ � � �. &� &�' &�.

+�� ��� �� ��" �� ������ �� ������ ��)��" ����K� �� �� /��� �� 0�H�3 �� ��� ��" ��� �� ���� ����� /�� ))��)�

����� /�I3� �� ���������� 4"� ����� /543 �� �� ��� �� ����� /6(33 �� �� ���� ���������� �� ��� /�� ?����

��������� ������ ���� ��� �� ������� ��������� ��#�-�� ���� ��� �� ���0�� �� ������ ���������� �� ��� /�����

/��33 �� �� ��� ?���� ����� /�0833� +�� �� �� �����" ��� � ���������� 4"� ����� ��������� �� ��� �� �����

�� �� ))��)� ����� �� ��� �� �� ������ �� ��� /��3� 5������� �� �-���� �� ��� �� �� ��� �" �)��K�� ��>������

������ �� ����� �

&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&

��� �� ���� ��������)�� /�I� 54� 6(3 �� ������ �� ��� � +�� K� ������ ����� �������� ��)��" �������� �" �� ������ /�����/������ ����33 ���������� �� ��� �� ����� ����� K �� ��� ��#�-� ��0� �� �083�

��� �������� �� �� �� �� ������ ����������� �� �� 54 �� 6( � ����� ��������� � �� ���� ��� �� �������� �������� 54 � ������ �� �� �� � ������ ���� �� �� �� E&�$N����� 6( ' ��� �� ��� =�'N ���"� +�� ����������� � �)��K�� /������� � .# ��3 �� 'N������ � �-������ �� ))��)� ����� A ��� ����� �� E�.N A ������� ��� � *L ����������� � �)��K���" ����� �� 54 �� ��)��"����� �� 6(� +��������� � �� �� ��� ���������� �� � �"���� � �' � ���K����� +�� ���)��� ����� �" �� ��� � ����� �����)� � ���������� ����� ���� ��� /��� I�� � ���'<<=3�

�'�' ,��$ "��$� ��$���� � �� ����� ��$���

��)� ' ��� 012 ����K� �����" �� ��� ��#�-� �� 54 � �� � �� 6(� :��� �� �� ��)������� ��� �?�� ���������� ��� ��� ����� � ��� �� ��� �����" �� ���� �� ��� ��� �� ����)��� ����� ���� ��� �� �� ����� � +� ��� ��� ����� 54 �� 6( ��� �� �� �������� ���������� �� ��� �� �� K �-���������" �� ���� �#�-� +�� � � �� /� � �$�=&'�.# ��3 ��� � 6( �� 54 �� �� ��� �)��������" ��>���� ��� � # *� ���� � �� ������� �������� �� ))��)� ����� ��#�- � .<�EN� ��� ���� ��)��" ��)��� ��� ����� ������������ �� ����� � ��� ���� �����)����"�

+�� �� �� � ��J���� �� �� �� �)��K���� � $�$&� ��������� ������ �� ������ ��� ��� /�����3 �� �� �-���� �� ��� ��#�-� ��0��(�� �?����"� �# � �� ������� ���������"�

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

External Validity of Hierarchical Bayes

Ext

erna

l Val

idity

of

Lat

ent C

lass

��)� '� +�� K)��� ��� 012 ����K� �-���� �����" �� ��� �� 6( � ����� � 54 � ����� �� ��� �� ?���� ���������

������ ��� ����� ))��)� ��� � �� ����� ��������� ��#�-�� +�� ��)��� ���� ��� �?�� ���������� ��� ��� ����� �

0���� �� ���� K�� �����" �� ���� �� ��� ��� �� �� ��)���� �� �� �� ������ �������� ���������� �� ��� ����� �

' ��� ��)���� ('� (#� �� ( � �� ��)�� �����

� ����� ��� ���� �� � � ��� (.� �� 6( ����� �����

�� ��� �� ��� # +��" ��� ��)��" �)��K�� ��������� �� � � $�=#�

.&. &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1

�'�' ,��$ "��$� ��$���� � �� 8���� ��$���

+�� ))��)� ����� ��� ��)��" ��������������� �� ��� �� �0 ����� ����� �5������� ��� ��0 �� .�EN �� ))��)� ������ �� �)��K���" ��>���� ���� 54 �� 6( / ��+��� #3� ��)� # ��� �� �0 ����� ����� �� 54 � �� � �� 6(� �)��� �� ��)��� ���� ������ ����>������ ��� ����� ��������)"�

+�� ��>������ ������ ���)� ��� ��������������� �� ��� ���)� �0 � ��0� � .�&N ��� ������ 6( ����� �� �� 54 ����� � +�� � � ��/� � $�'..� .# ��3 ��� � �� �� ������� �� �� ��� �)��K���" ��>���� �0 ����� ������ � ;� K�� ����� ��)� ��������� /� � $�<'3������ �� 54 �� 6( ����� ����� ��� �#�-�

���9� / �� +��� �� .3 ����08 �� ���

�������� ������ �� �� � ����� ���������)�� �� �� ������ ��)���� ���� ����K�� ��� K����) � ����� �� ������ �� �� ���������)" � �� ���� �� �� �-���� ��������������"� 5������� �� ��������� �����" ���� �)��K���" ���� �� ������ ��)���� � +�� � ���

+���

+�� ��� ��� �� �� �� �� � ���9� ��� �� �08

�������� ������ �� �� � ����� ��������)�� �� ��

������ ��)���� ����

0����� �� ) 0�)����

(�� � ' @<�@E$ $�$'#

��������)" # $�$$# $�<<=

:����� ��)��" &�$< $�$$#

8���� '#

+�� �� �� ��� � �� ������ �� �� ��������)" � ��

���� �� �� �-���� ��������� �����"�

+��� .

+�� ��� ��� �� �� �� �� � ���9� ��� �� �0 ��

���0� �������� ������ �� �� � ����� ��������)��

�� �� ������ ��)���� ����

0����� �� ) 0�)����

(�� � ' #E$�@ @ $�$$$

��������)" # $�$$= $�<<#

:����� ��)��" �&=< $�$'E

8���� '#

+�� �� �� ��� � �� ������ �� �� ��������)" � ��

���� �� �� �-���� ��������� �����"�

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.160

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

Mar

ket s

hare

bia

s of

Lat

ent C

lass

pre

dict

ions

Market share bias of Hierarchical Bayes predictions

��)� #� +�� K)��� ��� 012 ����K� �-���� �����" �� ��� �� 6( � ����� � 54 � ����� �� ��� �� �0 �� ���0�� +����)��� ���� ��� �?�� ���������� ��� ��� ����� � 0���� �� ���� K�� �����" �� ���� �� ��� ��� �� �� ��)���� ��

�� �� ������ �������� ���������� �� ��� ����� �

&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&&

���� �-��� �� �� ��������� �����" �����>���� ������ ��)���� � 5������� ���� ���������� �� (4( ���� ��" � � ����� ���� ������� �� ������ �� �� ��������)"��� �� ���)� �� ���������� �)��K���"�

+�� �� �� ��� � �� ���������� ��� ��� �� �� ���� /012 3 ����� ������ ���)��" ��" ��� ������"� +�� ��������� �� $� ������ �� ���)� �0 �� ���� �� �� �-����� �����" �� ��� �� �#�- ������ � ������� L �0 �� ���� ��7��� � ������ ����)�� ���� L �0 � ������ ��>������ ���������� ����� ��)��" �" �� �� �� �" �"����� �>�� / �� ����3 ����� �� �� ������ �� "���� (4( ��"�

!�""��� �� ���������

+�� �� �� ��� ��" � � ���� �)� ����������" ������ ��������� �� ����� ����� ���������� �����)����" �� ���� ����" ��)������,��� :������ �� ���� � ���" ���� ������ ���� 6( �� 54 �����" ��������� ))���)� ����� �� ��� �� ������ �����" �� ��� �+��������� �� ?�� ��� �� � ������ ����� ����� �� �����)����" ��� ������ �� ������������ ))��)� ����� ���� ������ � ��))�� ����� /�-���� �����"3� *� ��� ������������ �� ����� ���������" � �� � ��� � � ��������� +���������"� �� ��>������ ������������ ����� � ��� ��)��� �����)����"�� ��)��� ����������" �� �� ������ ��������"������� / �� 8?� /#33� +��������� �� ?�� ��� �����" �� � ����� ���������"�

2� � ��� �� ?�� ��� � �� ���� ����� �� ������" �" � � �� ��� ����� �����) ��� �" ������� � ���" /5����� '<<=3� �����" � � � �� �� ���� ��������� �������� ��������� ������) ���� ��������) �� �� . 012 �� �����" �����) � �� �� ������ ������) 012 ���� ����-����" �� "�� � ��))��)� ��������� ��)� ����� ����� �������� ��� �� ����� � ��� ���� ������)����" /6( �� 543� +�� ����� ��� ������� � � � �� � ������ ���������� ��� ���� *� �������� ��� ������� �� ����� ����� �� ��������� �� �������� �� �����)����"C

54 /�� � E&N3 �����" ��������� 6(/�� � =N3� ����� "���� ���� ����� �� ��))��)� ����� /�� � EN3� � ������������ ��� ��� �� � � � �� � ����� �� ������� ����� ����� �� � �� �� ?���� �����������#�-� ������ ����� ��������� � �� �� �����"���� ����� �� �����" �0 ���� �����)�� � �� ��� ��� �� ����� � ��� � ��������� �� � ���� �� ?���� ������� ������� ���)� �0 �� ����� ����� � *� ����� � �� ���������� � ��) ������� � � ����� ����� ���������� �� 54 /�#�- � .@N3 �� 6(/�#�- � .<N3 � ����� � �� ))��)� �����/�#�- � &$N3� +�� ���)� �� �� �0 ����� � .�&N ��� ���� �� 54 �� �� 6( ����� �� .�EN��� �� ))��)� ������ ��� �� �� ������ ������)����" ���� �� )������,�� � ���������� +�� � �� ���� � �� �� �� �� ������ 5�� /'<<<3� +�� ��>���� ������ �" ���-������ �" �� � �������� ��) �� ���������� �" ���� �� 5��� +��" ������ ���" @'N�� �� �� � ����� ����� �� �� ���)��������"�

+��(4( ���� ��� ������ �� �� ���� ��>�� �� ����� �� �)� ���� /������ �� �� ������ ������� � ��� ��� ��� ������ ��� ������ �3�0���� �� �� �� ��� ���� ���� � �� �� �� �������� ��>���� ����� ���� ��������� �� ��������� � �����) ��K������� ���� �-���� ��"�� ))��)� ���������� �� �� 54 �� �� 6(����� � �� ������� � ����� ))��)� ������

��� �� ���� �-������ ��� �� ��>������ �������� �����" �� ���� ���������� � ��� 54 ����� ���� ����� ��� ����K� ���� ��� � ������� �� ����� � �� ������� ��� �)�� ���� �� �� ������ � ����

��� �������� ��" � ������ � �� ��� �� �� ���� /�����)����" �� ����������"�� �� ������ ��������" �������3 ����� ��������� �� ��>������ ������ � ))��)� �� ���������� ����� ����� � ����

*� ��� ����������� �� �������� �� �� (4(���� ���� ����� ��� ������� � � ������������) ��������� ��� ����� ���� � ��

*� ��� ���� ������� ���� � ��� �� ���� �� ���� ���

�� ���� ��� �)��� ����K� ����� �

.&E &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1

�� ����� ����� ���� �� �� ������ � ���������) ������� ��� �� �� �))� � )�)��)� ����� �� �7���� � ������ �0 �

*� ������) �������� ����� �� ��� ���� � �� �)��� �� ������� � �� ��� � �� �� ��� �� ����� ������ � 6( �� 54 ����� �� ���������� +�� � ����� �� � � ���� �������" ������ ���� �)��� � 5������� ���� �)��� �� �����K��� ))��)� ����� ��� ��� �)��� �� )�� �7���� � ����� ���� �������

��#��$�� %�"����

+�� ���� �� � � ��� ���� 1��������� �( ���� �� ��� �� � ������ ���������� I��) ������"� �� !�� I���� ��� ������) � �� ����� ���� �� ���� ���������� 4"� ������ � ;� ����� � � ���� � ��� !"���;������ � �� ������ �� ���"��� ������� ���� ������� �� �� ������) 0������ '<<=���������� *�08�H �� �� 0���� 0������ (��������� �� 0� H��)�� '<<<� ������!��� ��� 4�"� ���� �� 0"��� ����������0������ )�� � ��� � ���� ��� �� ������� ���� ��� �� �� ��� ����� ���� ���� ��� � ������� �" �� �� ��� 0������ ��������/�;�3 ����� )�� 0�4 O$'$�

&�'�������

��� ���� ��� �� �� :�� '<<=� 0�������� �� ������ �������

��� ������ ��)���� � ������) 0������ '@ /#3� <'A'$E�

������"� I���� ����� ��� I����� !�6�� '<<&� *���������)

����� �������)� ��� �� ��" � �� ������� ���� �

!����� �� ������) �� ���� # /#3� '&#A'E#�

������"� I���� I����� !�6�� '<<&� 2 ��) �-���� � �� �)�

������ �� �)��� ���� � !����� �� ������)

�� ���� # /.3� <#A.$ �

������"� I���� 6���� :�!�� '<<.� �������) ��� ����� ����� �

������� ��� ��)� �� ����� ��)�� ���� !����� �� ��

������� 0� ��� � ������ =<� '#'=A'##<�

������"� I���� 6���� :�!�� '<<&� �� � ��) ���� ��"�"�

����� �� ����"� �� �������� ��) �>�� �� ��� ����

���� ������� !����� �� 4� ��� P 8������� 0� �� ' �

#='A#<=�

����� ��� ������"� I���� I����� !�6�� '<<=� � ����������

4"� ����� �� �����" �� ������" ������ ������)

0������ '@ /'3� #<A..�

(� ��� ��+�� 6�������� !�6�� ����� ��� H���� ������ :��

4����� H�0�� 5�� ���� H���� !��� ��� ����� 1�������;����

0������)� H�� 0��� !�� +������� � 5�� ;���"� !�4�� '<<.�

8-�������� ��" � �� ������� ������) 6��� & /.3�

&'A E=�

H�0���� ;�0�� �� ��"� 9�� (����� 0�� '<<&� ����

�)������ ��� �������� �� ������� ��" � � �����

��) 6��� E /#3� ' @A'.@�

I��� ��!�� ������� +�� 0�)���� :�� '<<=� ��� �" �

�-����� ��� ���� ���� �� ����� � �"���� � :�� �����

+�� ���� ����� ������� �� ���� +�����?��

������ (������� @A'$ !����

I���"� !�� '<<&� 2 ��) �� ���� ������ �������) � � ���

���� ���� !����� �� ������) �� ���� 9**� #&A#=�

I����� :�8�� 1���)��� ����� �)���� ��1�� '<< � � ���

������� � �� ���� ����� ��� ?����"��) ���������

�� ���������� � ������) 6��� .B.� E<A =$�

5)��"� ����� '<=&� *�������) �� ��������� ����� ��

������� ��" � C +�� � � �� ���� ��" � �� ��� ��

��" � � !����� �� ������) �� ���� QQ**� 'E=A'=.�

5����� '<<=� ��������) ��������������� ��������� ���� (4(

�C (������) ��� �� ���������� 4"� � :�� �����

)���� �� '<<= ������� �� ���� +�����?�� ������

!��� ��� ����� '<<@� *(8C *�������� ������ � ������

;�����) ����� 0���� 0����� *���

1����� ;�� �,��� ��� #$$$� � ������� ����������

�����" � �� ������ � ��� � *�C I� � ��� ���

5������� ��� 5����� �� /8� �3� (������ �� ������ A

����� �� ��������� � 0����)��� 4������

1����� ;���� ;����� ��� �)���� !�� '<<.� (�������

������ ��� �� ����� ��� ������� ��" � � *�����

���� !����� �� �� ���� �� ������) '' /&3� .&'A.E.�

1����� ;���� �� ���� I�!�� '<=<� � �������� �� ������

����� ��� ���� �)������ �� �� ���" �������

!����� �� ������) �� ���� #E� @<A <$�

6���� :�!�� H�0���� ;�0�� I����� :�8�� R���)� ����� '<<E�

5��������� 4"� ������� ��" � C �������" �� ������

�����)����" ���� ������� �-�������� �� �)� � �����

��) 0������ '& /#3� '@ A'<'�

6�������� !�!�� ;��� ����� I�I�� '<= � H� �)� �� ��" � ��

������ ������ �� ������� �-������� C �� ������

� �� �� ))��)� �� !����� �� ������) �� ���� #$�

&$A E@�

�� ���� 0�� ������"� I�� 8�������)� ��� 5���� 0�� 6����� I��

6����� ��� 6���� !�� 6��� �� 6�� 0�������� ��� ;�����

H�� '<<.� � �� ���� )��� ��� ����) ����� � ����

� ���� � ��)�� � ������) 6��� & /.3� <&A.'#�

����� 4�1�� 5��� ����� '<<<� :�������) ��� �� ���

(4(C 5�� ������) �����)����" ������� �� �� �

:��� ��� ���� �� 0���� 0����� (����������

0� H��)��

:������� !�� '<<.B'<<&� ����� )� ������� ����� � �� ���

����� �� ����"� *�C ;�� � 0� /8��3� 0���� ��� � ���� '$B

#� 0���� 0������ *���� 1������ *H� ��� &AE�

�� �� :�8�� ��(������� ��8�� ������"� I���� '<<E� +�� ����

�� ����� � �� ��" � �� �)� ������)� ������)

0������ '& /.3� #'A .$�

&' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1 .&@

9���� � ��� ;����� ��� ;��� � +�� '<<E� ����� �������

�)������ ����� C � ���� (��� ������ ��� !����

�� �� ������) �� ���� /'3� @ A=&�

;����� ��0�� 4������� ��8�� H��)���� !�� 8����� +�� �����

:�0�� *���� !�!�� 1���� 5�� 6����� 1�� �������� ���

'<<.� ;��� ����� �������C +�� ��������� �� ���� ��

� �� ������ ����� ��� ��� ���� �������� ������)

6��� & /.3� = A <.�

;����� H���� (��� :�� '<=<� (�������� � � �� �������

��" � C �� ����� !����� �� ������) & � <'A<E�

;����� H���� 9���� � ��� 4�������� ;�� '<<.� (��������

� � �� ������� ��" � �� 8�����C �� �� �� ������

��J����� � *�������� !����� �� �� ���� �� ������)

''� .'A&#�

.&= &' (���� &' )������ � �������� *�����$ � +��������$ ,������ ��- .� �/ 00120�1