Generating Tonal Counterpoint using Reinforcement Learning

�� !��"�� # ��$��%&�'��()�+*,��.-/��0��

13254 687:9<;�=>2563?A@�4 687>B&CEDF7:9

G�HJIAKML�NPOJQER SUT�V WUKXLYI�Z\[YIA[]V SUL_^a`bSUR$Hdc>efdV$LYHJgXWPh'R$QiNPOJQER SUT�V WUKXRjO kl[YL_^dOdR$gXRjm$hne8G�HdgoWUKXT0[]p5KqV�rsOJKMtj[uSUIAKoWvhne

wjgXOxG�HJgXWUKXT0[]p5KMV5edyjz5{Y|j|'}~h5�3[uS��AVYh&V&e3�&[YgMV$OJmjR$Sb�)V�SUHdg>��^JIUV$O>e:G V$gMVYh5IAKMV5��j�u�5��j�~�v�Y�5��5��j�5�Y��5��v�$�j��E�J�

��i�Y�Y��8�$�j� k�^JKMI�SU[Yc3R$SAW�p5KXIALYHdIAIA[YI WU^J[~�3[u^8V]t&KMR$HJS_V g5gX[]V�SUOdKXOdm\cJSUR$c3[uSAWUKX[YIiR$QdVT+HdIAKXL]V$g�V$mj[uO&WlgX[]V SUOJKMOJm�WUR\m$[YOd[FS_V WU[~V�WP¡�R ¢PcdV SAW�LYRjHJOnWU[uSUc3RjKXOnWlHJIAKXOdm)£5¤\¥b£5¤seR$Od[\R$Q>WU^d[\RjOJ¢¦c3R$gMKXLuhWU[YT0c3R$S_V g3pJKo§:[uSU[YOJLY[\gM[YV SUOdKXOJmV cdcJSURjV$L_^d[YIY�5k�^J[bc3R$gXKMLFh¡�V$I¨gX[]V�SUOd[]p HJIAKMOJm�^8V$Odp5¢¦LuS_V�Q©WU[]p�SUHJgM[uI¨pJ[uIALuSUKX�dKXOdm0WU^d[�p5[YIAKoSU[]paLF^dV S_V$LFWU[uSUKXIª¢WUKXLYI�R$Q�mj[YOJ[uS_V WU[]p<Wv¡�R ¢¦c8V SAW�LuRjHdOnWU[uSUc3R$KXO&WUIY��k�^J[«SUHdgX[YI�V$LFWU[]p�V$I)LuRjT0T0[YOnWUIV �3RjHJW�WU^J[�mj[YOJ[uS_V WU[YpTHJIAKML�Q©SUR$T¬VsLuSUKoWUKXLj�nk�^J[�THJIAKMLYV$g5V$m$[YOnW�¡RjHJgqpV$T0[YOdpKoWUIc3R$gXKMLFh0�8V IA[]p0RjO«WU^d[uIA[bLYR$T0T0[YOnWUIY�jNPO0RjH5S�V cdcJSURjV$L_^�en[YV$L_^'[ucdKXIAR&pJ[�¡�V I�VLYR$T0cdgX[uWU[z�®�¢¦�dV S)Wv¡R$¢¦c8V�SAW�LYRjHJOnWU[uSUc3RjKXOnW]�>fdR$SUT�V$O8pxR$WU^J[uS)LYR$OnWU[u¯&WUI«°�IAHdL_^V I'L_^dR S_pdV g\LuRjOnWU[u¯&WF±�¡�[FSU[ KXOdLYR SUc3R$S_V WU[Yp²KXOnWUR³WU^d[�Iªh5IªWU[YT´t&KMV<WU^d[�LuSUKoWUKXLjµ ISUHJgM[uI�V$O8p�WU^d[bHdIUV$m$[)R$QlLYRjOnWU[u¯&W\pJ[uc3[YO8p5[YOnW�¶b¢·W_V$�JgM[uIY�JNPO'WU^JKXI�V$cdc5SUR�V LF^'WU^d[�3[Y^dV]t5KXR$HJSUI�LYRjHJgMp��3[¨[]V IAKXgXh�tjV�SUKX[]p��nh'V$T0[uO8pJKXOJm+WU^d[sLuSUKoWUKML$µ I�SUHJgM[uIbV O8p�WU^d[LYR$OnWU[u¯&WUIY��¸¹[cJSUR�t&KMpJ[WU^J[0pJ[FW_V$KXgXI�R Q�WU^d[cJSURjc3R$IA[]p�V cdcJSURjV$L_^�V O8p³IUV T0cdgX[SU[YIAHJgoWUIYe3V$I�¡[YgXg V$I\p5KMIALuHdIAI�QEH5SAWU^d[uS�SU[YIA[]V�SULF^>�

º�»J¼i½�¾>¿nÀÁ²Â)Ã Cq6:Ä·25ÅYÆ Ã 4 Ã 6JÇsÈ Ã B&Åu6:C©6:É>Ê313@ Â 13@�Ê3ËÌBJÆY=:Cq6 Ã É Ã 6 Ã ÅuB&Ç Ã$Í Çu256>B5ÈlÆ 257:6dÇ Ã ÅF?Î 2JCq6dÇ

Ï ÐÒÑ�Ó:Ô¨Õ�Ö>×\Ø�Ù+Ú

Â)Ã C©63Ä·25ÅYÆ Ã 4 Ã 6dÇ)È Ã B&Åu6:Cq6>É³Û Â�Ü~Ý CEDsB�È Ã B5ÅF6:C©6:É Î B&ÅYB Í C©É54�Çu=>BnÇ)=>BJDsÞ Ã$Ã 6 Î B&ÅYB&È©È Ã È ÃjÍ Çu2ÇF= Ã Î Åu23Æ Ã DuDs2&Ä�Å Ã C©63Ä·2JÅuÆ Ã 4 Ã 6dÇ¨Þdß Í 2 Î B54�C©6 Ã Ä·257>6 Í C©6¹=d7>4 B56>D«àMáJá�âªã3ä¨= Ã«Ã å B&È©7>BnÇuC åJÃÄ Ã Ã$Í Þ>B5ÆY9a25ÄB&6�B&É Ã 6dÇ$æ D¨B5Æ�ÇFC©256>DsC©6³Å Ã C©63Ä·25ÅYÆ Ã 4 Ã 6dÇsÈ Ã B5ÅF6>Cq6:É�CED¨6:2&Ç�B5D Ã ç Î ÈqCEÆ�CqÇ�B5DsÇF= ÃÄ Ã Ã$Í Þ>B5ÆY9xC©6�B D_7 Î Ã Å å C©D Ã$Í È Ã B5ÅF6:C©6:É Î B&ÅYB Í CqÉJ4¹ã3ä¨= Ã 4aB Î:Î C©6:Éa2&Ä�DUÇYBnÇ Ã D)B&6 Í Ä·Åu7:CqÇ_Ä·7:ÈB5Æ]ÇuCq2J6>D B&Å Ã 7>DF7>B5ÈqÈ©ßèÈ Ã B&Åu6 Ã$Í BnÄ�Ç Ã Å 4aB&68ß�ÇFÅuC©B5ÈM?AB&6 Í ? Ã ÅFÅu25Å'B&Ç_Ç Ã 4 Î ÇuD$ã Â�Ü =>BJD�Þ Ã Ã 6D_7>Æ$Æ Ã DFD_Ä·7:È©Èqß Í3Ã 4 2J6>DUÇuÅuB&Ç ÃjÍ Cq6<4 B568ß'ÇYB5DF98DbD_7�ÆY=xB5DsB Î 2JÈ Ã Þ>B&ÈEB&6�Æ�C©6:É0ÇuBJD_9�é)= Ã Å Ã B56B&É Ã 6dÇsÇuÅFC Ã$Í ÇF2aÞ�B&ÈEB&6>Æ Ã B Î 25È Ã B5D¨È©256:ÉaB5D¨CqÇ�Æ�2J7:È Í ã:êA6³ÇF=:CED¨ÇuBJD_9 Ê8Çu= Ã�Í3Ã DFC©Å ÃjÍ D_ÇuB&Ç Ã Dé Ã Å Ã D_ÇuB&Ç Ã D�é)= Ã Å Ã ÇF= Ã Î 2JÈ Ã é¨B5D�Þ�B&ÈEB&6>Æ Ã$Í Cq6 Çu= Ã B5CqÅ\B56 Í ÇF= Ã 7:6 Í3Ã D_C©Å ÃjÍ DUÇYBnÇ Ã D�é Ã Å ÃÇF= Ã DUÇYBnÇ Ã D�é)= Ã Å Ã Çu= Ã Î 25È Ã Èq2dDUÇ�CMÇYD�Þ�B&ÈEB&6>Æ Ã ã�ë Ã =>B å Cq2JÅuB5È�È Ã B&Åu6:C©6:ÉìC©6/Çu=:CED�D_ÇUß8È Ã C©DD_7:CqÇuB5Þ:È Ã ÇF2�Þ Ã 4�2 Í3Ã ÈqÈ Ã$Í 7�D_C©6:É'Å Ã C©63Ä·2JÅuÆ Ã 4 Ã 6dÇ�È Ã B&Åu6:C©6:É>ãJêA6 ÇF=:CEDbÅ Ã Î 2JÅ_ÇjÊ5é Ã Æ�2J6>D_C Í3Ã ÅÇF= Ã Î ÅF2JÞ:È Ã 4´2&Ä�È Ã B5ÅF6:C©6:É<Æ Å Ã BnÇuC åJÃ Þ Ã =>B å Cq2J7:ÅYD Ê:C©6 Î B&ÅFÇFCEÆ�7:ÈEB&ÅjÊ:È Ã B&Åu6:C©6:ÉaÇu2<É Ã 6 Ã ÅYBnÇ ÃÇUéb25? Î B5Å_ÇsÇF2J6>B&È�Æ 257:6dÇ Ã Å Î 2JCq6dÇuD$ã@�È©É525ÅuCqÇF=:4 CEÆ�Æ�2J4 Î 2JDFCqÇFC©256«=>B5D�Þ Ã$Ã 6�C©6 å5Ã DUÇuCqÉdBnÇ ÃjÍ ÞdßÅ Ã D Ã B&ÅYÆY= Ã ÅuD C©60ÇF= Ã @�êª?ª4'7>DFCEÆ

Æ�C©ÅuÆ È Ã DFC©6>Æ Ã Çu= Ã ájí5î5ïJD ã>êA6�ÇF=:CED+B5Å Ã B:Ê:DFß3DUÇ Ã 4aD�Þ>BJD ÃjÍ 256�Åu7:È Ã ?ªÞ>B5D Ã$Í B Î>Î ÅF2dB5ÆY=�Ê Ã$å 25?Èq73ÇuCq2J6>B&Åuß<B Î:Î Åu2JB5ÆY=³B&6 Í 4aB5ÆY=:C©6 Ã È Ã B&Åu6:C©6:É�B Î:Î Åu2JBJÆY=<=>B åJÃ Þ Ã Ã 6 Ã ç Î Èq2JÅ ÃjÍ ã3@�4 256>É

ÇF= Ã0å B&ÅuC Ã ÇUßx25Ä�B Î:Î Åu2JB5ÆY= Ã DbÇF=>B&Ç�=>B å5Ã Þ Ã Ã 6¹C©6 å5Ã DUÇuCqÉdBnÇ ÃjÍ Þ8ßxÅ Ã D Ã B5ÅuÆY= Ã ÅYD ÊJÇF= Ã B Î:Î È©CM?Æ BnÇuCq2J6>D¨2&Ä Â�Ü C©6¹ÇF= Ã 4'7>DFC©Æ Í 254aB&C©6�C©D)6>2&Ç�é)C Í3Ã È©ß³B Í 2 Î Ç Ã$Í ß Ã Ç$Ê:2J6:È©ß<Å Ã Æ Ã 6dÇFÈ©ß<=>BJDÅ Ã Cq63Ä·2JÅuÆ Ã 4 Ã 6dÇ)È Ã B&Åu6:C©6:É�Þ Ã$Ã 6 Î B&C Í�Í 7 Ã B&Ç_Ç Ã 6dÇFC©256¹Cq6�4'7�D_CEÆ Í 254aB&C©6�ãêA6«Æ 254 Î B5ÅFCED_2J6�Çu2)ÅF7>È Ã ?vÞ>BJD ÃjÍ Ê Ã å 25È©73ÇFC©256�B&Åuß�B&6 Í DF7 Î Ã Å å CED Ã$Í È Ã B&Åu6:C©6:É)B Î:Î Åu2JBJÆY= Ã D$Ê

ÇF= ÃsÂ�Ü B Î:Î Åu2JB5ÆY= Î Åu2 å C Í3Ã D ð Ã ç C©Þ:È Ã 4 25Å Ã é¨B�ß3D ÇF2�C©6>Æ 25Å Î 2JÅuB&Ç Ã Þl2&ÇF= Ã�ç Î È©25ÅYBnÇFC©2560B56 ÍÃ�ç Î È©25CqÇuBnÇuCq2J6<C©6<CqÇuDsÈ Ã B&Åu6:C©6:É'4 Ã ÆY=>B&6:CEDF4¹ã3ä¨= ÃÃ�ç Î È©25ÅYBnÇuCq2J6x2&ÄDUÇYBnÇ Ã D Î B5Æ Ã C©6¹B�ÅF7>È Ã ?Þ>B5D Ã$Í B Î:Î Åu2JBJÆY=/à ñnâvÊ�à ínâ�B&6 Í B&6 Ã$å 2JÈq73ÇuCq2J6>B&Åuß�B Î:Î Åu2JBJÆY=/à ò�âvÊ�àqájñnâ�Æ 257:È Í Þ Ã D Ã Ã 6²BJDÅ Ã Èqß8C©6:É�256xÇF= Ã É Ã 6 Ã ÅYBnÇ Ã ?ªB56 Í ?vÇ Ã DUÇ\B56 Í 4 2 Í CMÄ·ßd?AB&6 Í ?vÇ Ã DUÇbÇ Ã ÆY=:6:CEóJ7 Ã DbÅ Ã D Î Ã Æ�ÇFC å5Ã È©ß5ãJêA6Ã DuD Ã 6>Æ Ã ÊJÇu= Ã Åu7:È Ã ?vÞ�B5D Ã$Í B56 Í Çu= Ã«Ã å 25È©73ÇFC©256>B5ÅFßaB Î:Î Åu2JB5ÆY= Ã D Ã�ç Î È©25Å Ã Çu= Ã DUÇYBnÇ Ã D Î B5Æ ÃÞ>B5D Ã$Í 256 B Î Å ÃjÍ3Ã�ô 6 Ã$Í Î 2JÈqCEÆ�ß'Å Ã D_C Í C©6:É0B5DÅF7>È Ã D�25Å ô Çu6 Ã DuDÄ·7:6>Æ�ÇFC©256>D$ã5ä¨=:CEDÇ Ã ÆY=:6:CEóJ7 ÃÆ�257>È Í és25Åu9¹é Ã ÈqÈCq6²4aB&68ß Í 254aB&C©6>D$ãlõ�2né Ã$å5Ã ÅjÊ3Çu= Ã B Î:Î Åu2JBJÆY= Ã D Í 2<6:25ÇBnÇFÇ Ã 4 Î Ç+Çu24 B59 Ã 7�D Ã 2&Ä�ÇF= Ã'Ã�ç Î Ã ÅuC Ã 6>Æ Ã ÉJB5Cq6 ÃjÍ�Í 7:ÅuCq6>ÉaÇF= Ã D Ã B&ÅYÆY= Î Åu28Æ Ã DuD)Çu2³B Ínö 7>DUÇ+ÇF= Ã Î 2JÈM?C©Æ ß5ãJ@�ÈMÇu=:257>É5=�Ê5DF254 Ã Ä·2JÅF4aD�25Ä B Í B Î ÇFC å5Ã D Ã B&ÅYÆY=�=>B å5Ã Þ Ã Ã 6aC©6 å5Ã DUÇuCqÉdBnÇ ÃjÍ Ê Â�Ü 2&÷ Ã ÅYD�BÍ CM÷ Ã Å Ã 6dÇ�ðlB å 257>Å�B5D¨Çu2x=:2néøÇF= Ã D_ÇuB&Ç Ã D Î BJÆ Ã CED Ã�ç Î È©25Å Ã$Í ã>;�B5D_Ç Ã�ç Î Ã ÅFC Ã 6�Æ Ã D�4 2 Í CMÄ·ßB&6aB&É Ã 6dÇ$æ D�Æ�7>ÅFÅ Ã 6dÇ Î 25È©C©Æ C Ã D�B&6 Í Æ 256dÇFÅuC©Þ:73Ç Ã Çu20ÇF= Ã ésB�ß'ÇF= Ã DUÇYBnÇ Ã D Î BJÆ Ã CED Ã�ç Î È©25Å Ã$Í ãù�ÇF= Ã Ås4aBJÆY=:Cq6 Ã È Ã B5ÅF6:C©6:É B Î:Î ÅF2dB5ÆY= Ã D\DF7>ÆY=¹BJD¨B&ÅFÇFC ô Æ�CEB&È 6 Ã 7:ÅuB5È 6 Ã ÇUés25Åu9�àMájînâªÊ à ú�â

B&6 Í õ�C Í>Í3Ã 6¹ËÌB&Åu952 å Ë�2 Í3Ã È�àMá âl=�B å5Ã B5È©DF2�Þ Ã Ã 6<Cq6 å5Ã DUÇuCqÉdBnÇ Ã$Í Þ8ß Å Ã D Ã B&ÅYÆY= Ã ÅYD ã&ä¨= Ã D ÃÉ5Åu257 Î 25Ä�4aB5ÆY=:C©6 Ã È Ã B5ÅF6>Cq6:É�B Î:Î Åu2JBJÆY= Ã D�2&÷ Ã Å¨BnÇ_ÇuÅuBJÆ]ÇuC åJÃ Ä Ã B&ÇF7:Å Ã Db2&Ä~B573ÇF2J4aBnÇ ÃjÍxÍ 25?4 B5Cq6 986:2né)È Ã$Í É Ã B5Æ ód7:CEDFCMÇuCq2J6'Çu=:ÅF2J7:É5=�ÇFÅYB&C©6:C©6:É>ãJû Ã åJÃ ÅFÇF= Ã È Ã DFD$Ê�ÇF= Ã ÇFÅYB&C©6:Cq6>É�DFB54 Î È Ã D4'7>D_Ç0Þ Ã Î Å Ã Î B5Å ÃjÍ ÊlCq6ÒB<é¨B�ß5Ê�ÇF2¹4aB&6:C Î 7:ÈEBnÇ Ã é)=>BnÇ«C©D0DF7 Î:Î 2JD Ã$Í ÇF2¹Þ Ã È Ã B5ÅF6 ÃjÍ ã êA6ÇF=:CED�D Ã 6>D Ã Ê Â�Ü 25÷ Ã ÅuD)B�4 25Å Ã ð Ã�ç C©Þ:È Ã 4 Ã ÇF=:2 Í 2JÈq2JÉ5ßxés25ÅFÇF=³Cq6 å5Ã DUÇuCqÉdBnÇ Ã$Í Cq6dÇF2�ãõ Ã Å Ã Êié Ã Cq6 åJÃ D_ÇFC©ÉJBnÇ Ã$Í B�D_ß3D_Ç Ã 4.ÇF=>B&Ç�É Ã 6 Ã ÅYBnÇ ÃjÍ Æ 254 Î 2JDFCMÇuCq2J6>D«Cq6�Çu= Ã DUÇUß8È Ã 2&Ä

üPý\þ&ÿ��]ü��Yþ��ü ��>þ��>ü�� 7�D_C©6:É Â�Ü ã:êA6 Â�Ü Î B5ÅuB Í CqÉJ4�Ê:B&6�B&É Ã 6dÇ Ã�ç Î È©25Å Ã DsÇu= Ã DUÇYBnÇ ÃD Î BJÆ Ã B5D³é Ã ÈqÈ0B5D Ã�ç Î È©25CqÇuD³CqÇuD¹Þ Ã DUÇ�986:2né)È Ã$Í É Ã B&Þl2573Ç¹ÇF= Ã Ç Ã ÅuÅuB5Cq6¬25Ä0ÇF= Ã D Ã B5ÅuÆY=È©B56 Í DuÆ B Î Ã ãlä¨= Ã B5É Ã 6dÇ�È Ã B5ÅF6�D�B&Þl2573Ç�ÇF= Ã D Ã B&ÅYÆY=¹ÈEB&6 Í DFÆ$B Î Ã Ä·ÅF2J4 C©4 Î È©C©Æ CMÇÄ Ã ÃjÍ Þ>B5ÆY9Cq6 ÇF= Ã�Â�Ü ã�� ç Î È©25ÅYBnÇuCq2J6/B&6 Í/Ã�ç Î È©25CqÇuBnÇuCq2J6/C©6 Â�Ü B&Å Ã ód7:CMÇ Ã 7>6:C©ód7 Ã Æ�2J4 Î B&Å Ã$Í Çu22&ÇF= Ã Å�B Î>Î ÅF2dB5ÆY= Ã D ãêA6�4�7>DFC©Æ Í 254aB&C©6�Ê�CqÇ<CEDaÉ Ã 6 Ã ÅYB&È©Èqß�B&É5Å Ã ÃjÍ Çu=>BnÇ³CMÇ<CEDaC©4 Î 2dDFDFCqÞ>È Ã Çu2/È©B�ß Í 2né)6

ô:ç3Ã$Í Åu7:È Ã D)Ä·2JÅ+Æ�2J4 Î 2dD_C©6:Éa4'7�D_CEÆ&ãlä¨=:C©D�C©D+Þ Ã Æ B57>D Ã 4'7>DFC©Æ�ÅF7:È Ã D+B&Å Ã =:C©É5=:È©ß¹Æ 256dÇ Ã ç ÇÍ3Ã Î Ã 6 Í:Ã 6dÇ$ã�õ�2né Ã$å5Ã Å$Ê�ÇF= Ã Å Ã B5Å Ã D_2J4 Ã Þ>BJD_CEÆ Î ÅYB5Æ]ÇuC©Æ$B&È�6:2JÅF4aDé)=:CEÆY=²6:2 å CEÆ Ã 4'7>DFCEÆDUÇu7 Í3Ã 6dÇYD\B&Å Ã ÇuB57:É5=dÇ�é)= Ã 6aÈ Ã B&Åu6:C©6:ÉÇF2�é)ÅuCMÇ Ã B«ÇUés2&? Î B&ÅFÇ�Æ�257>6JÇ Ã Å Î 2JCq6dÇjã5ä¨= Ã D Ã Î ÅYB5Æ�?ÇFCEÆ B&È>6:25Åu4aD�Æ�2J7:È Í Þ Ã 7>D Ã$Í ÇF2'Æ ÅFCqÇFCEÆ�CED Ã Çu= Ã ód7>B5ÈqCqÇUß'25Äl4�7>D_CEÆ¨É Ã 6 Ã ÅYBnÇ Ã$Í Þ8ß�B&6aB5É Ã 6dÇjãêªÇ�CED Î 2JDuD_C©Þ:È Ã ÇF2�B Í�ö 7>D_Ç�B56/B&É Ã 6dÇ$æ D0Þ Ã =>B å C©257:ÅYDxÛ·Cvã Ã ã©Ê�Çu= Ã Î 25È©C©Æ ß Ý Þ>BJD ÃjÍ 256ÒÇF= Ã D ÃÆ�ÅuCMÇuC©Æ C©DF4aD ãJêA6aÇF=:CEDsésB�ßJÊ5B&6<2 Î ÇuCq4aB&È Î 25È©C©Æ ß�Æ 257:È Í Þ Ã È Ã B&Åu6 ÃjÍ ÞdßaDuB&4 Î È©Cq6>É0ÇF= Ã DUÇYBnÇ ÃD Î BJÆ Ã ÇF2 Ã DUÇuCq4aBnÇ Ã ÇF= Ã 7:ÇFC©ÈqCqÇUß<25Ä�D_ÇuB&Ç Ã ?AB5Æ�ÇFC©256 Î B&C©ÅuD��xÛ�� Ý��

�aÛ�� Ý! �aÛ��"�#� Ý%$'& à ( $*) �xÛ��,+-�#�.+ Ý0/ �aÛ��#� Ý âé)= Ã Å Ã1& C©D)ÇF= Ã È Ã B5ÅF6:C©6:É�ÅuB&Ç Ã B&6 Í2) CEDsÇF= Ã�Í C©DuÆ�2J7:6dÇ)ÅuB&Ç Ã Û¦D Ã Ã àqá43&â Ý ã

5 687�Ù�7�Ö:Ñ09�:FÙ�Õ<;�×\Ù�Ñ>=@?²×\Ø+ÙA9�7�ÖCB0×A:_ÙD9�E/Ø�E.:FÙ�ÕGF�HJIKF�HL þ��>üM�N��>þ��ü CED�ÇF= Ã D_ÇUßdÈ Ã 25Ä 4�7>DFC©Æ¨Çu=>BnÇs=>B5D\4 25Å Ã ÇF=>B56 ÇUéb2'25Å�4 25Å Ã DFCq4�7:ÈqÇuB&6 Ã 257�D4 Ã Èq2 Í ß«È©Cq6 Ã D$ãOb2J7:6dÇ Ã Å Î 25C©6JÇ~=>B5D~CMÇYD�2JÅFC©É5C©6«Cq6�ÆY=87:ÅuÆY=«4�7>D_CEÆ\DFC©6>Æ Ã í5ï5ï)@�P'ãnä¨= Ã Ç Ã ÅF4QSR �X�X� WU^d[�T0R SU[�LuRjT0T0RjO�HJIA[�R QbWU^J['¡R$S_pÌKMI+WU^8V WR$Q\WU^d['LYRjT+�dKXO8V�WUKXRjOÌR$QbIAKXTHdgoW_V Od[YR$HdIc8V�SAWUI\R S\t�RjKXLY[YIYeX�X�X� TVUnHJR$WU[]p�Q©SURjTXW YNZ¦�

�uþ��>üM�N��>þ��ü 4aB�ßÌÆ B5ÅFÅuß�4 25Å Ã D Î Ã Æ�C ô Æ Æ�2J6:6:2&ÇYBnÇuCq2J6>D�é)= Ã 6�7>D ÃjÍ Çu2 Í:Ã DuÆ�ÅuCqÞ Ã Î B&ÅF?ÇFCEÆ�7:ÈEB&Å0D_ÇUßdÈ©CEDUÇuC©Æ$DDF7>ÆY=�B5DS[ �\��^]]ü��^��_�`�Yþ��ü ��>þ��>ü Êba �"�dc*�Yþ��>üM��:þ��>ü Ê Ã ÇuÆ5ãiõ Ã Å Ã ÊÇF= Ã Ç Ã Åu4 üªþ�_�\e�Yþ��ü ��:þ��>ü CED�7�D ÃjÍ ÇF2 Í:Ã DuÆ�ÅuCqÞ Ã Æ�2J4 Î 73Ç Ã Å\É Ã 6 Ã ÅuB&Ç Ã$Í 4�7>D_CEÆ�Þ�B5D Ã$Í256gf �Mh þ�� B&6 Í f ��lþ� DuÆ B5È Ã D ãdêA6³ÇF=:CED Ã�ç3Ã ÅYÆ�CED Ã ÊJé Ã B5Å Ã C©6JÇ Ã Å Ã D_Ç ÃjÍ ÇF2 D Ã$Ã Çu= Ã B&É Ã 6dÇ$æ DÞ Ã =>B å Cq2J7:Å¨Cq6�É Ã 6 Ã ÅYBnÇuCq6>É�B�ÇUéb25? Î B&ÅFÇ üAþi�\b�Yþ��ü ��>þ��>ü Û·= Ã Å Ã BnÄ�Ç Ã ÅjÊ3Æ�257>6JÇ Ã Å Î 2JCq6dÇ Ý7>D_C©6:Éx13@ Â 13@ àqájúnâvã

jek�l ºnm¾8½po¦»8Àbql»sr<»ut¿�»8Áj».miv4w�v,x¦¾_mä�2 B Î:Î Èqß<13@ Â 13@ Çu2�É Ã 6 Ã ÅuB&Ç Ã B'ÇF2J6>B&ÈiÆ 257:6dÇ Ã Å Î 25C©6dÇ$ÊdÇUés2�C©4 Î 2JÅ_ÇYB&6dÇ¨Æ ÅFCqÇ Ã ÅFCEB�4�7>D_ÇÞ Ã Æ�2J6>DFC Í3Ã Å ÃjÍe� Û·C Ý Çu= Ã DUÇYBnÇ Ã D¨B&6 Í B5Æ�ÇFC©256>Db4'7>D_Ç)Å Ã Î Å Ã D Ã 6dÇ\Çu= Ã Æ�257>6JÇ Ã Å Î 2JCq6dÇsÉ Ã 6 Ã ÅF?BnÇFC©256 Î Åu28Æ Ã DuD Ê B&6 Í Û·C©C Ý Çu= Ã Å Ã Î Å Ã D Ã 6dÇuBnÇuCq2J6Ì4'7�DUÇÄ¦B5Æ CqÈ©CMÇYBnÇ Ã Çu= Ã Î Ã Å_Ä·2JÅF4aB&6�Æ Ã'Ã$å B&Èq?7>BnÇuCq2J6 Î ÅF23Æ Ã DFD$ã>@ 4aB ö 25Å Í ÅYB�é)Þ>B5ÆY9<2&Ä Â�Ü CED)ÇF= Ã C©DuDF7 Ã 2&Ä�C©6JÇuÅuBJÆ]ÇYB&Þ:È Ã DUÇYBnÇ Ã D Î BJÆ Ã ã@�ÈqÇF=:2J7:É5=²ÇF=:CED«CEDFDF7 Ã C©D0Æ 254 4 256²Cq6ÒB&È©È�B Î:Î ÅF2dB5ÆY= Ã D Ê�Cq6 Â�Ü ÊiCqÇ�CED0Æ�Åu7>Æ�CEB&ÈÇF2 Í3Ã$å CED ÃÇF= Ã Å Ã Î Å Ã D Ã 6dÇYBnÇFC©256ÒDF2³Çu=>BnÇ0Çu= Ã D_ÇuB&Ç Ã D Î B5Æ Ã és257>È Í 6:2&Ç�Þ Ã ÇF282�ÈEB&ÅuÉ Ã ã�ä¨= Ã Å Ã B5DF256C©D«Çu=>BnÇ Â�Ü Ã D_ÇFC©4aBnÇ Ã D«ÇF= Ã 2 Î ÇuCq4�7:4 Î 25È©CEÆ�ßÌÄ·Åu254 B&È©È Î 2JDuD_C©Þ:È Ã DUÇYBnÇ Ã D�DF2�é Ã és257:È ÍÎ Å Ã Ä Ã Å�B5ÈqÈ Çu= Ã DUÇYBnÇ Ã DsÇF2aÞ Ã0å C©DFCqÇ Ã$Í ã

r<»ut~¿n»8Áj»umiv,x-m0q Á4v4w�v$»�y#w�z"v4xP¾{m õ Ã Å Ã ÊbÇF= Ã DUÇYBnÇ Ã D³Å Ã Î Å Ã D Ã 6dÇaÇF= Ã Î CqÇuÆY= Ã D³B56 Í ÇF= ÃB5Æ]ÇuCq2J6>D¨Å Ã Î Å Ã D Ã 6dÇsÇF= Ã D_Ç Ã Î D0Û·C©6dÇ Ã Å å B&ÈED Ý Þ Ã ÇUé Ã Ã 6<Çu= Ã Æ�7:ÅuÅ Ã 6dÇ Î CMÇYÆY= Ã D)B56 Í ÇF= Ã 6 Ã ç ÇÎ CMÇYÆY= Ã D$ã518C©6>Æ Ã é Ã B&Å Ã C©6dÇ Ã Å Ã D_Ç ÃjÍ C©6�É Ã 6 Ã ÅYBnÇFC©6:É«B�ÇUés2&? Î B5Å_Ç�Æ�2J7:6dÇ Ã Å Î 25C©6JÇjÊ Ã B5ÆY=�DUÇYBnÇ ÃÅ Ã Î Å Ã D Ã 6dÇuD)B Î B5CqÅ�25Ä Î CMÇYÆY= Ã D'Û}| � �-|_~ Ý B56 Í�Ã BJÆY=¹BJÆ]ÇFC©256�Å Ã Î Å Ã D Ã 6dÇYD)B Î B&C©Å�2&Ä�BJÆ]ÇFC©256�DÛ-� � �#�u~ Ý Ê�256 Ã Ä·25Å Ã B5ÆY= Î B&ÅFÇ$ã��C©É57:Å Ã á«CqÈ©Èq7�DUÇuÅuB&Ç Ã DsÇu= Ã Þ>BJD_CEÆ«Æ�256�Æ Ã Î Ç¨25Ä2J7:Å�D Ã ÇF7 Î ã

s

s’

s’

s’

s’

a r

t+1tt0 tn

One episode

plausible next states

plausible next states t t+1

�!�� 8� fdR SUTHdgMV�WUKMOJm)Wv¡�R ¢¦c8V SAW�LuRjHdOnWU[uSUc3R$KXO&W�HdIAKXOdm��\Z¨�"��&��V$L_^�[ucdKXIAR&pJ[je&QqSURjT�� bWUR�� >eSU[ucJSU[YIA[YOnWUIsz�®0�8V SUIbR$Q~THJIAKML$��WbWUKXT0[��WU^d[�Od[u¯&WbcdgMV$HJIAKM�JgX[cdKoWUL_^d[YI\QER S¨WU^d[�Wv¡R'cdV SAW¨V SU[p5[uWU[uSUT0KXOd[Yp'HJIAKMOJm��\Z¨�"��

êA6 257:ÅaÇUés2&? Î B5Å_Ç<Æ 257:6dÇ Ã Å Î 25C©6dÇ Ã�ç Î Ã ÅuCq4 Ã 6JÇjÊ�Çu= Ã 6:2JÅF4aB&È©CED ÃjÍ DuÆ B5È Ã²Í3Ã ÉJÅ Ã$Ã DaC©6Þ�25ÇF= Î B&ÅFÇuD+é Ã Å Ã@�@��'� ñ � î � ò'�á �ú �3 �� ñ �î �ò�� ág� ~ ãi�\BJÆY= å 2JC©Æ Ã Æ�2J7:È Í D_ÇuB�ß¹ÇF= Ã DuB&4 Ã�� T0[]V OdI\pJR$T0KMOdV$OnW\pJ[um$SU[Y[�KXO�WU^d[)gXR]¡�[FS¨RnLuW_V]t�[�V O8p�� T0[YV$OdI\p5RjT0KXO8V O&W\p5[Ym$SU[u[�KXO�WU^J[HdcJc3[uS�RnLuW_V]t�[¨SU[YIAc3[YLFWUKMtj[Ygohn�

25Å�4 2 åJÃ 7 Î_� Í 2né)6�7 Î ÇF2 ô�å5Ã DuÆ B5È Ã�Í3Ã ÉJÅ Ã$Ã D � ?Añ ? � ? 3 ?Uú ?Yá�ï $ á $ ú $ 3 $ � $ ñ � ãä¨= Ã Å Ã Î Å Ã D Ã 6JÇYBnÇuCq2J6 ÆY=>25CEÆ Ã 25Ä~D_ÇuBnÇ Ã DsB&6 Í B5Æ]ÇuCq2J6>DsB&Þl2 å5Ã é¨B5DbóJ7>CMÇ Ã+Ã ÷ Ã Æ]ÇFC å5Ã Ä·25Ås257>ÅÎ ÅF2JÞ:È Ã 4 D Ã Çu7 Î ã>ä¨= Ã DFC�� Ã 2&ÄÇF= ÃV� ?vÇuB5Þ:È Ã és257:È Í Þ Ã á�ú��8á�ú��3á5á��3á5á�� á�ò � ú � DUÇYBnÇ Ã D ã

r<»ut~¿n»8Áj»umiv,x-m0q�tb»J¿�ª¾�¿��w�mbzJ» »��wCo- 0w�v4xP¾{m¡z&¿x-v$»d¿x-w ä¨= Ã Î Ã ÅFÄ·25Åu4aB&6>Æ Ã 2&Ä Â�ÜÍ3Ã Î Ã 6 Í D¨256xÇu= Ã Î Ã ÅFÄ·25Åu4 B56>Æ Ã+Ã å B&È©7>B&ÇFC©256³Æ ÅFCqÇ Ã ÅFCEB:ã8êA4 Î 25ÅFÇuB&6dÇ Í C©4 Ã 6>DFCq2J6>DsCq6¹4'7>DFCEÆÆ�257>È Í Þ Ã�Í3Ã DuÆ�ÅuC©Þ ÃjÍ 7>DFCq6>É£¢ þ� fV¤¥f �N\©þ4¦�§ ¤ cC�� f þ{§ B&6 Í ü �#¨Jü�� ã~ä~2�É Ã 6 Ã ÅYBnÇ Ã BÇUéb25? Î B5Å_ÇxÆ 257:6dÇ Ã Å Î 25C©6dÇaÄ·ÅF2J4©�1ªiÛ�� Ý B&Þl2 å5Ã Ê�ÇUéb2ÒCEDFDF7 Ã Da6 Ã ÃjÍ ÇF2èÞ Ã B Í>Í Å Ã DFD Ã$Í%�Û·C Ý Çu= Ã³Ã$å B&È©7>BnÇuCq2J6 Æ�ÅuCMÇ Ã ÅuC©B�Ä·25Å�ÇF= Ã É Ã 6 Ã ÅYBnÇ Ã$Í Æ�2J6dÇ Ã 6dÇjÊ�B56 Í Û¦CqC Ý Çu= Ã 2 å5Ã ÅYB&È©È�Ä·2JÅF42&Ä\Çu= Ã Æ�2J4 Î 2JDFCqÇFC©256�ãiäB&Þ:È Ã á�DF7:4 4aB&ÅuC©D Ã D«B&È©È�ÇF= Ã�Ã$å B&È©7>BnÇuCq2J6²Æ�ÅuCqÇ Ã ÅuCEB<7>D Ã$Í C©6ìÇu=:C©DÃ�ç Î Ã ÅFC©4 Ã 6dÇ'Û¦D Ã Ã àqá � âiÄ·25Å Í3Ã ô 6:CqÇFC©256>D)25Ä�Çu= Ã D Ã 4'7>DFCEÆ B&È Ç Ã Åu4aD Ý ã

« �J�e¬�s�8� ��t$V$gXH8V�WUKMR$OaLuSUKoWU[uSUKMV

®�� d&� � � ¯1�°+�J�4±g²J�u¬´³_µiV�S_V$gXgX[Yg_¶JQ©WU^�e5RnLuW_V]t�[ ¢P|5�X{}~SUR$IAIAKXOdm��3[uWv¡[Y[YO�c8V SAWUI ¢P|5�X{�&c8V LYKXOdm«�3[uWP¡�[Y[uO t�RjKXLY[)T0R SU[sWU^8V O�R$Od[)RnLuW_V]t�[ ¢P|5�X{Z\[Yc3[]V�WU[]p�OJR$WU[YI ¢P|5�X{Z\[Yc3[]V�WU[]p�LuRjOdIAR$O8V O&W\T�V]�ªR S]e8T0KXOdR S�WU^dKoS_p ¢P|5�X{Z\[Yc3[]V�WU[]p�LuRjOdIAR$O8V O&W\T�V]�ªR S]e8T0KXOdR S�IAKX¯&WU^ ¢P|5�X{¸ÒKqp5[)gX[]V$c KXOnWU[uSUt$V$g ¢P|5�X{�sKMIAIAR$O8V O&W\c5SURjm$SU[uIAIAKMR$OaIA[YLYR$O8p>eJWASUKoWURjOd[ ¢P|5�X{}R$OdIAR$O8V$OnW\cJSUR$m$SU[YIAIAKXR$O<T�V]�ªR S]edT0KXOJR$S�WU^dKoS_p |&�X{}R$OnWAS_V SAh�T0R$WUKXRjO |&�X{

�:25Å<ÇF= Ã D Ã Æ�2J6 Í CEDFDF7 Ã Êsé Ã²Í3Ã Æ�C Í3Ã$Í ÇF2�Æ 2 Í3Ã Çu= Ã²Í3Ã D_C©Å Ã$Í Ä·2JÅF4aB&ÈDUÇuÅF7�Æ]ÇF7>Å Ã 2&ÄBèÇUés2&? Î B&ÅFÇ³Æ�2J7:6dÇ Ã Å Î 25C©6dÇ³C©6 Ã BJÆY= Ã Î CEDF2 Í:Ã ã)ä¨=>BnÇ¹256 Ã²Ã Î CEDF2 Í:Ã Å Ã Î Å Ã D Ã 6dÇ ÃjÍ B�3dúÞ>B&Å�Æ�254 Î 2JDFCMÇuCq2J6è2&Ä�B�ÇUés2&? Î B&ÅFÇ'Æ�2J7:6dÇ Ã Å Î 25C©6dÇ$ãb�C©É57:Å Ã ú�C©È©Èq7>D_ÇFÅYBnÇ Ã D�ÇF= Ã ÇuB5Æ�ÇFCEÆaé ÃÃ 4 Î È©2nß Ã$Í Çu2 Æ B Î ÇF7>Å Ã Þl2&Çu= ÇF= Ã Ä·25Åu4 B&6 Í Æ 256dÇ Ã ç Ç<2&Ä0Çu= Ã Æ 254 Î 2dD_CqÇFC©256�ãb@ Í>Í Cq6>ÉÆY=:25Å Í Û�ÇF2J6>B&È©CqÇUß²2JÅ'ÆY=:25Å Í B5È Ý Æ�2J6dÇ Ã�ç ÇYD'Æ�2J7:È Í Þ Ã<Í:Ã B&ÈqÇ'é)CqÇF=èÞ8ß Ã�ç Î B&6 Í Cq6>É�ÇF= Ãn� ?ÇuB&Þ>È Ã D0Ä·Åu254 256 Ã Çu2ìD Ã å5Ã 6�ÇuB&Þ>È Ã D ãä¨= Ã Çu2&ÇuB5ÈbD_ÇuB&Ç Ã D'éb2J7:È Í Þ Ã ánò � ú � �Jò�� á�ú3á$íJî"·DUÇYBnÇ Ã D ã

jek�j ¸ tbt�o·¼%x�mbq'¹ ¸ r�¹ ¸ ½pxºv4»½¼V»¾>¿nÀ0w�o�¼'¾_miv$»u¾ev13@ Â 1:@ =>BJD�CqÇuD\6>B&4 Ã Ä·Åu254 CqÇuDbÞ>B5ÆY987 Î Í CEB&ÉJÅuB54 Û¦CPã Ã ã©Ê.��#��¿À � + �� + Ý ãJêªÇsC©DbB Î 2 Î 7>È©B5Å2563? Î 2JÈqCEÆ�ß/äÁP!Æ 256dÇFÅu25Èvã�@�6 B&É Ã 6dÇ�È Ã B5ÅF6>D�Çu= Ã B5Æ]ÇuCq2J63? å B5Èq7 Ã Ä·7:6>Æ�ÇFC©256½�aÛ��"�#� Ý Ä·Åu254B5Æ]ÇuCq2J6Â��2J6ÌÇu= Ã DUÇYBnÇ Ã �Jã � ?ªÈ Ã B&Åu6:Cq6>É<È Ã B&Åu6>DDUÇYBnÇ Ã ?AB5Æ]ÇuCq2J6 å B&È©7 Ã B&6 ÍÌÃ D_ÇFC©4aBnÇ Ã DÇF= Ã2 Î ÇuCq4�7:4 Î 25È©C©Æ ßx7>DFCq6>É ÇF= Ã0Ã óJ7�BnÇFC©256�DbÞ Ã È©2né �

�SÃ Û�� ÝA �SÃ$Û��#� Ýb$'& à ( $*) �ÄÃ Û�� + �� + Ý�/ �SÃjÛ�� Ý âé)= Ã Å ÃV& CED�Çu= Ã È Ã B5ÅF6>Cq6:É³ÅuB&Ç Ã Ê ) C©D�ÇF= Ã�Í CEDuÆ�257>6JÇ«ÅYBnÇ Ã Ê�B56 ÍgÅ Å Ã Ä Ã ÅuD�ÇF2 ü�cC�2�dc:þ�#¦"�\�uþ�>üM��¨Jü Û¦D Ã Ã äB&Þ:È Ã 3�Ä·25Å Î B5ÅuB54 Ã Ç Ã Å¨D Ã ÇFÇFC©6:ÉJD¨C©6¹ÇF=:CED Ã ç Î Ã ÅuC©4 Ã 6dÇ Ý ã

I V

I

V IV

I ii

I

I

I

IV V V I

I Vii iiV

V vii ii V vii V

ii IV ii−V ii−VI V I

�!�� 4Æ>� }R&p5KMOJm�V'pJ[uIAKXSU[YpxQ©R$SUT�V O8pxLF^JR$S_V giLYRjOnWU[u¯&WUIsKXOnWUR�V�WP¡�R$¢¦cdV SAW¨LuRjHdOnWU[uSUc3R$KXO&W]�>k�^J[¶dmjH5SU[)IA^dR]¡�I\z�®�8V�SUI�LF^JR$S_pdV g�LuRjOnWU[u¯&W�KXO VT�V]�ªR SbT0R&p5[j�

« �J�e¬�2Æ:� k�^J[�V$cJcdgXKXL]V WUKXRjO�R$Q~��\Z¨�"�/V$gXmjR SUKXWU^JT KXO'WU^dKXI�[u¯5c3[uSUKXT0[YOnW

Ç��Ä¯ÈÇ>�NvOJKXWUKMV gMKXIA[�ÉÁÊ$°-Ë,Ì�Íd±Q©R$SbV$gXglc3R$IAIAKX�dgX[�LYRjOnWU[u¯&WUIAÎ V SU�JKXWAS_V�SAhZb[uc3[]V W�QER S\[]V$L_^ [YcJKMIAR&p5[,ÏNvOdKoWUKMV$gXKXIA[�ËsQER$Sb[]V LF^pÉÁÊZb[Yc3[YV W�QER Ss[YV$L_^ IªWU[Yc�R Q�[YcdKXIAR&p5[,Ï}^JRnRjIA[�Í�V LYLYR S_pJKXOdmWURc3RjgXKXLuhÈÐ�°-Ë�±�V$Odp�LYR$O&WU[F¯5W!Ñ�\mj[YOnW�W_V4Òj[YI\V$LuWUKXRjOÈÍÓ �JIA[uSUt�[�Ô�Q©SURjT�ËdÕºÌMÍ�Õ-ÌÖÑ�Õrbc:pdV WU[stjV gMHJ[¨QEHJOdLuWUKXRjOCÏÉÁÊ °-Ë�Ì�ÍJ±Ø×GÉÁÊ$°-Ë,ÌMÍJ±�Ù`Ú0W ÔAÙ�Û�ÉÁÊ °-Ë Õ ÌMÍ Õ ±eÜ�ÉÁÊ�°-Ë�Ì Íd±�ZËA×ÝË Õ e�Í¥×GÍ Õ e�ÑA×GÑ Õ

rsOnWUKXg>T�V�¯'IªWU[Yc�R SbHJOnWUKMg:WU[uSUT0KXO8V�WUKXRjOrsOnWUKXg:T�V ¯'[YcdKXIAR&p5[

Þ IJ7ØE8Ø�=Ö9�EèÑ�Ù�Úàß½:�EdÓiØ�E.Eu:_×\Ù

êªÇsCED¨B&È©ésB�ß3D�=�B&Å Í ÇF2 ô 6 Í B&6³25Þ öUÃ Æ]ÇFC å5Ã+Ã å B&È©7>B&ÇFC©256<Æ ÅFCqÇ Ã ÅFCEB0Ä·2JÅ¨Æ 254 Î 73Ç Ã ÅsÉ Ã 6 Ã ÅYBnÇ Ã$Í4'7>DFC©ÆaÛ¦25Å)25ÇF= Ã Å�B&È©É52JÅFCqÇF=:4 CEÆ+B5Å_Ç�DF7>ÆY=�B5D Î B&C©6JÇuCq6>ÉJD Ý ã:õ Ã Å Ã Ê:é Ã Î Å Ã D Ã 6dÇsÇu= Ã 257:Ç Î 73ÇÄ·ÅF2J4 ÇF= Ã DFß3DUÇ Ã 4 é)=:CEÆY=�=>B5Ds4aB&68ßxC©6dÇ Ã Å Ã DUÇuCq6:É ÆY=>B5ÅuBJÆ]Ç Ã ÅFCED_ÇFCEÆ D$ãu�C©É57:Å Ã 3�DF=:2né�DbÇF= ÃÇUéb25? Î B5Å_Ç0Æ�2J7:6dÇ Ã Å Î 25C©6dÇ«C©6èBná+?v4aB ö 2JÅ«4�2 Í3Ã ä¨=>C©D0CED ö 7>D_Ç�B&6 Ã�ç B54 Î È Ã Ä·Åu254 4aB56dßÎ È©B57>DFCqÞ:È Ã 257:ÇuÆ�2J4 Ã D$ã�ä¨= Ã É Ã 6 Ã ÅYBnÇ ÃjÍ Æ 257:6dÇ Ã Å Î 2JCq6dÇ0=>B5D13dú�?ªÞ>B&Å«C©6ãâ� ÇuCq4 Ã é)=:CEÆY=ÒC©DÃ ód7:C å B5È Ã 6dÇsÇu2xñ3ájú'DUÇ Ã Î D¨C©6 Ã B5ÆY= Ã Î CEDF2 Í:Ã ã�P+7 Ã ÇF2�ÈqC©4 CMÇ Ã$Í D Î B5Æ Ã Ê8256:È©ßx2J6 Ã+Ã ç B&4 Î È Ã2&ÄÇF= Ã ÇUés2&? Î B&ÅFÇ)Æ�257>6JÇ Ã Å Î 2JCq6dÇ¨Cq6�B�4aB ö 2JÅ)4�2 Í3Ã CED Î Å Ã D Ã 6dÇ ÃjÍ = Ã Å Ã ãêA6�257:Å+2 Î C©6:C©256�Ê>ÇF= Ã Î C Ã Æ Ã C©D+óJ7>CMÇ Ã ÇF7>6 Ã Ä·7:È�é)CqÇF=ìBxÉ5282 Í�Ã�ç Î È©25CqÇuBnÇuCq2J6�2&Ä\B56ÌB5D_?

Æ Ã 6 Í Cq6>É�DuÆ B5È Ã 4 2&ÇFC å5Ã ã3ä¨= Ã Å Ã B5Å Ã ÇF282�4 B568ß�Å Ã Î Ã B&Ç ÃjÍ 6:25Ç Ã Ds= Ã Å Ã B&6 Í ÇF= Ã Å Ã Þ:7:Ç¨2J6ÇF= Ã é)=>25È Ã Ê�Çu= Ã Î C Ã Æ Ã\Í 2 Ã D Ã�ç Î Å Ã DuD�ÆY=>B5ÅuBJÆ]Ç Ã ÅFCED_ÇFCEÆ D 2&Ä:Æ 257:6dÇ Ã Å Î 25C©6dÇ�Æ�2J4 Î 2JDFCqÇFC©256>D$ã ä~2Þ Ã 4�2JÅ Ã 2JÞ öUÃ Æ�ÇFC å5Ã B5Þ�2J73Ç�ÇF= Ã 257:Ç Î 73ÇjÊ5é Ã B&ÅuÉ57 Ã ÇF=>B&Ç�ÇF= Ã D_ß3D_Ç Ã 4 Í C Í È Ã B&Åu6�Ä·ÅF2J4 CqÇuDÃ�ç Î Ã ÅFC Ã 6�Æ Ã ã3ä¨= Ã 2 åJÃ ÅYB&È©È�DFCqÉJ6>BnÇu7:Å Ã 2&Ä~ÇF=:CED¨Æ�254 Î 2JDFCMÇuCq2J6 Ã 4 Ã ÅFÉ Ã$Í Ä·ÅF2J4�ÇF= Ã Å Ã é¨B&Å Í DDFÆY= Ã 4 Ã Î ÅF2 å C Í3Ã$Í Û¦D Ã Ã äB&Þ:È Ã á Ý ã5ä¨= Ã Å Ã é¨B&Å Í D�B&6 Í Î 7:6:CEDF=:4 Ã 6dÇuD�é Ã Å Ã D Ã Ç\B5Æ$Æ�25Å Í C©6:ÉÇF2�257:ÅÇu= Ã 2JÅ Ã ÇFCEÆ B&È�986:2né)È Ã$Í É Ã 25Ä\Çu256>B5È�Æ 257:6dÇ Ã Å Î 2JCq6dÇuD$ãeP Ã D_C©Å Ã$Í Þ Ã =>B å Cq2J7:ÅuD+és257:È ÍÞ ÃÃ 6>Æ 257:ÅYB&É Ã$Í Þ8ß Î 2dD_CqÇFC å5Ã Ä Ã ÃjÍ Þ>B5ÆY9 B&6 Í 7:6 Í:Ã DFCqÅ Ã$Í Þ Ã =�B å C©257>ÅuD\éb2J7:È Í Þ Ã«Í C©DuÆ�2J7:ÅF?B&É ÃjÍ Þ8ßa6 Ã ÉJBnÇuC åJÃ Ä Ã$Ã$Í Þ>BJÆY9 ã8ä¨= Ã 4aB5É56:CqÇF7 Í:Ã 25Ä�Ä Ã ÃjÍ Þ>BJÆY9aésBJDbD Ã Ç�B&ÅuÞ:CqÇFÅYB&ÅuCqÈ©ß5ÊJ= Ã Å Ã Ê?ªï>ãqásÇF207>6 Í3Ã DFC©Å ÃjÍ Þ Ã =�B å C©257>ÅuD�B&6 Í ï>ãqá¨Çu2 Í3Ã DFC©Å ÃjÍ Þ Ã =>B å C©257:ÅYD$ã&ä¨= Ã D Ã Å Ã ésB5Å Í D_C©É56�B&ÈED

�!�� 4ä>� k�^d[�mj[uOd[uS_V�WU[]p«LYRjHJOnWU[uSUc3RjKXOnWi¡�V IKXO1åå WUKXT0[�¡�^d[uSU[\zj®�¢¦�8V�S~R Q:THJIAKML�¡�V$I�[^UnHdKXt$V$gX[YOnWWUR � {]®�IªWU[ucdI¨KXOx[]V$L_^x[YcdKXIAR&p5[�°�K�� [j�Xe�[YV$L_^<IªWU[uc<SU[Yc5SU[YIA[YOnWU[]pxV0IA[YT0Ko¢�U&HdV]t�[uSspJHJS_V�WUKXRjO�e:[YV$L_^�dV S\KXO åå WUKXT0[s^dVjp³{YyIªWU[YcdIYe5WU^d[FSU[uQER SU[+zj®+�8V�SUI�^8Vjp � {�®�IªWU[YcdI_±F�

(dÊdÇu= Ã È Ã B5ÅF6>Cq6:É�ÅuB&Ç Ã¥& Ê3B&6 Í ÇF= Ã«Í CEDFÆ 257:6dÇsÅuB&Ç Ã�) é Ã Å Ã 7>D Ã$Í Çu2�7 Î Í B&Ç Ã B&É Ã 6dÇuD$æ Î 25È©CM?

Æ�C Ã D$ã5õ Ã 6>Æ Ã Ê Í3Ã D_C©Å ÃjÍ Þ Ã =�B å C©257>ÅuD�és257:È Í Þ Ã�Ã 6>Æ 257:ÅYB&É Ã$Í é)=>CqÈ Ã 7:6 Í:Ã DFCqÅ Ã$Í Þ Ã =>B å Cq2J7:ÅYDéb2J7:È Í Þ Ã�Í C©DuÆ�2J7:ÅYB&É ÃjÍ C©6¹ÇF= Ã Ä·73Çu7:Å Ã ã

« �J�e¬�2ä:� k�^J[)c8V�S_V$T0[uWU[uS�IA[FWAWUKMOJmjI�KXO RjH5S\[u¯5c3[uSUKXT0[YOnW

Ç��V¯VÇ��çæ\�d��è�&�d&�ÈÇC&�Y� ��é_� �f KXm$HJSU[Áê °·Vj± f KXmjH5SU[Áê °��3±

ë�[]V�SUOdKXOdm+S_V WU[0°�Ú�± |5� z5e8|5� � e8|5� ì |5� ��¨KXIALYRjHJOnW�S_V WU[0°´Û>± |5� í |5� í°ºî_±P¢Pm SU[Y[]p&h�c5SURj�dV$�dKXgXKoWvh |5�X{ |5� | � e3|&�M{$e3|&� ®G V ¯&¢¦KoWU[uS_V WUKXRjO � {�® � {]®G V ¯&¢¦[YcdKXIAR&p5[ {]®$| {�® |

�:Åu254 257:Å Ã�ç Î Ã ÅFC©4 Ã 6dÇ$ÊbÇF= Ã 13@ Â 13@ B&È©ésB�ß3DxÆ 256 å5Ã ÅFÉ Ã$Í Û¦D Ã Ã �C©É57:Å Ã � Ý ã¨ä¨=:C©DCq4 Î È©C Ã DbÇF=>B&ÇbÇu= Ã 4 2 Í3Ã È Í C Í È Ã B5ÅF6xÇF= Ã 2 Î ÇuCq4aB5È Î 25È©C©Æ ß5ã.�CqÉJ7:Å Ã ñ�DF=:2né�D\ÇF= Ã ÇFÅ Ã 6 Í 2&ÄÍ CM÷ Ã Å Ã 6dÇ)Å Ã é¨B&Å Í Æ�ÅuCMÇ Ã ÅuC©B'2 å5Ã Å+á�ñ&ï Ã Î CED_2 Í3Ã D ã8êªÇ)C©D Ã$å C Í3Ã 6dÇbÇu=>BnÇ¨ÇF= Ã DFß3DUÇ Ã 4 È Ã B5ÅF6 Ã$ÍÄ·ÅF2J4 ÇF= Ã CqÅ Î B5D_Ç)4�CED_ÇuB&9 Ã D0Û¦Þdß³B&Þ>D_ÇuB5Cq6:C©6:É�Ä·Åu254 Å Ã Î Ã B&ÇFC©6:É�ÇF= Ã 4 CEDUÇYB&9 Ã D Ý BJDbé Ã È©È�BJDÎ ÅF2J4 2&ÇFC©6:É�Ä·Åu7:CMÇFÄ·7:È�BJÆ]ÇFC©256�D0Û·C©6>Æ�Å Ã BJD_C©6:É Í3Ã DFCqÅ Ã$Í Þ Ã =>B å C©257:ÅYD Ý ã

ï%k�l r³»uo�w�v4xP¾{mÁVv$¾ñð«¿n»��%xP¾{ Áóò ¾�¿�ôõ 63Ä·2JÅ_Çu7:6>BnÇ Ã È©ß5Êlé Ã Æ�257>È Í 6:25Ç+Å Ã B5ÈqÈ©ß³Æ 254 Î B&Å Ã ÇF= Ã 257:Ç Î 73Ç2&Ä�Çu=:C©D�éb2JÅF9¹é)CqÇF=Ì25ÇF= Ã ÅÅ Ã È©B&Ç Ã$Í és25Åu93D)Cq6�Çu= Ã0ô>Ã È Í ãlä¨=:CED�CED�4aB5Cq6:È©ß¹Þ Ã Æ B&7�D Ã Çu= Ã Å Ã B&Å Ã DF2a4 B568ß Í CED_ÇFC©6>Æ]ÇuC åJÃÄ Ã BnÇu7:Å Ã D¨C©6 Ã B5ÆY=¹éb2JÅF9xB56 Í B Æ�254 Î B5ÅFCEDF256xÇu2�ÇF= Ã CqÅ�7>6:C©ód7 Ã Å Ã DF7:ÈqÇuD¨és257:È Í 6:2&Ç�Þ:ÅuC©6:ÉB&68ß�Æ�256�Æ�È©7>D_C å5Ã�å C Ã é Î 2JCq6dÇ$ãlêA6>D_Ç Ã B Í ÊiB<DF7:4 4aB&Åuß�2&ÄbÆ Èq2dD Ã Èqß�Å Ã ÈEBnÇ ÃjÍ és25Åu98D�C©DÉJC åJÃ 6B&6 Í¹Í CEDFÆ 7>DFD Ã$Í Þ Ã È©2né0ãêA6 à î&âvÊ¨Bè=8ß8Þ:ÅFC Í 2&Ä0Å Ã Æ 7:ÅFÅ Ã 6dÇ<B5Å_ÇuC ô Æ C©B5È�6 Ã 7:ÅYB&È�6 Ã ÇUés25Åu9�B&6 Í ÇF= Ã B5Æ]Çu25ÅF?ªÆ ÅFCqÇFCEÆ

Ç Ã 4 Î 25ÅYB&È Í Cq÷ Ã Å Ã 6>Æ Ã 4 Ã ÇF=:2 Í é Ã Å Ã�Ã ç Î Èq2JÅ ÃjÍ C©6èB ö B��aC©4 Î Åu2 å CEDuBnÇFC©256ìÇuBJD_9 ãiêA6 à 3&âvÊP�ß86>B&? ��Â�Ü é¨B5D Ã 4 Î È©2nß Ã$Í Cq6'ÇF= Ã D_ÇF7 Í ß'2&Ä ��3üªþ f �&ü��-�� f �i�Fþö,�´]��nü��¦þ B56 Í ]]ü�§\÷�Á� f ��ÿü �&ü��¦þ� ã�êA6�B+Å Ã Æ Ã 6dÇ~Å Ã Î 25ÅFÇ~Þ8ßxà � âvÊ&13@ Â 13@�Û�ø Ý ésBJD Ã 4 Î Èq2nß Ã$Í Çu2Æ Å Ã BnÇ Ã B&6 ��3üAþ f �nüM�d¦��>üM�N��ü��ö� f �.]^�-� ãêA6 Â�Ü Î B5ÅuB Í CqÉJ4�ÊJÇu= Ã Å Ã Î Å Ã D Ã 6dÇuB&ÇFC©256x25Ä~DUÇYBnÇ Ã D$Ê:B5Æ]ÇuCq2J6>D¨B&6 Í Å Ã Cq6:Ä·25ÅYÆ Ã 4 Ã 6JÇ)DFCqÉ5?

6>B&ÈED¨B&Å Ã ÇF= Ã C©4 Î 2JÅ_ÇYB&6dÇ¨Æ 254 Î 256 Ã 6JÇYD ã8ä¨= Ã B Î:Î ÈqCEÆ B&ÇFC©256<25Ä Â�Ü Cq6<ÇF= Ã 4�7>D_CEÆ Í 254aB&C©6Cq6 Î Å Ã å C©257>D¨és25Åu93D Ê:Æ 254 4 256:È©ß5Ê�B&Þ>D_ÇFÅYB5Æ�Ç�4'7>DFC©ÆÇu2 Î CqÇuÆY=�ÊlB&6 Í�Í 7>ÅuB&ÇFC©256�2&Ä Î CqÇuÆY=ÌBJDÞ>B5DFC©ÆÞ:7>CqÈ Í C©6:É Þ:Èq23ÆY93D$ã�ù�ÇF= Ã Å)Cq63Ä·2JÅF4aB&ÇFC©256�Ê Ã ã É>ã©Ê34 Ã È©2 Í C©Æ«C©6dÇ Ã Å å B&ÈvÊ8=>B&Åu4 256:CEÆCq6dÇ Ã ÅF?å B5È©D$Ê�4 Ã È©2 Í C©Æ�Æ 256dÇF2J7:ÅuD$Ê=>B&Åu4 256:CEÆ<4 2 åJÃ 4 Ã 6dÇuD$Ê�ÅF=8ßdÇF=>4�CEÆ¹4 2&ÇFC å5Ã D Ê Ã ÇuÆ&ã©Ê�4aB�ß/Þ ÃÄ·7:Å_Çu= Ã Å Í3Ã ÅuC åJÃ$Í Ä·ÅF2J4 ÇF=>2JD Ã Þ�B5DFC©ÆÞ:7:C©È Í Cq6>ÉaÞ:Èq23ÆY93D$ãêA6�2J7:Å�és25Åu9lÊ&DFC©4�C©ÈEB&Å\B5Þ>DUÇuÅuBJÆ]ÇuCq2J6�é¨B5D Ã 4 Î Èq2nß Ã$Í Ä·25Å�4�7>D_CEÆ¨986:2né)È Ã$Í É Ã Å Ã Î Å Ã D Ã 63?

ÇuBnÇuCq2J6�ã�ä¨= Ã 13@ Â 13@�é¨B5D«B&ÈEDF2 Ã 4 Î Èq2nß Ã$Í Cq6�257:Å Ã ç Î Ã ÅFC©4 Ã 6dÇ$ã�õ�2né Ã$å5Ã ÅjÊ�ÇF2�Å ÃjÍ 7>Æ ÃÇF= Ã D_C�� Ã 2&Ä:Çu= Ã D_ÇuB&Ç Ã D Î BJÆ Ã Ê�D_ÇuBnÇ Ã D~B&6 Í BJÆ]ÇuCq2J6>D�é Ã Å Ã Å Ã Î Å Ã D Ã 6dÇ Ã$Í 7>DFCq6>É+DuÆ B&È Ã\Í3Ã É5Å Ã Ã DB&6 Í Çu= Ã 687:4�Þ Ã Å\2&Ä�D_Ç Ã Î D�7 Îi� Í 2né)6 Çu= Ã DuÆ B5È Ã�Í3Ã É5Å Ã Ã D ãdù�Çu= Ã Å Í3Ã ÅuC å5Ã$Í Ä Ã BnÇu7:Å Ã D�DF7>ÆY=B5D�=�B&Åu4�2J6:CEÆ¨Cq6dÇ Ã Å å B5È©DbB&6 Í 4 Ã È©2 Í CEÆ�Æ�2J6dÇF257>ÅuD�é Ã Å Ã 25ÅuÉJB56:CED ÃjÍ C©6aÇ Ã Åu4 D\2&ÄiÅu7:È Ã D\B56 ÍÆ�256dÇ Ã�ç ÇuD0Û Ã ã É>ã©Ê>ÆY=:25Å Í B5È Æ 256dÇ Ã ç ÇuD Ý ã

0 20 40 60 80 100 120−150

−100

−50

0

Tota

l Rew

ards

Mean Rewards over 10 repetitions per episode

α = 3α = 5α = 7

0 20 40 60 80 100 120−150

−100

−50

0

Tota

l Rew

ards

Episodes

Top pane: ε is fixed at 0.05; Bottom pane: α is fixed at 0.5

ε = 0.05ε = 0.1ε = 0.2

�!�� Nùl� �&T0RnR$WU^J[]p+SU[u¡�V S_p0tjV gXHd[YI�Q©SURjT {�® |�[ucdKXIAR&pJ[YIYe:°EWUR$c3±itjV�SAh5KMOJm)gX[]V SUOJKMOJm�S_V�WU[YI0Ú~e&V$Odp°��3R WAWURjT'±t$V SAh5KXOdm¥îA¢¦m SU[Y[]p5h'c5SURj�8V �dKXgXKoWvhn�

ú ?²×bÙ�Óe=_Ø�E.:U×\Ùàûýü�Ø�Ö�9�þ�7�Öãÿ ×�Ö:Ô

;�25È©C©Æ ßÈ Ã B5ÅF6>Cq6:É+Cq6 Â�Ü C©D�B Î 2né Ã ÅFÄ·7:È8Æ�2J6>Æ Ã Î Ç$ãn@�6 B&É Ã 6dÇ~CEDÈ Ã Ä�Ç�ÇF2 Ã�ç Î È©25Å Ã B Î B&ÅFÇFCEB&È©Èqß25Þ>D Ã Å å B&Þ:È Ã�Ã 6 å C©ÅF2J6:4 Ã 6dÇ�7:6dÇFC©È�CMÇÈ Ã B&Åu6>D�B Î 2JÈqCEÆ�ßèÛ¦CPã Ã ã©Ê =:2né CMÇ«D_=>257:È Í Å Ã B5Æ�Ç�Çu2xÇF= ÃÃ 6 å CqÅu256:4 Ã 6JÇ Ý ÇF=�BnÇ~4aB ç C©4 C©D Ã D�CMÇYD�Å Ã Çu7:Åu6�Ê��ã�ä¨= Ã Å Ã Î Å Ã D Ã 6dÇuB&ÇFC©256«2&Ä3Çu= Ã D_ÇuB&Ç Ã D Î BJÆ Ã Ê��Ê3B&6 Í BJÆ]ÇuCq2J6>D Ê��aÊ3B&Å Ã Æ ÅFCqÇFCEÆ B5È�DFCq6�Æ Ã ÇF= Ã ß B5Å Ã ÇF= Ã B&Þ�DUÇuÅuBJÆ]ÇFC©256a25Ä�Þ Ã =>B å Cq2J7:ÅYD�ÇF2�Þ ÃÈ Ã B&Åu6 Ã$Í ãä Ã 4 Î 25ÅYB&Èq? Í CM÷ Ã Å Ã 6�Æ Ã È Ã B&Åu6:Cq6>É+CED�B&6 Ã ÷ Ã Æ�ÇFC å5Ã Ç Ã ÆY=:6:CEód7 Ã Ä·25Å�È Ã B5ÅF6:C©6:É«B Î 2JÈqCEÆ�ßJã&êA6

ÇF=:CED�és25Åu9 Ê3é Ã0Ã ç Î Èq2JÅ ÃjÍ 1:@ Â 13@ é)=:CEÆY=¹é¨B5D�B å B5ÅFCEB&6dÇ�25Ä�äÁP È Ã B&Åu6:Cq6>É ÇF2aÉ Ã 6 Ã ÅYBnÇ Ã3Jú�?ªÞ>B5Å'ÇUés2&? Î B&ÅFÇ�Æ 257:6dÇ Ã Å Î 2JCq6dÇ Î C Ã Æ Ã D ã�ësß/Æ B5Å Ã Ä·7:È©Èqß/D Ã È Ã Æ�ÇFC©6:É�ÇF= Ã Å Ã Î Å Ã D Ã 6dÇuB&ÇFC©2562&Ä+D_ÇuB&Ç Ã D$Ê�B5Æ�ÇFC©256>D$Ê~Åu7:È Ã D B&6 Í Æ�2J6dÇ Ã�ç ÇYD Ê�BìÆ 254 Î È Ã�ç Î Åu25Þ>È Ã 4 D_7>ÆY=�B5D�B&È©É52JÅFCqÇF=:4 CEÆÆ�254 Î 2JDFCMÇuCq2J6�Æ 257:È Í Þ ÃxÍ:Ã B&ÈqÇ�é)CqÇF=èB&6 Í Å Ã BJD_2J6>B&Þ:È Ã 2573Ç Î 73Ç�CED025Þ3ÇYB&C©6 Ã$Í é)CqÇF=/Æ�2J4�?Î B&ÅYBnÇuC åJÃ È©ß�È Ã DuD Ã ÷ 25ÅFÇ$ã�ù+7>Å¨B Î:Î Åu2JBJÆY=<Æ�2J7:È Í Î 2&Ç Ã 6dÇFCEB&È©Èqß Ä¦BJÆ�C©ÈqCqÇuB&Ç Ã 4aB5DuDsB573ÇF2J4aBnÇ ÃjÍ4'7>DFC©Æ+É Ã 6 Ã ÅYBnÇuCq2J6aé)= Ã Å ÃÃ B5ÆY=³Æ�254 Î 2JDFCMÇuCq2J6<Æ�2J7:È Í D_ÇFC©ÈqÈ Þ Ã 7:6>C©ód7 Ã Èqß<Æ 256 Í CMÇuCq2J6 Ã$Í Þ8ßB+D Ã Ç�2&ÄlÅF7>È Ã D ÊjÄ·25Åu4 B&6 Í Æ�2J6dÇ Ã�ç Ç Î Åu2 å C Í3ÃjÍ ÇF2 Ã B5ÆY= Î C Ã Æ Ã ã�êA6�Ä·7:ÅFÇF= Ã Å�éb2JÅF9 Ê�B�Ä Ã é C©4�?4 ÃjÍ CEBnÇ Ã Í C©Å Ã Æ]ÇuCq2J6>D+Æ 257:È Í Þ Ã Î 7:ÅuDF7 ÃjÍ Ä·Åu254´= Ã Å Ã"� Û·C Ý ÇF2³Cq4 Î Åu2 å5Ã Çu= Ã =>B&6 Í Æ�ÅYBnÄ�Ç ÃjÍÅF7:È Ã D'Ä·25Å Í Cq÷ Ã Å Ã 6JÇaÆ�2J4 Î 2dD_CqÇFC©256�Ê¨Û·C©C Ý Çu2²B&7:ÇF254aB&Ç Ã Åu7:È Ã D_?ªBJÆ ód7:CED_CqÇFC©256 Î Åu23Æ Ã DFD$Ê~B56 ÍÛ·C©CqC Ý ÇF2xB Î:Î È©ßaÇF= Ã B Î:Î Åu2JBJÆY=xÇF2 25ÇF= Ã Å)É Ã 6>Å Ã D0Û Ã ã É>ã©Ê8Ä·257>Å Î B&ÅFÇ)é)ÅFCqÇFC©6:É�Ê ö B��JÊ Ã ÇYÆ Ý ã

¸ z,ô%m~¾8½poP»dÀ0ql»u� »umiv ä¨= Ã B&7:ÇF=:2JÅ�és257:È Í ÈqC©9 Ã ÇF2xÇu=>B&6>9�B56:2568ß84 257>D�Å Ã$å C Ã é Ã ÅYD¨Ä·2JÅÇF= Ã CqÅ�7�D Ã Ä·7:È�Æ�2J4 4 Ã 6dÇuD$ã

0 20 40 60 80 100 1200

0.2

0.4

0.6

0.8

1

Occ

urre

nce

freq

Episodes

Parallel fifth, octaveSpacing > octaveRepeated notes

0 20 40 60 80 100 1200.4

0.6

0.8

1

Occ

urre

nce

freq

Episodes

Consonant progressionsContrary motions

0 20 40 60 80 100 1200.2

0.4

0.6

0.8

1

Occ

urre

nce

freq

Episodes

3 consecutive 6th3 consecutive 3rdWide leap

�!�� >� }^8V Odm$[YI�KMO<�3[Y^dV�t&KXRjH5SUI)R�t�[uS0{�® |�[YcJKXIAR&pJ[YI��~°EWURjc³c8V$OJ[�±\SU[]p5HdLY[KMO<HdOdpJ[YIAKoSU[]px�3[u¢^dV]t5KXR SUI��b°�T0KMpJpJgX[�cdV$OJ[�±+KXOdLuSU[YV$IA[ KXO²pJ[YIAKoSU[]pì�3[Y^8V]t&KXRjHJSUI��°��3R WAWURjT c8V$OJ[�±�dHdLuWUHdV WUKXRjOìKXOLuRjOdIA[uLYHJWUKXt�[¨WU^JKXS_p:e5IAKX¯&WU^>e8V O8p'¡�KMp5[)gM[YV$cacJSUR$m$SU[YIAIAKXR$OdI

I 7�#7�Ö�7�Ù�Ói7bE

{$�Á�\gMgMV O�e:G³�8V$Odp�¸èKXgXgMKMV T0IYe>}b��«�}Ï� ¨V SUT0R$OdKXIAKXOdm0L_^dR S_V$gX[YI\�&h'c5SURj�8V �dKXgXKXIªWUKML�KXOJQ©[uSU[YOdLu[j�3NvOëlVY¡�SU[YOJLY[��«�J�JV Hdg�e��V$KoS¸¹[YKXIAIYe5V$Odp1ë�RjO��R WAWURjH>e&[]pJKoWUR$SUIYed¤��! ��"$#%��&�'(��)�*�#(+!�-,. �/*��102#%*3�(��4�(�5�$6'£�7�� . ��+8�:9�;��:G�Nvk�µiSU[YIAIYe3}�V$T�5SUKMpJmj[$e3Gó��®n��}^J[YO�eJ}b� }b� wJ�dV$O8p'G�KXK}Ò�Ò5HJgMV$KXOd[YO>e&Z��}ÏJ}~SU[]V�WUKXOdm�T0[YgXR&pJKX[YI¡�KoWU^'[Yt�RjgXt&KXOdm�SU[YLYH5SASU[YOnW�Od[uHJ¢S_V$g~Od[uWP¡�R$SÖÒ&IY�lNvO<02#%*3�(�4�%��$6��=*>) .5? �A@CB�B�9='(� . ��#(�D� . �E*��D�-&GF$*�� .:H *��3)3��#%��D�(�1*��I J��"$#%�-& � .EK *�#%L�MN'�F H � O,>B-9 ed¸�V$IA^dKXOJm$WURjO��}b�XedNv�~��e3®$|$|5{j�z&��}R$O&W]e^��Xe]�¨HJ�dOdR�t3eY�:�Xe]V O8pÁ�bIAIUVYh&V mJe `+�}ÏN�\OnWUKMLuKMcdV WUR SAh¨T0R&pJ[ugjR$Q5T+HdIAKXL]V$g$IªWvh5gX[~KXT0KoW_V WUKXR$OHdIAKXOdm0LuRjgXgMV$�3R$S_V�WUKXt�[V O8p�LuRjT0c3[uWUKoWUKXt�[¨SU[YKXOJQ©R$SULY[uT0[YOnWsgX[]V�SUOdKXOdm5�8Z\RjT0[jeJNPW_V gXhne3�5[Yc5WU[YT�3[FSzj|&e�®$|$|jyaNvOP0G#>*3��4�%��Q6��=*>) .5? � .5? ��#>� K *�#%L�� ? *�RS*��T�� . �/�U� RC� . *�#�7WV(� ? ��3�/*�#A��T��-��R . ��&X�%��#��$6!�47�� . ��+8�4M�¤�Y��M¤[Zi£\@CB�B�] edZbR$T0[je5NPW_V gXhned�&[YcJWU[YT+�3[uS�z$|5e:® |j|$y5�

ê5��}R$gMgXKXOdIYe_^+�}Ï�Z\[YKXOJQ©R$SULY[YT0[uO&W+gX[]V SUOJKXOdm³Q©R$S0gXKXt�[�THdIAKXL]V g�V$m$[YOnWUIY��NvOT0G#>*3�(�(�%��5�$6��\*`) .5? �'(� . ��#(�D� . �E*��D�-& H *�+aR�" . ��#1bc"$�4�/� H *��3)3��#%��D�(��Md' H b H @$B�B�eje��~[YgoQ�V$IªW]e�NPSU[YgMV$Odp>e��bHdm$HdIªW]e®�ê ¢ª®�í5e3®$|j|4Y5�

� �)��3LYKXRjm$gMH>ef�«�}Ï��bO�[u¯5c3[uSAW�IªhJIªWU[uTøQER S�^8V�SUT0RjOdKhgYKXOJm�Q©RjHJSA¢¦cdV SAW�L_^dR S_V$gX[YIY�JNvO�G³�C��V$gMV$�dV$O>e�«��3LYKXR$mjgXH�elV$Odp Ó �{ëlV IMÒ�[je�[]pJKoWUR$SUIYeij�D�Q��#(� . ��D��5�$6\bc"$�4�/� K � .5? ¤�'�kl0��#(�/R��4� . �5��1*��+8"$�4�/��(*46�� . �/*��Je:}^dV$cJWU[FS�{]®+c8V mj[YIs®4í�ê$¢Pzjz$z5�:k�^J[�� D�bNbµ�SU[YIAI(m k�^d[+G�Nªk'µiSU[YIAIY�y&�)fJS_V OuÒ&gXKXO�e�w5� ��Xe�V$Odp/G V$OJQqSU[]pJK�eGn�� r+�}Ï2^bRjOdgXKXOd[YV S LFSU[]pJKoW�V$IAIAKXmjOJT0[YOnW�Q©R$S T+HdIAKXL]V gsIA[u¢UnHd[YOJLY[YIY�&NvOx£o�%�4*��p'(� . ��#�� . �/*��-&[q1*�#%L�� ? *�RW*��1'(� . �U&�& �h6Q�� . £f7�� . ��+sr��4�X6��t��D�+¤uR�RD& �E,�4� . �/*��Je8cdc>�d®�ê � ¢v® � |&e>®$|$|�®n�

ìn�O bR$SUOd[FS]e_��>V$Odp¹`sR$gqp5�3[uSUmJe��>��}Ï `s[uOd[uWUKXL0V gMm$R$SUKoWU^dT0I�V O8p<LYRjT0cJHJWU[uSA¢PV$IAIAKXIªWU[]pxTHJIAKXLLYRjT0c3R$IAKoWUKMR$O��3NPO Z��D�[YgX[u¡ V$O8ppë��D�RnR4Ò�[uS]e3[YpJKoWUR$SUIYeGv ? �dwl*�"$# .5? '(� . ��#(�D� . �/*��D�-& H *��)3��#�,��D�(�A*��yx[��D� . �/�«¤�& 6�*�#�� .5? +8�4M�9-z�zQ9{M202#%*3�(�4�%��Q6��_ei�JV O¹fJS_V OdLYKXIALYR5el}��ÏlG�R$SUmjV$OI��V HJ§3¢T�V$O>�

Y&�O�)[YOJOd[]p&hnelG³� ÏOv ? � H *��U��U�c|�}>)U*�#%�~rd�/� . �/*��D��#(7t*>)8bc"$�(�E�u� Ó ¯&QER S_p¹rsOJKMtj[uSUIAKoWvh�µ�SU[YIAIYe{^í4íjy5�

í&�Áµ�^dR$OJ¢��bT0O&H8V KXIAHuÒ3eb�:�}Ï�}R$OnWASURjggMV OdmjHdV$m$[ìQ©R$S³^8V SUT0R$OdKXIUV WUKXR$O cJSURnLY[YIAIY�sNvO¬}^5SUKXIªWUKMOdV�bOdV$mjOJRjIªWUR$c3RjHdgXR$H�e�G�KXm$Hd[Ygbfd[uSAS_V O8p>eV$Odp �\gqV Oè�&T�V$KXgXg·e~[]p5KXWUR SUIYe�b\"C�4�/�t��¹¤[# . � �_�U�/�-&'(� . �U&�& �h6Q��D�(��M£D�4�4*��<'(� . ��#(�D� . �/*��D��& H *��3)3��#%��D�(��M:' H b ¤['1@CB�B�@�MJ�[��5�DVU"$#/6 ? M+£D�4* . &h��Mio�dMl£o��R . ��+!V(��#9�@Q,`9U��MN@$B�B�@�M�02#%*3�(�4�%��$6��Ue5t�R$gMHJT0[b®�ê,ê � R Q�Zl�4� . "$#%�O d* . ��5� H *�+�R�" . ��#£D�U��(�F�:�5c5SUKXOdmj[FS]e3® |j|�®n�{Y|5��5V$HJg·e^ë�� «� V$Odp�w$R$S_pdV O�ejG³� NF�}Ï$G�Ko¯5[]p�T0[uT0R$SAhbT�V SÖÒ�R�tsT0R&p5[YgXIdÏ��¨[YLYR$T0c3RjIAKXOdm\LYR$T0cdgX[u¯IªWURnLF^dV$IªWUKXL¹c5SURnLY[YIAIA[YI V$I�T0Ko¯&WUHJSU[uI�R Q+IAKXT0cJgM[FS RjOJ[YIY��b��-� ? ��o�1Z��%��#��$6�M8�C;>°ª{]±�Ï ì � ¢�Y�ìne{^í4í,í5�{${j��&LF^&HJgXW4g$ej¸ �}Ï"µiSU[]pJKXLuWUKXt�[�SU[u¡�V�S_p'IAKXm$O8V$g:R Q p5Rjc8V T0KXOd[�Od[YH5SURjOJIY�DF$*�"$#��-&j*>)� J��"$#%*�R ? 7��(,�/*-&h*46�7�M�e$BCÏX{u¢v®,ìne {^í4í,Y&�{]®&��&HJWAWUR$O�eJZ�� :�}Ï3`s[YOd[uS_V gXKXgYV WUKXRjO³KMO SU[uKMO5QER SULY[YT0[YOnWbgM[YV SUOdKXOJm�Ï>�&HdLYLY[uIAIªQEHdgl[u¯JV$T0cdgX[YI\HdIAKXOJmIAc8V�SUIA[³LYR$HJSUIA[xLYR&p5KMOJmJ��NPOÒ�� :��klRjH5SU[uW4gdÒnhne�G³� }b��G�R-gY[uS V$Odp/G³� ��G sV$IAIA[YgXT0Rè°�[]p5IY� ±Fe0G#>*3�(�(�%��5�$6��=*>) .5? �0¤��D�(��!��W J��"$#%�-&N'(�3)�*�#�+p� . �/*��W02#%*3�(��4�(�5�$6³£f7�� . ��+8�`02#%*3�(�4�4��$6��U�c8V mj[YI){]|$z,Y�¢_{Y|4ê4êJe�G�Nªk'µiSU[YIAIYe:}�V T�5SUKqp5mj[je8Gó��>{^í4íjy&�{Yz5��&HJWAWUR$O�e5Z�� 3�8V O8p1�V SAWURJe.�� `+�}Ï>¥��3)U*�#%�(��+A�� . Z��%��#(�f��Q6Qk ¤[�1'(� . #%*3��"�� . �/*��J��~S_V$p5¢QER S_p~�RnR,Ò3e8k�^d[�G�Nªk'µiSU[YIAIYel{dí,í4Y5�{#êJ��klV]h5gXR$S]e��}Ï�v ? �+¤[Y�x2"$�/�� . *=bc"$�4�/�~v ? �%*�#(7I�hRC��# . '8��D�pRC��# . '%'��]�:k�^J[1�bIAIARnLYKMV�WU[]p�R�V�S_p�R$QiWU^J[¨Z\R�hnV$gl�5L_^dRnRjgXI�R$Q~G�HJIAKXLje�{dí,Y4í5�{ � ��k�R&pdp>eiµ ��G³�iV O8p¹¸¹[uSUOd[uS]ei`+��G³�}Ï�fJS_V OuÒ�[uOdIªWU[YKXOdKMV O�T0[uWU^dR&p5I�Q©R$S[Yt�RjgXH5WUKMR$O8V�SAh�TH5¢IAKXLLYR$T0c3RjIAKoWUKXRjO��:NPOc^+�>`bSUK��«WU^<V$Odp2µi�:G³�>klR&pdp:e:[]pJKoWUR$SUIYelb\"C�4�/�4�-&� J� .EK *�#%L��kN0��#>�-&�&X�U&rd�� . #(�/VU" . �%�p0[��#%�(��R . �/*��W��80[��#�)U*�#�+p��D�(�Fe3cdV$m$[YI\z5{]z�¢Pz4ê�|&�:k�^d[�G�Nvk'µ�SU[YIAIY�{Yy5��k�RjKXt&KqV KXOd[YO>eNµ ��V$Odp)��[uSUR$gMV5e$ks�N��T0[uWU^JR&pbQER SiLYRjT0cdV S_V�WUKMtj[~V O8V gXh5IAKXIlR QJQ©Rjg}Ò¨T+HdIAKXL��8V$IA[YpRjO�THJIAKXL]V$g8Q©[]V WUH5SU[s[u¯&WAS_V$LFWUKMR$O�V O8p0Od[uHJS_V$g3OJ[uWv¡R$SÖÒ&IY�&NvO=�O�Q�='(� . ��#(�D� . �/*��D��&>£�7�+�RC*��4��"$+*�� £f7�� . ��+p� . �/�P�� H *�+�RC��#%� . ��\bc"$�4�/�4*-&h*46�7��D�c�Q�Q��'(� . ��#�� . �/*��-& H *��)3��#4��I*��H *46��f� . �5��Obc"$�4�/�4*-&h*46�7 e8rsOJKXt�[uSUIAKoWvh�R Q�w$h5t5IMÒnh5g�eJf KMOJgMV$O8p:e.�\Hdm$HdIªW){]y�¢U{^í�®$|$|5{$�{^ì&�¨¸�V WÖÒ&KXOdIYed}b� wJ�3V O8p��¨V]hnV$O�e�µ �}Ï3¶b¢¦gX[]V�SUOdKXOdm�bt�� ? ��D�aZ��%��#(�f��Q6�e_Ï ®4ì4í"Ï ®�í�®&e�{dí,í�®n�

Generating Tonal Counterpoint using Reinforcement Learning

Documents

Transcript of Generating Tonal Counterpoint using Reinforcement Learning