Éî¶ÈÇ¿»¯Ñ§Ï°ºËÐÄËã·¨ÓëÓ¦ÓÃ

µÚI ²¿·Ö»ù´¡ÀíÂÛƪ 1
µÚ1 ÕÂÂí¶û¿É·ò¾ö²ß¹ý³Ì 3
1£®1 Âí¶û¿É·òÐÔ 3
1£®2 һЩ»ù±¾¶¨Òå 4
1£®3 Öµº¯Êý 5
1£®4 »ùÓÚ²ßÂÔµÄÖµº¯Êý 5
1£®5 ±´¶ûÂü·½³Ì 6
1£®6 ²ßÂÔµü´úÓëÖµµü´ú 7
µÚ2 ÕÂÎÞÄ£Ð͵ÄÇ¿»¯Ñ§Ï° 9
2£®1 ÃÉÌØ¿¨Âå·½·¨ 10
2£®1£®1 ÃÉÌØ¿¨Âå·½·¨Ô¤²â״̬V Öµ 10
2£®1£®2 ÃÉÌØ¿¨Âå·½·¨Ô¤²âQ Öµ 11
2£®1£®3 ÃÉÌØ¿¨Âå²ßÂÔÓÅ»¯Ëã·¨ 11
2£®1£®4 ̽Ë÷ºÍÀûÓà 12
2£®1£®5 Òì²ßÂÔÃÉÌØ¿¨Âå·½·¨ 13
2£®2 ʱ¼ä²î·Ö·½·¨ 16
2£®2£®1 »ù±¾Ë¼Ïë 16
2£®2£®2 Sarsa Ëã·¨ 17
2£®2£®3 Q-Learning Ëã·¨ 20
2£®3 Öµº¯Êý¹À¼ÆºÍ²ßÂÔËÑË÷ 23
Éî¶ÈÇ¿»¯Ñ§Ï°ºËÐÄËã·¨ÓëÓ¦ÓÃ
2£®3£®1 Öµº¯Êý¹À¼Æ 23
2£®3£®2 ²ßÂÔËÑË÷ 24
µÚ3 ÕÂÓÐÄ£Ð͵ÄÇ¿»¯Ñ§Ï° 27
3£®1 ʲôÊÇÄ£ÐÍ 27
3£®2 »ù±¾Ë¼Â· 28
3£®3 ÓÐÄ£ÐÍ·½·¨ºÍÎÞÄ£ÐÍ·½·¨µÄÇø±ð 29
3£®4 µäÐÍËã·¨ 31
µÚII ²¿·Ö³£ÓÃË㷨ƪ 33
µÚ4 ÕÂDQN Ëã·¨ 35
4£®1 Ëã·¨½éÉÜ 35
4£®1£®1 ±³¾° 36
4£®1£®2 ºËÐļ¼Êõ 37
4£®1£®3 Ëã·¨Á÷³Ì 39
4£®2 Ïà¹Ø¸Ä½ø 40
4£®2£®1 Double Q-Learning 40
4£®2£®2 ÓÅÏȼ¶»Ø·Å 41
4£®2£®3 Dueling Networks 41
4£®3 ʵÑéЧ¹ûÓëС½á 43
µÚ5 ÕÂA3C Ëã·¨ 45
5£®1 Actor-Critic ·½·¨ 45
5£®2 »ùÏß¼õ·¨ÓëÓÅÊƺ¯Êý 47
5£®3 ²©²ÉÖÚ³¤µÄA3C Ëã·¨ 48
5£®4 ʵÑéЧ¹ûÓëС½á 50
µÚ6 ÕÂÈ·¶¨ÐÔ²ßÂÔÌݶȷ½·¨ 53
6£®1 Ëæ»úÐÔ²ßÂÔÌݶÈÓëÈ·¶¨ÐÔ²ßÂÔÌÝ¶È 53
iv
Ŀ¼
6£®2 Òì²ßÂÔµÄÈ·¶¨ÐÔ²ßÂÔÌÝ¶È 54
6£®3 Éî¶ÈÈ·¶¨ÐÔ²ßÂÔÌÝ¶È 56
6£®4 D4PG Ëã·¨ 57
6£®4£®1 ·Ö²¼Ê½ 57
6£®4£®2 Öµº¯Êý·Ö²¼ 58
6£®4£®3 N-step TD Îó²îºÍÓÅÏȼ¶µÄ¾­Ñé»Ø·Å 59
6£®5 ʵÑéЧ¹ûÓëС½á 59
µÚ7 ÕÂPPO Ëã·¨ 61
7£®1 PPO Ëã·¨µÄºËÐÄ 61
7£®2 TRPO Ëã·¨ 62
7£®3 PPO Ëã·¨ 65
7£®4 ʵÑéЧ¹ûÓëС½á 67
7£®4£®1 Ìæ´úº¯ÊýµÄ¶Ô±È 67
7£®4£®2 ÔÚÁ¬Ðø¿Õ¼äÖÐÓëÆäËûËã·¨µÄ¶Ô±È 68
7£®4£®3 С½á 69
µÚ8 ÕÂIMPALA Ëã·¨ 71
8£®1 Ëã·¨¼Ü¹¹ 71
8£®2 V-trace Ëã·¨ 73
8£®3 V-trace Actor-Critic Ëã·¨ 75
8£®4 ʵÑéЧ¹ûÓëС½á 76
8£®4£®1 ¼ÆËãÐÔÄÜ 76
8£®4£®2 µ¥ÈÎÎñѵÁ·ÐÔÄÜ 76
8£®4£®3 ¶àÈÎÎñѵÁ·ÐÔÄÜ 78
8£®4£®4 С½á 79
v
Éî¶ÈÇ¿»¯Ñ§Ï°ºËÐÄËã·¨ÓëÓ¦ÓÃ
µÚIII ²¿·ÖÓ¦ÓÃʵ¼ùƪ 81
µÚ9 ÕÂÉî¶ÈÇ¿»¯Ñ§Ï°ÔÚÆåÅÆÓÎÏ·ÖеÄÓ¦Óà 83
9£®1 ÆåÅÌÀàÓÎÏ· 84
9£®1£®1 AlphaGo£º սʤÈËÀàΧÆå¹Ú¾ü 84
9£®1£®2 AlphaGo Zero£º ²»Ê¹ÓÃÈËÀàÊý¾Ý£¬´Óͷѧϰ 87
9£®1£®3 AlphaZero£º ´ÓΧÆåµ½¸ü¶à 90
9£®2 ÅÆÀàÓÎÏ· 93
9£®2£®1 Suphx µÄÎå¸öÄ£ÐÍ 93
9£®2£®2 Suphx µÄѵÁ·¹ý³ÌºÍËã·¨ÓÅ»¯ 94
9£®2£®3 Suphx µÄÏßÉÏʵս±íÏÖ 94
µÚ10 ÕÂÉî¶ÈÇ¿»¯Ñ§Ï°ÔÚµç×ÓÓÎÏ·ÖеÄÓ¦Óà 97
10£®1 Ñз¢ÓÎÏ·ÖеĻúÆ÷ÈË 97
10£®1£®1 µ¥»úÓÎÏ· 97
10£®1£®2 ¶ÔÕ½ÓÎÏ· 99
10£®1£®3 С½á 104
10£®2 ÖÆ×÷ÓÎÏ·¶¯»­ 105
10£®3 ÆäËûÓ¦Óà 106
µÚ11 ÕÂÉî¶ÈÇ¿»¯Ñ§Ï°ÔÚÍƼöϵͳÖеÄÓ¦Óà 109
11£®1 ÊÊÓõij¡¾° 110
11£®1£®1 ¶¯Ì¬±ä»¯ 110
11£®1£®2 ¿¼Âdz¤ÆÚÀûÒæ 110
11£®2 ÌÔ±¦½õÄÒÍƼöÖеÄÓ¦Óà 111
11£®2£®1 ÌÔ±¦½õÄÒÍƼö½éÉÜ 111
11£®2£®2 ÎÊÌ⽨ģÓëÍƼö¿ò¼Ü 112
11£®2£®3 Ëã·¨Éè¼ÆÓëʵÑé 114
vi
Ŀ¼
µÚ12 ÕÂÉî¶ÈÇ¿»¯Ñ§Ï°ÔÚÆäËûÁìÓòÖеÄÓ¦Óà 119
12£®1 ÔÚÎÞÈ˼ÝÊ»ÖеÄÓ¦Óà 119
12£®2 ÔÚ½ðÈÚ½»Ò×ÖеÄÓ¦Óà 121
12£®3 ÔÚÐÅÏ¢°²È«ÖеÄÓ¦Óà 122
12£®4 ÔÚ×Ô¶¯µ÷²ÎÖеÄÓ¦Óà 123
12£®5 ÔÚ½»Í¨¿ØÖÆÖеÄÓ¦Óà 124
µÚIV ²¿·Ö×ܽáÓëÕ¹Íûƪ 127
µÚ13 ÕÂÎÊÌâÓëÌôÕ½ 129
13£®1 Ñù±¾ÀûÓÃÂÊµÍ 129
13£®2 ½±Àøº¯ÊýÄÑÒÔÉè¼Æ 131
13£®3 ʵÑéЧ¹ûÄѸ´ÏÖ 132
13£®4 ÐÐΪ²»ÍêÈ«¿É¿Ø 134
µÚ14 ÕÂÉî¶ÈÇ¿»¯Ñ§Ï°ÍùºÎ´¦È¥ 135
14£®1 δÀ´·¢Õ¹ºÍÑо¿·½Ïò 136
14£®1£®1 ÓÐÄ£Ð͵ķ½·¨Ç±Á¦¾Þ´ó 136
14£®1£®2 Ä£·Âѧϰ 137
14£®1£®3 ǨÒÆѧϰµÄÒýÈë 138
14£®1£®4 ·Ö²ãÇ¿»¯Ñ§Ï° 140
14£®2 ÉóÉ÷ÀÖ¹Û£¬´óÓпÉΪ 141
²Î¿¼×ÊÁÏ 143