Éî¶ÈÇ¿»¯Ñ§Ï°Ëã·¨Óëʵ¼ù:»ùÓÚPyTorchµÄʵÏÖ

µÚ1Õ ǿ»¯Ñ§Ï°¼ò½é 1
1£®1 Ç¿»¯Ñ§Ï°µÄÀúÊ· 1
1£®1£®1 È˹¤ÖÇÄܵÄÀúÊ· 1
1£®1£®2 Ç¿»¯Ñ§Ï°ºÍÈ˹¤ÖÇÄܵĹØϵ 4
1£®2 Ç¿»¯Ñ§Ï°»ù±¾¸ÅÄî 8
1£®2£®1 ÖÇÄÜÌåÏà¹Ø¸ÅÄî 8
1£®2£®2 Âí¶û¿É·ò¾ö²ß¹ý³Ì 9
1£®2£®3 ¶¯×÷¼ÛÖµº¯ÊýºÍ״̬-¶¯×÷¼ÛÖµº¯Êý 11
1£®3 Ç¿»¯Ñ§Ï°Ëã·¨µÄ·ÖÀà 12
1£®3£®1 »ùÓÚÄ£Ð͵ģ¨Model-Based£©ºÍÎÞÄ£Ð͵ģ¨Model-Free£© 13
1£®3£®2 »ùÓÚ²ßÂԵģ¨Policy-Based£©ºÍ»ùÓÚ¼ÛÖµµÄ£¨Value-Based£© 13
1£®3£®3 ÔÚÏߣ¨On-policy£©Ëã·¨ºÍÀëÏߣ¨Off-policy£©Ëã·¨ 13
1£®4 Éî¶ÈÇ¿»¯Ñ§Ï°»ù±¾¸ÅÄî 14
1£®5 Ç¿»¯Ñ§Ï°µÄÓÅȱµã 15
1£®6 ÃÉÌØ¿¨ÂåÌݶȹÀ¼Æ 15
1£®7 ×ܽá 19
µÚ2Õ ÉîÈëÁ˽âÇ¿»¯Ñ§Ï° 20
2£®1 Ç¿»¯Ñ§Ï°»ù±¾ÒªËØ 20
2£®1£®1 Âí¶û¿É·ò¾ö²ß¹ý³ÌºÍ»ØËÝͼ 20
2£®1£®2 Ì°ÐIJßÂÔºÍ*ÓŲßÂÔ 22
2£®1£®3 *ÓŲßÂԵĵü´úËã·¨ 24
2£®2 Ç¿»¯Ñ§Ï°µÄ̽Ë÷ºÍÀûÓà 26
2£®3 ²ßÂÔµü´úºÍ¼ÛÖµµü´ú 32
2£®3£®1 ²ßÂÔµü´ú 32
2£®3£®2 ¼ÛÖµµü´ú 33
2£®4 ±´¶ûÂü·½³Ì¼°ÆäÓ¦Óà 35
2£®5 ×ܽá 37
µÚ3Õ ǿ»¯Ñ§Ï°»·¾³ 38
3£®1 ¼òµ¥µÄÇ¿»¯Ñ§Ï°»·¾³ 39
3£®1£®1 Íø¸ñÊÀ½ç£¨Grid World£© 39
3£®1£®2 ¶à±Û¶Ä²©»ú£¨Multi-armed Bandit£© 40
3£®1£®3 ¾®×ÖÆ壨Tic-Tac-Toe£© 40
3£®2 OpenAI Gym»·¾³ 47
3£®2£®1 Gym»·¾³µÄ°²×°ºÍ»ù±¾½Ó¿Ú 47
3£®2£®2 GymµÄ¾­µä¿ØÖÆ»·¾³ 50
3£®2£®3 GymµÄAtariÇ¿»¯Ñ§Ï°»·¾³ 53
3£®2£®4 GymµÄMuJoCo»·¾³ 55
3£®2£®5 ×Ô¶¨ÒåGymÇ¿»¯Ñ§Ï°»·¾³ 57
3£®3 DeepMind LabÇ¿»¯Ñ§Ï°»·¾³ 60
3£®4 ÆäËûÇ¿»¯Ñ§Ï°»·¾³ 63
3£®4£®1 PySC2 Ç¿»¯Ñ§Ï°»·¾³ 63
3£®4£®2 OpenSpielÇ¿»¯Ñ§Ï°»·¾³ 66
3£®5 Éî¶ÈÇ¿»¯Ñ§Ï°¿ò¼Ü¼ò½é 68
3£®5£®1 Dopamine¿ò¼Ü 68
3£®5£®1 ReAgent¿ò¼Ü 70
3£®6 ×ܽá 71
µÚ4Õ Éî¶ÈQº¯ÊýÇ¿»¯Ñ§Ï°Ëã·¨ 72
4£®1 ¾­µäÉî¶ÈQÍøÂçËã·¨£¨DQN£© 72
4£®1£®1 DQNËã·¨ÀíÂÛ±³¾° 73
4£®1£®2 DQNÄ£Ðͽṹ 75
4£®1£®3 DQNÄ£Ð͵ÄÊäÈë 78
4£®1£®4 DQNÄ£Ð͵ÄѵÁ· 80
4£®1£®5 ½áºÏDQNËã·¨µÄ²ÉÑùºÍÄ£Ð͵ÄѵÁ· 82
4£®2 Ë«ÍøÂçQѧϰËã·¨£¨Double Q-Learning£© 84
4£®2£®1 Ëã·¨Ô­Àí 84
4£®2£®2 Ë㷨ʵÏÖ 86
4£®2£®3 Ë㷨Ч¹û 88
4£®3 ÓÅÏȾ­Ñé»Ø·Å£¨Prioritized Experience Replay£© 89
4£®3£®1 Ëã·¨Ô­Àí 89
4£®3£®2 Ë㷨ʵÏÖ 92
4£®3£®3 Ë㷨Ч¹û 95
4£®4 ¾ºÕùDQNËã·¨£¨Duel DQN£© 96
4£®4£®1 Ëã·¨Ô­Àí 98
4£®4£®2 Ë㷨ʵÏÖ 99
4£®4£®3 Ë㷨Ч¹û 102
4£®5 ·Ö²¼ÐÎʽµÄDQNËã·¨£¨Distributional DQN£© 103
4£®5£®1 ·ÖÀàDQNÄ£ÐÍ 103
4£®5£®2 ·ÖÀàDQNÄ£ÐÍË㷨ʵÏÖ 106
4£®5£®3 ·ÖÀàDQNÄ£ÐÍË㷨Ч¹û 110
4£®5£®4 ·ÖλÊý»Ø¹éDQNÄ£ÐÍ 111
4£®5£®5 ·ÖλÊý»Ø¹éDQNÄ£ÐÍË㷨ʵÏÖ 112
4£®5£®6 ·ÖλÊý»Ø¹éDQNÄ£ÐÍË㷨Ч¹û 115
4£®5£®7 ·ÖÀàDQNÄ£ÐÍС½á 116
4£®6 ²ÊºçËã·¨£¨Rainbow£© 117
4£®6£®1 ²ÊºçËã·¨¶ÔDQNµÄÓÅ»¯ 117
4£®6£®2 ²ÊºçËã·¨µÄ²¿·ÖʵÏÖ 120
4£®6£®3 ²ÊºçËã·¨µÄÄ£ÐÍЧ¹û 125
4£®7 ×ܽá 128
µÚ5Õ ²ßÂÔÌݶÈÇ¿»¯Ñ§Ï°Ëã·¨ 129
5£®1 ¾­µä²ßÂÔÌݶÈËã·¨£¨VPG£© 130
5£®1£®1 Ëã·¨Ô­Àí 130
5£®1£®2 »ùÓÚÀëÉ¢¶¯×÷¿Õ¼äËã·¨µÄÄ£ÐÍʵÏÖ 132
5£®1£®3 »ùÓÚÀëÉ¢¶¯×÷¿Õ¼äËã·¨µÄÔËÐнá¹û 137
5£®1£®4 »ùÓÚÁ¬Ðø¶¯×÷¿Õ¼äËã·¨µÄʵÏÖ 138
5£®1£®5 »ùÓÚÁ¬Ðø¶¯×÷¿Õ¼äËã·¨µÄÔËÐнá¹û 143
5£®1£®6 С½á 144
5£®2 ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨£¨A2CºÍA3C£© 145
5£®2£®1 Ëã·¨Ô­Àí 145
5£®2£®2 ·º»¯ÓÅÊƹÀ¼Æ£¨Generalized Advantage Estimation£© 147
5£®2£®3 ìØÕýÔò»¯·½·¨ 149
5£®2£®4 ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨µÄʵÏÖ£¨ÀëÉ¢¶¯×÷¿Õ¼ä£© 149
5£®2£®5 ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨ÔËÐÐЧ¹û£¨ÀëÉ¢¶¯×÷¿Õ¼ä£© 158
5£®2£®6 Ë㷨ʵÏÖ£¨Á¬Ðø¶¯×÷¿Õ¼ä£© 158
5£®2£®7 ÔËÐÐЧ¹û£¨Á¬Ðø¶¯×÷¿Õ¼ä£© 160
5£®2£®8 Òì²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨µÄʵÏÖ 160
5£®2£®9 Òì²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨µÄЧ¹û 164
5£®3 ÖÃÐÅÇø¼ä²ßÂÔÓÅ»¯Ëã·¨ 165
5£®3£®1 Ëã·¨Ô­Àí 166
5£®3£®2 ½ü¶Ë²ßÂÔÓÅ»¯Ëã·¨µÄʵÏÖ 172
5£®3£®3 ½ü¶Ë²ßÂÔÓÅ»¯Ëã·¨µÄЧ¹û£¨ÀëÉ¢¶¯×÷¿Õ¼ä£© 174
5£®4 ¿ËÂÞÄÚ¿Ë·Ö½â½üËÆÖÃÐÅÇø¼äËã·¨£¨ACKTR£© 175
5£®4£®1 Ëã·¨Ô­Àí 175
5£®4£®2 Ë㷨ʵÏÖ 179
5£®4£®3 Ë㷨Ч¹û 183
5£®5 ÈíÑÝÔ±-ÆÀÂÛ¼ÒËã·¨£¨SAC£© 184
5£®5£®1 Ëã·¨µÄ»ù±¾Ô­Àí 184
5£®5£®2 Ëã·¨µÄʵÏÖ£¨Á¬Ðø¶¯×÷¿Õ¼ä£© 186
5£®5£®3 Ëã·¨µÄЧ¹û£¨Á¬Ðø¶¯×÷¿Õ¼ä£© 193
5£®6 ×ܽá 194
µÚ6Õ ÆäËûÇ¿»¯Ñ§Ï°Ëã·¨ 195
6£®1 ÔëÉùÍøÂ磨Noisy Networks£© 195
6£®1£®1 ÔëÉùÍøÂçµÄÔ­Àí 195
6£®1£®2 ÔëÉùÍøÂçµÄʵÏÖ 197
6£®1£®3 ÔëÉùÍøÂçµÄЧ¹û 201
6£®2 Éî¶ÈÈ·¶¨ÐÔ²ßÂÔÌݶÈËã·¨£¨DDPG£© 203
6£®2£®1 Ëã·¨Ô­Àí 203
6£®2£®2 Ë㷨ʵÏÖ 205
6£®2£®3 Ë㷨Ч¹û 209
6£®3 Ë«ÑÓ³ÙÉî¶ÈÈ·¶¨ÐÔ²ßÂÔÌݶÈËã·¨£¨TD3£© 210
6£®3£®1 Ëã·¨Ô­Àí 210
6£®3£®2 Ë㷨ʵÏÖ 211
6£®3£®3 Ë㷨Ч¹û 213
6£®4 ÃÉÌØ¿¨ÂåÊ÷ËÑË÷£¨MCTS£© 214
6£®4£®1 Ëã·¨Ô­Àí 214
6£®4£®2 Ëã·¨µÄ»ù±¾²½Öè 215
6£®4£®3 Ë㷨ʹÓõÄÄ£ÐÍ 219
6£®4£®4 Ëã·¨µÄ²©ÞÄÊ÷±íʾ 221
6£®4£®5 Ëã·¨µÄËÑË÷Ö´Ðйý³Ì 222
6£®5 ×ܽá 225
µÚ7Õ Éî¶ÈÇ¿»¯Ñ§Ï°ÔÚʵ¼ùÖеÄÓ¦Óà 226
7£®1 Éñ¾­ÍøÂç½á¹¹ËÑË÷£¨NAS£© 226
7£®1£®1 Ëã·¨Ô­Àí 226
7£®1£®2 Ë㷨Ч¹û 229
7£®1£®3 ×ܽá 230
7£®2 ³¬·Ö±æÂÊÄ£ÐÍ £¨SRGAN£© 230
7£®2£®1 Ëã·¨Ô­Àí 231
7£®2£®2 ×ܽá 232
7£®3 ÐòÁÐÉú³ÉÄ£ÐÍ£¨SeqGAN£© 233
7£®3£®1 Ëã·¨Ô­Àí 233
7£®3£®2 ×ܽá 235
7£®4 »ùÓÚÉî¶ÈÇ¿»¯Ñ§Ï°µÄÍƼöϵͳ 235
7£®4£®1 ÍƼöϵͳµÄÇ¿»¯Ñ§Ï°»·¾³¹¹½¨ 236
7£®4£®2 ÍƼöϵͳµÄÇ¿»¯Ñ§Ï°Ëã·¨ 237
7£®4£®3 ×ܽá 238
7£®5 »ùÓÚÉî¶ÈÇ¿»¯Ñ§Ï°µÄ½»Ò×ϵͳ 239
7£®5£®1 Ëã·¨Ô­Àí 239
7£®5£®2 ×ܽá 241
7£®6 ×ܽá 241
¸½Â¼A ±¾ÊéʹÓõÄÊýѧ·ûºÅ 242
²Î¿¼ÎÄÏ× 244