Éî¶ÈÇ¿»¯Ñ§Ï°ÊµÕ½ ÓÃOPENAI GYM¹¹½¨ÖÇÄÜÌå

µÚ 1Õ ÖÇÄÜÌåÓëѧϰ»·¾³ÈëÃÅ 1
1£®1 ÖÇÄÜÌå¼ò½é 1
1£®2 ѧϰ»·¾³ 2
1£®3 OpenAI Gym¼ò½é 3
1£®4 Àí½âOpenAI GymµÄÖ÷ÒªÌØÐÔ 8
1£®4£®1 ¼òµ¥µÄ»·¾³½Ó¿Ú 8
1£®4£®2 ¿É±È½ÏÓë¿É¸´ÏÖ 8
1£®4£®3 ½ø³Ì¿É¼à¿Ø 9
1£®5 OpenAI Gym¹¤¾ß°üµÄ×÷Óà 9
1£®6 ´´½¨µÚ Ò»¸öOpenAI Gym»·¾³ 9
1£®7 С½á 11
µÚ 2Õ ǿ»¯Ñ§Ï°ºÍÉî¶ÈÇ¿»¯Ñ§Ï° 12
2£®1 Ç¿»¯Ñ§Ï°¼ò½é 12
2£®2 Ö±¹ÛÀí½âÈ˹¤ÖÇÄܵĺ¬ÒåºÍÄÚÈÝ 13
2£®2£®1 ¼à¶½Ñ§Ï° 13
2£®2£®2 ·Ç¼à¶½Ñ§Ï° 14
2£®2£®3 Ç¿»¯Ñ§Ï° 14
2£®3 Ç¿»¯Ñ§Ï°ÊµÕ½ 14
2£®3£®1 ÖÇÄÜÌå 15
2£®3£®2 ½±Àø 15
2£®3£®3 »·¾³ 15
2£®3£®4 ״̬ 16
2£®3£®5 Ä£ÐÍ 17
2£®3£®6 Öµº¯Êý 17
2£®3£®7 ²ßÂÔ 18
2£®4 Âí¶û¿É·ò¾ö²ß¹ý³Ì 18
2£®5 ¶¯Ì¬¹æ»® 19
2£®6 ÃÉÌØ¿¨ÂåѧϰºÍʱÐò²î·Öѧϰ 19
2£®7 SARSAºÍQ-Learning 20
2£®8 Éî¶ÈÇ¿»¯Ñ§Ï° 21
2£®9 Ç¿»¯Ñ§Ï°ºÍÉî¶ÈÇ¿»¯Ñ§Ï°Ëã·¨µÄʵ¼ùÓ¦Óà 22
2£®10 С½á 23
µÚ3Õ ¿ªÆôOpenAI GymºÍÉî¶ÈÇ¿»¯Ñ§Ï°Ö®Âà 24
3£®1 ´úÂë¿â¡¢ÉèÖúÍÅäÖà 24
3£®1£®1 ÏȾöÌõ¼þ 25
3£®1£®2 ´´½¨conda»·¾³ 26
3£®1£®3 С»¯°²×°—¿ì½Ý¼ò±ãµÄ·½·¨ 27
3£®1£®4 ÍêÕû°²×°OpenAI Gymѧϰ»·¾³ 28
3£®2 °²×°Éî¶ÈÇ¿»¯Ñ§Ï°ËùÐèµÄ¹¤¾ßºÍ¿â 32
3£®2£®1 °²×°±Ø*µÄϵͳÈí¼þ°ü 32
3£®2£®2 °²×°CUDA 33
3£®2£®3 °²×°PyTorch 34
3£®3 С½á 35
µÚ4Õ ̽Ë÷Gym¼°Æ书ÄÜ 36
4£®1 ̽Ë÷»·¾³ÁбíºÍÊõÓï 36
4£®1£®1 ÊõÓï 37
4£®1£®2 ̽Ë÷Gym»·¾³ 38
4£®2 Àí½âGym½Ó¿Ú 40
4£®3 GymÖеĿռä 43
4£®4 С½á 47
µÚ5Õ ʵÏÖµÚ Ò»¸öÖÇÄÜÌå—½â¾ö¹ýɽ³µÎÊÌâ 48
5£®1 Á˽â¹ýɽ³µÎÊÌâ 48
5£®2 ´ÓÁ㿪ʼʵÏÖQ-LearningÖÇÄÜÌå 50
5£®2£®1 Q-Learning»Ø¹Ë 53
5£®2£®2 ʹÓÃPythonºÍNumPyʵÏÖQ-LearningÖÇÄÜÌå 53
5£®3 ÔÚGymÖÐѵÁ·Ç¿»¯Ñ§Ï°ÖÇÄÜÌå 58
5£®4 ²âÊÔ²¢¼Ç¼ÖÇÄÜÌåµÄÐÔÄÜ 58
5£®5 Ò»¸ö¼òµ¥ÇÒÍêÕûµÄQ-LearnerʵÏÖ—¹ýɽ³µÎÊÌâµÄ½â¾ö·½°¸ 59
5£®6 С½á 63
µÚ6Õ ÓÃÉî¶ÈQ-LearningʵÏÖ»¯¿ØÖÆÖÇÄÜÌå 64
6£®1 ÓÅ»¯Q-LearningÖÇÄÜÌå 65
6£®1£®1 ÓÃÉñ¾­ÍøÂç½üËÆQº¯Êý 65
6£®1£®2 ¾­Ñé»Ø·Å 71
6£®1£®3 ÖØÎÂε-Ì°À·¶¯×÷²ßÂÔ 74
6£®2 ʵÏÖÒ»¸öÉî¶ÈQ-LearningÖÇÄÜÌå 76
6£®2£®1 ÓÃPyTorchʵÏÖÒ»¸öÉî¶È¾í»ýQÍøÂç 77
6£®2£®2 ʹÓÃÄ¿±êQÍøÂçÎȶ¨ÖÇÄÜÌåµÄѧϰ 78
6£®2£®3 ¼Ç¼ºÍ¿ÉÊÓ»¯ÖÇÄÜÌåµÄѧϰ¹ý³Ì 79
6£®2£®4 ¹ÜÀí³¬²ÎÊýºÍÅäÖòÎÊý 81
6£®2£®5 ÓÃÍêÕûµÄÉî¶ÈQ-Learner´¦ÀíÊäÈëΪԭʼÏñËصĸ´ÔÓÎÊÌâ 83
6£®3 Atari Gym»·¾³ 89
6£®4 ѵÁ·Éî¶ÈQ-LearnerÍæAtariÓÎÏ· 98
6£®4£®1 ÕûºÏÒ»¸öÍêÕûµÄÉî¶ÈQ-Learner 98
6£®4£®2 ³¬²ÎÊý 101
6£®4£®3 Æô¶¯ÑµÁ·¹ý³Ì 102
6£®4£®4 ÔÚAtariÓÎÏ·ÖвâÊÔÉî¶ÈQ-LearnerµÄÐÔÄÜ 103
6£®5 С½á 104
µÚ7Õ ´´½¨×Ô¶¨ÒåOpenAI Gym»·¾³—CARLA 105
7£®1 Àí½âGym»·¾³½á¹¹ 105
7£®1£®1 Ϊ×Ô¶¨ÒåGym»·¾³ÊµÏÖ´´½¨Ä£°å 106
7£®1£®2 ÔÚOpenAI Gym»·¾³ÖÐ×¢²á×Ô¶¨Òå»·¾³ 108
7£®2 ´´½¨ÓëOpenAI Gym¼æÈݵÄCARLA»·¾³ 108
7£®2£®1 ÅäÖúͳõʼ»¯ 110
7£®2£®2 ʵÏÖreset·½·¨ 111
7£®2£®3 ΪCARLA»·¾³ÊµÏÖstepº¯Êý 115
7£®2£®4 ²âÊÔCARLA Gym»·¾³ 120
7£®3 С½á 122
µÚ8Õ ÓÃÉî¶ÈÑÝÔ±-ÆÀÂÛ¼ÒË㷨ʵÏÖÎÞÈ˼ÝÊ»ÖÇÄÜÌå 123
8£®1 Éî¶Èn²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨ 123
8£®1£®1 ²ßÂÔÌÝ¶È 124
8£®1£®2 ÑÝÔ±-ÆÀÂÛ¼ÒËã·¨ 126
8£®1£®3 ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨ 127
8£®1£®4 n²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨ 129
8£®1£®5 Éî¶Èn²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒËã·¨ 132
8£®2 ʵÏÖÉî¶Èn²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒÖÇÄÜÌå 133
8£®2£®1 ³õʼ»¯ÑÝÔ±ºÍÆÀÂÛ¼ÒÍøÂç 133
8£®2£®2 Óõ±Ç°²ßÂÔ»ñÈ¡n²½¾­Ñé 137
8£®2£®3 ¼ÆËãÑÝÔ±ºÍÆÀÂÛ¼ÒµÄËðʧ 137
8£®2£®4 ¸üÐÂÑÝÔ±-ÆÀÂÛ¼ÒÄ£ÐÍ 139
8£®2£®5 ÓÃÓÚ±£´æ/¼ÓÔØ¡¢¼Ç¼¡¢¿ÉÊÓ»¯ºÍ¼àÊӵŤ¾ß 139
8£®2£®6 À©Õ¹——Òì²½Éî¶Èn²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼Ò 139
8£®3 ѵÁ·Ò»¸ö“´ÏÃ÷”µÄ×Ô¶¯¼ÝÊ»ÖÇÄÜÌå 140
8£®3£®1 ѵÁ·ºÍ²âÊÔÉî¶Èn²½ÓÅÊÆÑÝÔ±-ÆÀÂÛ¼ÒÖÇÄÜÌå 140
8£®3£®2 ѵÁ·ÖÇÄÜÌåÔÚCARLAÖмÝÊ»³µÁ¾ 143
8£®4 С½á 144
µÚ9Õ ̽Ë÷ѧϰ»·¾³È«¾°——Roboschool¡¢Gym Retro¡¢StarCraft-¢òºÍDeepMind Lab 145
9£®1 Gym½Ó¿Ú¼æÈݵĻ·¾³ 146
9£®1£®1 Roboschool 146
9£®1£®2 Gym Retro 150
9£®2 ÆäËû»ùÓÚPythonµÄ¿ªÔ´Ñ§Ï°»·¾³ 153
9£®2£®1 ÐǼÊÕù°Ô¢ò—PySC2 153
9£®2£®2 DeepMind Lab 156
9£®3 С½á 160
µÚ 10Õ ̽Ë÷ѧϰËã·¨ÊÀ½ç——DDPG£¨ÑÝÔ±-ÆÀÂÛ¼Ò£©¡¢PPO £¨²ßÂÔÌݶȣ©¡¢Rainbow£¨»ùÓÚÖµ£© 161
10£®1 Éî¶ÈÈ·¶¨ÐÔ²ßÂÔÌÝ¶È 162
10£®2 ½ü¶Ë²ßÂÔÓÅ»¯ 163
10£®3 Rainbow 165
10£®3£®1 ºËÐĸÅÄî 165
10£®3£®2 Óŵ㼰ӦÓüòÒª×ܽá 169
10£®4 С½á 170