Éî¶ÈѧϰԭÀíÓëTensorFlowʵ¼ù(È˹¤ÖÇÄÜרҵÈ˲ÅÅàÑøϵÁн̲Ä)

Ŀ ¼

µÚ 1ÕÂÒýÑÔ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1
1£®1 È˹¤ÖÇÄܼò½é????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????1
1£®2 »úÆ÷ѧϰ¼ò½é????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????2
1£®2£®1 »úÆ÷ѧϰµÄ¸ÅÄî??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????2
1£®2£®2 »úÆ÷ѧϰµÄ±¾ÖÊ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????2
1£®2£®3 »úÆ÷ѧϰµÄ²½Öè??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????3
1£®2£®4 »úÆ÷ѧϰµÄ¹Ø¼üµã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????5
1£®2£®5 »úÆ÷ѧϰµÄʵս??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????6
1£®2£®6 »úÆ÷ѧϰµÄ½Ì²Ä??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????7
1£®3 »úÆ÷ѧϰµÄ·ÖÀà ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????8
1£®3£®1 Óмලѧϰ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????8
1£®3£®2 Î޼ලѧϰ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????9
1£®3£®3 °ë¼à¶½Ñ§Ï°????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®10
1£®3£®4 Ç¿»¯Ñ§Ï°??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®11
1£®4 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®12
µÚ 2ÕÂÉî¶ÈѧϰµÄÔ­Àí ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®13
2£®1 Éî¶Èѧϰ¼ò½é??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®13
2£®1£®1 Éî¶ÈѧϰµÄ¸ÅÄî????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®13
2£®1£®2 Éî¶ÈѧϰµÄÌصã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®13
2£®2 Éî¶ÈѧϰµÄÏÖʵÒâÒå ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®14
2£®2£®1 ¶à²ãÉñ¾­ÍøÂçµÄÄ£Ðͽṹ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®14
2£®2£®2 ·ÇÏßÐÔ´¦ÀíÄÜÁ¦????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®14
2£®2£®3 ÌØÕ÷×Ô¶¯ÌáÈ¡ºÍת»»????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®16
2£®3 Éî¶ÈѧϰµÄÓ¦ÓÃÁìÓò ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®16
2£®3£®1 ¼ÆËã»úÊÓ¾õ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®17
2£®3£®2 ×ÔÈ»ÓïÑÔ´¦Àí??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®20
2£®3£®3 ÓïÒôʶ±ð??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®21
2£®4 Éî²ãÉñ¾­ÍøÂç¼ò½é????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®22
2£®4£®1 Éñ¾­ÔªÄ£ÐÍ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®22
2£®4£®2 µ¥²ãÉñ¾­ÍøÂç??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®23
2£®4£®3 Éî²ãÉñ¾­ÍøÂç??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®24
2£®4£®4 Éî²ãÉñ¾­ÍøÂç½Úµã??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®24
2£®4£®5 Éî²ãÉñ¾­ÍøÂç²ÎÊý??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®25
2£®4£®6 ½ÚµãÊä³öÖµ¼ÆËã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®25
2£®5 Éî²ãÉñ¾­ÍøÂçµÄѵÁ·ÓëÓÅ»¯ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®26
2£®5£®1 Éî²ãÉñ¾­ÍøÂçµÄѵÁ·????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®26
2£®5£®2 Éî²ãÉñ¾­ÍøÂçµÄÓÅ»¯????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®32
2£®6 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®35
µÚ 3ÕÂÉî¶Èѧϰ¿ò¼Ü¼ò½é ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®37
3£®1 TensorFlow¼ò½é ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®37
3£®2 TensorFlowµÄÌصã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®38
3£®3 ÆäËûÉî¶Èѧϰ¿ò¼Ü????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®38
3£®4 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®41
µÚ 4Õ TensorFlowµÄ°²×°??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®42
4£®1 °²×°×¼±¸????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®42
4£®1£®1 Ó²¼þ¼ì²é??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®42
4£®1£®2 ´¦ÀíÆ÷ÍƼö¨DGPU????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®44
4£®1£®3 ϵͳѡÔñ¨DLinux ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®53
4£®1£®4 ÅäºÏ PythonÓïÑÔʹÓÃ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®53
4£®1£®5 AnacondaµÄ°²×°??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®54
4£®2 TensorFlowµÄÖ÷ÒªÒÀÀµ°ü ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®55
4£®2£®1 Protocol Buffer????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®56
4£®2£®2 Bazel????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®57
4£®3 Python°²×° TensorFlow??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®59
4£®3£®1 ʹÓà pip°²×° ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®59
4£®3£®2 ´ÓÔ´´úÂë±àÒë²¢°²×°????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®59
4£®4 TensorFlowµÄʹÓÃ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®60
4£®4£®1 ÏòÁ¿ÇóºÍ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®60
4£®4£®2 ¼ÓÔعý³ÌµÄÎÊÌâ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®61
4£®5 ÍƼöʹÓà IDE ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®61
4£®6 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®62
µÚ 5Õ TensorFlow±à³Ì»ù´¡ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®63
5£®1 ¼ÆËãͼÓëÕÅÁ¿??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®63
5£®1£®1 ³õʶ¼ÆËãͼÓëÕÅÁ¿??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®63
5£®1£®2 TensorFlowµÄ¼ÆËãÄ£ÐͨD¼ÆËãͼ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®63
5£®1£®3 TensorFlowµÄÊý¾ÝÄ£ÐͨDÕÅÁ¿??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®66
5£®2 TensorFlowµÄÔËÐÐÄ£ÐÍ ¨D»á»° ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®68
5£®2£®1 TensorFlowµÄϵͳ½á¹¹ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®68
5£®2£®2 »á»°µÄʹÓÃ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®69
5£®2£®3 ʹÓà with/as½øÐÐÉÏÏÂÎĹÜÀí ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®70
5£®2£®4 »á»°µÄÅäÖÃ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®71
5£®2£®5 ռλ·û????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®72
5£®3 TensorFlow±äÁ¿ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®73
5£®3£®1 ±äÁ¿µÄ´´½¨????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®73
5£®3£®2 ±äÁ¿ÓëÕÅÁ¿????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®76
??VI£®

5£®3£®3 ¹ÜÀí±äÁ¿¿Õ¼ä??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®77
5£®4 ʵÑ飺ʶ±ðͼÖÐÄ£ºýµÄÊÖдÊý×Ö ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®82
5£®5 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®88
µÚ 6Õµ¥¸öÉñ¾­Ôª ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®89
6£®1 Éñ¾­ÔªÄâºÏÔ­Àí ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®89
6£®1£®1 ÕýÏò´«²¥??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®90
6£®1£®2 ·´Ïò´«²¥??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®90
6£®2 ¼¤»îº¯Êý????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®91
6£®2£®1 Sigmoidº¯Êý????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®91
6£®2£®2 Tanhº¯Êý????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®92
6£®2£®3 ReLUº¯Êý ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®93
6£®2£®4 Swishº¯Êý ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®96
6£®3 SoftmaxËã·¨ÓëËðʧº¯Êý ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®96
6£®3£®1 SoftmaxËã·¨????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®97
6£®3£®2 Ëðʧº¯Êý??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????£®98
6£®3£®3 ×ÛºÏÓ¦ÓÃʵÑé??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????101
6£®4 ÌݶÈϽµ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????104
6£®4£®1 ÌݶÈϽµ·½·¨??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????105
6£®4£®2 ÌݶÈϽµº¯Êý??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????105
6£®4£®3 ÍË»¯Ñ§Ï°ÂÊ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????106
6£®5 ѧϰ²ÎÊý³õʼ»¯ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????108
6£®6 ʹÓà MaxoutÍøÂçÀ©Õ¹µ¥¸öÉñ¾­Ôª ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????109
6£®6£®1 Maxout¼ò½é ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????109
6£®6£®2 ʹÓà MaxoutÍøÂçʵÏÖ MNIST·ÖÀà ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????110
6£®7 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????111
µÚ 7Õ¶à²ãÉñ¾­ÍøÂç ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????112
7£®1 ÏßÐÔÎÊÌâÓë·ÇÏßÐÔÎÊÌâ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????112
7£®1£®1 ÓÃÏßÐÔÂß¼­»Ø¹é´¦Àí¶þ·ÖÀàÎÊÌâ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????112
7£®1£®2 ÓÃÏßÐÔÂß¼­»Ø¹é´¦Àí¶à·ÖÀàÎÊÌâ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????116
7£®1£®3 ·ÇÏßÐÔÎÊÌâdzÎö????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????121
7£®2 ½â¾ö·ÇÏßÐÔÎÊÌâ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????121
7£®2£®1 ʹÓôøÒþ²Ø²ãµÄÉñ¾­ÍøÂçÄâºÏÒì»ò²Ù×÷ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????121
7£®2£®2 ·ÇÏßÐÔÍøÂçµÄ¿ÉÊÓ»¯????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????123
7£®3 ÀûÓÃÈ«Á¬½ÓÉñ¾­ÍøÂ罫ͼƬ½øÐзÖÀà ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????125
7£®4 È«Á¬½ÓÉñ¾­ÍøÂçÄ£Ð͵ÄÓÅ»¯·½·¨ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????127
7£®4£®1 ÀûÓÃÒì»òÊý¾Ý¼¯ÑÝʾ¹ýÄâºÏÎÊÌâ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????127
7£®4£®2 ͨ¹ýÕýÔò»¯¸ÄÉƹýÄâºÏÇé¿ö ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????132
7£®4£®3 ͨ¹ýÔö´óÊý¾Ý¼¯¸ÄÉƹýÄâºÏ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????134
7£®4£®4 »ùÓÚ Dropout¼¼ÊõÀ´ÄâºÏÒì»òÊý¾Ý¼¯ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????135
7£®4£®5 È«Á¬½ÓÉñ¾­ÍøÂçµÄÉîdz¹Øϵ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????138
7£®5 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????139
µÚ 8Õ¾í»ýÉñ¾­ÍøÂç ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????140
8£®1 ÈÏʶ¾í»ýÉñ¾­ÍøÂç????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????140
8£®1£®1 È«Á¬½ÓÉñ¾­ÍøÂçµÄ¾ÖÏÞÐÔ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????140
8£®1£®2 ¾í»ýÉñ¾­ÍøÂç¼ò½é??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????140
8£®2 ¾í»ýÉñ¾­ÍøÂçµÄ½á¹¹ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????141
8£®2£®1 ÍøÂç½á¹¹¼ò½é??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????141
8£®2£®2 ¾í»ý²ã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????144
8£®2£®3 ³Ø»¯²ã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????147
8£®3 ¾í»ýÉñ¾­ÍøÂçµÄÏà¹Øº¯Êý ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????147
8£®3£®1 ¾í»ýº¯Êý tf£®nn£®conv2d??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????147
8£®3£®2 ³Ø»¯º¯Êý tf£®nn£®max_poolºÍ tf£®nn£®avg_pool????????????????????????????????????????????????????????????????????????????????????????????????????????????????????154
8£®4 ʹÓþí»ýÉñ¾­ÍøÂç¶ÔͼƬ·ÖÀà ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????157
8£®4£®1 CIFARÊý¾Ý¼¯½éÉܼ°Ê¹Óà ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????157
8£®4£®2 CIFARÊý¾Ý¼¯µÄ´¦Àí ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????160
8£®4£®3 ½¨Á¢Ò»¸ö¾í»ýÉñ¾­ÍøÂç ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????166
8£®5 ·´¾í»ýÉñ¾­ÍøÂç ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????168
8£®5£®1 ·´¾í»ý¼ÆËã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????169
8£®5£®2 ·´³Ø»¯¼ÆËã????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????171
8£®5£®3 ·´¾í»ýÉñ¾­ÍøÂçµÄÓ¦Óà ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????171
8£®6 ¾í»ýÉñ¾­ÍøÂç½ø½×????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????171
8£®6£®1 º¯Êý·â×°¿âµÄʹÓÃ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????172
8£®6£®2 Éî¶ÈѧϰµÄÄ£ÐÍѵÁ·¼¼ÇÉ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????174
8£®7 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????182
µÚ 9ÕÂÑ­»·Éñ¾­ÍøÂç ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????183
9£®1 Ñ­»·Éñ¾­ÍøÂçµÄÔ­Àí ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????183
9£®1£®1 Ñ­»·Éñ¾­ÍøÂçµÄ»ù±¾½á¹¹ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????183
9£®1£®2 RNNµÄ·´Ïò´«²¥¹ý³Ì ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????184
9£®1£®3 ´î½¨¼òµ¥ RNN????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????186
9£®2 ¸Ä½øµÄ RNN ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????192
9£®2£®1 LSTM??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????193
9£®2£®2 ¸Ä½øµÄ LSTM ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????196
9£®2£®3 Bi-RNN ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????198
9£®2£®4 CTC??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????200
9£®3 RNNʵս??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????200
9£®3£®1 cellÀà ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????200
9£®3£®2 ¹¹½¨ RNN????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????201
9£®3£®3 ʹÓà RNN¶Ô MNISTÊý¾Ý¼¯·ÖÀà ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????207
9£®3£®4 RNNµÄ³õʼ»¯ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????213
9£®3£®5 RNNµÄÓÅ»¯ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????213
??VIII£®

9£®3£®6 ÀûÓà BiRNNʵÏÖÓïÒôʶ±ð ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????214
9£®4 ±¾ÕÂС½á????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????228
µÚ 10ÕÂÉî¶ÈѧϰÍøÂç½ø½× ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????229
10£®1Éî²ãÉñ¾­ÍøÂç ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????229
10£®1£®1 Éî²ãÉñ¾­ÍøÂç½éÉÜ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????229
10£®1£®2 GoogLeNetÄ£ÐÍ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????230
10£®1£®3 ResNetÄ£ÐÍ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????234
10£®1£®4 Inception-ResNet-v2Ä£ÐÍ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????235
10£®1£®5 TensorFlowÖÐͼƬ·ÖÀàÄ£ÐÍ¿â ¨Dslim ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????235
10£®1£®6 slimÉî¶ÈÍøÂçÄ£ÐÍʵսͼÏñʶ±ð ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????241
10£®1£®7 ʵÎï¼ì²âÄ£ÐÍ¿â ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????244
10£®1£®8 ʵÎï¼ì²âÁìÓòµÄÏà¹ØÄ£ÐÍ ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????245
10£®1£®9 NASNet¿ØÖÆÆ÷ ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????246
10£®2Éú³É¶Ô¿¹Éñ¾­ÍøÂç ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????247
10£®2£®1 ʲôÊÇ GAN ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????247
10£®2£®2 ¸÷ÖÖ²»Í¬µÄ GAN ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????248
10£®2£®3 GANʵ¼ù????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????253
10£®2£®4 GANÍøÂçµÄ¸ß¼¶½Ó¿Ú TFGAN ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????263
10£®3±¾ÕÂС½á ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????264