ͼ½âÉî¶ÈѧϰÓëÉñ¾­ÍøÂç:´ÓÕÅÁ¿µ½TENSORFLOWʵÏÖ

1 Éî¶Èѧϰ¼°TensorFlow ¼ò½é 1
1£®1 Éî¶Èѧϰ 1
1£®2 TensorFlow ¼ò½é¼°°²×° 2
2 »ù±¾µÄÊý¾Ý½á¹¹¼°ÔËËã6
2£®1 ÕÅÁ¿ 6
2£®1£®1 ÕÅÁ¿µÄ¶¨Òå 6
2£®1£®2 Tensor ÓëNumpy µÄndarray ת»» 9
2£®1£®3 ÕÅÁ¿µÄ³ß´ç 10
2£®1£®4 ͼÏñת»»ÎªÕÅÁ¿ 13
2£®2 Ëæ»úÊý 14
2£®2£®1 ¾ùÔÈ£¨Æ½¾ù£©·Ö²¼Ëæ»úÊý 14
2£®2£®2 Õý̬£¨¸ß˹£©·Ö²¼Ëæ»úÊý 15
2£®3 µ¥¸öÕÅÁ¿µÄÔËËã 17
2£®3£®1 ¸Ä±äÕÅÁ¿µÄÊý¾ÝÀàÐÍ 17
2£®3£®2 ·ÃÎÊÕÅÁ¿ÖÐijһ¸öÇøÓòµÄÖµ 19
2£®3£®3 תÖà 22
2£®3£®4 ¸Ä±äÐÎ×´ 26
2£®3£®5 ¹éÔ¼ÔËË㣺ÇóºÍ¡¢Æ½¾ùÖµ¡¢*´ó£¨Ð¡£©Öµ 29
2£®3£®6 *´ó£¨Ð¡£©ÖµµÄλÖÃË÷Òý 34
2£®4 ¶à¸öÕÅÁ¿Ö®¼äµÄÔËËã 35
2£®4£®1 »ù±¾ÔËË㣺¼Ó¡¢¼õ¡¢³Ë¡¢³ý 35
2£®4£®2 ³Ë·¨ 41
2£®4£®3 ÕÅÁ¿µÄÁ¬½Ó 42
2£®4£®4 ÕÅÁ¿µÄ¶Ñµþ 44
2£®4£®5 ÕÅÁ¿µÄ¶Ô±È 48
2£®5 ռλ·û 49
2£®6 Variable ¶ÔÏó 50
3 Ìݶȼ°ÌݶÈϽµ·¨ 52
3£®1 ÌÝ¶È 52
3£®2 µ¼Êý¼ÆËãµÄÁ´Ê½·¨Ôò 53
3£®2£®1 ¶à¸öº¯ÊýºÍµÄµ¼Êý 54
3£®2£®2 ¸´ºÏº¯ÊýµÄµ¼Êý 54
3£®2£®3 µ¥±äÁ¿º¯ÊýµÄפµã¡¢¼«Öµµã¡¢°°µã 55
3£®2£®4 ¶à±äÁ¿º¯ÊýµÄפµã¡¢¼«Öµµã¡¢°°µã 57
3£®2£®5 º¯ÊýµÄÌ©ÀÕ¼¶ÊýÕ¹¿ª 60
3£®2£®6 ÌݶÈϽµ·¨ 63
3£®3 ÌݶÈϽµ·¨ 73
3£®3£®1 Adagrad ·¨ 73
3£®3£®2 Momentum ·¨ 75
3£®3£®3 NAG ·¨ 77
3£®3£®4 RMSprop ·¨ 78
3£®3£®5 ¾ß±¸¶¯Á¿µÄRMSprop ·¨ 80
3£®3£®6 Adadelta ·¨ 81
3£®3£®7 Adam ·¨ 82
3£®3£®8 Batch ÌݶÈϽµ 84
3£®3£®9 Ëæ»úÌݶÈϽµ 85
3£®3£®10 mini-Batch ÌݶÈϽµ 86
3£®4 ²Î¿¼ÎÄÏ× 86
4 »Ø¹é·ÖÎö 88
4£®1 ÏßÐԻعé·ÖÎö 88
4£®1£®1 Ò»ÔªÏßÐԻعé 88
4£®1£®2 ±£´æºÍ¼ÓÔػعéÄ£ÐÍ 91
4£®1£®3 ¶àÔªÏßÐԻعé 95
4£®2 ·ÇÏßÐԻعé·ÖÎö 99
5 È«Á¬½ÓÉñ¾­ÍøÂç 102
5£®1 »ù±¾¸ÅÄî 102
5£®2 ¼ÆËã²½Öè 104
5£®3 Éñ¾­ÍøÂçµÄ¾ØÕó±í´ï 107
5£®4 ¼¤»îº¯Êý 112
5£®4£®1 sigmoid ¼¤»îº¯Êý 112
5£®4£®2 tanh ¼¤»îº¯Êý 113
5£®4£®3 ReLU ¼¤»îº¯Êý 114
5£®4£®4 leaky relu ¼¤»îº¯Êý 115
5£®4£®5 elu ¼¤»îº¯Êý 118
5£®4£®6 crelu ¼¤»îº¯Êý 119
5£®4£®7 selu ¼¤»îº¯Êý 120
5£®4£®8 relu6 ¼¤»îº¯Êý 121
5£®4£®9 softplus ¼¤»îº¯Êý 121
5£®4£®10 softsign ¼¤»îº¯Êý 122
5£®5 ²Î¿¼ÎÄÏ× 123
6 Éñ¾­ÍøÂç´¦Àí·ÖÀàÎÊÌâ 125
6£®1 TFRecord Îļþ 125
6£®1£®1 ½«ndarray дÈëTFRecord Îļþ 125
6£®1£®2 ´ÓTFRecord ½âÎöÊý¾Ý 128
6£®2 ½¨Á¢·ÖÀàÎÊÌâµÄÊýѧģÐÍ 134
6£®2£®1 Êý¾ÝÀà±ð£¨±êÇ©£© 134
6£®2£®2 ͼÏñÓëTFRecrder 135
6£®2£®3 ½¨Á¢Ä£ÐÍ 140
6£®3 Ëðʧº¯ÊýÓëѵÁ·Ä£ÐÍ 143
6£®3£®1 sigmoid Ëðʧº¯Êý 143
6£®3£®2 softmax Ëðʧº¯Êý 144
6£®3£®3 ѵÁ·ºÍÆÀ¹ÀÄ£ÐÍ 148
6£®4 È«Á¬½ÓÉñ¾­ÍøÂçµÄÌݶȷ´Ïò´«²¥ 151
6£®4£®1 ÊýѧԭÀí¼°Ê¾Àý 151
6£®4£®2 ÌݶÈÏûʧ 166
7 һάÀëÉ¢¾í»ý 168
7£®1 һάÀëÉ¢¾í»ýµÄ¼ÆËãÔ­Àí 168
7£®1£®1 full ¾í»ý 169
7£®1£®2 valid ¾í»ý 170
7£®1£®3 same ¾í»ý 170
7£®1£®4 full¡¢same¡¢valid ¾í»ýµÄ¹Øϵ 171
7£®2 һά¾í»ý¶¨Àí 174
7£®2£®1 һάÀëÉ¢¸µÀïÒ¶±ä»» 174
7£®2£®2 ¾í»ý¶¨Àí 177
7£®3 ¾ß±¸Éî¶ÈµÄһάÀëÉ¢¾í»ý 182
7£®3£®1 ¾ß±¸Éî¶ÈµÄÕÅÁ¿Óë¾í»ýºËµÄ¾í»ý 182
7£®3£®2 ¾ß±¸Éî¶ÈµÄÕÅÁ¿·Ö±ðÓë¶à¸ö¾í»ýºËµÄ¾í»ý 183
7£®3£®3 ¶à¸ö¾ß±¸Éî¶ÈµÄÕÅÁ¿·Ö±ðÓë¶à¸ö¾í»ýºËµÄ¾í»ý 185
8 ¶þάÀëÉ¢¾í»ý 187
8£®1 ¶þάÀëÉ¢¾í»ýµÄ¼ÆËãÔ­Àí 187
8£®1£®1 full ¾í»ý 187
8£®1£®2 same ¾í»ý 189
8£®1£®3 valid ¾í»ý 191
8£®1£®4 full¡¢same¡¢valid ¾í»ýµÄ¹Øϵ 192
8£®1£®5 ¾í»ý½á¹ûµÄÊä³ö³ß´ç 193
8£®2 ÀëÉ¢¾í»ýµÄÐÔÖÊ 194
8£®2£®1 ¿É·ÖÀëµÄ¾í»ýºË 194
8£®2£®2 full ºÍsame ¾í»ýµÄÐÔÖÊ 195
8£®2£®3 ¿ìËÙ¼ÆËã¾í»ý 197
8£®3 ¶þά¾í»ý¶¨Àí 198
8£®3£®1 ¶þάÀëÉ¢¸µÀïÒ¶±ä»» 198
8£®3£®2 ¶þάÓëһά¸µÀïÒ¶±ä»»µÄ¹Øϵ 201
8£®3£®3 ¾í»ý¶¨Àí 203
8£®3£®4 ÀûÓþí»ý¶¨Àí¿ìËÙ¼ÆËã¾í»ý 203
8£®4 ¶àÉî¶ÈµÄÀëÉ¢¾í»ý 205
8£®4£®1 »ù±¾µÄ¶àÉî¶È¾í»ý 205
8£®4£®2 Ò»¸öÕÅÁ¿Óë¶à¸ö¾í»ýºËµÄ¾í»ý 207
8£®4£®3 ¶à¸öÕÅÁ¿·Ö±ðÓë¶à¸ö¾í»ýºËµÄ¾í»ý 208
8£®4£®4 ÔÚÿһÉî¶ÈÉÏ·Ö±ð¾í»ý 211
8£®4£®5 µ¥¸öÕÅÁ¿Óë¶à¸ö¾í»ýºËÔÚÉî¶ÈÉÏ·Ö±ð¾í»ý 212
8£®4£®6 ·ÖÀë¾í»ý 214
9 ³Ø»¯²Ù×÷218
9£®1 same ³Ø»¯ 218
9£®1£®1 same *´óÖµ³Ø»¯ 218
9£®1£®2 ¶àÉî¶ÈÕÅÁ¿µÄsame ³Ø»¯ 221
9£®1£®3 ¶à¸öÈýάÕÅÁ¿µÄsame *´óÖµ³Ø»¯ 223
9£®1£®4 same ƽ¾ùÖµ³Ø»¯ 224
9£®2 valid ³Ø»¯ 226
9£®2£®1 ¶àÉî¶ÈÕÅÁ¿µÄvaild ³Ø»¯ 228
9£®2£®2 ¶à¸öÈýάÕÅÁ¿µÄvalid ³Ø»¯ 229
10 ¾í»ýÉñ¾­ÍøÂç231
10£®1 dz²ã¾í»ýÉñ¾­ÍøÂç 231
10£®2 LeNet 238
10£®3 AlexNet 244
10£®3£®1 AlexNet ÍøÂç½á¹¹Ïê½â 244
10£®3£®2 dropout ¼°ÆäÌݶÈϽµ 247
10£®4 VGGNet 256
10£®5 GoogleNet 264
10£®5£®1 ÍøÖÐÍø½á¹¹ 264
10£®5£®2 Batch Normalization 269
10£®5£®3 BN Óë¾í»ýÔËËãµÄ¹Øϵ 273
10£®5£®4 Ö¸ÊýÒƶ¯Æ½¾ù 275
10£®5£®5 ´øÓÐBN ²Ù×÷µÄ¾í»ýÉñ¾­ÍøÂç 276
10£®6 ResNet 281
10£®7 ²Î¿¼ÎÄÏ× 284
11 ¾í»ýµÄÌݶȷ´Ïò´«²¥ 286
11£®1 valid ¾í»ýµÄÌÝ¶È 286
11£®1£®1 ÒÑÖª¾í»ýºË£¬¶Ôδ֪ÕÅÁ¿Çóµ¼ 286
11£®1£®2 ÒÑÖªÊäÈëÕÅÁ¿£¬¶Ôδ֪¾í»ýºËÇóµ¼ 290
11£®2 same ¾í»ýµÄÌÝ¶È 294
11£®2£®1 ÒÑÖª¾í»ýºË£¬¶ÔÊäÈëÕÅÁ¿Çóµ¼ 294
11£®2£®2 ÒÑÖªÊäÈëÕÅÁ¿£¬¶Ôδ֪¾í»ýºËÇóµ¼ 298
12 ³Ø»¯²Ù×÷µÄÌÝ¶È 303
12£®1 ƽ¾ùÖµ³Ø»¯µÄÌÝ¶È 303
12£®2 *´óÖµ³Ø»¯µÄÌÝ¶È 306
13 BN µÄÌݶȷ´Ïò´«²¥311
13£®1 BN ²Ù×÷Óë¾í»ýµÄ¹Øϵ 311
13£®2 ʾÀýÏê½â 314
14 TensorFlow ´î½¨Éñ¾­ÍøÂçµÄÖ÷Òªº¯Êý 324