È˹¤ÖÇÄÜËã·¨ ¾í3 Éî¶ÈѧϰºÍÉñ¾­ÍøÂç(È«²ÊÓ¡Ë¢)

µÚ 1 Õ Éñ¾­ÍøÂç»ù´¡ 1
1£®1 Éñ¾­ÔªºÍ²ã 2
1£®2 Éñ¾­ÔªµÄÀàÐÍ 5
1£®2£®1 ÊäÈëºÍÊä³öÉñ¾­Ôª 6
1£®2£®2 Òþ²ØÉñ¾­Ôª 7
1£®2£®3 Æ«ÖÃÉñ¾­Ôª 7
1£®2£®4 ÉÏÏÂÎÄÉñ¾­Ôª 8
1£®2£®5 ÆäËûÉñ¾­ÔªÀàÐÍ 10
1£®3 ¼¤»îº¯Êý 10
1£®3£®1 ÏßÐÔ¼¤»îº¯Êý 10
1£®3£®2 ½×Ô¾¼¤»îº¯Êý 11
1£®3£®3 S Ðͼ¤»îº¯Êý12
1£®3£®4 Ë«ÇúÕýÇм¤»îº¯Êý 13
1£®4 ÐÞÕýÏßÐÔµ¥Ôª£¨ReLU£©13
1£®4£®1 Softmax ¼¤»îº¯Êý 14
1£®4£®2 Æ«ÖðçÑÝʲô½ÇÉ«£¿ 17
1£®5 Éñ¾­ÍøÂçÂß¼­ 19
1£®6 ±¾ÕÂС½á 22
µÚ 2 Õ ×Ô×éÖ¯Ó³Éä 23
2£®1 ×Ô×éÖ¯Ó³Éä 24
2£®1£®1 Àí½âÁÚÓòº¯Êý 27
2£®1£®2 Ä«Î÷¸çñÁÚÓòº¯Êý 30
2£®1£®3 ¼ÆËã SOM Îó²î 32
2£®2 ±¾ÕÂС½á 33
µÚ 3 Õ Hopfield ÍøÂçºÍ²£¶û×ÈÂü»ú34
3£®1 Hopfield Éñ¾­ÍøÂç 34
3£®1£®1 ѵÁ· Hopfield ÍøÂç 37
3£®2 Hopfield-Tank ÍøÂç 41
3£®3 ²£¶û×ÈÂü»ú 42
3£®3£®1 ²£¶û×ÈÂü»ú¸ÅÂÊ 44
3£®4 Ó¦Óò£¶û×ÈÂü»ú 45
3£®4£®1 ÂÃÐÐÉÌÎÊÌâ 45
3£®4£®2 ÓÅ»¯ÎÊÌâ 48
3£®4£®3 ²£¶û×ÈÂü»úѵÁ· 51
3£®5 ±¾ÕÂС½á 51
µÚ 4 ÕÂ Ç°À¡Éñ¾­ÍøÂç 53
4£®1 Ç°À¡Éñ¾­ÍøÂç½á¹¹ 54
4£®1£®1 ÓÃÓڻعéµÄµ¥Êä³öÉñ¾­ÍøÂç 54
4£®2 ¼ÆËãÊä³ö 56
4£®3 ³õʼ»¯È¨ÖØ 60
4£®4 ¾¶Ïò»ùº¯ÊýÍøÂç 63
4£®4£®1 ¾¶Ïò»ùº¯Êý 64
4£®4£®2 ¾¶Ïò»ùº¯ÊýÍøÂç 65
4£®5 ¹æ·¶»¯Êý¾Ý 67
4£®5£®1 1-of-N ±àÂë 68
4£®5£®2 ·¶Î§¹æ·¶»¯ 69
4£®5£®3 Z ·ÖÊý¹æ·¶»¯70
4£®5£®4 ¸´Ôӹ淶»¯ 73
4£®6 ±¾ÕÂС½á 75
µÚ 5 Õ ѵÁ·ÓëÆÀ¹À 77
5£®1 ÆÀ¹À·ÖÀà 78
5£®1£®1 ¶þÖµ·ÖÀà 79
5£®1£®2 ¶àÀà·ÖÀà 84
5£®1£®3 ¶ÔÊýËðʧ 86
5£®1£®4 ¶àÀà¶ÔÊýËðʧ 88
5£®2 ÆÀ¹À»Ø¹é 88
5£®3 Ä£ÄâÍË»ðѵÁ· 89
5£®4 ±¾ÕÂС½á 92
µÚ 6 Õ ·´Ïò´«²¥ÑµÁ· 93
6£®1 Àí½âÌÝ¶È 93
6£®1£®1 ʲôÊÇÌÝ¶È 94
6£®1£®2 ¼ÆËãÌÝ¶È 96
6£®2 ¼ÆËãÊä³ö½ÚµãÔöÁ¿ 98
6£®2£®1 ¶þ´ÎÎó²îº¯Êý 98
6£®2£®2 ½»²æìØÎó²îº¯Êý 99
6£®3 ¼ÆËãÊ£Óà½ÚµãÔöÁ¿ 99
6£®4 ¼¤»îº¯ÊýµÄµ¼Êý 100
6£®4£®1 ÏßÐÔ¼¤»îº¯ÊýµÄµ¼Êý 100
6£®4£®2 Softmax ¼¤»îº¯ÊýµÄµ¼Êý 100
6£®4£®3 S Ðͼ¤»îº¯ÊýµÄµ¼Êý 101
6£®4£®4 Ë«ÇúÕýÇм¤»îº¯ÊýµÄµ¼Êý 102
6£®4£®5 ReLU ¼¤»îº¯ÊýµÄµ¼Êý 102
6£®5 Ó¦Ó÷´Ïò´«²¥ 103
6£®5£®1 ÅúÁ¿ÑµÁ·ºÍÔÚÏßѵÁ· 104
6£®5£®2 Ëæ»úÌݶÈϽµ 105
6£®5£®3 ·´Ïò´«²¥È¨ÖظüР105
6£®5£®4 Ñ¡ÔñѧϰÂʺͶ¯Á¿ 106
6£®5£®5 Nesterov ¶¯Á¿ 107
6£®6 ±¾ÕÂС½á 108
µÚ 7 Õ ÆäËû´«²¥ÑµÁ· 110
7£®1 µ¯ÐÔ´«²¥ 110
7£®2 RPROP ²ÎÊý 111
7£®3 Êý¾Ý½á¹¹ 113
7£®4 Àí½â RPROP 114
7£®4£®1 È·¶¨ÌݶȵķûºÅ±ä»¯ 114
7£®4£®2 ¼ÆËãȨÖر仯 115
7£®4£®3 Ð޸ĸüÐÂÖµ 115
7£®5 Levenberg-Marquardt Ëã·¨ 116
7£®6 Hessian ¾ØÕóµÄ¼ÆËã 119
7£®7 ¾ßÓжà¸öÊä³öµÄ LMA 120
7£®8 LMA ¹ý³Ì¸ÅÊö 122
7£®9 ±¾ÕÂС½á 122
µÚ 8 Õ NEAT£¬CPPN ºÍ HyperNEAT 124
8£®1 NEAT ÍøÂç 125
8£®1£®1 NEAT Í»±ä 128
8£®1£®2 NEAT ½»²æ 129
8£®1£®3 NEAT ÎïÖÖÐÎ³É 133
8£®2 CPPN ÍøÂç 134
8£®2£®1 CPPN ±íÐÍ 135
8£®3 HyperNEAT ÍøÂç 138
8£®3£®1 HyperNEAT »ù°å 139
8£®3£®2 HyperNEAT ¼ÆËã»úÊÓ¾õ 140
8£®4 ±¾ÕÂС½á 142
µÚ 9 Õ Éî¶Èѧϰ 143
9£®1 Éî¶Èѧϰ×é¼þ 143
9£®2 ²¿·Ö±ê¼ÇµÄÊý¾Ý 144
9£®3 ÐÞÕýÏßÐÔµ¥Ôª 145
9£®4 ¾í»ýÉñ¾­ÍøÂç 145
9£®5 Éñ¾­Ôª Dropout 146
9£®6 GPU ѵÁ· 147
9£®7 Éî¶Èѧϰ¹¤¾ß 149
9£®7£®1 H2O 149
9£®7£®2 Theano 150
9£®7£®3 Lasagne ºÍ NoLearn 150
9£®7£®4 ConvNetJS 152
9£®8 Éî¶ÈÐÅÄîÉñ¾­ÍøÂç 152
9£®8£®1 ÊÜÏÞ²£¶û×ÈÂü»ú 154
9£®8£®2 ѵÁ· DBNN 155
9£®8£®3 Öð²ã²ÉÑù 157
9£®8£®4 ¼ÆËãÕýÌÝ¶È 157
9£®8£®5 ¼ª²¼Ë¹²ÉÑù 159
9£®8£®6 ¸üÐÂȨÖغÍÆ«Öà 160
9£®8£®7 DBNN ·´Ïò´«²¥ 161
9£®8£®8 Éî¶ÈÐÅÄîÓ¦Óà 162
9£®9 ±¾ÕÂС½á 164
µÚ 10 Õ ¾í»ýÉñ¾­ÍøÂç 165
10£®1 LeNET-5 166
10£®2 ¾í»ý²ã 168
10£®3 *´ó³Ø²ã 170
10£®4 ³íÃܲã 172
10£®5 Õë¶Ô MNIST Êý¾Ý¼¯µÄ ConvNets 172
10£®6 ±¾ÕÂС½á 174
µÚ 11 Õ ¼ôÖ¦ºÍÄ£ÐÍÑ¡Ôñ 175
11£®1 Àí½â¼ôÖ¦ 176
11£®1£®1 ¼ôÖ¦Á¬½Ó 176
11£®1£®2 ¼ôÖ¦Éñ¾­Ôª 176
11£®1£®3 ¸ÄÉÆ»ò½µµÍ±íÏÖ 177
11£®2 ¼ôÖ¦Ëã·¨ 177
11£®3 Ä£ÐÍÑ¡Ôñ 179
11£®3£®1 Íø¸ñËÑË÷Ä£ÐÍÑ¡Ôñ 180
11£®3£®2 Ëæ»úËÑË÷Ä£ÐÍÑ¡Ôñ 183
11£®3£®3 ÆäËûÄ£ÐÍÑ¡Ôñ¼¼Êõ 184
11£®4 ±¾ÕÂС½á 185
µÚ 12 Õ Dropout ºÍÕýÔò»¯ 186
12£®1 L1 ºÍ L2 ÕýÔò»¯ 187
12£®1£®1 Àí½â L1 ÕýÔò»¯ 188
12£®1£®2 Àí½â L2 ÕýÔò»¯ 189
12£®2 Dropout ²ã 190
12£®2£®1 Dropout ²ã 191
12£®2£®2 ʵÏÖ Dropout ²ã 191
12£®3 ʹÓà Dropout 194
12£®4 ±¾ÕÂС½á 195
µÚ 13 Õ ʱ¼äÐòÁкÍÑ­»·ÍøÂç 197
13£®1 ʱ¼äÐòÁбàÂë 198
13£®1£®1 ΪÊäÈëºÍÊä³öÉñ¾­Ôª±àÂëÊý¾Ý 199
13£®1£®2 Ô¤²âÕýÏÒ²¨ 200
13£®2 ¼òµ¥Ñ­»·Éñ¾­ÍøÂç 204
13£®2£®1 Elman Éñ¾­ÍøÂç 206
13£®2£®2 Jordan Éñ¾­ÍøÂç 207
13£®2£®3 ͨ¹ýʱ¼äµÄ·´Ïò´«²¥ 208
13£®2£®4 ÃÅ¿ØÑ­»·µ¥Ôª 211
13£®3 ±¾ÕÂС½á 213
µÚ 14 Õ ¼Ü¹¹Éñ¾­ÍøÂç 214
14£®1 ÆÀ¹ÀÉñ¾­ÍøÂç 215
14£®2 ѵÁ·²ÎÊý 215
14£®2£®1 ѧϰÂÊ 216
14£®2£®2 ¶¯Á¿ 218
14£®2£®3 Åú´Î´óС 219
14£®3 ³£¹æ³¬²ÎÊý 220
14£®3£®1 ¼¤»îº¯Êý 220
14£®3£®2 Òþ²ØÉñ¾­ÔªµÄÅäÖà 222
14£®4 LeNet-5 ³¬²ÎÊý 223
14£®5 ±¾ÕÂС½á 224
µÚ 15 Õ ¿ÉÊÓ»¯ 226
15£®1 »ìÏý¾ØÕó 227
15£®1£®1 ¶ÁÈ¡»ìÏý¾ØÕó 227
15£®1£®2 Éú³É»ìÏý¾ØÕó 228
15£®2 t-SNE ½µÎ¬ 229
15£®2£®1 t-SNE ¿ÉÊÓ»¯ 231
15£®2£®2 ³¬Ô½¿ÉÊÓ»¯µÄ t-SNE 235
15£®3 ±¾ÕÂС½á 236
µÚ 16 Õ ÓÃÉñ¾­ÍøÂ罨ģ 237
16£®0£®1 ÌôÕ½ÈüµÄ¾­Ñé 241
16£®0£®2 ÌôÕ½ÈüȡʤµÄ·½·¨ 242
16£®0£®3 ÎÒÃÇÔÚÌôÕ½ÈüÖеķ½·¨ 244
16£®1 ÓÃÉî¶Èѧϰ½¨Ä£ 245
16£®1£®1 Éñ¾­ÍøÂç½á¹¹ 245
16£®1£®2 ×°´ü¶à¸öÉñ¾­ÍøÂç 249
16£®2 ±¾ÕÂС½á 250
¸½Â¼ A ʾÀý´úÂëʹÓÃ˵Ã÷ 252
A£®1 ϵÁÐͼÊé¼ò½é 252
A£®2 ±£³Ö¸üР252
A£®3 »ñȡʾÀý´úÂë 253
A£®3£®1 ÏÂÔØѹËõÎļþ 253
A£®3£®2 ¿Ë¡ Git ²Ö¿â 254
A£®4 ʾÀý´úÂëµÄÄÚÈÝ 255
A£®5 ÈçºÎΪÏîÄ¿×ö¹±Ï× 257
²Î¿¼×ÊÁÏ 259