»ùÓÚBERTÄ£Ð͵Ä×ÔÈ»ÓïÑÔ´¦Àíʵս

Ŀ ¼


¡ï¡ïµÚ1ƪ ÈëÃŨD¨D»ù´¡ÖªÊ¶Óë±à³Ì¿ò¼Ü

µÚ1Õ BERTÄ£ÐͺÜÇ¿´ó£¬ÄãÖµµÃÓµÓÐ /2
¡ï1£®1 È«Çò»¶ÌÚ£¬Ï²Ó­BERTÄ£ÐÍ /2
¡ï1£®2 ΪʲôBERTÄ£ÐÍÕâôǿ /3
¡ï1£®3 ÔõôѧϰBERTÄ£ÐÍ /4
1£®3£®1 BERTÄ£Ð͵ļ¼ÊõÌåϵ /4
1£®3£®2 ѧºÃ×ÔÈ»ÓïÑÔ´¦ÀíµÄ4¼þÌרD¨DÉñ¾­ÍøÂçµÄ»ù´¡ÖªÊ¶¡¢NLPµÄ»ù´¡ÖªÊ¶¡¢±à³Ì¿ò¼ÜµÄʹÓá¢BERTÄ£Ð͵ÄÔ­Àí¼°Ó¦Óà /4
1£®3£®3 ѧϰ±¾ÊéµÄÇ°ÌáÌõ¼þ /5
¡ï1£®4 ×ÔÈ»ÓïÑÔ´¦ÀíµÄ¼¼ÊõÇ÷ÊÆ /5
1£®4£®1 »ùÓÚ³¬´ó¹æÄ£µÄ¸ß¾«¶ÈÄ£ÐÍ /6
1£®4£®2 »ùÓÚ³¬Ð¡¹æÄ£µÄ¸ß¾«¶ÈÄ£ÐÍ /6
1£®4£®3 »ùÓÚСÑù±¾ÑµÁ·µÄÄ£ÐÍ /6

µÚ2Õ Éñ¾­ÍøÂçµÄ»ù´¡ÖªÊ¶¨D¨D¿ÉÄÜÄãÕÆÎÕµÃҲûÓÐÄÇôÀÎ /7
¡ï2£®1 ʲôÊÇÉñ¾­ÍøÂç /7
2£®1£®1 Éñ¾­ÍøÂçÄܽâ¾öÄÄЩÎÊÌâ /7
2£®1£®2 Éñ¾­ÍøÂçµÄ·¢Õ¹ /7
2£®1£®3 ʲôÊÇÉî¶Èѧϰ /8
2£®1£®4 ʲôÊÇͼÉñ¾­ÍøÂç /8
2£®1£®5 ʲôÊÇͼÉî¶Èѧϰ /9
¡ï2£®2 Éñ¾­ÍøÂçµÄ¹¤×÷Ô­Àí /10
2£®2£®1 Á˽ⵥ¸öÉñ¾­Ôª /10
2£®2£®2 ÉúÎïÉñ¾­ÔªÓë¼ÆËã»úÉñ¾­ÔªÄ£Ð͵ĽṹÏàËÆÐÔ /12
2£®2£®3 ÉúÎïÉñ¾­ÔªÓë¼ÆËã»úÉñ¾­ÔªÄ£Ð͵Ť×÷Á÷³ÌÏàËÆÐÔ /12
2£®2£®4 Éñ¾­ÍøÂçµÄÐÎ³É /13
¡ï2£®3 Éî¶ÈѧϰÖаüº¬ÁËÄÄЩÉñ¾­ÍøÂç /13
2£®3£®1 È«Á¬½ÓÉñ¾­ÍøÂç /13
2£®3£®2 ¾í»ýÉñ¾­ÍøÂç /17
2£®3£®3 Ñ­»·Éñ¾­ÍøÂç /23
2£®3£®4 ´øÓÐ×¢ÒâÁ¦»úÖƵÄÉñ¾­ÍøÂç /30
2£®3£®5 ×Ô±àÂëÉñ¾­ÍøÂç /34
¡ï2£®4 ͼÉî¶ÈѧϰÖаüº¬ÄÄЩÉñ¾­ÍøÂç /36
2£®4£®1 ͬ¹¹Í¼Éñ¾­ÍøÂç /37
2£®4£®2 Ò칹ͼÉñ¾­ÍøÂç /37
¡ï2£®5 ¼¤»îº¯Êý¨D¨D¼ÓÈë·ÇÏßÐÔÒòËØ£¬ÒÔ½â¾öÏßÐÔÄ£Ð͵ÄȱÏÝ /38
2£®5£®1 ³£Óõļ¤»îº¯Êý /38
2£®5£®2 ¸üºÃµÄ¼¤»îº¯Êý¨D¨DSwish()ÓëMish() /41
2£®5£®3 ¸üÊʺÏNLPÈÎÎñµÄ¼¤»îº¯Êý¨D¨DGELU() /43
2£®5£®4 ¼¤»îº¯Êý×ܽá /44
2£®5£®5 ·ÖÀàÈÎÎñÓëSoftmaxËã·¨ /44
¡ï2£®6 ѵÁ·Ä£Ð͵ÄÔ­Àí /45
2£®6£®1 ·´Ïò´«²¥ÓëBPËã·¨ /47
2£®6£®2 Éñ¾­ÍøÂçÄ£¿éÖеÄËðʧº¯Êý /49
2£®6£®3 ѧϰÂÊ /50
2£®6£®5 ÓÅ»¯Æ÷ /51
2£®6£®6 ѵÁ·Ä£Ð͵ÄÏà¹ØËã·¨£¬»áÓþÍÐÐ /52
¡ï2£®7 ¡¾ÊµÀý¡¿ÓÃÑ­»·Éñ¾­ÍøÂçʵÏÖÍËλ¼õ·¨ /52
¡ï2£®8 ѵÁ·Ä£ÐÍÖеij£¼ûÎÊÌâ¼°ÓÅ»¯¼¼ÇÉ /56
2£®8£®1 ¹ýÄâºÏÓëÇ·ÄâºÏÎÊÌâ /56
2£®8£®2 ¸ÄÉÆÄ£Ð͹ýÄâºÏµÄ·½·¨ /56
2£®8£®3 Á˽âÕýÔò»¯¼¼ÇÉ /57
2£®8£®4 Á˽âDropout¼¼ÇÉ /57
2£®8£®5 Targeted DropoutÓëMulti-sample Dropout /58
2£®8£®6 ÅúÁ¿¹éÒ»»¯£¨BN£©Ëã·¨ /59
2£®8£®7 ¶àÖÖBNËã·¨µÄ½éÉÜÓëÑ¡È¡ /64
2£®8£®8 È«Á¬½ÓÍøÂçµÄÉîdzÓë·º»¯ÄÜÁ¦µÄÁªÏµ /64

µÚ3Õ NLPµÄ»ù´¡ÖªÊ¶¨D¨DNLPûÄÇô¡°Ðþ¡± /65
¡ï3£®1 NLPµÄ±¾ÖÊÓëÔ­Àí /65
3£®1£®1 Çé¸Ð·ÖÎö¡¢ÏàËƶȷÖÎöµÈÈÎÎñµÄ±¾ÖÊ /65
3£®1£®2 ÍêÐÎÌî¿Õ¡¢ÊµÌå´Êʶ±ðµÈÈÎÎñµÄ±¾ÖÊ /66
3£®1£®3 ÎÄÕÂÕªÒªÈÎÎñ¡¢ÎÊ´ðÈÎÎñ¡¢·­ÒëÈÎÎñµÄ±¾ÖÊ /67
¡ï3£®2 NLPµÄ³£Óù¤¾ß /68
3£®2£®1 ×ÔÈ»ÓïÑÔ´¦Àí¹¤¾ß°ü¨D¨DSpaCy /68
3£®2£®2 ÖÐÎķִʹ¤¾ß¨D¨DJieba /69
3£®2£®3 ÖÐÎÄתƴÒô¹¤¾ß¨D¨DPypinyin /69
3£®2£®4 ÆÀ¹À·­ÒëÖÊÁ¿µÄËã·¨¿â¨D¨DSacreBLEU /70
¡ï3£®3 ¼ÆËã»úÖеÄ×Ö·û±àÂë /70
3£®3£®1 ʲôÊÇASCII±àÂë /71
3£®3£®2 Ϊʲô»á³öÏÖÂÒÂëÎÊÌâ /71
3£®3£®3 ʲôÊÇUnicode /71
3£®3£®4 ½èÖúUnicode ´¦ÀíÖÐÎÄ×Ö·ûµÄ³£ÓòÙ×÷ /73
¡ï3£®4 ¼ÆËã»úÖеĴÊÓë¾ä /74
3£®4£®1 ´Ê±íÓë´ÊÏòÁ¿ /75
3£®4£®2 ´ÊÏòÁ¿µÄÔ­Àí¼°ÒâÒå /75
3£®4£®3 ¶àÏîʽ·Ö²¼ /76
3£®4£®4 ʲôÊÇÒÀ´æ¹Øϵ·ÖÎö /77
3£®4£®5 ʲôÊÇTF /79
3£®4£®6 ʲôÊÇIDF /79
3£®4£®7 ʲôÊÇTF-IDF /80
3£®4£®8 ʲôÊÇBLEU /80
¡ï3£®5 ʲôÊÇÓïÑÔÄ£ÐÍ /81
3£®5£®1 ͳ¼ÆÓïÑÔÄ£ÐÍ /81
3£®5£®2 CBOWÓëSkip-GramÓïÑÔÄ£ÐÍ /81
3£®5£®3 ×Ô±àÂ루Auto Encoding£¬AE£©ÓïÑÔÄ£ÐÍ /82
3£®5£®4 ×Իع飨Auto Regressive£¬AR£©ÓïÑÔÄ£ÐÍ /83
¡ï3£®6 Îı¾Ô¤´¦ÀíµÄ³£Ó÷½·¨ /83
3£®6£®1 NLPÊý¾Ý¼¯µÄ»ñÈ¡ÓëÇåÏ´ /83
3£®6£®2 »ùÓÚÂí¶û¿É·òÁ´µÄÊý¾ÝÔöÇ¿ /84

µÚ4Õ ´î½¨±à³Ì»·¾³¨D¨D´Ó°²×°¿ªÊ¼£¬¸üÊʺÏÁã»ù´¡ÈëÃÅ /87
¡ï4£®1 ±à³Ì¿ò¼Ü½éÉÜ /87
4£®1£®1 PyTorch½éÉÜ /87
4£®1£®2 DGL¿â½éÉÜ /88
4£®1£®3 Ö§³ÖBERTÄ£Ð͵ij£Óù¤¾ß¿â½éÉÜ /89
¡ï4£®2 ´î½¨Python¿ª·¢»·¾³ /89
¡ï4£®3 ´î½¨PyTorch¿ª·¢»·¾³ /91
¡ï4£®4 ´î½¨DGL»·¾³ /95
¡ï4£®5 °²×°Transformers¿â /96

µÚ2ƪ »ù´¡¨D¨DÉñ¾­ÍøÂçÓëBERTÄ£ÐÍ

µÚ5Õ PyTorch±à³Ì»ù´¡ /100
¡ï5£®1 Éñ¾­ÍøÂçÖеĻù´¡Êý¾ÝÀàÐÍ /100
¡ï5£®2 ¾ØÕóÔËËãµÄ»ù´¡ /101
5£®2£®1 תÖþØÕó /101
5£®2£®2 ¶Ô³Æ¾ØÕó¼°ÆäÌØÐÔ /101
5£®2£®3 ¶Ô½Ç¾ØÕóÓ뵥λ¾ØÕó /101
5£®2£®4 °¢´ïÂê»ý£¨Hadamard Product£© /102
5£®2£®5 µã»ý£¨Dot Product£© /102
5£®2£®6 ¶Ô½Ç¾ØÕóµÄÌØÐÔÓë²Ù×÷·½·¨ /103
¡ï5£®3 PyTorchÖеÄÕÅÁ¿ /104
5£®3£®1 ¶¨ÒåÕÅÁ¿µÄ·½·¨ /105
5£®3£®2 Éú³ÉËæ»úÖµÕÅÁ¿ /107
5£®3£®3 ÕÅÁ¿µÄ»ù±¾²Ù×÷ /108
5£®3£®4 ÔÚCPUºÍGPU¿ØÖƵÄÄÚ´æÖж¨ÒåÕÅÁ¿ /112
5£®3£®5 ÕÅÁ¿¼äµÄÊý¾Ý²Ù×÷ /113
¡ï5£®4 VariableÀàÐÍÓë×Ô¶¯Î¢·ÖÄ£¿é /118
5£®4£®1 Variable¶ÔÏóÓëTensor¶ÔÏóÖ®¼äµÄת»» /118
5£®4£®2 ¿ØÖÆÌݶȼÆËãµÄ·½·¨ /119
5£®4£®3 Variable¶ÔÏóµÄÊôÐÔ /121
¡ï5£®5 ¡¾ÊµÀý¡¿ÓÃPyTorchʵÏÖÒ»¸ö¼òµ¥Ä£ÐÍ /124
5£®5£®1 ×¼±¸¿É¸´ÏÖµÄËæ»úÊý¾Ý /124
5£®5£®2 ʵÏÖ²¢ÑµÁ·Ä£ÐÍ /125
5£®5£®3 ¿ÉÊÓ»¯Ä£ÐÍÄÜÁ¦ /128
¡ï5£®6 ¶¨ÒåÄ£ÐͽṹµÄ³£Ó÷½·¨ /129
5£®6£®1 ModuleÀàµÄʹÓ÷½·¨ /129
5£®6£®2 Ä£ÐÍÖеIJÎÊý£¨Parameters±äÁ¿£© /131
5£®6£®3 ΪģÐÍÌí¼Ó²ÎÊý /132
5£®6£®4 ´ÓÄ£ÐÍÖлñÈ¡²ÎÊý /133
5£®6£®5 ¼¤»îÄ£ÐÍ½Ó¿Ú /135
5£®6£®6 L2ÕýÔò»¯½Ó¿Ú /136
5£®6£®7 Dropout½Ó¿Ú /136
5£®6£®8 ÅúÁ¿¹éÒ»»¯½Ó¿Ú /137
5£®6£®9 ¡¾ÊµÀý¡¿ÊÖ¶¯ÊµÏÖBNµÄ¼ÆËã·½·¨ /139
¡ï5£®7 ±£´æÓëÔØÈëÄ£Ð͵ij£Ó÷½·¨ /141
¡ï5£®8 ѵÁ·Ä£Ð͵ĽӿÚÓëʹÓà /143
5£®8£®1 ѡȡѵÁ·Ä£ÐÍÖеÄËðʧº¯Êý /143
5£®8£®2 ¡¾ÊµÀý¡¿Softmax½Ó¿ÚµÄʹÓà /144
5£®8£®3 ÓÅ»¯Æ÷µÄʹÓÃÓëÓÅ»¯²ÎÊýµÄ²é¿´ /146
5£®8£®4 ÓÃÍË»¯Ñ§Ï°ÂÊѵÁ·Ä£ÐÍ /147
5£®8£®5 ΪģÐÍÌí¼Ó¹³×Óº¯Êý /152
5£®8£®6 ¶àÏÔ¿¨µÄѵÁ··½·¨ /153
5£®8£®7 ÌݶÈÀÛ¼ÓµÄѵÁ··½·¨ /153
¡ï5£®9 ´¦ÀíÊý¾Ý¼¯µÄ½Ó¿ÚÓëʹÓà /154
5£®9£®1 ÓÃDataLoaderÀàʵÏÖ×Ô¶¨ÒåÊý¾Ý¼¯ /155
5£®9£®2 DataLoaderÀàÖеĶàÖÖ²ÉÑùÆ÷×ÓÀà /155
5£®9£®3 Torchtext¹¤¾ßÓëÄÚÖÃÊý¾Ý¼¯ /156
¡ï5£®10 ¡¾ÊµÀý¡¿ÑµÁ·ÖÐÎÄ´ÊÏòÁ¿ /157
5£®10£®1 ÓÃJieba¿â½øÐÐÖÐÎÄÑù±¾Ô¤´¦Àí /158
5£®10£®2 °´ÕÕSkip-Gram¹æÔòÖÆ×÷Êý¾Ý¼¯ /159
5£®10£®3 ´î½¨Ä£ÐͲ¢½øÐÐѵÁ· /161
5£®10£®4 ¼Ð½ÇÓàÏÒÖµ½éÉÜ /164
¡ï5£®11 ¾í»ýÉñ¾­ÍøÂçµÄʵÏÖ /166
5£®11£®1 Á˽â¾í»ý½Ó¿Ú /166
5£®11£®2 ¾í»ý²Ù×÷µÄÀàÐÍ /168
5£®11£®3 ¾í»ý²ÎÊýÓë¾í»ý½á¹ûµÄ¼ÆËã¹æÔò /169
5£®11£®4 ¡¾ÊµÀý¡¿¾í»ýº¯ÊýµÄʹÓà /169
5£®11£®5 Á˽â³Ø»¯½Ó¿Ú /174
5£®11£®6 ¡¾ÊµÀý¡¿³Ø»¯º¯ÊýµÄʹÓà /175
¡ï5£®12 ¡¾ÊµÀý¡¿Óþí»ýÉñ¾­ÍøÂçʵÏÖÎı¾·ÖÀàÈÎÎñ /177
5£®12£®1 Á˽âÓÃÓÚÎı¾·ÖÀàµÄ¾í»ýÍøÂç¨D¨DTextCNNÄ£ÐÍ /177
5£®12£®2 ±àд´úÂëʵÏÖʵÀý /179
5£®12£®3 ÓöàGPU²¢ÐÐѵÁ·Ä£ÐÍ /184
5£®12£®4 ÔÚ¶àGPUµÄѵÁ·¹ý³ÌÖУ¬±£´æ/¶ÁÈ¡Ä£ÐÍÎļþµÄ×¢ÒâÊÂÏî /185
5£®12£®5 ´¦ÀíÏÔ´æ²ÐÁôÎÊÌâ /186
¡ï5£®13 RNNµÄʵÏÖ /187
5£®13£®1 LSTMÓëGRU½Ó¿ÚµÄʵÏÖ /187
5£®13£®2 ¶àÏîʽ·Ö²¼²ÉÑù½Ó¿Ú /188
¡ï5£®14 ¡¾ÊµÀý¡¿ÓÃRNNѵÁ·ÓïÑÔÄ£ÐÍ /189
5£®14£®1 ʵÏÖÓïÑÔÄ£Ð͵Ä˼·Óë²½Öè /189
5£®14£®2 ×¼±¸Ñù±¾Óë´úÂëʵÏÖ /189
¡ï5£®15 ¡¾ÊµÀý¡¿ÊÖ¶¯ÊµÏÖÒ»¸ö´øÓÐ×Ô×¢ÒâÁ¦»úÖƵÄÄ£ÐÍ /192
¡ï5£®16 ¡¾ÊµÀý¡¿ÀûÓôø×¢ÒâÁ¦»úÖƵÄÑ­»·Éñ¾­ÍøÂç¶ÔÎı¾½øÐзÖÀà /194
5£®16£®1 ÖÆ×÷µÈ³¤Êý¾Ý¼¯²¢ÊµÏÖLSTMÄ£ÐÍ /194
5£®16£®2 ÓÃÌݶȼô¼­¼¼ÇÉÓÅ»¯ÑµÁ·¹ý³Ì /195

µÚ6Õ BERTÄ£Ð͵ÄÔ­Àí /197
¡ï6£®1 BERTÄ£Ð͵ÄÆðÔ´¨D¨DTransformerÄ£ÐÍ /197
6£®1£®1 TransformerÄ£ÐͳöÏÖ֮ǰµÄÖ÷Á÷Ä£ÐÍ /197
6£®1£®2 TransformerÄ£Ð͵ÄÔ­Àí /199
6£®1£®3 TransformerÄ£Ð͵ÄÓÅȱµã /204
¡ï6£®2 ¡¾ÊµÀý¡¿ÓÃTransformerÄ£ÐͽøÐÐÖÐ/Ó¢ÎÄ·­Òë /204
¡ï6£®3 BERTÄ£Ð͵ÄÔ­Àí /206
6£®3£®1 BERTÄ£Ð͵ÄѵÁ·¹ý³Ì /207
6£®3£®2 BERTÄ£Ð͵ÄԤѵÁ··½·¨ /207
6£®3£®3 BERTÄ£Ð͵ÄÑÚÂë»úÖÆ /208
6£®3£®4 BERTÄ£Ð͵ÄѵÁ·²ÎÊý /210
6£®3£®5 BERTÄ£Ð͵Äȱµã /210
¡ï6£®4 ¸ß¾«¶ÈµÄBERTologyϵÁÐÄ£ÐÍ /211
6£®4£®1 ÊʺÏÉú³ÉÎÄÕµÄÄ£ÐͨD¨DGPTÄ£ÐÍ /211
6£®4£®2 Ö§³ÖÈË»ú¶Ô»°µÄÄ£ÐͨD¨DDialoGPTÄ£ÐÍ /212
6£®4£®3 ÈÚºÏÁËBERTÄ£ÐÍÓëGPT¼¼ÊõµÄÄ£ÐͨD¨DMASSÄ£ÐÍ /212
6£®4£®4 Ö§³Ö³¤Îı¾ÊäÈëµÄÄ£ÐͨD¨DTransformer-XLÄ£ÐÍ /212
6£®4£®5 Ö§³Ö¸ü³¤Îı¾µÄÄ£ÐͨD¨DXLNetÄ£ÐÍ /213
6£®4£®6 ÃÖ²¹XLNetÄ£ÐͲ»×ãµÄÄ£ÐͨD¨DMPNetÄ£ÐÍ /217
6£®4£®7 ÎȽ¡ÐÔ¸üºÃµÄÄ£ÐͨD¨DRoBERTaÄ£ÐÍ /217
6£®4£®8 ʹÓÃÁËÏ¡Êè×¢ÒâÁ¦µÄÄ£ÐͨD¨DLongformer¡¢BigBirdÄ£ÐÍ /218
6£®4£®9 »ùÓÚ´ÊÑÚÂëµÄÄ£ÐͨD¨DBERT-WWM¡¢Wo BERTµÈÄ£ÐÍ /220
6£®4£®10 »ùÓÚС¶ÎÎÄ×ÖÑÚÂëµÄÄ£ÐͨD¨DSpanBERTÄ£ÐÍ /220
6£®4£®11 ÊʺϷ­ÒëÈÎÎñµÄÄ£ÐͨD¨DT5Ä£ÐÍ /221
6£®4£®12 Ö§³Ö¶àÖÖÓïÑԵķ­ÒëÄ£ÐͨD¨DXLM¡¢XLM-RobertaÄ£ÐÍ /222
6£®4£®13 ¼ÈÄÜÔĶÁÓÖÄÜд×÷µÄÄ£ÐͨD¨DUniLM 2£®0Ä£ÐÍ /223
6£®4£®14 ÊÊÓÃÓÚÓï·¨¾À´íÈÎÎñµÄÄ£ÐͨD¨DStructBERT¡¢BartÄ£ÐÍ /224
6£®4£®15 ¿ÉÒÔ½øÐж¨Ïòд×÷µÄÄ£ÐͨD¨DCTRLÄ£ÐÍ /225
6£®4£®16 ÊʺÏÕªÒªÉú³ÉµÄÄ£ÐͨD¨DPEGASUSÄ£ÐÍ /226
6£®4£®17 Ö§³Ö¸ü¶àÓïÑÔµÄÄ£ÐͨD¨DT-ULR V2Ä£ÐÍ /227
¡ï6£®5 С¹æÄ£µÄBERTologyϵÁÐÄ£ÐÍ /227
6£®5£®1 ±ÈRoBERTaÄ£ÐÍѵÁ·Ëٶȸü¿ìµÄÄ£ÐͨD¨DELECTRAÄ£ÐÍ /228
6£®5£®2 ÊÊÓÃÓÚÎı¾·ÖÀàµÄ³¬Ð¡Ä£ÐͨD¨DPRADO¡¢pQRNNÄ£ÐÍ /229
6£®5£®3 ±ÈBERTÄ£Ð͸üÊʺÏÓÚ²¿Ê𳡾°µÄÄ£ÐͨD¨DDistillBERTÄ£ÐÍ /231
6£®5£®4 ±ÈBERTÄ£Ð͸ü¿ìµÄÄ£ÐͨD¨DFastBERTÄ£ÐÍ /232
6£®5£®5 ´øÓÐͨÓÃÕôÁó·½°¸µÄÄ£ÐͨD¨DMiniLMÄ£ÐÍ /233
6£®5£®6 ¾«¼ò°æµÄBERTÄ£ÐͨD¨DALBERT¡¢ALBERT_tiny¡¢
ALBERT V2Ä£ÐÍ /234
¡ï6£®6 BERTologyϵÁÐÄ£Ð͵ÄԤѵÁ··½·¨×ܽá /237
6£®6£®1 AEʽѵÁ··½·¨µÄ³£ÓòßÂÔ /237
6£®6£®2 ¸ü¶àµÄѵÁ·¾­Ñé /237

µÚ7Õ BERTÄ£Ð͵ĿìËÙÓ¦ÓèD¨DBERTÄ£ÐÍËäȻǿ´ó£¬Ê¹ÓÃÈ´²»¸´ÔÓ£¡ /239
¡ï7£®1 Á˽âTransformers¿â /239
¡ï7£®2 Transformers¿âµÄ3²ãÓ¦Óýṹ /240
¡ï7£®3 ¡¾ÊµÀý¡¿ÓÃTransformers¿âµÄ¹ÜµÀ·½Ê½Íê³É¶àÖÖNLPÈÎÎñ /241
7£®3£®1 ÔڹܵÀ·½Ê½ÖÐÖ¸¶¨NLPÈÎÎñ /241
7£®3£®2 ´úÂëʵÏÖ£ºÍê³ÉÎı¾·ÖÀàÈÎÎñ /242
7£®3£®3 ´úÂëʵÏÖ£ºÍê³ÉÌØÕ÷ÌáÈ¡ÈÎÎñ /243
7£®3£®4 ´úÂëʵÏÖ£ºÍê³ÉÍêÐÎÌî¿ÕÈÎÎñ /244
7£®3£®5 ´úÂëʵÏÖ£ºÍê³ÉÔĶÁÀí½âÈÎÎñ /245
7£®3£®6 ´úÂëʵÏÖ£ºÍê³ÉÕªÒªÉú³ÉÈÎÎñ /247
7£®3£®7 ԤѵÁ·Ä£ÐÍÎļþµÄ×é³ÉÓëÆä¼ÓÔØʱµÄ¹Ì¶¨Ãû³Æ /248
7£®3£®8 ´úÂëʵÏÖ£ºÍê³ÉʵÌå´Êʶ±ðÈÎÎñ /248
7£®3£®9 ¹ÜµÀ·½Ê½µÄ¹¤×÷Ô­Àí /249
7£®3£®10 ÔڹܵÀ·½Ê½ÖÐÓ¦ÓÃÖ¸¶¨Ä£ÐÍ /251
¡ï7£®4 Transformers¿âÖеÄ×Ô¶¯Ä£ÐÍ£¨AutoModel£©Àà /252
7£®4£®1 ¸÷ÖÖAutoModelÀà /252
7£®4£®2 AutoModelÀàµÄÄ£ÐͼÓÔØ»úÖÆ /253
7£®4£®3 Transformers¿âÖеÄÆäËûÓïÑÔÄ£ÐÍ /254
¡ï7£®5 Transformers¿âÖеÄBERTologyϵÁÐÄ£ÐÍ /255
7£®5£®1 Transformers¿âµÄÎļþ½á¹¹ /255
7£®5£®2 »ñÈ¡ºÍ¼ÓÔØԤѵÁ·Ä£ÐÍÎļþ /257
7£®5£®3 ²éÕÒTransformers¿âÖпÉÒÔʹÓõÄÄ£ÐÍ /260
7£®5£®4 ¡¾ÊµÀý¡¿ÓÃBERTÄ£ÐÍʵÏÖÍêÐÎÌî¿ÕÈÎÎñ /261
7£®5£®5 ¡¾À©Õ¹ÊµÀý¡¿ÓÃ×Ô¶¯Ä£ÐÍÀàÌæ»»BertForMaskedLMÀà /264
¡ï7£®6 Transformers¿âÖÐµÄ´Ê±í¹¤¾ß /264
7£®6£®1 PreTrainedTokenizerÀàÖеÄÌØÊâ´Ê /265
7£®6£®2 PreTrainedTokenizerÀàÖеÄÌØÊâ´ÊµÄʹÓà /266
7£®6£®3 ÏòPreTrainedTokenizerÀàÖÐÌí¼Ó´Ê /269
7£®6£®4 ¡¾ÊµÀý¡¿ÓÃÊÖ¶¯¼ÓÔØGPT-2Ä£ÐÍȨÖصķ½Ê½½«¾ä×Ó²¹³äÍêÕû /270
7£®6£®5 ×Ӵʲð·Ö /274
¡ï7£®7 ¡¾ÊµÀý¡¿ÓÃǨÒÆѧϰѵÁ·BERTÄ£ÐÍÀ´¶ÔÖÐÎÄ·ÖÀà /275
7£®7£®1 NLPÖеÄǨÒÆѧϰ /275
7£®7£®2 ¹¹½¨Êý¾Ý¼¯ /277
7£®7£®3 ¹¹½¨²¢¼ÓÔØBERTÄ£Ð͵ÄԤѵÁ·Ä£ÐÍ /279
7£®7£®4 Transformers¿âÖеĵײãÀà /280
7£®7£®5 ÓÃÍË»¯Ñ§Ï°ÂÊѵÁ·Ä£ÐÍ /281
7£®7£®6 ÓÃÊý¾ÝÔöÇ¿·½·¨ÑµÁ·Ä£ÐÍ /282

µÚ8Õ ģÐ͵ĿɽâÊÍÐÔ¨D¨DÉîÈëÄ£ÐÍÄÚ²¿£¬Ì½¾¿Æ乤×÷µÄ¸ùÔ´ /283
¡ï8£®1 Ä£Ð͵ĿɽâÊÍ¿â /283
8£®1£®1 Á˽âCaptum¿â /283
8£®1£®2 Captum¿âµÄ¿ÉÊÓ»¯¹¤¾ß¨D¨DCaptum Insights /284
¡ï8£®2 ʲôÊÇÌݶȻý·Ö·½·¨ /284
¡ï8£®3 ¡¾ÊµÀý¡¿¶ÔNLPÄ£Ð͵ĿɽâÊÍÐÔ·ÖÎö /284
8£®3£®1 ·ÖÎö´ÊǶÈëÄ£ÐÍ /284
8£®3£®2 ²ð½âNLPÄ£Ð͵Ĵ¦Àí¹ý³Ì /285
8£®3£®3 ÓÃCaptum¿âÌáÈ¡NLPÄ£Ð͵ĴÊǶÈë²ã /286
8£®3£®4 ÓÃÌݶȻý·ÖµÄ·½·¨¼ÆËãÄ£Ð͵ĿɽâÊÍÐÔ /287
8£®3£®5 ¿ÉÊÓ»¯Ä£Ð͵ĿɽâÊÍÐÔ /289
¡ï8£®4 ¡¾ÊµÀý¡¿BERTÄ£Ð͵ĿɽâÊÍÐÔ·ÖÎö /291
8£®4£®1 Á˽âBERTÄ£Ð͵ĿɽâÊÍÐÔ¹¤¾ß¨D¨DBertviz /291
8£®4£®2 ÓÃBertviz¹¤¾ß¿ÉÊÓ»¯BERTÄ£Ð͵ÄȨÖØ /292
8£®4£®3 ·ÖÎöBERTÄ£Ð͵ÄȨÖزÎÊý /296
¡ï8£®5 ÓÃͼÉñ¾­ÍøÂç½âÊÍBERTÄ£ÐÍ /300
8£®5£®1 µã»ý¼ÆËãÓë¾ÛºÏ¼ÆËãµÄ¹Øϵ /300
8£®5£®2 ´ÓͼµÄ½Ç¶È˼¿¼BERTÄ£ÐÍ /302

¡ï¡ïµÚ3ƪ BERTÄ£ÐÍʵս

µÚ9Õ ͼÉñ¾­ÍøÂçÓëBERTÄ£Ð͵ĽáºÏ /306
¡ï9£®1 ͼÉñ¾­ÍøÂç»ù´¡ /306
9£®1£®1 ͼµÄÏà¹ØÊõÓïºÍ²Ù×÷ /306
9£®1£®2 ͼ¾í»ýÉñ¾­ÍøÂç /310
¡ï9£®2 DGL¿âµÄʹÓ÷½·¨ /314
9£®2£®1 ´´½¨Í¼½á¹¹ /314
9£®2£®2 DGL¿âÓëNetWorkx¿âµÄÏ໥ת»» /316
9£®2£®3 ͼµÄ»ù±¾²Ù×÷ /319
9£®2£®4 ͼµÄÏûÏ¢´«²¥»úÖÆ /322
9£®2£®5 DGL¿âÖеĶàͼ´¦Àí /324
¡ï9£®3 ¡¾ÊµÀý¡¿ÓÃͼ½ÚµãµÄ¾ÛºÏ·½·¨ÊµÏÖBERTÄ£ÐÍ /325
9£®3£®1 »ùÓÚTransformers¿âµÄBERTÄ£ÐÍÐ޸ķ½°¸ /325
9£®3£®2 ʵÏÖͼ½Úµã¾ÛºÏµÄºËÐÄ´úÂë /326
9£®3£®3 ½«Ô­BERTÄ£Ð͵ÄȨÖØÓ¦Óõ½»ùÓÚͼ½Úµã¾ÛºÏ·½·¨ÊµÏÖµÄ
BERTÄ£ÐÍÉÏ /327
¡ï9£®4 ʲôÊǹØϵͼ¾í»ýÍøÂ磨R-GCN£©Ä£ÐÍ /329
9£®4£®1 R-GCNÄ£Ð͵ÄÔ­Àí /329
9£®4£®2 »ùÓÚR-GCNÄ£Ð͵ÄÓÅ»¯ /330
9£®4£®3 R-GCNÄ£Ð͵ÄʵÏÖ /330
¡ï9£®5 ¡¾ÊµÀý¡¿ÓÃR-GCNÄ£ÐÍÀí½âÎı¾ÖеĴú´Ê /332
9£®5£®1 ´ú´ÊÊý¾Ý¼¯£¨GAP£©½éÉÜ /332
9£®5£®2 ½«GAPÊý¾Ý¼¯×ª»»³É¡°Í¼¡±½á¹¹Êý¾ÝµÄ˼· /333
9£®5£®3 ÓÃBERTÄ£ÐÍÌáÈ¡´ú´ÊÌØÕ÷ /335
9£®5£®4 ÓÃBERTÄ£ÐÍÌáÈ¡ÆäËû´ÊÌØÕ÷ /337
9£®5£®5 ÓÃSpaCy¹¤¾ßºÍÅú´Îͼ·½·¨¹¹½¨Í¼Êý¾Ý¼¯ /339
9£®5£®6 ´î½¨¶à²ãR-GCNÄ£ÐÍ /344
9£®5£®7 ÓÃ5ÕÛ½»²æÑéÖ¤·½·¨ÑµÁ·Ä£ÐÍ /345

µÚ10Õ BERTÄ£Ð͵ÄÐÐÒµÓ¦Óà /347
¡ï10£®1 BERTÄ£ÐÍÔÚÎı¾¾À´íÁìÓòµÄÓ¦Óà /347
10£®1£®1 Îı¾¾À´íÖеij£¼ûÈÎÎñ¼°½â¾ö°ì·¨ /347
10£®1£®2 Àí½âBERTÄ£Ð͵ľÀ´íÄÜÁ¦ /348
10£®1£®3 ¸Ä½øBERTÄ£ÐÍʹÆä¾ßÓиüÇ¿µÄ¾À´íÄÜÁ¦ /348
10£®1£®4 רÓÃÓÚÎı¾¾À´íµÄÄ£ÐͨD¨DSoft-Masked BERTÄ£ÐÍ /349
10£®1£®5 »ùÓÚͼÉñ¾­ÍøÂçµÄÎı¾¾À´íÄ£ÐͨD¨DSpellGCNÄ£ÐÍ /350
10£®1£®6 ¡¾ÊµÀý¡¿ÓÃTransformersºÍDGL¿âʵÏÖSpellGCNÄ£ÐÍ /351
¡ï10£®2 BERT¼¼ÊõÔÚÁÄÌì»úÆ÷ÈËÁìÓòµÄÓ¦Óà /352
10£®2£®1 ÁÄÌì»úÆ÷È˵ÄÖÖÀàÓëʵÏÖ¼¼Êõ /353
10£®2£®2 »ùÓÚBERTÄ£ÐÍÍê³ÉÁÄÌìÈÎÎñµÄ˼· /354
10£®2£®3 ¡¾ÊµÀý¡¿ÓÃÀÛ¼ÓÌݶÈѵÁ·Ö§³ÖÖÐÎĵÄDialoGPTÄ£ÐÍ /355
10£®2£®4 ¸üÇ¿´óµÄ¶àÂÖÁÄÌìÄ£ÐͨD¨DMeenaÄ£ÐÍ /360
¡ï10£®3 BERTÄ£ÐÍÔÚ·þÎñÆ÷¶Ë²¿ÊðµÄÓ¦Óà /360
10£®3£®1 ÓÃtransformers-cli¹¤¾ß¿ìËÙ²¿ÊðBERTÄ£ÐÍ /360
10£®3£®2 ÓÃtorchserve¿â²¿ÊðBERTÄ£ÐÍ /362