´óÊý¾Ý´¦Àí¿ò¼ÜApache SparkÉè¼ÆÓëʵÏÖ(È«²Ê)

Ŀ ¼
µÚ 1 Õ ´óÊý¾Ý´¦Àí¿ò¼Ü¸ÅÀÀ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®2
1£®1 ´óÊý¾Ý¼°Æä´øÀ´µÄÌôÕ½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®2
1£®2 ´óÊý¾Ý´¦Àí¿ò¼Ü £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®3
1£®3 ´óÊý¾ÝÓ¦Óü°±à³ÌÄ£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®4
1£®4 ´óÊý¾Ý´¦Àí¿ò¼ÜµÄËIJã½á¹¹ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®5
1£®4£®1 Óû§²ã £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 7
1£®4£®2 ·Ö²¼Ê½Êý¾Ý²¢Ðд¦Àí²ã £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®11
1£®4£®3 ×ÊÔ´¹ÜÀíÓëÈÎÎñµ÷¶È²ã £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®13
1£®4£®4 ÎïÀíÖ´Ðв㠣®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®15
1£®5 ´íÎóÈÝÈÌ»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®17
1£®6 ÆäËû´óÊý¾Ý´¦Àí¿ò¼Ü £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®18
1£®7 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®18
1£®8 À©Õ¹ÔĶÁ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®18
µÚ 2 Õ Spark ϵͳ²¿ÊðÓëÓ¦ÓÃÔËÐеĻù±¾Á÷³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®20
2£®1 Spark °²×°²¿Êð £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®20
2£®2 Spark ϵͳ¼Ü¹¹ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®21
2£®3 Spark Ó¦ÓÃÀý×Ó £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®24
2£®3£®1 Óû§´úÂë»ù±¾Âß¼­ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® £®24
2£®3£®2 Âß¼­´¦ÀíÁ÷³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 28
2£®3£®3 ÎïÀíÖ´Ðмƻ® £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 32
2£®3£®4 ¿ÉÊÓ»¯Ö´Ðйý³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 34
2£®4 Spark ±à³ÌÄ£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®38
2£®5 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®39
µÚ 3 Õ Spark Âß¼­´¦ÀíÁ÷³Ì £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®41
3£®1 Spark Âß¼­´¦ÀíÁ÷³Ì¸ÅÀÀ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®41
3£®2 Spark Âß¼­´¦ÀíÁ÷³ÌÉú³É·½·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®43
3£®2£®1 ¸ù¾ÝÓ¦ÓóÌÐòÈçºÎ²úÉú RDD£¬²úÉúʲôÑùµÄ RDD £®£®£®£®£®£®£®£®£® 44
3£®2£®2 ÈçºÎ½¨Á¢ RDD Ö®¼äµÄÊý¾ÝÒÀÀµ ¹Øϵ£®£®£®£®£®£®£®£®£®£®£®£® 44
3£®2£®3 ÈçºÎ¼ÆËã RDD ÖеÄÊý¾Ý £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 49
3£®3 ³£Óà transformation() Êý¾Ý²Ù×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®50
3£®4 ³£Óà action() Êý¾Ý²Ù×÷ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®86
3£®5 ¶Ô±È MapReduce£¬Spark µÄÓÅȱµã£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®98
3£®6 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®99
3£®7 À©Õ¹ÔĶÁ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®100
µÚ 4 Õ Spark ÎïÀíÖ´Ðмƻ® £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®101
4£®1 Spark ÎïÀíÖ´Ðмƻ®¸ÅÀÀ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®101
4£®2 Spark ÎïÀíÖ´Ðмƻ®Éú³É·½·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®105
4£®3 ³£ÓÃÊý¾Ý²Ù×÷Éú³ÉµÄÎïÀíÖ´Ðмƻ®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®113
4£®4 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®121
4£®5 À©Õ¹ÔĶÁ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®121
µÚ 5 Õ µü´úÐÍ Spark Ó¦Óà £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®123
5£®1 µü´úÐÍ Spark Ó¦ÓõķÖÀ༰Ìص㣮£®£®£®£®£®£®£®£®£®£®£®£®£®£®123
5£®2 µü´úÐÍ»úÆ÷ѧϰӦÓà SparkLR £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®124
5£®2£®1 Ó¦ÓÃÃèÊö £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®124
5£®2£®2 Ëã·¨Ô­Àí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 125
5£®2£®3 »ùÓÚ Spark µÄ²¢Ðл¯ÊµÏÖ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 129
5£®2£®4 ÉîÈëÌÖÂÛ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 131
5£®3 µü´úÐÍ»úÆ÷ѧϰӦÓèD¨D¹ãÒå ÏßÐÔÄ£ÐÍ£®£®£®£®£®£®£®£®£®£®£®£®132
5£®3£®1 Ëã·¨Ô­Àí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 132
5£®3£®2 »ùÓÚ Spark µÄ²¢Ðл¯ÊµÏÖ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 136
5£®3£®3 ÉîÈëÌÖÂÛ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 139
5£®4 µü´úÐÍͼ¼ÆËãÓ¦ÓèD¨DPageRank £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®140
5£®4£®1 Ó¦ÓÃÃèÊö £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 140
5£®4£®2 »ùÓÚ Spark µÄ²¢Ðл¯ÊµÏÖ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 143
5£®4£®3 ÉîÈëÌÖÂÛ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 149
5£®5 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®151
µÚ 6 Õ Shuffle »úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®153
6£®1 Shuffle µÄÒâÒå¼°Éè¼ÆÌôÕ½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®153
6£®2 Shuffle µÄÉè¼Æ˼Ïë £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®155
6£®2£®1 ½â¾öÊý¾Ý·ÖÇøºÍÊý¾Ý¾ÛºÏÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®156
6£®2£®2 ½â¾ö map() ¶Ë combineÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 158
6£®2£®3 ½â¾ö sort ÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 158
6£®2£®4 ½â¾öÄÚ´æ²»×ãÎÊÌâ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 159
6£®3 Spark ÖÐ Shuffle ¿ò¼ÜµÄÉè¼Æ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®160
6£®3£®1 Shuffle Write ¿ò¼ÜÉè¼ÆºÍʵÏÖ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 161
6£®3£®2 Shuffle Read ¿ò¼ÜÉè¼ÆºÍʵÏÖ £®£®£®£®£®£®£®£®£®£®£®£®£® 166
6£®4 Ö§³Ö¸ßЧ¾ÛºÏºÍÅÅÐòµÄÊý¾Ý ½á¹¹£®£®£®£®£®£®£®£®£®£®£®£®£®£®170
6£®4£®1 AppendOnlyMap µÄÔ­Àí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 171
6£®4£®2 ExternalAppendOnlyMap £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®173
6£®4£®3 PartitionedAppendOnlyMap £®£®£®£®£®£®£®£®£®£®£®£®£®£® 176
6£®4£®4 PartitionedPairBuffer £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 176
6£®5 Óë Hadoop MapReduce µÄ Shuffle »úÖƶԱȣ®£®£®£®£®£®£®£®£®177
6£®6 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®179
µÚ 7 Õ Êý¾Ý»º´æ»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®180
7£®1 Êý¾Ý»º´æµÄÒâÒå £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®180
7£®2 Êý¾Ý»º´æ»úÖƵÄÉè¼ÆÔ­Àí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®181
7£®2£®1 ¾ö¶¨ÄÄЩÊý¾ÝÐèÒª±»»º´æ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®181
7£®2£®2 °üº¬Êý¾Ý»º´æ²Ù×÷µÄÂß¼­´¦ÀíÁ÷³ÌºÍÎïÀíÖ´Ðмƻ® £®£®£®£®£® 184
7£®2£®3 »º´æ¼¶±ð £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 186
7£®2£®4 »º´æÊý¾ÝµÄдÈë·½·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®189
7£®2£®5 »º´æÊý¾ÝµÄ¶ÁÈ¡·½·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 191
7£®2£®6 Óû§½Ó¿ÚµÄÉè¼Æ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 192
7£®2£®7 »º´æÊý¾ÝµÄÌæ»»Óë»ØÊÕ·½·¨ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®193
7£®3 Óë Hadoop MapReduce µÄ»º´æ»úÖƽøÐжԱȣ®£®£®£®£®£®£®£®£®£®£®£®197
7£®4 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®198
µÚ 8 Õ ´íÎóÈÝÈÌ»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®199
8£®1 ´íÎóÈÝÈÌ»úÖƵÄÒâÒå¼°ÌôÕ½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®199
8£®2 ´íÎóÈÝÈÌ»úÖƵÄÉè¼Æ˼Ïë £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®201
8£®3 ÖØмÆËã»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®201
8£®3£®1 ÖØмÆËãÊÇ·ñÄܹ»µÃµ½Óë֮ǰһÑùµÄ½á¹û £®£®£®£®£®£®£®£®£®£® 202
8£®3£®2 ´ÓÄÄÀ￪ʼÖØмÆËã £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®204
8£®3£®3 ÖØмÆËã»úÖÆС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®207
8£®4 checkpoint »úÖƵÄÉè¼ÆÓëʵÏÖ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®207
8£®4£®1 ÄÄЩÊý¾ÝÐèҪʹÓà checkpoint»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£® 207
8£®4£®2 checkpoint Êý¾ÝµÄдÈë¼°½Ó¿Ú £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®210
8£®4£®3 checkpoint ʱ»ú¼°¼ÆËã˳Ðò £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®212
8£®4£®4 checkpoint Êý¾ÝµÄ¶ÁÈ¡ £®£®£®£®£®£®£®£®£®£® £®£®£®£®£®£®£®213
8£®4£®5 checkpoint Êý¾ÝдÈëºÍ¶ÁÈ¡µÄʵÏÖϸ½Ú £®£®£®£®£®£®£®£®£®£® 213
8£®4£®6 checkpoint Óï¾äλÖõÄÓ°Ï죮£®£®£® £®£®£®£®£®£®£®£®£®£®216
8£®4£®7 cache + checkpoint £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 220
8£®5 checkpoint ÓëÊý¾Ý»º´æµÄÇø±ð £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®225
8£®6 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®226
µÚ 9 Õ ÄÚ´æ¹ÜÀí»úÖÆ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®227
9£®1 ÄÚ´æ¹ÜÀí»úÖÆÎÊÌâ¼°ÌôÕ½ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®227
9£®2 Ó¦ÓÃÄÚ´æÏûºÄÀ´Ô´¼°Ó°ÏìÒòËØ £®£®£®£®£®£®£®£®£®£®£®£®£®£®228
9£®2£®1 ÄÚ´æÏûºÄÀ´Ô´ 1£ºÓû§´úÂë £®£®£®£®£®£®£®£®£®£®£®£®£®£® 229
9£®2£®2 ÄÚ´æÏûºÄÀ´Ô´ 2£ºShuffle »úÖÆÖвúÉúµÄÖмäÊý¾Ý £®£®£®£®£®£®230
9£®2£®3 ÄÚ´æÏûºÄÀ´Ô´ 3£º»º´æÊý¾Ý £®£®£®£®£®£®£®£®£®£®£®£®£®£® 231
9£®3 Spark ¿ò¼ÜÄÚ´æ¹ÜÀíÄ£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®232
9£®3£®1 ¾²Ì¬ÄÚ´æ¹ÜÀíÄ£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 233
9£®3£®2 ͳһÄÚ´æ¹ÜÀíÄ£ÐÍ £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 234
9£®4 Spark ¿ò¼ÜÖ´ÐÐÄÚ´æÏûºÄÓë¹ÜÀí£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®237
9£®4£®1 Shuffle Write ½×¶ÎÄÚ´æÏûºÄ¼°¹ÜÀí £®£®£®£®£®£®£®£®£®£®£®£® 239
9£®4£®2 Shuffle Read ½×¶ÎÄÚ´æÏûºÄ¼°¹ÜÀí £®£®£®£®£®£®£®£®£®£®£®£®£® 245
9£®5 Êý¾Ý»º´æ¿Õ¼ä¹ÜÀí £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®249
9£®5£®1 RDD »º´æÊý¾Ý £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 250
9£®5£®2 ¹ã²¥Êý¾Ý £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 253
9£®5£®3 task µÄ¼ÆËã½á¹û £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£® 254
9£®6 ±¾ÕÂС½á £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®256
²Î¿¼ÎÄÏ× £®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®£®258