ÖÇÄÜÓ¦¼±¼¼Êõ

Ŀ ¼

µÚ1Õ Ӧ¼±´óÊý¾Ý¼¼Êõ 1

1.1 Ó¦¼±´óÊý¾ÝµÄ¸ÅÄî 1

1.2 Ó¦¼±´óÊý¾ÝµÄ·¢Õ¹ 3

1.2.1 µÚÈý´ÎÐÅÏ¢»¯À˳± 4

1.2.2 ´óÊý¾Ý·¢Õ¹Àú³Ì 5

1.3 ´óÊý¾ÝµÄ˼ά±ä¸ï 6

1.4 Ó¦¼±´óÊý¾ÝµÄ¼ÛÖµ 7

1.5 Ó¦¼±´óÊý¾Ý¼¼Êõ»ù´¡ 8

1.5.1 ´óÊý¾Ý´¦Àí¼Ü¹¹Hadoop 9

1.5.2 Ó¦¼±´óÊý¾Ý¼ÆËã¿ò¼Ü 11

1.5.3 Ó¦¼±´óÊý¾Ý´æ´¢ 11

1.6 Ó¦¼±´óÊý¾Ý¼¼ÊõÓ¦Óð¸Àý 16

1.6.1 Ó¦¼±´óÊý¾Ý¼¼ÊõÔÚÊÂÇ°½×¶ÎµÄÓ¦Óà 16

1.6.2 Ó¦¼±´óÊý¾Ý¼¼ÊõÔÚÊÂÖн׶εÄÓ¦Óà 18

1.6.3 Ó¦¼±´óÊý¾Ý¼¼ÊõÔÚʺó½×¶ÎµÄÓ¦Óà 22

1.6.4 Ó¦¼±´óÊý¾Ý¼¼ÊõÔÚÖÇ»ÛÏû·ÀÁìÓòµÄ×ÛºÏÓ¦Óà 24

˼¿¼Ìâ 28

µÚ2Õ Ӧ¼±ÔƼÆËã¼¼Êõ 29

2.1 Ó¦¼±ÔƼÆËãµÄ¸ÅÄî¼°Æä·¢Õ¹ 29

2.2 Ó¦¼±ÔƼÆËãµÄÀàÐͼ°Ìصã 30

2.2.1 Ó¦¼±ÔƼÆËãµÄÀàÐÍ 31

2.2.2 Ó¦¼±ÔƵÄÖ÷ÒªÌصã 31

2.3 Ó¦¼±ÔƼÆËãµÄÌåϵ½á¹¹ 32

2.3.1 ·ÃÎʲã 33

2.3.2 Ó¦Óýӿڲã 34

2.3.3 »ù´¡¹ÜÀí²ã 34

2.3.4 ´æ´¢²ã 34

2.4 Ó¦¼±ÔƼÆËãºËÐļ¼Êõ 35

2.4.1 ÔÆ´æ´¢¼¼Êõ 35

2.4.2 º£Á¿Êý¾Ý¹ÜÀí¼¼Êõ 36

2.4.3 ÐéÄ⻯¼¼Êõ 36

2.4.4 ÔƼÆËãƽ̨¹ÜÀí¼¼Êõ 37

2.5 Ó¦¼±ÔƼÆËãÓ¦Óð¸Àý 37

2.5.1 ÔƼÆËãÔÚú¿óÓ¦¼±¹ÜÀíÖеÄÓ¦Óà 37

2.5.2 ÖÇ»ÛÏû·ÀÔÆƽ̨ 43

2.6 Ó¦¼±ÔƼÆËã´æÔÚµÄÎÊÌ⼰δÀ´Õ¹Íû 50

˼¿¼Ìâ 51

µÚ3Õ Ӧ¼±ÎïÁªÍø¼¼Êõ 52

3.1 Ó¦¼±ÎïÁªÍø¼¼Êõ·¢Õ¹ÏÖ×´ 52

3.1.1 ¹úÍâÓ¦¼±ÎïÁªÍø·¢Õ¹ÏÖ×´ 52

3.1.2 ÎÒ¹úÓ¦¼±ÎïÁªÍø·¢Õ¹ÏÖ×´ 53

3.2 Ó¦¼±ÎïÁªÍøº¬Òå 54

3.2.1 Ó¦¼±ÎïÁªÍøϵͳµÄ×é³É 54

3.2.2 Ó¦¼±ÎïÁªÍø¹Ø¼ü¼¼Êõ 55

3.3 Ó¦¼±ÎïÁªÍøϵͳ¼°Ó¦Óó¡¾° 57

3.3.1 ÖÇÄÜÓ¦¼±ÎïÁªÍø¼à²âÔ¤¾¯Æ½Ì¨ 57

3.3.2 ÔÚÏ߸ÐÖª 57

3.3.3 ×Ô¶¯Ô¤¾¯±¨¾¯ 58

3.3.4 ÖÇÄÜ·ÖÎö 58

3.3.5 Ö¸»Óµ÷¶È 59

3.3.6 ÏÖ³¡¾ÈÔ® 59

3.4 ÎïÁªÍø¼¼ÊõÔÚÓ¦¼±¾ÈÔ®ÖеÄÓ¦Óà 59

3.4.1 ÔÖÇ°Ô¤¾¯ 59

3.4.2 ÔÖÖоÈÔ® 61

3.4.3 ÔÖºóÆÀ¹À 62

3.5 Ó¦¼±ÎïÁªÍøÓ¦Óð¸Àý 63

3.5.1 »ùÓÚÇé¾°µÄ¿ó¾®Ë®ÔÖ¾ÈԮϵͳ 63

3.5.2 Ïû·ÀÎïÁªÍø 69

3.6 Ó¦¼±ÎïÁªÍøδÀ´Õ¹Íû 75

˼¿¼Ìâ 76

µÚ4Õ Ӧ¼±Í¨Ðż¼Êõ 77

4.1 Ó¦¼±Í¨ÐŸÅÄî¼°·¢Õ¹ 77

4.1.1 Ó¦¼±Í¨ÐŸÅÄî 77

4.1.2 Ó¦¼±Í¨ÐÅ·¢Õ¹¸ÅÊö 78

4.2 Ó¦¼±Í¨Ðż¼ÊõµÄ·ÖÀà 82

4.2.1 ÓÐÏßÓ¦¼±Í¨Ðż¼Êõ 82

4.2.2 ÎÞÏßÓ¦¼±Í¨Ðż¼Êõ 83

4.2.3 »ìºÏÓ¦¼±Í¨Ðż¼Êõ 85

4.3 Ó¦¼±Í¨ÐÅÓ¦Óð¸Àý 87

4.3.1 ÎÞÏ߶Խ²»úϵͳ 87

4.3.2 ÎÞÈË»úMESH×Ô×éͨÐÅÍø 89

4.4 Ó¦¼±Í¨ÐÅ·¢Õ¹Ç÷ÊÆ 90

˼¿¼Ìâ 91

µÚ5Õ Ӧ¼±»úÆ÷È˼¼Êõ 92

5.1 Ó¦¼±»úÆ÷È˸ÅÄî¼°·ÖÀà 92

5.1.1 Ó¦¼±»úÆ÷È˸ÅÄî 93

5.1.2 Ó¦¼±»úÆ÷È˵ķÖÀà 93

5.2 »úÆ÷È˹¤×÷Ô­ÀíÓë¼¼Êõ·ÖÎö 95

5.2.1 »úÆ÷È˹¤×÷Ô­Àí 96

5.2.2 ¾ÈÔ®»úÆ÷È˼¼Êõ·ÖÎö 98

5.3 ¼¸ÖÖÓ¦¼±¾ÈÔ®»úÆ÷È˽éÉÜ 100

5.3.1 ËÑË÷¾ÈÔ®»úÆ÷ÈË 100

5.3.2 ÔËÔؾÈÔ®»úÆ÷ÈË 103

5.3.3 ¶àÈÎÎñ¾ÈÔ®»úÆ÷ÈË 105

5.4 Ó¦¼±»úÆ÷ÈË·¢Õ¹Ç÷ÊÆ 107

5.4.1 ¾ÈÔ®»úÆ÷ÈËÖÇÄÜ»¯ 107

5.4.2 »úÆ÷ÈËÈíÓ²¼þÈßÓ໯ 108

5.4.3 ¶à»úЭͬ¾ÈÔ®ÄÜÁ¦ 108

˼¿¼Ìâ 108

µÚ6Õ Ӧ¼±ÎÞÈË»ú¼¼Êõ 109

6.1 Ó¦¼±ÎÞÈË»ú·¢Õ¹¼°Ìصã 109

6.1.1 Ó¦¼±ÎÞÈË»úµÄ·¢Õ¹Ê· 110

6.1.2 Ó¦¼±ÎÞÈË»úµÄÌصã 113

6.2 Ó¦¼±ÎÞÈË»ú¹¤×÷Ô­Àí 114

6.2.1 ÎÞÈË»úϵͳµÄ»ù±¾½á¹¹ 114

6.2.2 ÎÞÈË»úϵͳµÄ¹¤×÷Ô­Àí 115

6.3 Ó¦¼±ÎÞÈË»úµÄÓ¦Óð¸Àý 115

6.3.1 ÔÖÇ°¼à²âÔ¤¾¯ 115

6.3.2 ÔÖÖоÈÔ®ÓëÖ¸»Óµ÷¶È 117

6.3.3 ÔÖºóÐÞ¸´Öؽ¨ 121

6.4 Ó¦¼±ÎÞÈË»úµÄ·¢Õ¹Ç÷ÊÆ 122

6.4.1 ¸ü¼ÓÖÇÄÜ»¯ 122

6.4.2 ЭͬÐÔ¸üÇ¿ 122

6.4.3 Ðøº½Ê±¼ä¸ü³¤ 122

6.4.4 ÐÂÐ͸´ºÏ²ÄÁϵÄÓ¦Óà 122

6.4.5 ¹ÜÀí¹æ·¶»¯ 123

˼¿¼Ìâ 123

µÚ7Õ Ӧ¼±3S¼¼Êõ 124

7.1 Ó¦¼±3S¼¼Êõ½éÉܼ°·¢Õ¹ 124

7.1.1 Ó¦¼±3S¼¼Êõ½éÉÜ 124

7.1.2 Ó¦¼±3S¼¼ÊõµÄ·¢Õ¹ 126

7.2 Ó¦¼±Ò£¸Ð¼¼Êõ 127

7.2.1 Ó¦¼±Ò£¸Ð·ÖÀà 128

7.2.2 Ó¦¼±Ò£¸ÐϵͳµÄ×é³É 129

7.2.3 Ó¦¼±Ò£¸ÐµÄÖ÷ÒªÌصã 130

7.2.4 Ó¦¼±Ò£¸ÐϵͳµÄÓ¦Óà 131

7.3 Ó¦¼±µØÀíÐÅϢϵͳ 134

7.3.1 Ó¦¼±µØÀíÐÅϢϵͳµÄ×é³É 135

7.3.2 Ó¦¼±µØÀíÐÅϢϵͳµÄ¹¦ÄÜ 135

7.3.3 Ó¦¼±µØÀíÐÅϢϵͳµÄ·ÖÀà 138

7.3.4 Ó¦¼±µØÀíÐÅϢϵͳµÄÖ÷ÒªÌصã 139

7.3.5 Ó¦¼±µØÀíÐÅϢϵͳµÄÓ¦Óà 139

7.4 È«Çò¶¨Î»ÏµÍ³ 142

7.4.1 È«Çò¶¨Î»ÏµÍ³µÄ×é³ÉÓ빤×÷Ô­Àí 143

7.4.2 È«Çò¶¨Î»ÏµÍ³µÄ·ÖÀà 144

7.4.3 È«Çò¶¨Î»ÏµÍ³ÔÚÓ¦¼±ÁìÓòµÄÓ¦Óà 147

7.5 3S¼¼ÊõÔÚÓ¦¼±¹ÜÀíÖеÄÓ¦Óà 148

7.5.1 ÊÂÇ°¡ª¡ªÔ¤·À×¼±¸Óë¼à²âÔ¤¾¯ 149

7.5.2 ÊÂÖСª¡ª¹ÀÔÖ¾ÈÔÖÓëÓ¦¼±ÏìÓ¦ 150

7.5.3 ʺ󡪡ª»Ö¸´Öؽ¨Óë¾­Ñé×ܽá 152

7.6 Ó¦¼±3S¼¼ÊõδÀ´Õ¹Íû 153

˼¿¼Ìâ 154

˼¿¼Ìâ²Î¿¼´ð°¸ 155

²Î¿¼ÎÄÏ× 165