ICTÈÏ֤ϵÁдÔÊé´óÊý¾ÝÔ­ÀíÓë¼¼Êõ

µÚ 1Õ ´óÊý¾Ý¸ÅÊö 0
1£® 1 ´óÊý¾ÝµÄ¸ÅÄîÓë¼ÛÖµ 2
1£®1£®1 ʲôÊÇ´óÊý¾Ý 2
1£®1£®2 ´óÊý¾ÝµÄÀ´Ô´ 4
1£®1£®3 ´óÊý¾ÝÓÐʲô¼ÛÖµ 5
1£®1£®4 ÈçºÎÍÚ¾òÆóÒµ´óÊý¾ÝµÄ¼ÛÖµ 6
1£®2 ´óÊý¾ÝµÄ¹Ø¼ü¼¼Êõ 7
1£®2£®1 ´óÊý¾Ý²É¼¯¡¢Ô¤´¦ÀíÓë´æ´¢¹ÜÀí 7
1£®2£®2 ´óÊý¾Ý·ÖÎöÓëÍÚ¾ò 8
1£®2£®3 Êý¾Ý¿ÉÊÓ»¯ 9
1£®3 ´óÊý¾Ý²úÒµ 9
1£®3£®1 Êý¾ÝÌṩ 9
1£®3£®2 ¼¼ÊõÌṩ 9
1£®3£®3 ·þÎñÌṩ 10
1£®4 ´óÊý¾ÝÓ¦Óó¡¾° 10
1£®5 ±¾ÕÂ×ܽá 11
Á·Ï°Ìâ 12
µÚ 2Õ Hadoop´óÊý¾Ý´¦Àíƽ̨ 14
2£®1 Hadoopƽ̨¸ÅÊö 16
2£®1£®1 Hadoop¼ò½é 16
2£®1£®2 HadoopµÄÌØÐÔ 17
2£®1£®3 HadoopÓ¦ÓÃÏÖ×´ 17
2£®1£®4 Hadoop°æ±¾¼°Ïà¹Øƽ̨ 18
2£®2 HadoopÉú̬ϵͳ 18
2£®2£®1 Hadoop´æ´¢ÏµÍ³£¨HDFS&HBase£© 18
2£®2£®2 Hadoop¼ÆËã¿ò¼Ü£¨MapReduce&YARN£© 19
2£®2£®3 HadoopÊý¾Ý²Ö¿â£¨Hive£© 20
2£®2£®4 HadoopÊý¾Ýת»»ÓëÈÕÖ¾´¦Àí£¨Sqoop&Flume£© 20
2£®2£®5 HadoopÓ¦ÓÃЭµ÷Ó빤×÷Á÷£¨ZooKeeper&Oozie£© 20
2£®2£®6 ´óÊý¾Ý°²È«¼¼Êõ£¨Kerberos&LDAP£© 21
2£®2£®7 ´óÊý¾Ý¼´Ê±²éѯÓëËÑË÷£¨Impala&Solr£© 21
2£®2£®8 ´óÊý¾ÝÏûÏ¢¶©ÔÄ£¨Kafka£© 21
2£®3 Hadoop°²×°²¿Êð 22
2£®3£®1 Hadoop¹æ»®²¿Êð 22
2£®3£®2 HadoopµÄ°²×°·½Ê½ 23
2£®4 »ªÎªFusionInsight HD°²×°²¿Êð 26
2£®4£®1 FusionInsight HD¼ò½é 26
2£®4£®2 FusionInsight HD¼¯³ÉÉè¼Æ 28
2£®4£®3 FusionInsight HD°²×°²¿Êð 33
2£®4£®4 FusionInsight HDÖØÒª²ÎÊýÅäÖà 41
2£®5 ±¾ÕÂ×ܽá 42
Á·Ï°Ìâ 43
µÚ3Õ ´óÊý¾Ý´æ´¢¼¼Êõ£¨HDFS£© 44
3£®1 ¸ÅÊö 46
3£®1£®1 ·Ö²¼Ê½ÎļþϵͳµÄ¸ÅÄîÓë×÷Óà 47
3£®1£®2 HDFS¸ÅÊö 47
3£®2 HDFSµÄÏà¹Ø¸ÅÄî 48
3£®2£®1 ¿é 48
3£®2£®2 NameNode 49
3£®2£®3 Secondary NameNode 50
3£®2£®4 DataNode 51
3£®3 HDFSÌåϵ¼Ü¹¹ÓëÔ­Àí 52
3£®3£®1 HDFSÌåϵ¼Ü¹¹ 52
3£®3£®2 HDFSµÄ¸ß¿ÉÓûúÖÆ 52
3£®3£®3 HDFSµÄĿ¼½á¹¹ 54
3£®3£®4 HDFSµÄÊý¾Ý¶Áд¹ý³Ì 57
3£®4 HDFS½Ó¿Ú¼°ÆäÔÚFusionInsight HD±à³ÌÖеÄʵ¼ù 58
3£®4£®1 HDFS³£ÓÃShellÃüÁî 59
3£®4£®2 HDFSµÄWeb½çÃæ 60
3£®4£®3 HDFSµÄJava½Ó¿Ú¼°Ó¦ÓÃʵÀý 62
3£®5 ±¾ÕÂ×ܽá 67
Á·Ï°Ìâ 67
µÚ4Õ ´óÊý¾ÝÀëÏß¼ÆËã¿ò¼Ü£¨MapReduce & YARN£© 70
4£®1 MapReduce¼¼ÊõÔ­Àí 72
4£®1£®1 MapReduce¸ÅÊö 73
4£®1£®2 Mapº¯ÊýÓëReduceº¯Êý 73
4£®2 YARN¼¼ÊõÔ­Àí 74
4£®2£®1 YARNµÄ¸ÅÊöÓëÓ¦Óà 74
4£®2£®2 YARNµÄ¼Ü¹¹ 75
4£®2£®3 MapReduceµÄ¼ÆËã¹ý³Ì 76
4£®2£®4 YARNµÄ×ÊÔ´µ÷¶È 78
4£®3 FusionInsight HDÖÐMapReduceµÄÓ¦Óà 78
4£®3£®1 WordCountʵÀý·ÖÎö 78
4£®3£®2 MapReduce±à³Ìʵ¼ù 79
4£®4 ±¾ÕÂ×ܽá 85
Á·Ï°Ìâ 86
µÚ5Õ ´óÊý¾ÝÊý¾Ý¿â£¨HBase£© 88
5£®1 HBase¸ÅÊö 90
5£®1£®1 HBase¼ò½é 90
5£®1£®2 HBaseÓë¹ØϵÐÍÊý¾Ý¿âµÄÇø±ð 91
5£®1£®3 HBaseµÄÓ¦Óó¡¾° 92
5£®2 HBaseµÄ¼Ü¹¹Ô­Àí 92
5£®2£®1 HBaseµÄÊý¾ÝÄ£ÐÍ 92
5£®2£®2 ±íºÍRegion 93
5£®2£®3 HBaseµÄϵͳ¼Ü¹¹Ó빦ÄÜ×é¼þ 94
5£®2£®4 HBaseµÄ¶ÁдÁ÷³Ì 96
5£®2£®5 HBaseµÄCompaction¹ý³Ì 97
5£®3 FusionInsight HDÖÐHBaseµÄ±à³Ìʵ¼ù 98
5£®3£®1 FusionInsight HDÖÐHBaseµÄ³£ÓòÎÊýÅäÖà 98
5£®3£®2 HBaseµÄ³£ÓÃShellÃüÁî 100
5£®3£®3 HBase³£ÓõÄJava API¼°Ó¦ÓÃʵÀý 103
5£®4 ±¾ÕÂ×ܽá 118
Á·Ï°Ìâ 118
µÚ6Õ ´óÊý¾ÝÊý¾Ý²Ö¿â£¨Hive£© 120
6£®1 Hive¸ÅÊö 122
6£®1£®1 Hive¼ò½éºÍÓ¦Óà 122
6£®1£®2 HiveµÄÌØÐÔ 123
6£®1£®3 HiveÓ봫ͳÊý¾Ý²Ö¿âµÄÇø±ð 124
6£®2 HiveµÄ¼Ü¹¹ºÍÊý¾Ý´æ´¢ 124
6£®2£®1 HiveµÄ¼Ü¹¹Ô­Àí 124
6£®2£®2 HiveµÄÊý¾Ý´æ´¢Ä£ÐÍ 127
6£®2£®3 HiveQL±à³Ì 128
6£®3 FusionInsight HDÖÐHiveÓ¦ÓÃʵ¼ù 132
6£®3£®1 FusionInsight HDÖÐHiveµÄ³£ÓòÎÊýÅäÖà 132
6£®3£®2 ¼ÓÔØÊý¾Ýµ½Hive 133
6£®3£®3 ʹÓÃHiveQL½øÐÐÊý¾Ý·ÖÎö 135
6£®4 ±¾ÕÂ×ܽá 139
Á·Ï°Ìâ 139
µÚ7Õ ´óÊý¾ÝÊý¾Ýת»»£¨SqoopÓëLoader£© 142
7£®1 Sqoop¸ÅÊö 144
7£®1£®1 Sqoop¼ò½éÓëÓ¦Óà 145
7£®1£®2 SqoopµÄ¹¦ÄÜÓëÌØÐÔ 145
7£®1£®3 SqoopÓ봫ͳETLµÄÇø±ð 146
7£®2 FusionInsight HDÖÐLoaderµÄÓ¦ÓÃʵ¼ù 146
7£®2£®1 FusionInsight HDÖÐLoaderÓëSqoopµÄ¶Ô±È 147
7£®2£®2 FusionInsight HDÖÐLoaderµÄ²ÎÊýÅäÖà 148
7£®2£®3 ʹÓÃLoader½øÐÐÊý¾Ýת»» 149
7£®2£®4 LoaderµÄ³£ÓÃShellÃüÁî 150
7£®2£®5 LoaderÓ¦ÓÃʵ¼ù 152
7£®3 ±¾ÕÂ×ܽá 153
Á·Ï°Ìâ 154
µÚ8Õ ´óÊý¾ÝÈÕÖ¾´¦Àí£¨Flume£© 156
8£®1 Flume¸ÅÊö 158
8£®1£®1 Flume¼ò½éÓëÓ¦Óà 158
8£®1£®2 FlumeµÄ¹¦ÄÜÓëÌØÐÔ 161
8£®1£®3 FlumeÓëÆäËûÖ÷Á÷¿ªÔ´ÈÕÖ¾ÊÕ¼¯ÏµÍ³µÄÇø±ð 162
8£®2 FusionInsight HDÖÐFlumeµÄÓ¦ÓÃʵ¼ù 162
8£®2£®1 FusionInsight HDÖÐFlumeµÄ³£ÓòÎÊýÅäÖà 163
8£®2£®2 Flume³£ÓõÄShellÃüÁî 164
8£®2£®3 FlumeÓëKafka½áºÏ½øÐÐÈÕÖ¾´¦Àí 165
8£®3 ±¾ÕÂ×ܽá 168
Á·Ï°Ìâ 169
µÚ9Õ ´óÊý¾Ýʵʱ¼ÆËã¿ò¼Ü£¨Spark£© 170
9£®1 Spark¸ÅÊö 172
9£®1£®1 SparkµÄ¸ÅÊöÓëÓ¦Óà 173
9£®1£®2 ScalaÓïÑÔ½éÉÜ 174
9£®1£®3 SparkÉú̬ϵͳ×é¼þ 174
9£®1£®4 SparkÓëHadoopµÄ¶Ô±È 175
9£®2 Spark¼¼Êõ¼Ü¹¹ 176
9£®2£®1 SparkµÄÔËÐÐÔ­Àí 176
9£®2£®2 RDD¸ÅÄîÓëÔ­Àí 177
9£®2£®3 SparkµÄÈýÖÖ²¿Êð·½Ê½ 181
9£®2£®4 ʹÓÿª·¢¹¤¾ß²âÊÔSpark 182
9£®3 FusionInsight HDÖÐSparkÓ¦ÓÃʵ¼ù 183
9£®3£®1 ÔËÐÐSpark Shell 183
9£®3£®2 ½øÐÐSpark RDD²Ù×÷ 184
9£®3£®3 ʹÓÃSpark¿Í»§¶Ë¹¤¾ßÔËÐÐSpark³ÌÐò 185
9£®4 Spark Streaming 188
9£®4£®1 Spark StreamingµÄÉè¼Æ˼Ïë 188
9£®4£®2 Spark StreamingµÄÓ¦ÓÃʵÀý 189
9£®5 Spark SQL 191
9£®5£®1 Spark SQLµÄ¹¦ÄÜ 191
9£®5£®2 FusionInsight HDÖÐSpark SQLµÄÓ¦ÓÃʵÀý 192
9£®6 Spark MLlib 193
9£®6£®1 »úÆ÷ѧϰ¼ò½é 193
9£®6£®2 Spark MLlibµÄ¹¦ÄÜ 194
9£®7 Spark GraphX 194
9£®7£®1 ͼ¼ÆËã¼ò½é 194
9£®7£®2 Spark GraphX¹¦Äܼò½é 195
9£®8 ±¾ÕÂ×ܽá 195
Á·Ï°Ìâ 196
µÚ 10Õ ´óÊý¾ÝÁ÷¼ÆËã 198
10£®1 Á÷¼ÆËã¸ÅÊö 200
10£®1£®1 ¾²Ì¬Êý¾ÝºÍÁ÷Êý¾Ý 201
10£®1£®2 Á÷¼ÆËãµÄ¸ÅÄî 201
10£®1£®3 MapReduceºÍÁ÷¼ÆËã 202
10£®1£®4 Á÷¼ÆËã¿ò¼Ü 202
10£®2 Á÷¼ÆËãµÄ´¦ÀíÁ÷³Ì 203
10£®2£®1 Êý¾Ýʵʱ²É¼¯ 203
10£®2£®2 Êý¾Ýʵʱ¼ÆËã 203
10£®2£®3 Êý¾Ýʵʱ²éѯ 203
10£®3 StreamingÁ÷¼ÆËã 204
10£®3£®1 Streaming¼ò½é 204
10£®3£®2 StreamingµÄÌصã 206
10£®3£®3 StreamingÔÚFusionInsight HDÉϵÄÓ¦ÓÃʵ¼ù 208
10£®3£®4 Spark StreamingÓëStreamingµÄ²îÒì 212
10£®4 ±¾ÕÂ×ܽá 213
Á·Ï°Ìâ 213
µÚ 11Õ Êý¾Ý¿ÉÊÓ»¯ 216
11£®1 ¿ÉÊÓ»¯¸ÅÊö 218
11£®1£®1 Êý¾Ý¿ÉÊÓ»¯¼ò½é 219
11£®1£®2 Êý¾Ý¿ÉÊÓ»¯µÄÖØÒªÐÔ 219
11£®1£®3 ¿ÉÊÓ»¯µÄ·¢Õ¹Àú³Ì 219
11£®1£®4 Êý¾Ý¿ÉÊÓ»¯µÄ¹ý³Ì 221
11£®2 ¿ÉÊÓ»¯¹¤¾ß 222
11£®2£®1 ÈëÃż¶¹¤¾ß£¨Excel£© 222
11£®2£®2 ÆÕͨ¹¤¾ß£¨RÓïÑÔ£© 222
11£®2£®3 ¹¤¾ß£¨TableauºÍQlikView£© 223
11£®3 ¿ÉÊÓ»¯µÄµäÐÍÓ¦Óà 223
11£®3£®1 ¿ÉÊÓ»¯ÔÚҽѧÉϵÄÓ¦Óà 223
11£®3£®2 ¿ÉÊÓ»¯ÔÚ¹¤³ÌÖеÄÓ¦Óà 224
11£®3£®3 ¿ÉÊÓ»¯ÔÚ»¥ÁªÍøµÄÓ¦Óà 225
11£®4 ±¾ÕÂ×ܽá 225
Á·Ï°Ìâ 226
µÚ 12Õ ´óÊý¾ÝÐÐÒµÓ¦Óà 228
12£®1 ´óÊý¾ÝÔÚ½ðÈÚÐÐÒµµÄÓ¦Óà 230
12£®2 ´óÊý¾ÝÔÚµçÐÅÐÐÒµµÄÓ¦Óà 232
12£®3 ´óÊý¾ÝÔÚ¹«°²ÏµÍ³µÄÓ¦Óà 236
12£®4 ´óÊý¾ÝÔÚ»¥ÁªÍøÐÐÒµµÄÓ¦Óà 237
12£®5 ±¾ÕÂ×ܽá 237
Á·Ï°Ìâ 238
ÊõÓï±í 240
²Î¿¼ÎÄÏ× 252