´óÊý¾Ý¼¼Êõ»ù´¡Óëʵս

µÚ1Õ ´óÊý¾Ý¼¼Êõ¸ÅÊö 1
1£®1 ´óÊý¾ÝµÄ¸ÅÄîÓë»ù±¾ÌØÐÔ 1
1£®2 ´óÊý¾Ý´¦ÀíÁ÷³Ì 2
1£®3 Hadoop´óÊý¾Ý¼¼Êõ 3
1£®3£®1 Hadoop¼ò½é 3
1£®3£®2 HadoopµÄ·¢Ðа汾 5
1£®4 ʵ¼ù»·¾³×¼±¸ 7
Ï°Ìâ 15
µÚ2Õ Linux»ù´¡Ó뼯Ⱥ´î½¨ 16
2£®1 Linux³£ÓÃÃüÁî 16
2£®1£®1 Óû§ºÍÓû§×é 16
2£®1£®2 ÎļþÓëĿ¼ 18
2£®1£®3 Ö÷»úÃû 24
2£®1£®4 ·ÖÇø¹ÜÀí 25
2£®2 ÍøÂçÅäÖà 27
2£®2£®1 »ù±¾ÍøÂçÅäÖà 27
2£®2£®2 ¼¯ÈºÍøÂçÅäÖà 28
2£®3 Linux¼¯ÈºÅäÖà 31
2£®3£®1 SSHÃâÃÜÂëµÇ¼ 31
2£®3£®2 Java»·¾³°²×° 33
2£®3£®3 MySQL·þÎñ 34
2£®3£®4 ÅäÖÃʱÖÓͬ²½ 35
2£®4 ¿ìËÙÅäÖÃLinux¼¯Èº 37
2£®4£®1 µ¼ÈëÐéÄâ»ú 37
2£®4£®2 ¿ìËÙÅäÖà 39
Ï°Ìâ 42
µÚ3Õ Hadoop¼¯ÈºÅäÖà 43
3£®1 Hadoop¼¯Èº°²×° 43
3£®1£®1 »ù´¡»·¾³×¼±¸ 43
3£®1£®2 ÅäÖÃJava»·¾³ 49
3£®1£®3 °²×°Hadoop 51
3£®1£®4 Æô¶¯Hadoop 58
3£®2 Hadoop¼¯Èº³õʼ»¯ºÍÈÕÖ¾²é¿´ 62
3£®2£®1 ³õʼ»¯Îļþϵͳ 62
3£®2£®2 ¼¯ÈºµÄÆô¶¯ÓëÍ£Ö¹ 62
3£®2£®3 ²é¿´ÈÕÖ¾ 63
Ï°Ìâ 64
µÚ4ÕÂ HDFS 65
4£®1 HDFS¼ò½é 65
4£®1£®1 HDFSµÄ»ù±¾¸ÅÄî 65
4£®1£®2 HDFSÎļþµÄ¶ÁÈ¡ 66
4£®1£®3 HDFSÎļþµÄдÈë 67
4£®1£®4 HDFS Êý¾Ý±¸·Ý 68
4£®2 HDFS»ù±¾ÃüÁî 69
4£®3 HDFSÊý¾ÝƽºâÓÅ»¯ 72
4£®3£®1 ±à³ÌÔ­Ôò 73
4£®3£®2 ƽºâÂß¼­ 73
4£®3£®3 Êý¾Ýƽºâ°¸Àý 74
4£®4 HDFS APIµÄʹÓ÷½·¨ 75
Ï°Ìâ 81
µÚ5Õ MapReduce·Ö²¼Ê½±à³Ì
82
5£®1 MapReduce¼ò½é 82
5£®2 ´ÊƵͳ¼Æ±à³ÌʵÀý 83
5£®3 MapReduce Shuffle¹ý³Ì¿ª·¢ 89
5£®3£®1 MapReduceÊý¾ÝÀàÐÍ 90
5£®3£®2 Partitioner¸ºÔØƽºâ±à³Ì 90
5£®3£®3 SortÅÅÐò±à³Ì 92
5£®3£®4 Combiner¼õÉÙÖмäÊý¾Ý±à³Ì 93
5£®4 MapReduceµÄÐÔÄÜÓÅ»¯ 94
5£®4£®1 HadoopÅäÖòÎÊýµ÷ÓÅ 94
5£®4£®2 ʹÓúÏÊʵÄÊý¾ÝÀàÐÍ 95
5£®4£®3 »ù×¼ÐÔÄܲâÊÔ¹¤¾ß 96
5£®5 YARNÊý¾Ý´¦Àí¿ò¼Ü 99
5£®5£®1 YARN³£ÓÃÃüÁî 100
5£®5£®2 ʹÓÃWeb GUI¼à¿ØʵÀý 102
5£®6 MapReduceʵս£º»æÖÆƵ¶È·Ö²¼ 104
5£®6£®1 ʵս¸ÅÊö 104
5£®6£®2 ʵս²½Öè 104
5£®6£®3 Ô´Âë·ÖÎö 109
Ï°Ìâ 114
µÚ6Õ Hive´óÊý¾Ý²Ö¿â 115
6£®1 Hive¼ò½é 115
6£®2 Hive°²×°¼°ÅäÖÃ 116
6£®3 ´Ó´´½¨Êý¾Ý¿âµ½´´½¨±í 118
6£®3£®1 Êý¾ÝÀàÐÍ 118
6£®3£®2 ´´½¨Êý¾Ý¿â 119
6£®3£®3 ´´½¨±í 119
6£®3£®4 ɾ³ý±í 121
6£®3£®5 Ð޸ıí 121
6£®4 Êý¾Ý²éѯ¼°×Ô¶¨Ò庯ÊýÔËËã 123
6£®4£®1 HiveQL²Ù×÷ 123
6£®4£®2 JOINÓï¾ä 124
6£®4£®3 ÄÚÖòÙ×÷·ûºÍº¯Êý 125
6£®5 Hive×Ô¶¨Ò庯Êý±à³Ì 128
6£®5£®1 Êý¾Ý×¼±¸ 128
6£®5£®2 ±à³ÌʵÏÖ 129
6£®5£®3 ʹÓÃ×Ô¶¨Ò庯Êý 130
6£®6 Hiveʵս 132
6£®6£®1 Êý¾Ý×¼±¸ 133
6£®6£®2 ʵս²½Öè 133
Ï°Ìâ 136
µÚ7Õ HBaseÊý¾Ý¿â²¿ÊðÓë²Ù×÷
138
7£®1 HBase¼ò½é 138
7£®1£®1 HBase±í 138
7£®1£®2 HBase»ù±¾ÖªÊ¶ 138
7£®2 HBaseµÄ°²×° 139
7£®2£®1 ±ØÒªÌõ¼þ 139
7£®2£®2 °²×°ÅäÖÃHBase 140
7£®2£®3 Æô¶¯HBase 142
7£®3 HBase Shell²Ù×÷ 143
7£®3£®1 ÆÕͨÃüÁî 145
7£®3£®2 DDL²Ù×÷ 146
7£®3£®3 DML²Ù×÷ 148
7£®3£®4 ¹¤¾ßÃüÁî 150
7£®3£®5 ¸´ÖÆÃüÁî 151
7£®4 HBase¿Í»§¶ËAPI 151
7£®4£®1 CRUD²Ù×÷ 151
7£®4£®2 ÅúÁ¿´¦Àí 155
7£®4£®3 ÐÐËø 156
7£®4£®4 ɨÃè 157
7£®4£®5 Êý¾Ý¹ýÂË 158
7£®5 HBase¿Í»§¶ËÑ¡Ôñ¼°ÅäÖÃÓÅ»¯ 159
7£®6 HBaseÓëMapReduce¼¯³É 159
7£®7 HBase¼¯Èº¼à¿Ø 160
7£®8 HBaseʵս£º¹«ÓÐÔÆÍøÅÌϵͳ¹ÜÀí 164
7£®8£®1 ²¿Êð¹«ÓÐÔÆÍøÅÌ 165
7£®8£®2 ÍøÅ̺ËÐÄ´úÂë·ÖÎö 168
Ï°Ìâ 171
µÚ8Õ Êý¾Ý»ñÈ¡ÓëFlumeÓ¦Óà 172
8£®1 ¹«¿ªÊý¾Ý×ÊÔ´»ñÈ¡ 172
8£®2 ʹÓÃÍøÂçÅÀ³æ»ñÈ¡Êý¾Ý 173
8£®2£®1 ÅÀ³æµÄ¹¤×÷Ô­Àí 173
8£®2£®2 ÅÀ³æµÄËÑË÷²ßÂÔ 174
8£®2£®3 ÅÀ³æµÄ¼òµ¥Ó¦Óà 175
8£®3 ʹÓÃFlume»ñÈ¡Êý¾Ý 177
8£®3£®1 Flume¼ò½é 177
8£®3£®2 FlumeÔËÐлúÖÆ 177
8£®3£®3 Flume°²×°²¿Êð 179
8£®3£®4 Flume¼òµ¥Ó¦ÓÃ 180
8£®4 ×ۺϰ¸Àý 182
Ï°Ìâ 186
µÚ9Õ »ùÓÚSparkµÄÄÚ´æ¼ÆËã 187
9£®1 Spark¼ò½é 187
9£®2 Spark¿ìËÙ²¿Êð 188
9£®2£®1 Sparkµ¥»úģʽ²¿Êð 188
9£®2£®2 Spark·Ö²¼Ê½¼¯Èº²¿Êð 189
9£®3 Spark³ÌÐò 192
9£®3£®1 Spark Shell 192
9£®3£®2 ÔÚIDEAÖбàд´ÊƵͳ¼Æ 193
9£®4 Spark RDD±à³Ì 197
9£®4£®1 RDD¼ò½é 197
9£®4£®2 RDDµÄ²Ù×÷Ëã×Ó 198
9£®4£®3 RDDµÄ³Ö¾Ã»¯ 204
9£®5 SparkÉú̬ϵͳ 205
9£®5£®1 Spark Core 206
9£®5£®2 Spark SQL 206
9£®5£®3 Spark Streaming 206
9£®5£®4 MLlib 206
9£®5£®5 GraphX 207
9£®6 SparkÓ¦Óð¸Àý 207
9£®6£®1 °¸Àý¸ÅÊö 207
9£®6£®2 ´úÂëʵÏÖ 208
9£®6£®3 ÔËÐнá¹û 208
Ï°Ìâ 209



µÚ10Õ ÀûÓôóÊý¾Ýƽ̨´¦ÀíͼÏñ
210
10£®1 ͼÏñµÄ»ù±¾¸ÅÄî 210
10£®2 Hadoop´¦ÀíͼÏñµÄÎÊÌâÓë¶Ô²ß 211
10£®2£®1 HadoopÖ±½Ó´¦ÀíͼÏñ´æÔÚ
µÄÎÊÌâ 211
10£®2£®2 ½â¾ö;¾¶ 212
10£®3 HIPI°²×°Ó벿Êð 212
10£®4 ʹÓÃHIPI½øÐÐͼÏñ´¦Àí 214
10£®5 HIPI¹¤¾ßhibDownload 222
10£®5£®1 ±àÒëhibDownload 222
10£®5£®2 hibDownloadµÄʹÓ÷½·¨ 222
10£®5£®3 hibDownloadµÄ¹¤×÷Ô­Àí 222
10£®5£®4 hibDownloadµÄʹÓÃʾÀý 230
Ï°Ìâ 235
²Î¿¼ÎÄÏ× 236