×Ô¼º¶¯ÊÖдÍøÂçÅÀ³æ-(ÐÞ¶©°æ)

µÚ1ƪ  ×Ô¼º¶¯ÊÖץȡÊý¾Ý µÚ1Õ  È«ÃæÆÊÎöÍøÂçÅÀ³æ 3 1.1  ץȡÍøÒ³ 4 1.1.1  ÉîÈëÀí½âurl 4 1.1.2  ͨ¹ýÖ¸¶¨µÄurlץȡ ÍøÒ³ÄÚÈÝ 6 1.1.3  javaÍøҳץȡʾÀý 8 1.1.4  ´¦Àíhttp״̬Âë 10 1.2  ¿í¶ÈÓÅÏÈÅÀ³æºÍ´øÆ«ºÃµÄÅÀ³æ 12 1.2.1  ͼµÄ¿í¶ÈÓÅÏȱéÀú 12 1.2.2  ¿í¶ÈÓÅÏȱéÀú»¥ÁªÍø 13 1.2.3  java¿í¶ÈÓÅÏÈÅÀ³æʾÀý 15 1.2.4  ´øÆ«ºÃµÄÅÀ³æ 22 1.2.5  java´øÆ«ºÃµÄÅÀ³æʾÀý 23 1.3  Éè¼ÆÅÀ³æ¶ÓÁÐ 24 1.3.1  ÅÀ³æ¶ÓÁÐ 24 1.3.2  ʹÓÃberkeley db¹¹½¨ÅÀ³æ ¶ÓÁÐ 29 1.3.3  ʹÓÃberkeley db ¹¹½¨ÅÀ³æ ¶ÓÁÐʾÀý 30 1.3.4  ʹÓò¼Â¡¹ýÂËÆ÷¹¹½¨ visited±í 36 1.3.5  Ïê½âheritrixÅÀ³æ¶ÓÁÐ 39 1.4  Éè¼ÆÅÀ³æ¼Ü¹¹ 46 1.4.1  ÅÀ³æ¼Ü¹¹ 46 1.4.2  Éè¼Æ²¢ÐÐÅÀ³æ¼Ü¹¹ 47 1.4.3  Ïê½âheritrixÅÀ³æ¼Ü¹¹ 52 1.5  ʹÓöàÏ̼߳¼ÊõÌáÉýÅÀ³æÐÔÄÜ 55 1.5.1  Ïê½âjava¶àÏß³Ì 55 1.5.2  ÅÀ³æÖеĶàÏß³Ì 59 1.5.3  Ò»¸ö¼òµ¥µÄ¶àÏß³ÌÅÀ³æʵÏÖ 60 1.5.4  Ïê½âheritrix¶àÏ߳̽ṹ 61 ±¾ÕÂС½á 64 µÚ2Õ  ·Ö²¼Ê½ÅÀ³æ 69 2.1  Éè¼Æ·Ö²¼Ê½ÅÀ³æ 70 2.1.1  ·Ö²¼Ê½ÓëÔƼÆËã 70 2.1.2  ·Ö²¼Ê½ÓëÔƼÆËã¼¼ÊõÔÚ ÅÀ³æÖеÄÓ¦ÓÃ--dzÎö googleµÄÔƼÆËã¼Ü¹¹ 72 2.2  ·Ö²¼Ê½´æ´¢ 72 2.2.1  ´Óralation_dbµ½key/value ´æ´¢ 72 2.2.2  consistent hashËã·¨ 74 2.2.3  consistent hash´úÂëʵÏÖ 79 2.3  googleµÄ³É¹¦Ö®µÀ--gfs 80 2.3.1  gfsÏê½â 80 2.3.2  ¿ªÔ´gfs--hdfs 84 2.4  googleÍøÒ³´æ´¢Ãؾ÷--bigtable 88 2.4.1  Ïê½âbigtable 88 2.4.2  ¿ªÔ´bigtable-hbase 93 2.5  googleµÄ³É¹¦Ö®µÀ-- mapreduceËã·¨ 98 2.5.1  Ïê½âmapreduceËã·¨ 100 2.5.2  mapreduceÈÝ´í´¦Àí 101 2.5.3  mapreduceʵÏּܹ¹ 102 2.5.4  hadoopÖеÄmapreduce ¼ò½é 104 2.5.5  wordcountÀý×ÓµÄʵÏÖ 105 2.6  nutchÖеķֲ¼Ê½ 109 2.6.1  nutchÅÀ³æÏê½â 109 2.6.2  nutchÖеķֲ¼Ê½ 116 ±¾ÕÂС½á 118 µÚ3Õ  ÅÀ³æµÄ"·½·½ÃæÃæ" 121 3.1  ÅÀ³æÖеÄ"ºÚ¶´" 122 3.2  Ö÷ÌâÅÀ³æºÍÏÞ¶¨ÅÀ³æ 122 3.2.1  Àí½âÖ÷ÌâÅÀ³æ 122 3.2.2  javaÖ÷ÌâÅÀ³æ 128 3.2.3  Àí½âÏÞ¶¨ÅÀ³æ 130 3.2.4  javaÏÞ¶¨ÅÀ³æʾÀý 136 3.3  ÓÐ"µÀµÂ"µÄÅÀ³æ 152 ±¾ÕÂС½á 156 µÚ2ƪ  ×Ô¼º¶¯ÊÖ³éÈ¡webÄÚÈÝ µÚ4Õ  "´¦Àí"htmlÒ³Ãæ 159 4.1  Õ÷·þÕýÔò±í´ïʽ 160 4.1.1  ѧϰÕýÔò±í´ïʽ 160 4.1.2  javaÕýÔò±í´ïʽ 163 4.2  ³éÈ¡htmlÕýÎÄ 169 4.2.1  Á˽âjsoup 169 4.2.2  ʹÓÃÕýÔò±í´ïʽ³éȡʾÀý 173 4.3  ³éÈ¡ÕýÎÄ 177 4.4  ´ÓjavascriptÖгéÈ¡ÐÅÏ¢ 193 4.4.1  javascript³éÈ¡·½·¨ 193 4.4.2  javascript³éȡʾÀý 195 ±¾ÕÂС½á 197 µÚ5Õ  ·ÇhtmlÕýÎijéÈ¡ 199 5.1  ³éÈ¡pdfÎļþ 200 5.1.1  ѧϰpdfbox 200 5.1.2  ʹÓÃpdfbox³éȡʾÀý 204 5.1.3  ÌáÈ¡pdfÎļþ±êÌâ 205 5.1.4  ´¦Àípdf¸ñʽµÄ¹«ÎÄ 206 5.2  ³éÈ¡officeÎĵµ 211 5.2.1  ѧϰpoi 211 5.2.2  ʹÓÃpoi³éÈ¡wordʾÀý 211 5.2.3  ʹÓÃpoi³éÈ¡ppt ʾÀý 213 5.2.4  ʹÓÃpoi³éÈ¡excelʾÀý 214 5.3  ³éÈ¡rtf 217 5.3.1  ¿ªÔ´rtfÎļþ½âÎöÆ÷ 217 5.3.2  ʵÏÖÒ»¸örtfÎļþ½âÎöÆ÷ 217 5.3.3  ½âÎörtfʾÀý 222 ±¾ÕÂС½á 227 µÚ6Õ  ¶àýÌå³éÈ¡ 229 6.1  ÊÓƵ³éÈ¡ 230 6.1.1  ³éÈ¡ÊÓƵ¹Ø¼üÖ¡ 230 6.1.2  javaÊÓƵ´¦Àí¿ò¼Ü 231 6.1.3  javaÊÓƵ³éȡʾÀý 235 6.2  ÒôƵ³éÈ¡ 247 6.2.1  ³éÈ¡ÒôƵ 248 6.2.2  javaÒôƵ³éÈ¡¼¼Êõ 252 ±¾ÕÂС½á 254 µÚ7Õ  È¥µôÍøÒ³ÖеÄ"ÔëÉù" 255 7.1  "ÔëÉù"¶ÔÍøÒ³µÄÓ°Ïì 256 7.2  ÀûÓÃ"ͳ¼Æѧ"Ïû³ý"ÔëÉù" 257 7.2.1  ÍøÕ¾·ç¸ñÊ÷ 260 7.2.2 "ͳ¼ÆѧȥÔë"µÄ javaʵÏÖ 268 7.3  ÀûÓÃ"ÊÓ¾õ"Ïû³ý"ÔëÉù" 272 7.3.1  "ÊÓ¾õ"Óë"ÔëÉù" 272 7.3.2  "ÊÓ¾õÈ¥Ôë"µÄjavaʵÏÖ 273 ±¾ÕÂС½á 277 µÚ3ƪ  ×Ô¼º¶¯ÊÖÍÚ¾òwebÊý¾Ý µÚ8Õ  ·ÖÎöwebͼ 281 8.1  ´æ´¢web"ͼ" 282 8.2  ÀûÓÃweb"ͼ"·ÖÎöÁ´½Ó 291 8.3  googleµÄÃØÃÜ--pagerank 291 8.3.1  ÉîÈëÀí½âpagerankËã·¨ 291 8.3.2  pagerankËã·¨µÄjavaʵÏÖ 295 8.3.3  Ó¦ÓÃpagerank½øÐÐÁ´½Ó ·ÖÎö 298 8.4  pagerank µÄÐÖµÜhits 299 8.4.1  ÉîÈëÀí½âhitsËã·¨ 299 8.4.2  hitsËã·¨µÄjavaʵÏÖ 300 8.4.3  Ó¦ÓÃhits½øÐÐÁ´½Ó·ÖÎö 311 8.5  pagerankÓëhits±È½Ï 312 ±¾ÕÂС½á 313 µÚ9Õ  È¥µô"Öظ´"µÄÎĵµ 315 9.1  ºÎΪ"Öظ´"µÄÎĵµ 316 9.2  ÀûÓÃ"ÓïÒåÖ¸ÎÆ"ÅÅÖØ 316 9.2.1  Àí½â"ÓïÒåÖ¸ÎÆ" 318 9.2.2  "ÓïÒåÖ¸ÎÆ"ÅÅÖØµÄ javaʵÏÖ 319 9.3  simhashÅÅÖØ 319 9.3.1  Àí½âsimhash 320 9.3.2  simhashÅÅÖصÄjavaʵÏÖ 321 9.4  ·Ö²¼Ê½ÎĵµÅÅÖØ 328 ±¾ÕÂС½á 329 µÚ10Õ  ·ÖÀàÓë¾ÛÀàµÄÓ¦Óà 331 10.1  ÍøÒ³·ÖÀà 332 10.1.1  ÊÕ¼¯ÓïÁÏ¿â 332 10.1.2  Ñ¡È¡ÍøÒ³µÄ"ÌØÕ÷" 333 10.1.3  ʹÓÃÖ§³ÖÏòÁ¿»ú½øÐÐ ÍøÒ³·ÖÀà 336 10.1.4  ÀûÓÃurlµØÖ·½øÐÐ ÍøÒ³·ÖÀà 338 10.1.5  ʹÓÃadaboost½øÐÐ ÍøÒ³·ÖÀà 338 10.2  ÍøÒ³¾ÛÀà 341 10.2.1  ÉîÈëÀí½âdbscanËã·¨ 341 10.2.2  ʹÓÃdbscanËã·¨¾ÛÀà  ÊµÀý 342 ±¾ÕÂС½á 344