ÍøÂçÅÀ³æ°¸Àý½Ì³Ì(Python¡¤Î¢¿ÎÊÓƵ°æ)

Ŀ¼

µÚ1ÕÂÐ÷ÂÛ

1£®1ÍøÂçÅÀ³æµÄ»ù±¾¸ÅÄî

1£®2ÍøÂçÅÀ³æµÄ»ù±¾Á÷³Ì

1£®2£®1·¢ÆðÇëÇó

1£®2£®2»ñÈ¡ÏìÓ¦ÄÚÈÝ

1£®2£®3½âÎöÄÚÈÝ

1£®2£®4³Ö¾Ã»¯±£´æÊý¾Ý

1£®3ÍøÂçÅÀ³æµÄºÏ·¨ÐÔÎÊÌâ

1£®4·´ÅÀ³æ¼¼Êõ

1£®4£®1Userª²agent¿ØÖÆ·ÃÎÊ

1£®4£®2IPÏÞÖÆ·ÃÎÊ

1£®4£®3ÉèÖÃÇëÇó¼ä¸ô

1£®4£®4ͨ¹ý²ÎÊý¼ÓÃܺÍJavaScript½Å±¾

1£®4£®5ͨ¹ýrobots.txtÀ´ÏÞÖÆÅÀ³æ

1£®5ÍøÂçÅÀ³æµÄÔ¤±¸ÖªÊ¶

1£®5£®1ͳһ×ÊÔ´¶¨Î»Æ÷

1£®5£®2³¬Îı¾´«ÊäЭÒé

1£®5£®3³¬Îı¾±ê¼ÇÓïÑÔ

1£®6¿ª·¢ÓïÑԺͿª·¢»·¾³

1£®6£®1¿ª·¢ÓïÑÔ

1£®6£®2µÚÈý·½ÇëÇó¿â

1£®6£®3¿ª·¢¹¤¾ß

µÚ2ÕÂRequests¿â

2£®1°²×°Requests¿â

2£®2Requests¿â·¢ËÍÇëÇó

2£®3²é¿´ÏìÓ¦ÄÚÈÝ

2£®3£®1²é¿´ÏìӦ״̬Âë

2£®3£®2²é¿´ÏìÓ¦µÄÎı¾ÐÅÏ¢

2£®3£®3½â¾öÂÒÂëÎÊÌâ

2£®3£®4¶þ½øÖÆÂëÏìÓ¦ÄÚÈÝ

2£®3£®5JSONÏìÓ¦ÄÚÈÝ

2£®4¶¨ÖÆÇëÇóÍ·²¿Headers

2£®5Chromeä¯ÀÀÆ÷¿ª·¢Õß¹¤¾ßÃæ°å

2£®5£®1´ò¿ª¿ª·¢Õß¹¤¾ßÃæ°å

2£®5£®2ElementsÃæ°å

2£®5£®3NetworkÃæ°å

2£®6GETÇëÇ󵥸öÍøÒ³µÄÅÀÈ¡°¸Àý

2£®6£®1²»´ø²ÎÊýµÄGETÇëÇó

2£®6£®2Я´ø²ÎÊýµÄGETÇëÇó

µÚ3ÕÂJSONÊý¾ÝÅÀÈ¡

3£®1Ajax

3£®1£®1Ajax¼¼Êõ

3£®1£®2·ÖÎöÊý¾ÝÀ´Ô´

3£®2JSON

3£®2£®1JSONÓï·¨¹æÔò

3£®2£®2·ÃÎÊJSONÊý¾Ý

3£®2£®3JSONÎļþ¶Áд²Ù×÷

3£®2£®4JSONÊý¾ÝУÑéºÍ¸ñʽ»¯

3£®3AjaxÒì²½¶¯Ì¬¼ÓÔصÄÊý¾ÝÅÀ³æ

3£®3£®1´ø²ÎÊýµÄPOSTÇëÇóÅÀ³æ

3£®3.2¶à¸öÍøÒ³¶àÁ´½ÓGETÇëÇóÅÀ³æ×ۺϰ¸Àý

3£®4POSTÇëÇóµÄÁ½ÖÖ²ÎÊý¸ñʽ

3£®4£®1Form DataÀàÐÍ

3£®4£®2Request PayloadÀàÐÍ

µÚ4ÕÂXPath½âÎö¼°ÍøÒ³Êý¾ÝÅÀÈ¡

4£®1XPath¼ò½é¼°°²×°

4£®2XPath½Úµã

4£®2£®1»ù±¾Öµ½Úµã

4£®2£®2½Úµã¹Øϵ

4£®3XPathÓï·¨

4£®3£®1Ñ¡È¡½ÚµãÓï·¨

4£®3£®2νÓï

4£®3£®3ѡȡδ֪½Úµã

4£®3£®4Ñ¡È¡Èô¸É·¾¶

4£®3£®5³õ²½Ê¹ÓÃXPath°¸Àý

4£®4XPath±í´ïʽ

4£®4£®1¶¨Î»XPathËÑË÷¿ò

4£®4£®2ÔÚÍøÒ³ÉÏдXPath±í´ïʽ

4£®5ÅÀÈ¡HTMLÎĵµÊý¾Ý°¸Àý

4£®6ÅÀÈ¡¶àÒ³HTMLÎĵµÊý¾Ý°¸Àý

4£®6£®1·­Ò³ÔÚ²ÎÊýÀï

4£®6£®2·­Ò³ÔÚURLÖÐ

4£®7ͼƬÅÀ³æ°¸Àý

4£®7£®1µ¥ÕÅͼƬÅÀÈ¡

4£®7£®2¶àÒ³¶à·ùͼƬÅÀ³æ°¸Àý

4£®7£®3¶àÀà¶àÒ³¶àͼÅÀ³æ°¸Àý

µÚ5ÕÂIP´úÀí

5£®1IP´úÀíµÄ×÷ÓÃ

5£®2IP´úÀíʹÓ÷½·¨

5£®3´î½¨IP³Ø

5£®3£®1»ñÈ¡µ¥Ò³IP

5£®3£®2»ñÈ¡¶àÒ³IP

5£®3£®3¼ì²âIPÓÐЧÐÔ

5£®3£®4½¨Á¢IP³Ø

5£®4¸¶·ÑIP´úÀíʹÓÃ

µÚ6ÕÂSelenium¿â

6£®1Selenium°²×°¼°»·¾³ÅäÖÃ

6£®1£®1Selenium°²×°

6£®1£®2»·¾³ÅäÖÃ

6£®1£®3»·¾³²âÊÔ

6£®2Selenium¼òµ¥Ê¹Óü°ÅäÖÃ

6£®2£®1´ò¿ªÍøÒ³

6£®2£®2¹æ±Üαװ»úÖÆ

6£®2£®3³£¼ûµÄÅäÖÃÏî

6£®3SeleniumµÄÔªËض¨Î»²Ù×÷

6£®3£®1²é¿´Ò³ÃæÔªËØ

6£®3£®2ͨ¹ýID¶¨Î»ÔªËØ

6£®3£®3ͨ¹ýname¶¨Î»ÔªËØ

6£®3£®4ͨ¹ýclass¶¨Î»ÔªËØ

6£®3£®5ͨ¹ýtag¶¨Î»ÔªËØ

6£®3£®6ͨ¹ýlink¶¨Î»ÔªËØ

6£®3£®7ͨ¹ýpartial_link¶¨Î»ÔªËØ

6£®3£®8ͨ¹ýXPath¶¨Î»ÔªËØ

6£®3£®9ͨ¹ýCSS¶¨Î»ÔªËØ

6£®3£®10ͨ¹ýBy¶¨Î»ÔªËØ

6£®4SeleniumµÈ´ý»úÖÆ

6£®4£®1¹Ì¶¨µÈ´ý

6£®4£®2ÒþʽµÈ´ý

6£®4£®3ÏÔʽµÈ´ýWebDriverWait

6£®5Selenium¿ØÖÆä¯ÀÀÆ÷

6£®5£®1ä¯ÀÀÆ÷µÄ³£¼û²Ù×÷

6£®5£®2²»Í¬´°¿ÚÖ®¼äÇл»

6£®5£®3Êó±êʼþ

6£®5£®4¼üÅÌʼþ

6£®5£®5¶¨Î»Frame/IFrame

6£®5£®6Ò³ÃæÏÂÀ­

6£®5£®7´°¿Ú½Øͼ

6£®5£®8ÎļþÉÏ´«

6£®6SeleniumÅÀ³æ°¸Àý

6£®6£®1µ¥Ò³ÅÀÈ¡°¸Àý

6£®6£®2¶àÒ³ÅÀÈ¡°¸Àý

µÚ7ÕÂRequestsÓëSelenium½áºÏʹÓÃ

7£®1SeleniumÄ£ÄâµÇ¼

7£®1£®1Selenium³ÌÐòÄ£ÄâµÇ¼

7£®1£®2ÊÖ¶¯ÊäÈëÊý¾ÝÄ£ÄâµÇ¼

7£®2CookieÓëSession»úÖÆ

7£®2£®1Cookie»úÖÆ

7£®2£®2Session»úÖÆ

7£®3Requests¡¢Cookie¡¢Selenium½áºÏʹÓÃ

7£®4SeleniumºÍRequests½áºÏÏÂÔØÒôÀÖ

7£®4£®1µ¥Ê×ÒôÀÖÏÂÔØ

7£®4£®2¶àÊ×ÒôÀÖÏÂÔØ

µÚ8ÕÂÒì²½ÅÀ³æ

8£®1»ù±¾¸ÅÄî

8£®2´®ÐÐÏÂÔضà¸öÊÓƵ

8£®3ʹÓÃÏ̳߳ØÏÂÔضà¸öÊÓƵ

8£®3£®1Multiprocessing

8£®3£®2Threading

8£®4ʹÓÃЭ³ÌÏÂÔضà¸öÊÓƵ

µÚ9ÕÂÕýÔò±í´ïʽ

9£®1ÕýÔòº¯Êý

9£®1£®1re£®matchº¯Êý

9£®1£®2re£®searchº¯Êý

9£®1£®3re£®subº¯Êý

9£®1£®4re£®compileº¯Êý

9£®1£®5re£®findallº¯Êý

9£®1£®6re£®finditerº¯Êý

9£®1£®7re£®splitº¯Êý

9£®2ÕýÔò±í´ïʽģʽ¼°ÊµÀý

9£®3ÕýÔò±í´ïʽʵÀý

9£®3£®1Æ¥Åä×Ö·û´®

9£®3£®2Æ¥Åä×Ö·û×é

9£®3£®3Çø¼äÆ¥Åä

9£®3£®4ÌØÊâ×Ö·ûÆ¥Åä

9£®3£®5È¡·´

9£®3£®6¿ì½ÝÆ¥ÅäÊý×ÖºÍ×Ö·û

9£®3£®7Æ¥Åä¿Õ°××Ö·û

9£®3£®8µ¥´Ê±ß½ç

9£®3£®9¿ì½Ý·½Ê½È¡·´

9£®3£®10¿ªÊ¼ºÍ½áÊø

9£®3£®11Æ¥ÅäÈÎÒâ×Ö·û

9£®3£®12¿ÉÑ¡×Ö·û

9£®3£®13Öظ´

9£®3£®14Öظ´Çø¼ä

9£®3£®15¿ª±ÕÇø¼ä

9£®4ÕýÔò±í´ïʽ½ø½×

9£®4£®1·Ö×é

9£®4£®2»òÕßÌõ¼þ

9£®4£®3·Ö×éµÄ»ØËÝÒýÓÃ

9£®4£®4¶ÏÑÔ

µÚ10ÕÂÊý¾ÝÇåÏ´

10£®1Êý¾Ý·ÖÎöÁ÷³Ì

10£®2Êý¾ÝÇåÏ´µÄ¸ÅÄî¼°Á÷³Ì

10£®3Êý¾ÝÇåÏ´³£Ó÷½·¨

10£®3£®1¶ÁÈ¡Êý¾Ý

10£®3£®2³õ²½Ì½Ë÷Êý¾Ý

10£®3£®3¼òµ¥´¦ÀíÊý¾Ý

10£®3£®4Öظ´Öµ´¦Àí

10£®3£®5Òì³£Öµ´¦Àí

10£®3£®6´¦Àíȱʧֵ

10£®3£®7ÅÀÈ¡Êý¾Ý

10£®3£®8Ôö¼ÓÌØÕ÷Öµ

10£®3£®9¸ñʽÓëÄÚÈÝÇåÏ´

10£®3£®10Êý¾Ý³Ö¾Ã»¯±£´æ

µÚ11ÕÂ×ÛºÏÅÀ³æ°¸Àý

11£®1Êý¾ÝÅÀÈ¡

11£®1£®1µ¥Ïß³ÌÅÀÈ¡¡°Ç°³ÌÎÞÓÇ¡±

11£®1£®2¶àÏß³ÌÅÀÈ¡¡°Ó¢²ÅÍø¡±

11£®1£®3¶àÏß³ÌÅÀÈ¡¡°Ç°³ÌÎÞÓÇ¡±

11£®2¼òµ¥Êý¾ÝÇåÏ´

11£®2£®1µ¼Èë¿â

11£®2£®2³õʶÊý¾Ý

11£®2£®3¼òµ¥Êý¾Ý´¦Àí

11£®2£®4´¦ÀíÖظ´Öµ

11£®2£®5´¦Àí¿ÕÖµ

11£®2£®6×Ö¶ÎÄÚÈÝÇåÏ´

11£®2£®7ÌáÈ¡²¢Ôö¼ÓÌØÕ÷Öµ

11£®2£®8´¦ÀíÒì³£Öµ

11£®2£®9Êý¾Ý±£´æ

²Î¿¼ÎÄÏ×