-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
高等职业教育系列教材大数据采集与爬虫 版权信息
- ISBN:9787111651260
- 条形码:9787111651260 ; 978-7-111-65126-0
- 装帧:平装-胶订
- 册数:暂无
- 重量:暂无
- 所属分类:>
高等职业教育系列教材大数据采集与爬虫 本书特色
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序,内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法,以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例,以巩固前面所学的知识。
《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材,也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。
高等职业教育系列教材大数据采集与爬虫 内容简介
《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序,内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法,以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例,以巩固前面所学的知识。 《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材,也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。
高等职业教育系列教材大数据采集与爬虫 目录
前言
任务1 Python环境搭建
1.1 任务描述
1.2 Python概述
1.3 Python编程环境搭建
1.3.1 在Windows操作系统下安装Python
1.3.2 在 Linux操作系统下安装Python
1.3.3 在 Mac OS操作系统下安装Python
1.4 安装集成开发环境PyCharm
1.4.1 PyCharm概述
1.4.2 PyCharm的安装和运行
1.5 Python的数据类型
1.5.1 整型
1.5.2 浮点型
1.5.3 字符串类型
1.5.4 列表类型
1.5.5 集合类型
1.5.6 字典类型
1.5.7 元组类型
1.6 Python语句与函数
1.6.1 条件判断语句
1.6.2 循环语句
1.6.3 自定义函数
1.7 任务实现
1.8 小结
1.9 习题
任务2 实现简单数据采集
2.1 任务描述
2.2 网络爬虫基础知识
2.2.1 网络爬虫概述
2.2.2 使用网络爬虫的风险
2.2.3 Python爬虫的工作过程
2.3 网络基础知识
2.3.1 HTML
2.3.2 URI和URL
2.3.3 HTTP
2.3.4 Request和Response
2.4 requests库的安装及使用
2.4.1 requests库概述
2.4.2 requests库的安装
2.4.3 requests库的基本用法
2.5 lxml库和BeautifulSoup库的安装及使用
2.5.1 lxml库概述
2.5.2 BeautifulSoup库概述
2.5.3 lxml库和BeautifulSoup库的安装
2.5.4 lxml库和BeautifulSoup库的基本用法
2.6 任务实现
2.7 小结
2.8 习题
任务3 存储数据
3.1 任务描述
3.2 MySQL的安装及使用
3.2.1 MySQL概述
3.2.2 MySQL的安装
3.2.3 MySQL的操作
3.3 PyMySQL的使用
3.4 CSV和JSON格式
3.4.1 CSV格式概述
3.4.2 输出CSV文件头部
3.4.3 使用Python读取CSV文件数据
3.4.4 使用Python向CSV文件写入数据
3.4.5 JSON格式概述
3.4.6 使用Python读取JSON文件数据
3.4.7 使用Python向JSON文件写入数据
3.5 任务实现
3.6 小结
3.7 习题
任务4 使用Web API采集数据
4.1 任务描述
4.2 GitHub
4.2.1 GitHub概述
4.2.2 GitHub的基本用法
4.3 Web API
4.3.1 Web API概述
4.3.2 GitHub开放API的数据特点
4.3.3 GitHub的API请求数据
4.3.4 获取API的响应数据
4.3.5 处理API的响应数据
4.4 任务实现
4.5 小结
4.6 习题
任务5 使用AJAX采集数据
5.1 任务描述
5.2 AJAX
5.2.1 AJAX的起源
5.2.2 AJAX概述
5.2.3 AJAX的特点
5.2.4 静态数据
5.2.5 动态数据
5.2.6 分析AJAX采集的数据
5.2.7 提取AJAX采集的数据
5.3 任务实现
5.4 小结
5.5 习题
任务6 主流验证码解析
6.1 验证码概述
6.2 自定义图形验证码解析
6.2.1 任务描述
6.2.2 图形验证码概述
6.2.3 tesserocr库概述
6.2.4 tesserocr库的安装
6.2.5 自定义图形验证码的生成
6.2.6 使用tesserocr库解析自定义图形验证码
6.2.7 任务实现
6.3 滑动验证码解析
6.3.1 任务描述
6.3.2 滑动验证码概述
6.3.3 ChromeDriver概述
6.3.4 ChromeDriver的安装
6.3.5 Selenium概述
6.3.6 Selenium的安装
6.3.7 Selenium和ChromeDriver的基本用法
6.3.8 任务实现
6.4 点击式验证码解析
6.4.1 任务描述
6.4.2 点击式验证码概述
6.4.3 聚合数据平台接口概述
6.4.4 任务实现
6.5 小结
6.6 习题
任务7 模拟登录
7.1 使用Selenium和ChromeDriver实现模拟登录
7.1.1 任务描述
7.1.2 GET概述
7.1.3 GET的基本用法
7.1.4 POST概述
7.1.5 POST的基本用法
7.1.6 GET和POST的区别
7.1.7 任务实现
7.2 使用Cookie实现模拟登录
7.2.1 任务描述
7.2.2 Cookie概述
7.2.3 Session概述
7.2.4 Cookie和Session的区别
7.2.5 任务实现——使用Cookie模拟登录
7.2.6 任务实现——使用requests库实现用Cookie和Session模拟登录
7.3 小结
7.4 习题
任务8 使用Scrapy爬虫框架采集数据
8.1 任务描述
8.2 Scrapy
8.2.1 Scrapy概述
8.2.2 Scrapy的工作原理
8.3 Scrapy的安装
8.3.1 在Windows操作系统下安装Scrapy
8.3.2 在Linux操作系统下安装Scrapy
8.4 Scrapy各组件的用法
8.4.1 Selector类
8.4.2 Spider类
8.4.3 下载器中间件
8.4.4 条目管道
8.4.5 网络爬虫中间件
8.5 任务实现
8.6 小结
8.7 习题
任务9 综合案例
9.1 任务描述
9.2 页面分析
9.3 模拟登录
9.4 获取静态数据
9.5 获取动态数据
9.6 数据持久化保存
9.7 小结
- >
月亮虎
月亮虎
¥20.2¥48.0 - >
朝闻道
朝闻道
¥15.0¥23.8 - >
名家带你读鲁迅:故事新编
名家带你读鲁迅:故事新编
¥13.0¥26.0 - >
上帝之肋:男人的真实旅程
上帝之肋:男人的真实旅程
¥30.5¥35.0 - >
名家带你读鲁迅:朝花夕拾
名家带你读鲁迅:朝花夕拾
¥10.5¥21.0 - >
龙榆生:词曲概论/大家小书
龙榆生:词曲概论/大家小书
¥7.7¥24.0 - >
巴金-再思录
巴金-再思录
¥14.7¥46.0 - >
罗庸西南联大授课录
罗庸西南联大授课录
¥13.8¥32.0
-
Photoshop 2022中文版案例教程
¥44.1¥59.8 -
局域网组建、管理与维护(第4版)(微课版)
¥47¥59 -
园林AUTOCAD教程
¥24¥45 -
Python实战编程:从零学Python
¥81¥108 -
Java程序设计基础
¥37¥50 -
数据备份与恢复
¥51.4¥69