2018最新python3-网络爬虫开发实战

爬虫技术

数据既是当今大数据分析的前提，也是各种人工智能应用场景的基础。得数据者得天下，会爬虫者走遍天下也不怕！一册在手，让小白到老司机都能有所收获！

——李舟军

，北京航空航天大学教授，博士生导师

本书从爬虫入门到分布式抓取，详细介绍了爬虫技术的各个要点，并针对不同的场景提出了对应的解决方案。另外，书中通过大量的实例来帮助读者更好地学习爬虫技术，通俗易懂，干货满满。强烈推荐给大家！

——宋睿华

，微软小冰首席科学家

有人说中国互联网的带宽全给各种爬虫占据了，这说明网络爬虫的重要性以及中国互联网数据封闭垄断的现状。爬是一种能力，爬是为了不爬。

——施水才

，北京拓尔思信息技术股份有限公司总裁

全书目录

书的目录也有~ 看这里！

1-开发环境配置

1.1-Python3的安装

1.2-请求库的安装

1.3-解析库的安装

1.4-数据库的安装

1.5-存储库的安装

1.6-Web库的安装

1.7-App爬取相关库的安装

1.8-爬虫框架的安装

1.9-部署相关库的安装

2-爬虫基础

2.1-HTTP基本原理

2.2-网页基础

2.3-爬虫的基本原理

2.4-会话和Cookies

2.5-代理的基本原理

3-基本库的使用

3.1-使用urllib

3.1.1-发送请求

3.1.2-处理异常

3.1.3-解析链接

3.1.4-分析Robots协议

3.2-使用requests

3.2.1-基本用法

3.2.2-高级用法

3.3-正则表达式

3.4-抓取猫眼电影排行

4-解析库的使用

4.1-使用XPath

4.2-使用Beautiful Soup

4.3-使用pyquery

5-数据存储

5.1-文件存储

5.1.1-TXT文本存储

5.1.2-JSON文件存储

5.1.3-CSV文件存储

5.2-关系型数据库存储

5.2.1-MySQL存储

5.3-非关系型数据库存储

5.3.1-MongoDB存储

5.3.2-Redis存储

6-Ajax数据爬取

6.1-什么是Ajax

6.2-Ajax分析方法

6.3-Ajax结果提取

6.4-分析Ajax爬取今日头条街拍美图

7-动态渲染页面爬取

7.1-Selenium的使用

7.2-Splash的使用

7.3-Splash负载均衡配置

7.4-使用Selenium爬取淘宝商品

8-验证码的识别

8.1-图形验证码的识别

8.2-极验滑动验证码的识别

8.3-点触验证码的识别

8.4-微博宫格验证码的识别

9-代理的使用

9.1-代理的设置

9.2-代理池的维护

9.3-付费代理的使用

9.4-ADSL拨号代理

9.5-使用代理爬取微信公众号文章

10-模拟登录

10.1-模拟登录并爬取GitHub

10.2-Cookies池的搭建

11-App的爬取

11.1-Charles的使用

11.2-mitmproxy的使用

11.3-mitmdump爬取“得到”App电子书信息

11.4-Appium的基本使用

11.5-Appium爬取微信朋友圈

11.6-Appium+mitmdump爬取京东商品

12-pyspider框架的使用

12.1-pyspider框架介绍

12.2-pyspider的基本使用

12.3-pyspider用法详解

13-Scrapy框架的使用

13.1-Scrapy框架介绍

13.2-Scrapy入门

13.3-Selector的用法

13.4-Spider的用法

13.5-Downloader Middleware的用法

13.6-Spider Middleware的用法

13.7-Item Pipeline的用法

13.8-Scrapy对接Selenium

13.9-Scrapy对接Splash

13.10-Scrapy通用爬虫

13.11-Scrapyrt的使用

13.12-Scrapy对接Docker

13.13-Scrapy爬取新浪微博

14-分布式爬虫

14.1-分布式爬虫原理

14.2-Scrapy-Redis源码解析

14.3-Scrapy分布式实现

14.4-Bloom Filter的对接

15-分布式爬虫的部署

15.1-Scrapyd分布式部署

15.2-Scrapyd-Client的使用

15.3-Scrapyd对接Docker

15.4-Scrapyd批量部署

15.5-Gerapy分布式管理