本书从实战角度系统讲解Python爬虫的核心知识点，并通过大量的真实项目让读者熟练掌握Python爬虫技术。本书用20多个实战案例，完美演绎了使用各种技术编写Python爬虫的方式，读者可以任意组合这些技术，完成很好复杂的爬虫应用。全书共20章，分为5篇。篇基础知识（、2章），主要包括Python运行环境的搭建、HTTP基础、网页基础（HTML、CSS、java script等）、爬虫的基本原理、Session与Cookie。第2篇网络库（第3～6章），主要包括网络库urllib、urllib3、requests和Twisted的核心使用方法，如发送HTTP请求、处理超时、设置HTTP请求头、搭建和使用代理、解析链接、Robots协议等。第3篇解析库（第7～10章），主要包括3个常用解析库（lxml、BeautifulSoup和pyquery）的使用方法，同时介绍多种用于分析HTML代码的技术，如正则表达式、XPath、CSS选择器、方法选择器等。第4篇数据存储（1、12章），主要包括Python中数据存储的解决方案，如文件存储和数据库存储，其中数据库存储包括多种数据库，如本地数据库SQLite、网络数据库MySQL以及文档数据库MongoDB。第5篇爬虫不错应用（3～20章），主要包括Python爬虫的一些不错技术，如抓取异步数据、Selenium、Splash、抓取移动App数据、Appium、多线程爬虫、爬虫框架Scrapy，很后给出一个综合的实战案例，综合了Python爬虫、数据存储、PyQt5、多线程、数据可视化、Web等多种技术实现一个可视化爬虫。本书可以作为广大计算机软件技术开发者、互联网技术研究人员学习“爬虫技术”的参考用书。也可以作为高等院校计算机科学与技术、软件工程、人工智能等专业的教学参考用书。
|
