爬虫原理1.1 网络连接 网络连接像是在自助饮料售货机上购买饮料一样:购买者只需选择所需饮料,投入硬币(或纸币),自助饮料售货机就会弹出相应的商品。如下图所示,计算机(购买者)带着请求头和消息体(硬币和所需饮料)向服务器(自助饮料售货机)发起一次Request请求(购买),相应的服务器(自助饮料售货机)会返回本计算机相应的HTML文件作为Response(相应的商品)。 1.2 爬虫原理 了解网络连接的基本原理后,爬虫原理就很好理解了。网络连接需要计算机一次Request请求和服务器端的Response回应。爬虫也是需要做两件事: (1) 模拟计算机对服务器发起Request请求。 (2) 接收服务器端的Response内容并解析、提取所需的信息。 但互联网网页错综复杂,一次的请求和回应不能够批量获取网页的数据,这时就需要设计爬虫的流程。 1.2.1 多页面爬虫流程 多页面网页结构如下图: 有的网页存在多页的情况,每页的网页结构都相同或类似,这种类型的网页爬虫流程为: (1)手动翻页并观察各网页的URL构成特点(利用浏览器中的开发者工具,查看网页代码),构造出所有页面的URL存入列表中。 (2)根据URL列表依次循环取出URL。 (3)定义爬虫函数。 (4)循环调用爬虫函数,存储数据。 (5)循环完毕,结束爬虫程序。 流程图如下: 1.2.2 跨页面爬虫流程 列表页和详细页分别如下图:
这种跨页面的爬虫程序流程为: (1)定义爬取函数爬取列表页的所有专题的URL。(也是利用浏览器的开发者工具查看网页代码) (2)将专题URL存入列表中(种子URL)。 (3)定义爬取详细页数据函数。 (4)进入专题详细页面爬取详细页数据。 (5)存储数据,循环完毕,结束爬虫程序。 流程图如下: 1.3 爬虫代码设计思路总结蜘蛛类中的内容(亦为爬虫): 1>URL管理器(一般用列表保存,URL简单来讲就是网址) 2>网页下载器(将网页下载下来) 3>网页解析器(将下载下来的网页进行分析,得到想要得到的数据)
|