网络连接像是在自助饮料售货机上购买饮料一样：购买者只需选择所需饮料，投入硬币（或纸币），自助饮料售货机就会弹出相应的商品。如下图所示，计算机（购买者）带着请求头和消息体（硬币和所需饮料）向服务器（自助饮料售货机）发起一次Request请求（购买），相应的服务器（自助饮料售货机）会返回本计算机相应的HTML文件作为Response（相应的商品）。
了解网络连接的基本原理后，爬虫原理就很好理解了。网络连接需要计算机一次Request请求和服务器端的Response回应。爬虫也是需要做两件事：
（1） 模拟计算机对服务器发起Request请求。
（2） 接收服务器端的Response内容并解析、提取所需的信息。
但互联网网页错综复杂，一次的请求和回应不能够批量获取网页的数据，这时就需要设计爬虫的流程。
1.2.1 多页面爬虫流程多页面网页结构如下图：
有的网页存在多页的情况，每页的网页结构都相同或类似，这种类型的网页爬虫流程为：
（1）手动翻页并观察各网页的URL构成特点（利用浏览器中的开发者工具，查看网页代码），构造出所有页面的URL存入列表中。
（2）根据URL列表依次循环取出URL。
（3）定义爬虫函数。
（4）循环调用爬虫函数，存储数据。
（5）循环完毕，结束爬虫程序。
流程图如下：
列表页和详细页分别如下图：
这种跨页面的爬虫程序流程为：
（1）定义爬取函数爬取列表页的所有专题的URL。（也是利用浏览器的开发者工具查看网页代码）
（2）将专题URL存入列表中（种子URL）。
（3）定义爬取详细页数据函数。
（4）进入专题详细页面爬取详细页数据。
（5）存储数据，循环完毕，结束爬虫程序。
流程图如下：
蜘蛛类中的内容（亦为爬虫）：
1>URL管理器（一般用列表保存，URL简单来讲就是网址）
2>网页下载器（将网页下载下来）
3>网页解析器（将下载下来的网页进行分析，得到想要得到的数据）
奈斯
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) | 黑马程序员IT技术论坛 X3.2 |
