【郑州校区】网络爬虫的原理图

2.3.1知识概述

① 指定一个种子url放入到队列中

② 从队列中获取某个URL

③ 使用HTTP协议发起网络请求

④ 在发起网络请求的过程中，需要将域名转化成IP地址，也就是域名解析

⑤ 得到服务器的响应，此时是二进制的输入流

⑥ 将二进制的输入流转换成HTML文档，并解析内容（我们要抓取的内容，比如标题）。

⑦ 将解除出来的内容保持到数据库

⑧ 记录当前URL，并标记为已爬取，避免下次重复爬取。

⑨ 从当前的HTML文档中，解析出页面中包含的其它URL，以供下次爬取

⑩ 判断解析出来的URL是否已经爬取过了，如果已经爬取就丢弃掉

⑪ 将还没爬取过的URL，存放到等待爬取的URL队列中。

⑫ 重复以上的步骤，指导等待爬取的URL队列中没有数据

2.3.2视频详情

2.3.3总结与补充

        无

2.3.4课堂提问与练习

无

2.3.5习题答案

        无

传智播客·黑马程序员郑州校区地址

河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线  地铁一号线梧桐街站A口出

【郑州校区】网络爬虫的原理图

2.3.1知识概述

① 指定一个种子url放入到队列中

② 从队列中获取某个URL

③ 使用HTTP协议发起网络请求

④ 在发起网络请求的过程中，需要将域名转化成IP地址，也就是域名解析

⑤ 得到服务器的响应，此时是二进制的输入流

⑥ 将二进制的输入流转换成HTML文档，并解析内容（我们要抓取的内容，比如标题）。

⑦ 将解除出来的内容保持到数据库

⑧ 记录当前URL，并标记为已爬取，避免下次重复爬取。

⑨ 从当前的HTML文档中，解析出页面中包含的其它URL，以供下次爬取

⑩ 判断解析出来的URL是否已经爬取过了，如果已经爬取就丢弃掉

⑪ 将还没爬取过的URL，存放到等待爬取的URL队列中。

⑫ 重复以上的步骤，指导等待爬取的URL队列中没有数据

2.3.2视频详情

2.3.3总结与补充

        无

2.3.4课堂提问与练习

无

2.3.5习题答案

        无

传智播客·黑马程序员郑州校区地址

河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线  地铁一号线梧桐街站A口出