黑马程序员技术交流社区
标题: 【郑州校区】网络爬虫的原理图 [打印本页]
作者: 我是楠楠 时间: 2019-4-10 14:15
标题: 【郑州校区】网络爬虫的原理图
【郑州校区】网络爬虫的原理图
2.3.1知识概述
① 指定一个种子url放入到队列中
② 从队列中获取某个URL
③ 使用HTTP协议发起网络请求
④ 在发起网络请求的过程中，需要将域名转化成IP地址，也就是域名解析
⑤ 得到服务器的响应，此时是二进制的输入流
⑥ 将二进制的输入流转换成HTML文档，并解析内容（我们要抓取的内容，比如标题）。
⑦ 将解除出来的内容保持到数据库
⑧ 记录当前URL，并标记为已爬取，避免下次重复爬取。
⑨ 从当前的HTML文档中，解析出页面中包含的其它URL，以供下次爬取
⑩ 判断解析出来的URL是否已经爬取过了，如果已经爬取就丢弃掉
⑪ 将还没爬取过的URL，存放到等待爬取的URL队列中。
⑫ 重复以上的步骤，指导等待爬取的URL队列中没有数据
2.3.2视频详情2.3.3总结与补充 无
2.3.4课堂提问与练习无
2.3.5习题答案 无
传智播客·黑马程序员郑州校区地址
河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) |
黑马程序员IT技术论坛 X3.2 |
