传智播客旗下技术交流社区北京校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

默认标题_自定义px_2018.11.07.2.png

前面介绍了几种爬虫的分类,这里我们使用聚焦网络爬虫,抓取汽车之家上的汽车评测数据。可以参考下面链接:https://www.autohome.com.cn/bestauto

抓取评测数据过程如下:

1.    根据url抓取html页面

2.    对html页面进行解析,获取该页面所有的评测数据

3.    遍历所有的评测数据

4.    判断遍历的评测数据是否已保存,

      如果已保存再次遍历下一条评测数据

      如果未保存执行下一步

5.    保存评测数据到数据库中

网盘资料截图展示:

TIM截图20181107143800.png

网盘资料下载链接已添加回帖可见

游客,如果您要查看本帖隐藏内容请回复

分享至 : QQ空间
收藏

9 个回复

倒序浏览
学习一下~
回复 使用道具 举报
mx003 来自手机 中级黑马 2018-11-7 20:30:00
藤椅
谢谢分享
回复 使用道具 举报
学习一下
回复 使用道具 举报
用  Java 写的爬虫吗  
回复 使用道具 举报
黑马出征,寸草不生
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
???看看
回复 使用道具 举报
学习学习
回复 使用道具 举报
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马
关闭

站长推荐 上一条 /5 下一条