传智播客旗下技术交流社区北京校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 黑马官方管理员   /  2018-11-7 14:41  /  718 人查看  /  44 人回复  /   2 人收藏 转载请遵从CC协议 禁止商业使用本文

JavaEE画板 3.jpg

前面介绍了几种爬虫的分类,这里我们使用聚焦网络爬虫,抓取汽车之家上的汽车评测数据。可以参考下面链接:https://www.autohome.com.cn/bestauto

抓取评测数据过程如下:

1.    根据url抓取html页面

2.    对html页面进行解析,获取该页面所有的评测数据

3.    遍历所有的评测数据

4.    判断遍历的评测数据是否已保存,

      如果已保存再次遍历下一条评测数据

      如果未保存执行下一步

5.    保存评测数据到数据库中

网盘资料截图展示:

TIM截图20181107143800.png

网盘资料下载链接已添加回帖可见

游客,如果您要查看本帖隐藏内容请回复

分享至 : QQ空间
收藏

44 个回复

正序浏览
厉害,来自一个初级菜鸟的膜拜
回复 使用道具 举报
感谢分享
回复 使用道具 举报
666666666666666666
回复 使用道具 举报
牛!!!
回复 使用道具 举报
Unwilling ordinary
回复 使用道具 举报
6666666666666666
回复 使用道具 举报
66666666666666666~
回复 使用道具 举报
看看看看
回复 使用道具 举报
学习一下
回复 使用道具 举报
谢谢分享!!
回复 使用道具 举报
回复得资料,没毛病
回复 使用道具 举报
学习提高自己
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
学习学习了解一下
回复 使用道具 举报
学习一下
回复 使用道具 举报
多谢分享
回复 使用道具 举报
赞赞赞赞赞赞
回复 使用道具 举报
谢谢分享。
回复 使用道具 举报
学习一下
回复 使用道具 举报
123下一页
您需要登录后才可以回帖 登录 | 加入黑马
关闭

站长推荐 上一条 /5 下一条