传智播客旗下技术交流社区北京校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 黑马官方管理员   /  2018-11-7 14:41  /  2332 人查看  /  70 人回复  /   2 人收藏 转载请遵从CC协议 禁止商业使用本文

JavaEE画板 3.jpg

前面介绍了几种爬虫的分类,这里我们使用聚焦网络爬虫,抓取汽车之家上的汽车评测数据。可以参考下面链接:https://www.autohome.com.cn/bestauto

抓取评测数据过程如下:

1.    根据url抓取html页面

2.    对html页面进行解析,获取该页面所有的评测数据

3.    遍历所有的评测数据

4.    判断遍历的评测数据是否已保存,

      如果已保存再次遍历下一条评测数据

      如果未保存执行下一步

5.    保存评测数据到数据库中

网盘资料截图展示:

TIM截图20181107143800.png

网盘资料下载链接已添加回帖可见

游客,如果您要查看本帖隐藏内容请回复

分享至 : QQ空间
收藏

70 个回复

正序浏览
谢谢----------------
回复 使用道具 举报
学习学习
回复 使用道具 举报
老师还有效吗?
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
学习一下
回复 使用道具 举报
感谢分享
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
学习学习
回复 使用道具 举报
66666666666666666666666666
回复 使用道具 举报
333333333333333333
回复 使用道具 举报
向大佬低头
回复 使用道具 举报
回复 使用道具 举报
试试看看
回复 使用道具 举报
学习……
回复 使用道具 举报
66666666666666666666666666666
回复 使用道具 举报
haohaoxuexitiantianxiangshang
回复 使用道具 举报
666666666666
回复 使用道具 举报
ffffffffffff
回复 使用道具 举报
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
回复 使用道具 举报
1234下一页
您需要登录后才可以回帖 登录 | 加入黑马