传智播客旗下技术交流社区北京校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 黑马官方管理员   /  2018-11-7 14:41  /  821 人查看  /  50 人回复  /   2 人收藏 转载请遵从CC协议 禁止商业使用本文

JavaEE画板 3.jpg

前面介绍了几种爬虫的分类,这里我们使用聚焦网络爬虫,抓取汽车之家上的汽车评测数据。可以参考下面链接:https://www.autohome.com.cn/bestauto

抓取评测数据过程如下:

1.    根据url抓取html页面

2.    对html页面进行解析,获取该页面所有的评测数据

3.    遍历所有的评测数据

4.    判断遍历的评测数据是否已保存,

      如果已保存再次遍历下一条评测数据

      如果未保存执行下一步

5.    保存评测数据到数据库中

网盘资料截图展示:

TIM截图20181107143800.png

网盘资料下载链接已添加回帖可见

游客,如果您要查看本帖隐藏内容请回复

分享至 : QQ空间
收藏

50 个回复

倒序浏览
学习一下~
回复 使用道具 举报
mx003 来自手机 中级黑马 2018-11-7 20:30:00
藤椅
谢谢分享
回复 使用道具 举报
学习一下
回复 使用道具 举报
用  Java 写的爬虫吗  
回复 使用道具 举报
黑马出征,寸草不生
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
???看看
回复 使用道具 举报
学习学习
回复 使用道具 举报
回复 使用道具 举报
感谢分享
回复 使用道具 举报
学习一下~
回复 使用道具 举报
axf 初级黑马 2018-11-26 10:49:39
13#
谢谢谢谢谢谢谢谢谢谢
回复 使用道具 举报
喜欢黑马没解释
回复 使用道具 举报
实战案例 值得学习
回复 使用道具 举报
学习一下
回复 使用道具 举报
教育局任天野
回复 使用道具 举报
刚刚开始爬虫,还是要多看看大佬的成果
回复 使用道具 举报
#在这里快速回复#
回复 使用道具 举报
学习一下
回复 使用道具 举报
123下一页
您需要登录后才可以回帖 登录 | 加入黑马
关闭

站长推荐 上一条 /5 下一条