传智播客旗下技术交流社区北京校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 播妞 黑马官方管理员   /  2018-11-7 14:41  /  3648 人查看  /  82 人回复  /   2 人收藏 转载请遵从CC协议 禁止商业使用本文

JavaEE画板 3.jpg

前面介绍了几种爬虫的分类,这里我们使用聚焦网络爬虫,抓取汽车之家上的汽车评测数据。可以参考下面链接:https://www.autohome.com.cn/bestauto

抓取评测数据过程如下:

1.    根据url抓取html页面

2.    对html页面进行解析,获取该页面所有的评测数据

3.    遍历所有的评测数据

4.    判断遍历的评测数据是否已保存,

      如果已保存再次遍历下一条评测数据

      如果未保存执行下一步

5.    保存评测数据到数据库中

网盘资料截图展示:

TIM截图20181107143800.png

网盘资料下载链接已添加回帖可见

游客,如果您要查看本帖隐藏内容请回复

分享至 : QQ空间
收藏

82 个回复

正序浏览
学习学习
回复 使用道具 举报
学习 学习 必须学习
回复 使用道具 举报
赞 必须赞
回复 使用道具 举报
666666666666666666
回复 使用道具 举报
66666666666666666666666666666
回复 使用道具 举报
xuexiyixia
回复 使用道具 举报
Akm 发表于 2018-11-9 12:47
用  Java 写的爬虫吗

不是,是用xml写的
回复 使用道具 举报
二期菜鸟来学学爬虫
回复 使用道具 举报
看一看,学一学,顶一顶
回复 使用道具 举报
学习学习
回复 使用道具 举报
黑马出征,寸草不生
回复 使用道具 举报
学习一下
回复 使用道具 举报
谢谢----------------
回复 使用道具 举报
学习学习
回复 使用道具 举报
老师还有效吗?
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
学习一下
回复 使用道具 举报
感谢分享
回复 使用道具 举报
谢谢分享
回复 使用道具 举报
12345下一页
您需要登录后才可以回帖 登录 | 加入黑马