A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© szgyx 初级黑马   /  2018-5-24 14:49  /  1731 人查看  /  0 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

NO.1 F12 开发者工具
看源代码:快速定位元素
分析xpath:1、此处建议谷歌系浏览器,可以在源码界面直接右键看
初学者写Python爬虫的四大工具
NO.2 抓包工具
推荐httpfox,火狐浏览器下的插件,比谷歌火狐系自带的F12工具都要好,可以方便查看网站收包发包的信息
初学者写Python爬虫的四大工具
NO.3 XPATH CHECKER (火狐插件)
初学者写Python爬虫的四大工具
非常不错的xpath测试工具,不过也有几个小缺点,:
xpath checker生成的是绝对路径,遇到一些动态生成的图标(常见的有列表翻页按钮等),飘忽不定的绝对路径很有可能造成错误,所以这里建议在真正分析的时候,只是作为参考
记得把如下图xpath框里的“x:”去掉,貌似这个是早期版本xpath的语法,目前已经和一些模块不兼容(比如scrapy),还是删去避免报错。

0 个回复

您需要登录后才可以回帖 登录 | 加入黑马