黑马程序员技术交流社区

标题: 入门Python爬虫工具 [打印本页]

作者: szgyx 时间: 2018-5-24 14:49
标题: 入门Python爬虫工具
NO.1 F12 开发者工具
看源代码：快速定位元素
分析xpath：1、此处建议谷歌系浏览器，可以在源码界面直接右键看
初学者写Python爬虫的四大工具
NO.2 抓包工具
推荐httpfox，火狐浏览器下的插件，比谷歌火狐系自带的F12工具都要好，可以方便查看网站收包发包的信息
初学者写Python爬虫的四大工具
NO.3 XPATH CHECKER （火狐插件）
初学者写Python爬虫的四大工具
非常不错的xpath测试工具，不过也有几个小缺点，：
xpath checker生成的是绝对路径，遇到一些动态生成的图标（常见的有列表翻页按钮等），飘忽不定的绝对路径很有可能造成错误，所以这里建议在真正分析的时候，只是作为参考
记得把如下图xpath框里的“x：”去掉，貌似这个是早期版本xpath的语法，目前已经和一些模块不兼容（比如scrapy），还是删去避免报错。

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2