黑马程序员技术交流社区

标题: 大数据刚学习完爬虫阶段学习感言 [打印本页]

作者: xiao北 时间: 2018-11-10 17:43
标题: 大数据刚学习完爬虫阶段学习感言
学习心得

目前刚学习完爬虫阶段，大数据确实是有一个让人捉急的进度，太快了！！！

写心得写太多了，来点干货吧！

@RequestMapping 作用：用于建立请求URL和处理请求方法之间的对应关系。它有一个属性method可以决定请求的方式。params属性请求参数必须写一个username的属性，用于指定限制请求参数的条件，它支持简单的表达式，要求请求参数的key和value必须和配置的一模一样，如何发现爬虫，单一IP非常规的访问频次，单一IP非常规的数据流量，大量重复简单点的网站浏览行为，只下载网页，没有后续的JS/CSS请求，或者设置陷阱，用隐藏信息。判断请求头，判断cookie，如何避免被发现呢，多主机策略，分布式爬去，调整爬取速度，通过变换IP地址或者使用代理服务器来演示，频繁修改自己的USER-Agent,

Header中的Cache-Control修改为no-cache，当返回状态码是403，服务器资源禁止访问，改变Header和IP，不断改变。

感觉自己的爬虫学习的一般，但是毕竟大数据的课程还是太少了，希望以后出面授了能让我们的练习时间更加充足些