学习心得

  目前刚学习完爬虫阶段，大数据确实是有一个让人捉急的进度，太快了！！！

  写心得写太多了，来点干货吧！

  @RequestMapping  作用：用于建立请求URL和处理请求方法之间的对应关系。它有一个属性method可以决定请求的方式。params属性 请求参数 必须写一个username的属性，用于指定  限制请求参数的条件，它支持简单的表达式，要求请求参数的key和value必须和配置的一模一样，如何发现爬虫，单一IP非常规的访问频次，单一IP非常规的数据流量，大量重复简单点的网站浏览行为，只下载网页，没有后续的JS/CSS请求，或者设置陷阱，用隐藏信息。判断请求头，判断cookie，如何避免被发现呢 ，多主机策略，分布式爬去，调整爬取速度，通过变换IP地址或者使用代理服务器来演示，频繁修改自己的USER-Agent,

  Header中的Cache-Control修改为no-cache，当返回状态码是403，服务器资源禁止访问，改变Header和IP，不断改变。

感觉自己的爬虫学习的一般，但是毕竟大数据的课程还是太少了，希望以后出面授了能让我们的练习时间更加充足些

加油加油！！

爬虫也是很关键的！

大数据棒棒的

大数据66！！！

希望多一些这样的干货

加油加油~

大数据真的好难啊，厉害了小哥哥们

厉害厉害，加油加油！

大神收下我的膝盖

来到这一定有自己各自的目标的，加油拿到期望薪资。

6666！！ 就是牛逼！

加油加油，共勉~