|
【郑州校区】大数据离线阶段Day6之模块开发----数据采集
1． 需求在网站web流量日志分析这种场景中，对数据采集部分的可靠性、容错能力要求通常不会非常严苛，因此使用通用的flume日志采集框架完全可以满足需求。 2． Flume日志采集系统2.1． Flume采集Flume采集系统的搭建相对简单： 1、在服务器上部署agent节点，修改配置文件 2、启动agent节点，将采集到的数据汇聚到指定的HDFS目录中 针对nginx日志生成场景，如果通过flume（1.6）收集，无论是Spooling Directory Source和Exec Source均不能满足动态实时收集的需求，在当前flume1.7稳定版本中，提供了一个非常好用的TaildirSource，使用这个source，可以监控一个目录，并且使用正则表达式匹配该目录中的文件名进行实时收集。 核心配置如下： a1.sources = r1 a1.sources.r1.type = TAILDIR a1.sources.r1.channels = c1 a1.sources.r1.positionFile = /var/log/flume/taildir_position.json a1.sources.r1.filegroups = f1 f2 a1.sources.r1.filegroups.f1 = /var/log/test1/example.log a1.sources.r1.filegroups.f2 = /var/log/test2/.*log.* |
filegroups:指定filegroups，可以有多个，以空格分隔；（TailSource可以同时监控tail多个目录中的文件） positionFile:配置检查点文件的路径，检查点文件会以json格式保存已经tail文件的位置，解决了断点不能续传的缺陷。 filegroups.<filegroupName>：配置每个filegroup的文件绝对路径，文件名可以用正则表达式匹配 通过以上配置，就可以监控文件内容的增加和文件的增加。产生和所配置的文件名正则表达式不匹配的文件，则不会被tail。 2.2． 数据内容样例 58.215.204.118 - - [18/Sep/2013:06:51:35 +0000] "GET /wp-includes/js/jquery/jquery.js?ver=1.10.2 HTTP/1.1" 304 0 "http://blog.fens.me/nodejs-socketio-chat/" "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0" |
字段解析： 1、访客ip地址： 58.215.204.118 2、访客用户信息： - - 3、请求时间：[18/Sep/2013:06:51:35 +0000] 4、请求方式：GET 5、请求的url：/wp-includes/js/jquery/jquery.js?ver=1.10.2 6、请求所用协议：HTTP/1.1 7、响应码：304 8、返回的数据流量：0 10、访客所用浏览器：Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0 传智播客·黑马程序员郑州校区地址 河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层
| 
收藏
淘帖
踩
