lihaolixuewei112612 / analytics

dtc-mr_v0.2使用介绍

简介

dtc-mr为小时任务，主要是从hdfs中读取日志数据，判断/拼接及保存至es中。

前期准备及部署

1. 次环境依赖与jdk>1.8+；

2. dtc-mr是在dtc用户下的；

3. 按照deployment/elasticsearch中的es.json的描述操作操作；

4. 进入到hbase用户下，新建表：

      create 'mr_restule','f'
   

5. /lib/common下找到elasticsearch-hadoop-6.7.1.jar与commons-httpclient-3.1.jarput到hdfs的/user/dtc/event/路径下；
   

6. 然后将安装包dtc-0.1.--bin.tar.gz解压至software目录下,并软链到dtc下,并增加环境变量；

7. 最后增加定时任务：

   1 * * * * /home/dtc/software/dtc/bin/dtc.sh h start
   

8. 实时处理正在开发中...