tianqing525 / mdrill

for千亿数据即席分析

项目简介

1：mdrill是阿里妈妈-adhoc-海量数据多维自助即席查询平台下的一个子项目。
2：mdrill旨在帮助用户在几秒到几十秒的时间内，分析百亿级别的任意维度组合的数据。
3：mdrill是一个分布式的在线分析查询系统，基于hadoop,lucene,solr,jstorm等开源系统作为实现，基于SQL的查询语法。 mdrill是一个能够对大量数据进行分布式处理的软件框架。mdrill是快速的高性能的，他的底层因使用了索引、列式存储、以及内存cache等技术，使得数据扫描的速度大为增加。mdrill是分布式的，它以并行的方式工作，通过并行处理加快处理速度。
4：基于mdrill应用的adhoc项目，使用了10台机器,存储了400亿的数据
  ==>每次扫描30亿的行数，响应时间在20秒~120秒左右(取决不同的查询条件与扫描的列数)。
  ==>对100亿数据进行count(*),耗时为2秒，单列sum耗时在25秒,按照日期分组求count和sum耗时47秒，按照用户id分组并且按照成交笔数排序去TopN 耗时 243秒。

发行日志

2013.07.24 version 0.18-beta 初始化版本
2013.08.07 version 0.18.1-beta bug fix see detail
2013.08.17 version 0.18.2-beta speed up see detail (下载)
2013.09.01 version 0.19-alpha HA by replication see detail (此版本需要一定时间的测试与调整，慎用)
2013.09.26 version 0.19.1-beta Bug Fix see detail (下载)
2013.09.29 version 0.19.2-beta Bug Fix (下载)
2013.10.09 version 0.19.3-beta speed up (此版本有严重BUG,请勿使用,下载)
2013.10.13 version 0.19.4-beta mergerServer优化&&bugfix (推荐版本,下载,依赖的zeromq从这里下载)

版本源码路径

https://github.com/alibaba/mdrill/tree/master/release

资源列表

• mdrill介绍
• 安装部署
• sql使用手册
• 版本开发计划
• LICENSE

mdrill Core contributors

• 母延年(子落)、秦剑(含光)、郑博文(士远)、陈鹏(伯时)、木晗、逸客、张壮、凌凝

jstorm Core contributors 点击进入

• 封仲淹(纪君祥)、李鑫(丙吉)、母延年(子落)、周鑫(陈均)

其他

• FAQ
• mdrill技术交流群:171465049
• 微博：http://weibo.com/mynyannian