大数据这个被写进国家重要战略规划的名词,在这些年已经深入人心。有很多人想要学习大数据技术,但是学习这项技术却有着很多天然的屏障:
- 需要很多台电脑组成集群,才能搭建大数据环境。
- 需要配置很多复杂的、不同的组建才能够搭建起来环境。
- 知识体系繁杂,要学的东西太多。
- 不太好直接操作起来,纸面知识过多,没有动手能力。
由于以上这些难点,导致很多对大数据有兴趣的人被挡在了这个非常有趣的领域之外。本项目就是希望,能够通过 docker 技术,给大家提供一个一站式的学习平台,让我们一起分享大数据时代的红利。
这个部分列举了在本项目中使用的技术和插件。
快速开始体验大数据环境。
git clone --recursive https://github.com/BSlience/bigdata-zerotohero.git
cd bigdata-environment/
docker network create bigdata-net
docker-compose up -d
docker cp dataset/ namenode:/hadoop-data/
docker exec -it namenode bash
hdfs dfs -mkdir /dataset
hdfs dfs -put /hadoop-data/dataset/* /dataset/
hdfs dfs -ls /dataset
- 进入 zeppelin 导入 movielens 数据
- 使用 hive 探索 movielens 数据
- 进入 zeppelin 进入 hbase 教程
- 进入 zeppelin 进入 spark 教程
- Spark 编程文档更新
也可以查看 open issues 获取关于新特性的更多信息。
贡献可以让社区持续的成长,赋能给更多的人,让人和人、人和项目产生链接。如果你有好的想法,非常欢迎能够加入到开源的团队中。对此,我们非常感谢。
如果你有任何建议,能够使本项目变得更好,请 fork 本项目,并且创建一个 pull request。你也可以简单的打开一个 issue,并且打上 "enhancement" 的 tag。不要忘了给本项目一个 star, 再次感谢。
- 克隆项目
- 创建你的 Feature 分支 (
git checkout -b feature/AmazingFeature
) - 提交你的特性 (
git commit -m 'Add some AmazingFeature'
) - 推送到分支上 (
git push origin feature/AmazingFeature
) - 开启一个 Pull Request
MIT 协议. 查看 LICENSE.txt
获取更多信息。
知乎 @张春阳 - zhangchunyang_pri@126.com
Project Link: https://github.com/BSlience/bigdata-zerotohero/