coderjiang2013 / hadoop

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

#以下是自己购买的微信计算机(NanoPi-NEO,NanoPi-M1)基于ARM架构.构建的大数据集群环境. ##此集群是自己进行学习研究和测试所用!!!性能并非很强.只是进行分布式学习研究所用 ###硬件配置:NanoPi-M1,1G内存 * 1.NanoPi-NEO,512内存 * 8 ###操作系统:ubuntu-core-16.04 ###系统运行占50M内存,hadoop,namenode节点占用200M,spark,master占用200M.子节点(hadoop,spark)都只占用100M内存 image image image

本项目,大数据研究学习,积累所写,不定时更新。

com-akka akka模块学习

com-alluxio alluxio分布式内存文件系统

spark加载alluxio数据

com-camel camel学习

com-es ElasticSearch示例,api。学习代码

com-flink-gelly flink图计算

com-hadoop-hbase habse各种api

com-hadoop-hive hive学习模块

com-hadoop-spark Spark,RDD各种api

com-hadoop-zk zookeeper各种api和examlpe

com-hive-es hive同步数据到ElasticSearch相关操作

com-ignite Apache Ignite学习

com-kafka kafka生产者,消费者示例

com-kylin Apache Kylin学习

com-pom 项目配置

com-spark-es spark结合ElasticSearch

com-spark-graphx spark图计算

com-spark-livy livy结合spark

com-spark-ml spark机器学习

com-spark-sql spark sql,Dataframe

com-spark-streming spark流计算

com-spark-web spark以web模式提交jar

com-sqoop sqoop

com-utlis 工具

com-zjava-demo 高并发学习示例代码

About


Languages

Language:Java 100.0%