技术栈:Hadoop
- Bean
- 点击流数据处理
- 点击会话流模型构建
- Hive明细表构建
- 用户行为指标分析
技术栈:Akka
- 模拟Hadoop集群间通信
- 模拟Spark集群间通信
- 模拟Yarn通信
技术栈:Spark、Scala
- 广告日志ETL
- 报表统计
- 用户画像构建
- 广告标签统计
- DMP结果入库HBase
技术栈:Spark、Scala
- MovieLens DataModel构建
- 冷启动:启动时用户随机对10部电影评分
- 切分数据集
- ALS模型构建
- 模型评估
- 个性化推荐
技术栈:Flink、Scala
- 模拟Kafka生产者生成日志数据
- CDN日志分析