resume-bjkonglu 该文档主要记录研究过的技术重点和一些学习经验,希望能与大家一起分享和讨论。 spark研究 spark-launcher spark-core spark-kerberos spark-sql spark-2.4.x structured-streaming 应用场景 flink研究 flink基本组件和逻辑计划生成 flink作业提交流程 StreamGraph的生成流程 JobGraph的生成流程 ExecuteGraph的生成流程 JobManger TaskManager 任务调度与执行 任务调度整体概述 计算资源的调度 JobManager执行job TaskManager执行task 高级特性 状态管理与容错机制 flink的背压原理 flink里面的异步调用(Async I/O) 应用场景 flink实现自定义MetricsReporter flink消费Kafka写Hdfs实战 平时遇到的问题和思考记录在issue,与君共享。