大数据开发之路-实时任务优化 | winway's blog
winway opened this issue · comments
https://winway.github.io/2022/05/14/bigdata-stack-streamtune/
实时任务优化-数据开发的看家本领 采用 Direct 连接方式取代Receiver 的形式 合理设置并行度 合理的 Kafka 拉取量,防止单个批次读取太多的数据超过处理上限 合理设置批次时间 反压,根据JobScheduler反馈作业的执行信息来动态调整数据接收率 广播大变量 gc优化,SparkStreaming 程序对实时性要求会较高,所以我们需要尽可能降低 JVM 垃圾回收所导致的延迟