JerryLead / SparkInternals

Notes talking about the design and implementation of Apache Spark

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于章节 “1.总体介绍” 中 “Job 物理执行图” 中的问题

PinjiaHe opened this issue · comments

这一段提到 “比如 partition 99 里面只含有 9 个 records”。请问为什么 partition 99 里面有 9 个 records?

看前面提供的代码,在 flatMap 运行中进行初始化的时候,每个 partition 里应该是有 numKVPairs 个,也就是 10000 个 records.

这里说 9 个 records 是因为经过了 flatMap 操作后,可能只有 9 个 records 被分配到这个 partition 吗?

这里没有说清楚,抱歉。
应该是 10,000 个 records,这里说 9 个只是画图方便,有空我会再改下,谢谢指出。

了解了。感谢回复!