Kyligence / spark

customized spark for KAP use, checkout kyspark branch

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

在HiveTableScanExec与FileSourceScanExec添加readBytes metric

wangpanCN opened this issue · comments

related issue :https://github.com/Kyligence/KAP/issues/13065

根据需要,在HiveTableScanExec与FileSourceScanExec两个算子中添加一个新的metric readBytes
这个metric的获取办法为在TaskContext上添加一个TaskCompletionListener,将context.taskMetrics().inputMetrics.bytesRead 的数据更新到这个metric上