crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架

Home Page:https://www.crawlab.cn

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

RegisterPluginServiceServer 根据配置项来决定是否注册

ma-pony opened this issue · comments

请描述该需求尝试解决的问题
日常运行过程中crawlab master节点的内存会持续增长,12个小时会增长到12G左右(日均任务数8W)

后尝试注释部分不需要的代码,将RegisterPluginServiceServer此行注释掉之后,发现内存增长明显降低,12个小时增长到8G左右
https://github.com/crawlab-team/crawlab-core/blob/v0.6.2/grpc/server/server.go#L112C77-L112C83

请描述您认为可行的解决方案
RegisterPluginServiceServer 是否可增加单独的开关选项,只有需要时才进行启用。

已经在做大量优化了,可以关注最新的 crawlab-core 更新