tair-opensource / RedisShake

RedisShake is a Redis data processing and migration tool.

Home Page:https://tair-opensource.github.io/RedisShake/

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

scan模式开启ksn的性能问题

blight19 opened this issue · comments

在生产中遇到,由于版本比较老,只能用scan模式,scan开启ksn增量的时候,源码中的处理方式是订阅频道后都重新dump和restore,
生产中有个bigkey,每次修改的量比较小,但是每次都重传,源库性能消耗比较大。是否可以根据ksn中的信息进行命令同步,不是采用dump+restore的方式。
但是这种方式又带来一种新的问题,scan未完成的过程中,命令的处理无法是否已经同步过了,可能会执行重复了。难搞。

搞不定,要不就过滤掉这个 key?