juicedata / juicesync

A tool to move your data between any clouds or regions.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

读取数据失败时的异常处理

xueguanlu opened this issue · comments

使用场景是oss 两个bucket之间做数据同步,使用过程中发现了src 和dst 文件大小一致,md5sum不一致的情况;

检查了oss 访问日志,发现出现异常的文件有过一次返回500 的get请求, 并且后续没有重试,在出错的时间点,观察到juicesync有debug日志:
Copied xxxx part 16,没有失败的日志,并且正常退出;
咨询了oss 的研发人员,get 请求服务端返回500时sdk 会有异常的返回值,请帮忙确认下在get object 返回异常时的处理是否正确:
https://github.com/juicedata/juicesync/blob/master/sync/sync.go#L252

@xueguanlu 多谢反馈,已经修复了!