WALL-E / sync2hdfs

sync to hdfs use http apis

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

sync2hdfs

使用Restful API, 同步本地文件夹到HDFS

注意事项

不对隐藏文件进行同步

Todo

  • 校验数据是否正确上传
  • 默认每次最大上传文件数为1000

Hadoop

WebHDFS REST API

The HTTP REST API supports the complete FileSystem/FileContext interface for HDFS, 详见 doc

About

sync to hdfs use http apis


Languages

Language:Python 100.0%