baifendian / sqoop

Mirror of Apache Sqoop

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

在百分点的大数据实践过程中,经常遇到这样一个问题:如何快速的将企业传统关系型数据库的数据导入百分点BD-OS,或者反之。由 Apache 开源的Sqoop是这方面的利器,但是在实际的生产环境应用中它却表现出了一些不足,百分点解决了这些问题,形成自己的针对企业级大数据平台的Sqoop版本。此版本的Sqoop作为BD-OS的核心组件之一,再实际环境中得以广泛应用。
PATCH列表
  1.支持Microsoft SQL Server 2000 数据库到HDFS/Hive的导入和导出
  2.支持批量导入时,如果中间某张表导入失败会自动跳过继续导其余的表。不会中途退出
  3.支持数据导入到 Hive 多分区的情况
  4.支持数据导入到HDFS/Hive 时,增加指定参数可以删除或替换掉字段数据中包含\t的特殊字符

About

Mirror of Apache Sqoop

License:Apache License 2.0


Languages

Language:Java 97.5%Language:Shell 0.9%Language:Batchfile 0.4%Language:XSLT 0.4%Language:Python 0.4%Language:AspectJ 0.3%Language:CSS 0.1%Language:Makefile 0.1%