xiaolai913 / SparkDataSourceUtils

provides common datasource read/write utils for spark

SparkDataSourceUtils

为Spark提供常见数据源的读写工具类

DataSource List

• MySQL
  • 使用Dbutils实现轻量级的数据库读写访问
  • 如需使用datasource连接池方式加载，可在Dbutils基础上结合DBCP实现
• ElasticSearch
  • 目前主要提供了ES 写的Java API实现方法，读取/查询ES的方法可参考ES JAVA API
  • REST FUL方式读写ES待补充
  • 也可参考github上的三方实现spark-es
• Redis
  • 提供Redis连接池对象的创建/释放静态类方法，及读写示例
• HBase
  • 可直接使用社区提供的三方连接器spark-hbase-connector
• HDFS
  • 可直接调用Spark的原生API进行HDFS的读写操作
  • DataFrame也提供了方便的读写parquet文件的API