DataX/obhbasereader/doc/obhbasereader.md

OceanBase的table api为应用提供了ObHBase的访问接口，因此，OceanBase的table api的reader与HBase Reader的结构和配置方法类似。 obhbasereader插件支持sql和hbase api两种读取方式，两种方式存在如下区别：

1. sql方式可以按照分区或者K值进行数据切片，而hbase api方式的数据切片需要用户手动设置。
2. sql方式会将从obhbase读取的kqtv形式的数据转换为单一横行，而hbase api则不做行列转换，直接以kqtv形式将数据传递给下游。
3. sql方式需要配置column属性，hbase api则不需要配置，数据均为固定的kqtv四列。

4. sql方式仅支持获取获得最新或者最旧版本的数据，而hbase api支持获得多版本数据。

   脚本配置

   {
   "job": {
   "setting": {
     "speed": {
       "channel": 3,
       "byte": 104857600
     },
     "errorLimit": {
       "record": 10
     }
   },
   "content": [
     {
       "reader": {
         "name": "obhbasereader",
         "parameter": {
           "username": "username",
           "password": "password",
           "encoding": "utf8",
           "column": [
             {
               "name": "f1:column1_1",
               "type": "string"
             },
             {
               "name": "f1:column2_2",
               "type": "string"
             },
             {
               "name": "f1:column1_1",
               "type": "string"
             },
             {
               "name": "f1:column2_2",
               "type": "string"
             }
           ],
           "range": [
             {
               "startRowkey": "aaa",
               "endRowkey": "ccc",
               "isBinaryRowkey": false
             },
             {
               "startRowkey": "eee",
               "endRowkey": "zzz",
               "isBinaryRowkey": false
             }
           ],
           "mode": "normal",
           "readByPartition": "true",
           "scanCacheSize": "",
           "readerHint": "",
           "readBatchSize": "1000",
           "connection": [
             {
               "table": [
                 "htable1",
                 "htable2"
               ],
               "jdbcUrl": [
                 "||_dsc_ob10_dsc_||集群:租户||_dsc_ob10_dsc_||jdbc:mysql://ip:port/dbName1"
               ],
               "username": "username",
               "password": "password"
             },
             {
               "table": [
                 "htable1",
                 "htable2"
               ],
               "jdbcUrl": [
                 "jdbc:mysql://ip:port/database"
               ]
             }
           ]
         }
       },
       "writer": {
         "name": "txtfilewriter",
         "parameter": {
           "path": "/Users/xujing/datax/txtfile",
           "charset": "UTF-8",
           "fieldDelimiter": ",",
           "fileName": "hbase",
           "nullFormat": "null",
           "writeMode": "truncate"
         }
       }
     }
   ]
   }
   }
   

   参数解释

• connection
  • 描述：配置分库分表的jdbcUrl和分表名。如果一个分库中有多个分表可以用逗号隔开，也可以写成表名[起始序号-截止序号]
  • 必须：是
  • 默认值：无

• jdbcUrl

  • 描述：连接ob使用的jdbc url，支持如下两种格式：

    • jdbc:mysql://obproxyIp:obproxyPort/db
    • 此格式下username需要写成三段式格式
    • ||_dsc_ob10dsc||集群名:租户名||_dsc_ob10dsc||jdbc:mysql://obproxyIp:obproxyPort/db
    • 此格式下username仅填写用户名本身，无需三段式写法
      

  • 必选：是

  • 默认值：无

• table

  • 描述：所选取的需要同步的表。使用JSON的数组描述，因此支持多张表同时抽取。当配置为多张表时，用户自己需保证多张表是同一schema结构，obhbasereader不予检查表是否同一逻辑表。注意，table必须包含在connection配置单元中。
  • 必选：是
  • 默认值：无

• readByPartition

  • 描述：使用sql方式读取时，配置仅按照分区进行切片。
  • 必须：否
  • 默认值：false

• partitionName

  • 描述：使用sql方式读取时，标识仅读取指定分区名的数据，用户需要保证配置的分区名在表结构中真实存在（要求严格大小写）。
  • 必须：否
  • 默认值：无

• readBatchSize

  • 描述：使用sql方式读取时，分页大小。
  • 必须：否
  • 默认值：10w

• fetchSize

  • 描述：使用sql方式读取时，控制每次读取数据时从结果集中获取的数据行数。
  • 必须：否
  • 默认值：-2147483648

• scanCacheSize

  • 描述：使用hbase api读取时，每次rpc从服务器端读取的行数
  • 必须：否
  • 默认值：256

• readerHint

  • 描述：obhbasereader使用sql方式读取时使用的hint
  • 必须：否
  • 默认值：/+READ_CONSISTENCY(weak),QUERY_TIMEOUT(86400000000)/

• column

  • 描述：使用sql方式读取数据时，所配置的表中需要同步的列名集合，使用JSON的数组描述字段信息。

  • 支持列裁剪，即列可以挑选部分列进行导出。

    支持列换序，即列可以不按照表schema信息进行导出，同时支持通配符*，在使用之前需仔细核对列信息。
    

• 必选：sql方式读取时必选

  • 默认值：无

• range

  • 描述：指定hbasereader读取的rowkey范围
  • 必须：否
  • 默认值：无

• username

  • 描述：访问OceanBase的用户名
  • 必选：是
  • 默认值：无

• mode

  • 描述：读取obhbase的模式，normal 模式，即仅读取一个版本的数据。
  • 必选：是
  • 默认值：normal

• version

  • 描述：读取obhbase的版本，当前支持oldest、latest模式，分别表示读取最旧和最新的数据。
  • 必须：是
  • 默认值：oldest

一些注意点： 注：如果配置了partitionName，则无需再配置readByPartition，即便配置了也会忽略readByPartition选项，而是仅会读取指定分区的数据。 注：如果配置了readByPartition，任务将仅按照分区切分任务，而不会再按照K值进行切分。如果是非分区表，则整张表会被当作一个任务而不会再切分。