DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

dependabot[bot] 6964f2e1a5 Bump commons-collections:commons-collections in /obhbasereader пре 3 месеци
adbmysqlwriter 32a11b9bb1 add adbmysqlwriter plugin пре 1 година
adbpgwriter 5d4b55af89 update:补充adbpgwriter组件doc,column参数说明 пре 1 година
adswriter f79f742d7c datax 202302 пре 1 година
cassandrareader 6d03421f10 Merge pull request #1601 from wenshao/master пре 1 година
cassandrawriter 27964108aa update fastjson version пре 2 година
clickhousereader 74f12ff9a7 to #51999348 datax month 9 пре 1 година
clickhousewriter 27964108aa update fastjson version пре 2 година
common b0224dc01d [BugFix] Fix Comfiguration类中checkPath方法未生效的问题 пре 5 месеци
core 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
databendwriter ae6e6630ef fix пре 1 година
datahubreader 27964108aa update fastjson version пре 2 година
datahubwriter 27964108aa update fastjson version пре 2 година
datax-example 3207b63c52 对example工程结构进行了重新规划,给出两个编写测试模块的案例。 пре 1 година
dorisreader 41fc378f24 Add Dorisreader plugin пре 9 месеци
doriswriter 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
drdsreader 2d2f3e22b1 Merge pull request #1183 from PeineLiang/update-doc пре 3 година
drdswriter a35bddcc8e https://github.com/alibaba/DataX/issues/390 пре 3 година
elasticsearchwriter 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
ftpreader fa123778cb Merge pull request #1788 from chenhaoyus/master пре 1 година
ftpwriter 8bddafba08 update com.jcraft:jsch 0.1.51 to 0.1.54 пре 1 година
gaussdbreader 0e79171132 华为GaussDB读写插件 пре 2 година
gaussdbwriter 5ba5ed025d Update package.xml пре 1 година
gdbreader 05d1851d99 gdbreader: reader for Aliyun GDB пре 4 година
gdbwriter 27964108aa update fastjson version пре 2 година
hbase094xreader 27964108aa update fastjson version пре 2 година
hbase094xwriter 27964108aa update fastjson version пре 2 година
hbase11xreader 27964108aa update fastjson version пре 2 година
hbase11xsqlreader 8db76ddd5d Merge pull request #1606 from hadoop835/master пре 1 година
hbase11xsqlwriter 27964108aa update fastjson version пре 2 година
hbase11xwriter 27964108aa update fastjson version пре 2 година
hbase20xsqlreader eb77e7ad6c Merge pull request #1408 from cuishuang/master пре 2 година
hbase20xsqlwriter 874a256a03 DataX 2209, add plugin: datahubreader/datahubwriter/loghubreader/loghubwriter/starrocksreader, update plugin: odpsreader/oceanbasev10reader/oceanbasev10writer/elasticserachwriter/mysqlreader/mysqlwriter пре 2 година
hdfsreader 1c2d5d0bb1 升级hdfs hive,parquet-format依赖 пре 8 месеци
hdfswriter 1c2d5d0bb1 升级hdfs hive,parquet-format依赖 пре 8 месеци
hologresjdbcwriter 6e9e11a741 fix hologresjdbcwriter: use safer jdbc url replacement пре 9 месеци
images 2151860a07 add new datax logo пре 2 година
kingbaseesreader 329e9c74e1 Add kingbasees plug-in. пре 4 година
kingbaseeswriter 329e9c74e1 Add kingbasees plug-in. пре 4 година
kuduwriter f79f742d7c datax 202302 пре 1 година
loghubreader 27964108aa update fastjson version пре 2 година
loghubwriter 874a256a03 DataX 2209, add plugin: datahubreader/datahubwriter/loghubreader/loghubwriter/starrocksreader, update plugin: odpsreader/oceanbasev10reader/oceanbasev10writer/elasticserachwriter/mysqlreader/mysqlwriter пре 2 година
mongodbreader f79f742d7c datax 202302 пре 1 година
mongodbwriter 27964108aa update fastjson version пре 2 година
mysqlreader 874a256a03 DataX 2209, add plugin: datahubreader/datahubwriter/loghubreader/loghubwriter/starrocksreader, update plugin: odpsreader/oceanbasev10reader/oceanbasev10writer/elasticserachwriter/mysqlreader/mysqlwriter пре 2 година
mysqlwriter 5c040c2989 Update mysqlwriter.md пре 1 година
neo4jwriter 74f12ff9a7 to #51999348 datax month 9 пре 1 година
obhbasereader 6964f2e1a5 Bump commons-collections:commons-collections in /obhbasereader пре 3 месеци
obhbasewriter 3614c2633e fix obhbase reader and writer package error пре 3 месеци
oceanbasev10reader 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
oceanbasev10writer 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
ocswriter 0af1933802 Bump jdk to 1.8 пре 5 година
odpsreader f79f742d7c datax 202302 пре 1 година
odpswriter f79f742d7c datax 202302 пре 1 година
opentsdbreader 27964108aa update fastjson version пре 2 година
oraclereader c1f0d380b9 Update oracle driver GAV пре 2 година
oraclewriter c1f0d380b9 Update oracle driver GAV пре 2 година
oscarwriter 874a256a03 DataX 2209, add plugin: datahubreader/datahubwriter/loghubreader/loghubwriter/starrocksreader, update plugin: odpsreader/oceanbasev10reader/oceanbasev10writer/elasticserachwriter/mysqlreader/mysqlwriter пре 2 година
ossreader fd80754feb to #51999348 datax month 9 пре 1 година
osswriter d187c4657e update oss parquet writer пре 1 година
otsreader b875e38446 update ots plugins пре 1 година
otsstreamreader b875e38446 update ots plugins пре 1 година
otswriter b875e38446 update ots plugins пре 1 година
plugin-rdbms-util 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
plugin-unstructured-storage-util 7097651cd8 fix an error пре 1 година
postgresqlreader ed117381d2 Update postgresqlreader.md пре 2 година
postgresqlwriter e9a579759e DataX 通道能力更新(MaxCompute、Hologres、Tdengine、OSS)、安全漏洞更新、通用打包更新等 пре 2 година
rdbmsreader ebdfe63fd7 Update rdbmsreader.md пре 8 месеци
rdbmswriter 5e747cad63 Update rdbmswriter.md пре 8 месеци
rpm 7ec3fb68e5 v0.0 пре 6 година
selectdbwriter 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
sqlserverreader 874a256a03 DataX 2209, add plugin: datahubreader/datahubwriter/loghubreader/loghubwriter/starrocksreader, update plugin: odpsreader/oceanbasev10reader/oceanbasev10writer/elasticserachwriter/mysqlreader/mysqlwriter пре 2 година
sqlserverwriter a944984d74 sqlserver readme add session config пре 1 година
starrocksreader 874a256a03 DataX 2209, add plugin: datahubreader/datahubwriter/loghubreader/loghubwriter/starrocksreader, update plugin: odpsreader/oceanbasev10reader/oceanbasev10writer/elasticserachwriter/mysqlreader/mysqlwriter пре 2 година
starrockswriter 47f6dff024 修复日志关键词错误 пре 1 година
streamreader af631a0a00 不依赖于user.dir环境变量,所以插件加载工厂便没有意义了 пре 1 година
streamwriter af631a0a00 不依赖于user.dir环境变量,所以插件加载工厂便没有意义了 пре 1 година
sybasereader 612bf37b7c 添加sybase jconn依赖,并添加到打包依赖中。 пре 8 месеци
sybasewriter ec13e37fa0 fix: wrong class in sybasewriter пре 7 месеци
tdenginereader bef624414a merge taosdata/master пре 2 година
tdenginewriter 622524593a Fix typo in tdenginewriter.md пре 1 година
transformer 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
tsdbreader 27964108aa update fastjson version пре 2 година
tsdbwriter 27964108aa update fastjson version пре 2 година
txtfilereader 5ee2ea58bc bug:修复TxtFileReader读CSV文件时,不读CSVConfig问题 пре 1 година
txtfilewriter 66de85112d Update txtfilewriter.md пре 4 година
.gitignore 4d70b5ab86 Add OpenTSDB reader and TSDB writer пре 5 година
NOTICE e9a579759e DataX 通道能力更新(MaxCompute、Hologres、Tdengine、OSS)、安全漏洞更新、通用打包更新等 пре 2 година
README.md 9d5a82bd7b Update README.md пре 1 година
datax-opensource-dingding.png 7ec3fb68e5 v0.0 пре 6 година
dataxPluginDev.md 34bf78f75f Update dataxPluginDev.md пре 1 година
introduction.md 09374d2596 Add OceanBase supporting list. пре 3 година
license.txt e9a579759e DataX 通道能力更新(MaxCompute、Hologres、Tdengine、OSS)、安全漏洞更新、通用打包更新等 пре 2 година
package.xml 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
pom.xml 0ec767730e add obhbase reader and writer plugin by cjyyz64 пре 3 месеци
userGuid.md 74f12ff9a7 to #51999348 datax month 9 пре 1 година

README.md

Datax-logo

DataX

Leaderboard

DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

DataX 商业版本

阿里云DataWorks数据集成是DataX团队在阿里云上的商业化产品,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动能力,以及繁杂业务背景下的数据同步解决方案。目前已经支持云上近3000家客户,单日同步数据超过3万亿条。DataWorks数据集成目前支持离线50+种数据源,可以进行整库迁移、批量上云、增量同步、分库分表等各类同步解决方案。2020年更新实时同步能力,支持10+种数据源的读写任意组合。提供MySQL,Oracle等多种数据源到阿里云MaxCompute,Hologres等大数据引擎的一键全增量同步解决方案。

商业版本参见: https://www.aliyun.com/product/bigdata/ide

Features

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX详细介绍

请参考:DataX-Introduction

Quick Start

Download DataX下载地址
请点击:Quick Start

Support Data Channels

DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:DataX数据源参考指南

类型 数据源 Reader(读) Writer(写) 文档
RDBMS 关系型数据库 MySQL
Oracle
OceanBase
SQLServer
PostgreSQL
DRDS
Kingbase
通用RDBMS(支持所有关系型数据库)
阿里云数仓数据存储 ODPS
ADB
ADS
OSS
OCS
Hologres
AnalyticDB For PostgreSQL
阿里云中间件 datahub 读 、写
SLS 读 、写
图数据库 阿里云 GDB
Neo4j
NoSQL数据存储 OTS
Hbase0.94
Hbase1.1
Phoenix4.x
Phoenix5.x
MongoDB
Cassandra
数仓数据存储 StarRocks 读 、
ApacheDoris
ClickHouse
Databend
Hive
kudu
selectdb
无结构化数据存储 TxtFile
FTP
HDFS
Elasticsearch
时间序列数据库 OpenTSDB
TSDB
TDengine

阿里云DataWorks数据集成

目前DataX的已有能力已经全部融和进阿里云的数据集成,并且比DataX更加高效、安全,同时数据集成具备DataX不具备的其它高级特性和功能。可以理解为数据集成是DataX的全面升级的商业化用版本,为企业可以提供稳定、可靠、安全的数据传输服务。与DataX相比,数据集成主要有以下几大突出特点:

支持实时同步:

离线同步数据源种类大幅度扩充:

我要开发新的插件

请点击:DataX插件开发宝典

重要版本更新说明

DataX 后续计划月度迭代更新,也欢迎感兴趣的同学提交 Pull requests,月度更新内容如下。

项目成员

核心Contributions: 言柏 、枕水、秋奇、青砾、一斅、云时

感谢天烬、光戈、祁然、巴真、静行对DataX做出的贡献。

License

This software is free to use under the Apache License Apache license.

请及时提出issue给我们。请前往:DataxIssue

开源版DataX企业用户

Datax-logo

``` 长期招聘 联系邮箱:datax@alibabacloud.com 【JAVA开发职位】 职位名称:JAVA资深开发工程师/专家/高级专家 工作年限 : 2年以上 学历要求 : 本科(如果能力靠谱,这些都不是条件) 期望层级 : P6/P7/P8

岗位描述:

1. 负责阿里云大数据平台(数加)的开发设计。 
2. 负责面向政企客户的大数据相关产品开发;
3. 利用大规模机器学习算法挖掘数据之间的联系,探索数据挖掘技术在实际场景中的产品应用 ;
4. 一站式大数据开发平台
5. 大数据任务调度引擎
6. 任务执行引擎
7. 任务监控告警
8. 海量异构数据同步

岗位要求:

1. 拥有3年以上JAVA Web开发经验;
2. 熟悉Java的基础技术体系。包括JVM、类装载、线程、并发、IO资源管理、网络;
3. 熟练使用常用Java技术框架、对新技术框架有敏锐感知能力;深刻理解面向对象、设计原则、封装抽象;
4. 熟悉HTML/HTML5和JavaScript;熟悉SQL语言;
5. 执行力强,具有优秀的团队合作精神、敬业精神;
6. 深刻理解设计模式及应用场景者加分;
7. 具有较强的问题分析和处理能力、比较强的动手能力,对技术有强烈追求者优先考虑;
8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑;
9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。

````

用户咨询支持:

钉钉群目前暂时受到了一些管控策略影响,建议大家有问题优先在这里提交问题 Issue,DataX研发和社区会定期回答Issue中的问题,知识库丰富后也能帮助到后来的使用者。