datax开启hana支持以及dolphinscheduler开启datax任务前面(@,@)前段时间因为要做异构数据导入导出，所以搜了下，发现这类工具收费的居多，使用起来未必趁手~于是我找了下相关开源工具,目前，对于非开源的，我找到的大概有三种方式:1.springboot+mybatis写代码做导入导出->固定表可以这样做，换张表结构不一样又要重新开发2.使用kattle...一开始同事用的这款工具，不过它太重了，启动卡半天、操作个字段也卡半天，换个表还要重新建任务，屎一样的操作体验...3.使用datax,需要配置环境（java、python)，以及写任务文件(json)似乎也不是很高效
作者：愿许浪尽天涯链接：https://juejin.cn/post/7077744714954309669前言我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个小时才同步两千条数据...后面在网上查看后：发现DataX这个工具用来同步不仅速
作者：愿许浪尽天涯链接：https://juejin.cn/post/7077744714954309669前言我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用SQL来进行同步。当时的打算是通过mysqldump或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储方式：这个效率太慢了，要是数据量少还好，我们使用这个方式的时候，三个小时才同步两千条数据...后面在网上查看后：发现DataX这个工具用来同步不仅速
在遇到跨库或者异库数据同步时，我们一般都会借助ETL工具来实现数据同步功能。比如目前大家较为熟知的Kettle和Datax。但是，这两个需要定时去查询数据库的数据，会存在一定的延迟，而且，默认采用全量同步的方式，想要增量，需要自己做特殊的处理。那么，有没有开源的工具，既能满足全量和增量，又能达到相对比较实时的呢？接下来，我们继续往下看。Kettle在ETL行列中，kettle算是人气比较旺的一款工具，功能多且强大，开源，可视化。使用方便、简洁，但是，体量越来越大，性能一般。可以自己下载源码编译，要求Maven3+、JavaJDK11。https://github.com/pentaho/p
在遇到跨库或者异库数据同步时，我们一般都会借助ETL工具来实现数据同步功能。比如目前大家较为熟知的Kettle和Datax。但是，这两个需要定时去查询数据库的数据，会存在一定的延迟，而且，默认采用全量同步的方式，想要增量，需要自己做特殊的处理。那么，有没有开源的工具，既能满足全量和增量，又能达到相对比较实时的呢？接下来，我们继续往下看。Kettle在ETL行列中，kettle算是人气比较旺的一款工具，功能多且强大，开源，可视化。使用方便、简洁，但是，体量越来越大，性能一般。可以自己下载源码编译，要求Maven3+、JavaJDK11。https://github.com/pentaho/p
1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。通过分析，笔者个人建议优先DataX更优。2.内容2.1Sqoop2.1.1介绍Sqoop，SQL-to-Hadoop即“SQL到Hadoop和Hadoop
1.摘要对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、Kettle、Canal、StreamSetst进行简单梳理比较。通过分析，笔者个人建议优先DataX更优。2.内容2.1Sqoop2.1.1介绍Sqoop，SQL-to-Hadoop即“SQL到Hadoop和Hadoop
前言存在一些业务场景，需要离线同步数据到异构数据库，DataX算是一个不错的选择。不过开源版本只支持单进程，多线程，如果是需要多进程，需要业务在reader层面查询的时候就规划好对应进程需要读取的数据分片。1.png2.png实践当前例子为elasticsearch同步数据到clickhouse1，下载DataX源码编译（参考https://github.com/alibaba/DataX/blob/master/userGuid.md）gitclonehttps://github.com/alibaba/DataX.gitmvn-Ucleanpackageassembly:assembly-
前言存在一些业务场景，需要离线同步数据到异构数据库，DataX算是一个不错的选择。不过开源版本只支持单进程，多线程，如果是需要多进程，需要业务在reader层面查询的时候就规划好对应进程需要读取的数据分片。1.png2.png实践当前例子为elasticsearch同步数据到clickhouse1，下载DataX源码编译（参考https://github.com/alibaba/DataX/blob/master/userGuid.md）gitclonehttps://github.com/alibaba/DataX.gitmvn-Ucleanpackageassembly:assembly-
