实时同步是ChunJun的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。在实时同步场景中我们更加关注源端，当源系统中的数据发⽣变化时，这些变化会⽴即传输并应⽤到⽬标系统，以保证两个系统中的数据保持⼀致。这个特性需要作业运⾏过程中source插件不间断地频繁访问源端。在⽣产场景下，对于这类⻓时间运⾏、资源可预估、需要稳定性的作业，我们推荐使⽤perjob模式部署。插件⽀持JSON脚本和SQL脚本两种配置⽅式，具体的参数配置请参考「ChunJun连接器文档」：https://sourl.cn/vxq6Zp本文将为大家介绍如何使用ChunJun实时同步，以
本文将从FTPConnector的功能详解，自定义文件切割及自定义FileFormat三个方面为大家带来ChunJunFTPConnector的功能扩展分享。FTPConnector详解FTP是用于在网络上进行文件传输的一套标准协议，它工作在OSI模型的第七层，TCP模型的第四层，即应用层，提供一种在服务器和客户机之间上传和下载文件的有效方式。FTPConnector基本功能ChunJunFTPConnector基本功能如下：·支持FTP协议与SFTP协议读写；·支持断点续传；·支持并发读写；·支持多种文件格式的读写。断点续传主要的类：Position，Data，FtpFileReader，代
本文将从e2e的基本介绍，e2e的使用与扩展，session日志隔离三个维度为大家带来ChunJune2e&session日志隔离的分享。大量具体代码和演示请看视频教程⬇️视频课程：https://www.bilibili.com/video/BV1ru411P7oZ/?spm_id_from=333.999.0.0课件获取：https://www.dtstack.com/resources/1052?src=szsmChunJun为何选择e2e测试ChunJun项目是基于Flink进行扩展，并开发了大量插件来支持数据同步和SQL执行，当前支持的数据源插件已经超过50个，所以如何保证各个插件的
2022年4月，在FlinkX进行初版开源的整整四年后，技术团队决定对FlinkX进行整体升级，并更名为ChunJun。到目前为止，ChunJun正式更名上线已经过了一年多了。作为一款稳定、易⽤、⾼效、批流⼀体的数据集成框架，相信各位关注着、喜爱着、使用着ChunJun的开发者们在过去的这段日子里肯定和ChunJun发生了众多有趣的故事。本着促进社区活跃，倾听用户诉求的目的，我们将举办一场名为“我与ChunJun的故事”有奖征稿活动。这是一场专为热爱开源，对ChunJun有热情的你们设计的活动，我们希望能看到各位开发者们与ChunJun之间的故事，也希望各位开发者们在彼此故事的分享中有所交流体
ChunJun是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架，基于计算引擎Flink实现多种异构数据源之间的数据同步与计算。ChunJun可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从⽽为企业提供全⾯的数据共享，目前已在上千家公司部署且稳定运⾏。在之前，我们曾经为大家介绍过如何利用ChunJun实现数据实时同步（点击看正文），本篇将为大家介绍姊妹篇，如何利⽤ChunJun实现数据的离线同步。ChunJun离线同步案例离线同步是ChunJun的⼀个重要特性，下⾯以最通⽤的mysql->hive的同步任务来介绍离线同步。配置环境找⼀个空⽬录，接下来要配置Flink和ChunJu
chunjun是一款基于flink的数据同步工具，支持多种数据源的source和sink。有四种方式，local方式、standalone、yarnsession、yarnpre-job。详情官网链接：QuickStart|ChunJun纯钧 由于flinkx更改了名字和打包脚本，但是官网文档并没有全部更新完整，阅读起来会有点困难；这里简单整理下，方便以后使用。 推荐官网的阅读顺序： 1. QuickStart|ChunJun纯钧 本章节为快速入门，介绍了四种提交任务的方式，但命令是过时的不能用； 2. ChunJun通用配置详解|ChunJun纯钧 3. Conne
chunjun是一款基于flink的数据同步工具，支持多种数据源的source和sink。有四种方式，local方式、standalone、yarnsession、yarnpre-job。详情官网链接：QuickStart|ChunJun纯钧 由于flinkx更改了名字和打包脚本，但是官网文档并没有全部更新完整，阅读起来会有点困难；这里简单整理下，方便以后使用。 推荐官网的阅读顺序： 1. QuickStart|ChunJun纯钧 本章节为快速入门，介绍了四种提交任务的方式，但命令是过时的不能用； 2. ChunJun通用配置详解|ChunJun纯钧 3. Conne
一、直播介绍之前的内容，我们为大家分享了ChunJun数据还原的DDL模块，以及ChunJun同步Hive事务表，本期我们为大家分享ChunJun数据传输模块介绍。本次直播我们将从ChunJun数据类型转换，到数据传输过程以及ChunJun的序列化实现为大家进行详细讲解，通过本次分享，希望大家能对ChunJun有更进一步的了解。二、直播主题ChunJun数据传输模块介绍三、直播时间时间：2022年8月16日晚19:00--20:00（周二）四、直播地点钉钉技术交流群（30537511）&B站袋鼠云直播间（22920407）https://live.bilibili.com/22920407?v
一、直播介绍之前的内容，我们为大家分享了ChunJun数据还原的DDL模块，以及ChunJun同步Hive事务表，本期我们为大家分享ChunJun数据传输模块介绍。本次直播我们将从ChunJun数据类型转换，到数据传输过程以及ChunJun的序列化实现为大家进行详细讲解，通过本次分享，希望大家能对ChunJun有更进一步的了解。二、直播主题ChunJun数据传输模块介绍三、直播时间时间：2022年8月16日晚19:00--20:00（周二）四、直播地点钉钉技术交流群（30537511）&B站袋鼠云直播间（22920407）https://live.bilibili.com/22920407?v
一键直达直播间一、直播介绍上两期渡劫同学为大家分享了ChunJun数据还原的DDL模块，想必大家对这一模块有了比较深入的了解，本期无倦同学将会为大家分享ChunJun同步Hive事务表的相关内容，直播将从Hive事务表的结构及原理、ChunJun读写Hive事务表实战、源码解析及ChunJun文件系统未来规划这几个方面入手来为大家分享，欢迎大家积极参与。二、直播主题ChunJun同步Hive事务表三、直播时间时间：2022年7月5日晚19:00--20:00（周二）四、直播地点钉钉技术交流qun（30537511）&B站袋鼠云直播间（22920407）https://live.bilibili
