jjzjj

chunjun(flinkx) 数据同步工具浅尝

chunjun是一款基于flink的数据同步工具,支持多种数据源的source和sink。有四种方式,local方式、standalone、yarnsession、yarnpre-job。详情官网链接:QuickStart|ChunJun纯钧    由于flinkx更改了名字和打包脚本,但是官网文档并没有全部更新完整,阅读起来会有点困难;这里简单整理下,方便以后使用。   推荐官网的阅读顺序:   1. QuickStart|ChunJun纯钧 本章节为快速入门,介绍了四种提交任务的方式,但命令是过时的不能用;   2. ChunJun通用配置详解|ChunJun纯钧     3. Conne

chunjun(flinkx) 数据同步工具浅尝

chunjun是一款基于flink的数据同步工具,支持多种数据源的source和sink。有四种方式,local方式、standalone、yarnsession、yarnpre-job。详情官网链接:QuickStart|ChunJun纯钧    由于flinkx更改了名字和打包脚本,但是官网文档并没有全部更新完整,阅读起来会有点困难;这里简单整理下,方便以后使用。   推荐官网的阅读顺序:   1. QuickStart|ChunJun纯钧 本章节为快速入门,介绍了四种提交任务的方式,但命令是过时的不能用;   2. ChunJun通用配置详解|ChunJun纯钧     3. Conne

纯钧chunjun的http-x插件修复

简介chunjun是一款基于flink的开源数据同步工具,官方文档,其提供了很多flink官方未提供的插件供大家来使用,特别是达梦插件在国产化环境中很方便!本次介绍的是chunjun中的一款http插件,通过该插件可以实现基于http请求的流处理,但是目前官方提供的http插件在以SQL模式运行的时候是有一些问题的,所以我花了些时间将问题排查修复下,并且添加了一个分页的新功能。下面是具体的过程。问题按照官方文档使用http插件运行的时候,会报下面的错误java.lang.RuntimeException:requestdataerror,msgisprevResponsevalueisexce

纯钧chunjun的http-x插件修复

简介chunjun是一款基于flink的开源数据同步工具,官方文档,其提供了很多flink官方未提供的插件供大家来使用,特别是达梦插件在国产化环境中很方便!本次介绍的是chunjun中的一款http插件,通过该插件可以实现基于http请求的流处理,但是目前官方提供的http插件在以SQL模式运行的时候是有一些问题的,所以我花了些时间将问题排查修复下,并且添加了一个分页的新功能。下面是具体的过程。问题按照官方文档使用http插件运行的时候,会报下面的错误java.lang.RuntimeException:requestdataerror,msgisprevResponsevalueisexce