简介chunjun是一款基于flink的开源数据同步工具,官方文档,其提供了很多flink官方未提供的插件供大家来使用,特别是达梦插件在国产化环境中很方便!本次介绍的是chunjun中的一款http插件,通过该插件可以实现基于http请求的流处理,但是目前官方提供的http插件在以SQL模式运行的时候是有一些问题的,所以我花了些时间将问题排查修复下,并且添加了一个分页的新功能。下面是具体的过程。问题按照官方文档使用http插件运行的时候,会报下面的错误java.lang.RuntimeException:requestdataerror,msgisprevResponsevalueisexce
Kerberos,在古希腊神话故事中,指的是一只三头犬守护在地狱之门外,禁止任何人类闯入地狱之中。那么在现实中,Kerberos指的是什么呢?一、Kerberos介绍01Kerberos是什么根据百度词条释义,Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。Kerberos旨在通过密钥加密技术为客户端/服务器应用程序提供身份验证,主要用在域环境下的身份验证。在此之前,通常只有服务器的运维管理人员在配置ActiveDirectory之类的东西时才会接触到Kerberos,但随着大数据的流行,整个Hadoop生态圈在安全方面对于Kerberos愈发
Kerberos,在古希腊神话故事中,指的是一只三头犬守护在地狱之门外,禁止任何人类闯入地狱之中。那么在现实中,Kerberos指的是什么呢?一、Kerberos介绍01Kerberos是什么根据百度词条释义,Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。Kerberos旨在通过密钥加密技术为客户端/服务器应用程序提供身份验证,主要用在域环境下的身份验证。在此之前,通常只有服务器的运维管理人员在配置ActiveDirectory之类的东西时才会接触到Kerberos,但随着大数据的流行,整个Hadoop生态圈在安全方面对于Kerberos愈发
ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架。2022年的ChunJun茁壮成长,如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。项目地址:https://github.com/DTStack/chunjunChunJun项目进展Star数:3437Fork数:1556IssueClosed:764PRCloesd:523Contributors
ChunJun是一个开始于2018年的批流一体数据集成框架项目,原名FlinkX。2022年2月22日,在FlinkX进行初版开源的整整四年后,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望为大家真正提供一个稳定、高效、易用的批流一体的数据集成框架。2022年的ChunJun茁壮成长,如今已经是一个由68多位贡献者协同开发、拥有3437个star的人气项目。项目地址:https://github.com/DTStack/chunjunChunJun项目进展Star数:3437Fork数:1556IssueClosed:764PRCloesd:523Contributors
亲爱的社区小伙伴们,历时数月,我们很高兴地宣布,ChunJun即将迎来1.16Release版本的正式发布。在新版本中,ChunJun新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有17位Contributor为ChunJun提交了多项优化和修复,感谢因为有你们才让ChunJun变得更好!ChunJun1.16版本目前已经发布到master,需要试跑一个月再发布release版本。在1.16版本中,我们整理了项目maven依赖,优化了FTP、JDBC插件,增加了Iceberg、Nebula插件,对ChunJun的易用性、稳定性、高效性等各个方面进行了全面
亲爱的社区小伙伴们,历时数月,我们很高兴地宣布,ChunJun即将迎来1.16Release版本的正式发布。在新版本中,ChunJun新增了一批常用功能,进行了多项功能优化和问题修复,并在用户使用体验上进行了极大地改善。有17位Contributor为ChunJun提交了多项优化和修复,感谢因为有你们才让ChunJun变得更好!ChunJun1.16版本目前已经发布到master,需要试跑一个月再发布release版本。在1.16版本中,我们整理了项目maven依赖,优化了FTP、JDBC插件,增加了Iceberg、Nebula插件,对ChunJun的易用性、稳定性、高效性等各个方面进行了全面
日前,“2022年中国开源创新大赛”初赛晋级名单公布,易用、稳定、高效的批流统一的数据集成框架ChunJun顺利晋级决赛,并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可,ChunJun也将继续秉承技术初心,砥砺前行,不遗余力地助力国内开源发展,为更多的开发者传播最新开源与技术信息。“2022年中国开源创新大赛”在中央网信办信息化发展局的指导下,由中国互联网发展基金会、中国网络空间研究院、中国互联网投资基金联合主办,本届大赛以“开源创新,共建生态”为主题,围绕国家在开源人才培养和开源生态建设方面的重大战略需求,聚焦“卡脖子”相关技术领域以及人工智能、物联网、云原
日前,“2022年中国开源创新大赛”初赛晋级名单公布,易用、稳定、高效的批流统一的数据集成框架ChunJun顺利晋级决赛,并荣获“2022年中国开源创新大赛优秀开源项目/社区”奖项。感谢组委会专家的认可,ChunJun也将继续秉承技术初心,砥砺前行,不遗余力地助力国内开源发展,为更多的开发者传播最新开源与技术信息。“2022年中国开源创新大赛”在中央网信办信息化发展局的指导下,由中国互联网发展基金会、中国网络空间研究院、中国互联网投资基金联合主办,本届大赛以“开源创新,共建生态”为主题,围绕国家在开源人才培养和开源生态建设方面的重大战略需求,聚焦“卡脖子”相关技术领域以及人工智能、物联网、云原
ChunJun是一款稳定、易用、高效、批流一体的数据集成框架,⽀持海量数据的同步与计算。ChunJun既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如binlog,Kafka等。同时ChunJun也是一个支持原生FlinkSQL所有语法和特性的计算框架。经过5年的迭代和开发,ChunJun已经帮助很多公司快速进行数据整合,并解决数据开发人员需要过多进行繁琐的数据抽取工作的问题,可以专注在企业业务场景的构建。之前的内容当中,我们已经介绍过ChunJun的技术力、优势,及如何提交pr、Issue的方法。作为「chunJun新手入门」系列的第三篇,本文将为大家介绍如何