一、前言ChunJun(原FlinkX)是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如binlog,Kafka等。同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。ChunJun具有丰富的插件种类,多达40种,如常见的mysql、binlog、logminer等,大部分插件都支持source/reader、sink/writer及维表功能。目前很多用户在思考能否在Dinky上使用ChunJun的插件以提供更全面的能力。那本文将带来如何在Dinky上集成ChunJun丰富
最近,我们袋鼠云的UED部⻔小伙伴们,不声不响地⼲了⼀件⼤事——升级了全新设计语言「数栈UI5.0」。众所周知,用户在使用产品时,是一个动态的过程,用户和产品之间进行交互的可用性,能否让用户愉悦、快速地在产品内达成目的,直接影响用户使用产品的体验。在设计中,有一个广泛的经验法则被称为「尼尔森十大可用性原则」,1995年由著名的人机交互学博士尼尔森发表。它是产品设计和⽤户体验设计的重要参考标准,这⼗⼤原则在设计过程和落地中能都能很好的帮助设计师去提升产品交互体验。针对数栈现有产品存在的⼀些问题,⽐如同质化严重,视觉不统⼀,⽤户体验差等,从视觉呈现到交互细节,结合这经典十大可用性原则,进行了重⼤的
不知不觉间,2022年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增TDengine数据源支持、行级权限根据用户属性实现动态赋权。以下为袋鼠云产品功能更新报告第二期内容,更多探索,请继续阅读。数栈DTinsight离线开发平台1.支持对接Trino引擎创建项目时支持对接Trino引擎,支持创建和运行Trino任务。2.个人账号支持绑定Kerberos认证数栈支持对用户或用户组绑定Kerberos证书,并支持以用户级/用户组级Kerberos账号进行任务提交。3.基线告警基线是一组任务的管理单位,被纳入同一组基线
2022年11月7日,Taier1.3版本正式发布!Taier是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。Taier自今年2月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了Taier1.1、Taier1.2这两个大的版本更新。本次发布的Taier1.3版本,我们新增了FlinkStandalone组件,融合了DataSourceX的模块,并新增了
ChengYing是一站式全自动化全生命周期大数据平台运维管家,提供大数据产品的一站式部署、运维、监控服务,其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能,致力于最大化节省运维成本,降低线上故障率与运维难度,为客户提供安全稳定的产品部署与监控。ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager,承袭袋鼠云开源项目名剑家族的概念,取自十大名剑之承影剑,1.0版本于2022年5月30日在github上线。2022年9月13日,ChengYing1.1版本正式发布!ChengYing1.1版本在1.0的版本上,对之前的UI做了全面升级
ChunJun(原FlinkX)是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具。2018年4月,秉承着开源共享的理念,数栈技术团队在github上开源了FlinkX,承蒙各位开发者的合作共建,FlinkX得到了快速发展。两年后的2022年4月,技术团队决定对FlinkX进行整体升级,并更名为ChunJun,希望继续和各位优秀开发者合作,进一步推动数据集成/同步的技术发展。因该文创作于于FlinkX更名为ChunJun之前,因此文中仍用FlinkX来进行分享,重要的事情说三遍:FlinkX即是ChunJunFlinkX即是ChunJunFlinkX即是ChunJun进入正文分享
一、前言ChunJun(原FlinkX)是一个基于Flink提供易用、稳定、高效的批流统一的数据集成工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如binlog,Kafka等。同时ChunJun也是一个支持原生FlinkSql所有语法和特性的计算框架。ChunJun具有丰富的插件种类,多达40种,如常见的mysql、binlog、logminer等,大部分插件都支持source/reader、sink/writer及维表功能。目前很多用户在思考能否在Dinky上使用ChunJun的插件以提供更全面的能力。那本文将带来如何在Dinky上集成ChunJun丰富
最近,我们袋鼠云的UED部⻔小伙伴们,不声不响地⼲了⼀件⼤事——升级了全新设计语言「数栈UI5.0」。众所周知,用户在使用产品时,是一个动态的过程,用户和产品之间进行交互的可用性,能否让用户愉悦、快速地在产品内达成目的,直接影响用户使用产品的体验。在设计中,有一个广泛的经验法则被称为「尼尔森十大可用性原则」,1995年由著名的人机交互学博士尼尔森发表。它是产品设计和⽤户体验设计的重要参考标准,这⼗⼤原则在设计过程和落地中能都能很好的帮助设计师去提升产品交互体验。针对数栈现有产品存在的⼀些问题,⽐如同质化严重,视觉不统⼀,⽤户体验差等,从视觉呈现到交互细节,结合这经典十大可用性原则,进行了重⼤的
不知不觉间,2022年的脚步已经走到了倒数第二个月。临近年末,我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化,例如基线告警、数据服务平台新增TDengine数据源支持、行级权限根据用户属性实现动态赋权。以下为袋鼠云产品功能更新报告第二期内容,更多探索,请继续阅读。数栈DTinsight离线开发平台1.支持对接Trino引擎创建项目时支持对接Trino引擎,支持创建和运行Trino任务。2.个人账号支持绑定Kerberos认证数栈支持对用户或用户组绑定Kerberos证书,并支持以用户级/用户组级Kerberos账号进行任务提交。3.基线告警基线是一组任务的管理单位,被纳入同一组基线
2022年11月7日,Taier1.3版本正式发布!Taier是一个大数据分布式可视化的DAG任务调度系统,旨在降低ETL开发成本、提高大数据平台稳定性,大数据开发人员可以在Taier直接进行业务逻辑的开发,而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现,将工作的重心更多地聚焦在业务之中。Taier自今年2月份开源之后,得到了社区开发者的广泛支持,我们积极吸收社区开发者的意见建议,不断迭代版本,目前已发布了Taier1.1、Taier1.2这两个大的版本更新。本次发布的Taier1.3版本,我们新增了FlinkStandalone组件,融合了DataSourceX的模块,并新增了