Taier介绍Taier是袋鼠云开源项目之一，是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在Taier直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。项目地址：https://github.com/DTStack/TaierTaier资源判断Taier基于插件式架构设计，用户在界面开发任务并提交运行。提交运行插件又划分为worker-plugins、datasource-plugins双插件类型。在任务提交的时候，Taier需要判断是否有足够的资源来执行，否则一股
Calcite在大数据系统中有着广泛的运用,比如ApacheFlink,ApacheDrill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中都发现关于Calcite的实践案例其实很少，本文就将为大家详细介绍如何基于Calcite框架的SQL语法扩展探索使之更符合你的业务需求，以及扩展SQL在数栈产品的应用实践。Calcite介绍及用途Calcite介绍ApacheCalcite是一个动态的数据管理框架，本身不涉及任何物理存储信息，而是专注在SQL解析、基于关系代数的查询优化，通过扩展
监控系统俗称「第三只眼」，几乎是我们每天都会打交道的系统，它也一直是IT系统中的核心组成部分，负责问题的发现以及辅助性的定位。ChengYing作为一站式全自动化全生命周期大数据平台运维管家，自然也提供大数据产品的监控服务。这篇文章，将为大家系统性地介绍ChengYing监控的设计和使用，带大家进一步了解ChengYing。常见监控系统比较目前市面上主流大众都在用的监控系统主要有zabbix、openfalcon、prometheus，这三者都有各自适合的使用场景。下面来看下这三种监控系统各自的优缺点。zabbixzabbix属于老牌企业监控解决方案，优点是在企业的基础设施监控场景下提供了非常
Taier介绍Taier是袋鼠云开源项目之一，是一个分布式可视化的DAG任务调度系统。旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在Taier直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。项目地址：https://github.com/DTStack/TaierTaier资源判断Taier基于插件式架构设计，用户在界面开发任务并提交运行。提交运行插件又划分为worker-plugins、datasource-plugins双插件类型。在任务提交的时候，Taier需要判断是否有足够的资源来执行，否则一股
Calcite在大数据系统中有着广泛的运用,比如ApacheFlink,ApacheDrill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不少人在学习Calcite的过程中都发现关于Calcite的实践案例其实很少，本文就将为大家详细介绍如何基于Calcite框架的SQL语法扩展探索使之更符合你的业务需求，以及扩展SQL在数栈产品的应用实践。Calcite介绍及用途Calcite介绍ApacheCalcite是一个动态的数据管理框架，本身不涉及任何物理存储信息，而是专注在SQL解析、基于关系代数的查询优化，通过扩展
监控系统俗称「第三只眼」，几乎是我们每天都会打交道的系统，它也一直是IT系统中的核心组成部分，负责问题的发现以及辅助性的定位。ChengYing作为一站式全自动化全生命周期大数据平台运维管家，自然也提供大数据产品的监控服务。这篇文章，将为大家系统性地介绍ChengYing监控的设计和使用，带大家进一步了解ChengYing。常见监控系统比较目前市面上主流大众都在用的监控系统主要有zabbix、openfalcon、prometheus，这三者都有各自适合的使用场景。下面来看下这三种监控系统各自的优缺点。zabbixzabbix属于老牌企业监控解决方案，优点是在企业的基础设施监控场景下提供了非常
课件获取：关注公众号“数栈研习社”，后台私信“Taier”获得直播课件视频回放：点击这里ChunJun开源项目地址：github丨gitee喜欢我们的项目给我们点个__STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉qun：30537511前言在分享之前，先为大家介绍一下任务和实例的关系。任务指的是我们在任务开发界面上去创建的任务，比如Spark任务、SparkSQL任务、数据同步任务等，这些任务在开发过程中是静态的脚本，当被提交到计算节点去执行时，被执行的过程我们把它抽象成实例。举一个简单的例子来说明：比如我们写完一个Java的类然后把它打包成Jar包，其实这个Jar
课件获取：关注公众号“数栈研习社”，后台私信“Taier”获得直播课件视频回放：点击这里ChunJun开源项目地址：github丨gitee喜欢我们的项目给我们点个__STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉qun：30537511前言在分享之前，先为大家介绍一下任务和实例的关系。任务指的是我们在任务开发界面上去创建的任务，比如Spark任务、SparkSQL任务、数据同步任务等，这些任务在开发过程中是静态的脚本，当被提交到计算节点去执行时，被执行的过程我们把它抽象成实例。举一个简单的例子来说明：比如我们写完一个Java的类然后把它打包成Jar包，其实这个Jar
新的一年我们加紧了更新迭代的速度，增加了数据湖平台EasyLake和大数据基础平台EasyMR，超40项功能升级优化。我们将继续保持产品升级节奏，满足不同行业用户的更多需求，为用户带来极致的产品使用体验。以下为袋鼠云产品功能更新报告第四期内容，更多探索，请继续阅读。数据湖平台1.【元数据管理】Catalog创建在【元数据管理】页创建一个Catalog，填写Catalog名称、HiveMetaStore、SparkThrift。一个Calalog只允许绑定一个HiveMetaStore，SparkThrift用于Iceberg表创建、数据入湖转表任务，用户可以使用Calalog进行业务部门数据隔
数栈作为袋鼠云打造的一站式数据开发与治理平台，从2016年发布第⼀个版本开始，就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想，坚定不移地⾛国产化信创路线，不断推进产品功能迭代、技术创新、服务细化和性能升级。伴随业务的⻜速发展，数栈设计团队也启动了针对数栈产品的体验升级计划，从开始策划到最后应⽤到各个⼦产品，共经历了五个阶段：策划⽅案制定、设计⽅案落地、转化设计语⾔、Theme&RC升级、⼦产品实施。本⽂将为大家详细聊聊在数栈UI5.0体验升级中，数栈设计团队的设计思路。主要从产品升级策划、确⽴设计⽬标和解决⽅向、数栈设计语⾔、设计提升点、情感化设计五个⽅⾯分享数栈DTins
