jjzjj

Datavines

全部标签

一站式数据可观测性平台 Datavines 正式开源啦

Datavines是一站式开源数据可观测性平台,提供元数据管理、数据概览报告、数据质量管理,数据分布查询、数据趋势洞察等核心能力,致力于帮助用户全面地了解和掌管数据,让您做到心中有数,目前作为Datavane开源组织的重点推荐项目,正式开源,欢迎大家使用。核心特性数据目录定时获取数据源元数据,构造数据目录定时监听元数据变更情况支持元数据的标签管理数据质量监控内置27个数据质量检查规则,开箱即用支持4种数据质量检查规则类型单表单列检查类型单表自定义SQL检查类型跨表准确性检查类型两表值比对检查类型支持配置定时任务进行定时检查支持配置SLA用于检查结果告警数据概览支持定时执行数据探测,输出数据概览

教程 | Datavines 自定义数据质量检查规则(Metric)

Metric是Datavines中一个核心概念,一个Metric表示一个数据质量检查规则,比如空值检查和表行数检查都是一个规则。Metric采用插件化设计,用户可以根据自己的需求来实现一个Metric。下面我们来详细讲解一下如何自定义Metric。第一步我们先了解下几个接口和抽象类,它们是实现自定义Metric的关键。SqlMetric接口SqlMetric接口中定义了规则的各种属性和操作的接口。@SPIpublicinterfaceSqlMetric{//中文名StringgetName();//英文名StringgetZhName();//根据系统的语言进行名字返回defaultStrin