更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要字节数据中台DataLeap的DataCatalog系统通过接收MQ中的近实时消息来同步部分元数据。ApacheAtlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。背景动机字节数据中台DataLeap的DataCatalog系统基于ApacheAtlas搭建，其中Atlas通过Kafka获取外部系统的元数据变更消息
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 摘要字节数据中台DataLeap的DataCatalog系统通过接收MQ中的近实时消息来同步部分元数据。ApacheAtlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。背景动机字节数据中台DataLeap的DataCatalog系统基于ApacheAtlas搭建，其中Atlas通过Kafka获取外部系统的元数据变更消息
字节数据中台DataLeap的DataCatalog系统通过接收MQ中的近实时消息来同步部分元数据。ApacheAtlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。1.背景1.1动机字节数据中台DataLeap的DataCatalog系统基于ApacheAtlas搭建，其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中，每台服务器支持的KafkaConsumer数量有限，在每日百万级
字节数据中台DataLeap的DataCatalog系统通过接收MQ中的近实时消息来同步部分元数据。ApacheAtlas对于实时消息的消费处理不满足性能要求，内部使用Flink任务的处理方案在ToB场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。1.背景1.1动机字节数据中台DataLeap的DataCatalog系统基于ApacheAtlas搭建，其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中，每台服务器支持的KafkaConsumer数量有限，在每日百万级
1、前言大数据时代，数据的来源极其广泛，各种类型的数据在快速产生，数据也是爆发性增长。从数据的产生，通过加工融合流转产生新的数据，到最终消亡，数据之间的关联关系可以称之为数据血缘关系。在数据中台的大背景下，数仓的开发者经常需要解决以下问题：面对成百上千张的数据表，不知道该如何关联，也不知道这些表具有什么业务价值执行过长，慢的无法忍受的SQL脚本，却不敢轻易进行整改数据表是否包含机密数据需要被清理，以及这些机密数据是否被转存导致权限放大其实，以上的这些问题都可以统一归类为数据发现问题。大部分企业会针对离线数仓任务进行SQL分析，构建表和字段的血缘关系，数据发现包括但不限于:数据表/列的业务分类分
1、前言大数据时代，数据的来源极其广泛，各种类型的数据在快速产生，数据也是爆发性增长。从数据的产生，通过加工融合流转产生新的数据，到最终消亡，数据之间的关联关系可以称之为数据血缘关系。在数据中台的大背景下，数仓的开发者经常需要解决以下问题：面对成百上千张的数据表，不知道该如何关联，也不知道这些表具有什么业务价值执行过长，慢的无法忍受的SQL脚本，却不敢轻易进行整改数据表是否包含机密数据需要被清理，以及这些机密数据是否被转存导致权限放大其实，以上的这些问题都可以统一归类为数据发现问题。大部分企业会针对离线数仓任务进行SQL分析，构建表和字段的血缘关系，数据发现包括但不限于:数据表/列的业务分类分
DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。数据血缘是帮助用户找数据、理解数据以及使数据发挥价值的基础能力。本文将聚焦数据血缘存储和血缘导出，分享在存储和导出数据血缘的模型设计以及优化，并介绍字节跳动在数据血缘建设过程中所遇到的挑战和技术实现以及数据血缘的具体用例，具体包括数据血缘模型、数据血缘优化、数据血缘用例、未来展望四个部分。本文介绍的数据血缘能力和实践，目前大部分已通过火山引擎DataLeap对外提供服务。一、数据血缘模
DataLeap是火山引擎数智平台VeDI旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。数据血缘是帮助用户找数据、理解数据以及使数据发挥价值的基础能力。本文将聚焦数据血缘存储和血缘导出，分享在存储和导出数据血缘的模型设计以及优化，并介绍字节跳动在数据血缘建设过程中所遇到的挑战和技术实现以及数据血缘的具体用例，具体包括数据血缘模型、数据血缘优化、数据血缘用例、未来展望四个部分。本文介绍的数据血缘能力和实践，目前大部分已通过火山引擎DataLeap对外提供服务。一、数据血缘模
字节的挑战与实践首先来看一个问题：“一家公司，数据体系要怎么搭建？”方案一：整体规划，系统架构驱动方案二：问题出发，业务价值驱动在字节跳动，我们选择的是方案二，即从业务遇到的问题出发，重视落地结果与业务过程，去解决实际的治理问题。基于这个理念，在数据治理过程中，字节跳动也面临以下三个挑战与机遇：业务特点：业务发展快、场景丰富、数据量大且形态各异。 业务的线上服务及创新，都对数据有较强的依赖，核心业务数据延迟，质量问题将直接影响业务表现及发展。组织特点：扁平化的组织模式，分布式的组织管理。 无行政手段或强组织约束，也无全局治理委员会，且数据从采集到应用全部的生产流程，没有全局规范，业务团队需要自
字节的挑战与实践首先来看一个问题：“一家公司，数据体系要怎么搭建？”方案一：整体规划，系统架构驱动方案二：问题出发，业务价值驱动在字节跳动，我们选择的是方案二，即从业务遇到的问题出发，重视落地结果与业务过程，去解决实际的治理问题。基于这个理念，在数据治理过程中，字节跳动也面临以下三个挑战与机遇：业务特点：业务发展快、场景丰富、数据量大且形态各异。 业务的线上服务及创新，都对数据有较强的依赖，核心业务数据延迟，质量问题将直接影响业务表现及发展。组织特点：扁平化的组织模式，分布式的组织管理。 无行政手段或强组织约束，也无全局治理委员会，且数据从采集到应用全部的生产流程，没有全局规范，业务团队需要自
