详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS何为数仓DWDatawarehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-lineAnalyticalProcessing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。目前行业比较流行的有：AWSRedshift，Greenplum，Hive等。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包含：清洗、转义、分类、重组、合并
摘要：gdb确认是否安装，所带来的该工具用户数据库实例触发core问题后集群状态反复异常，对此问题及时分析根因并及时进行规避。本文分享自华为云社区《主动预防-DWS关键工具安装确认》，作者：上官寒雨。【关键工具确认】1、gdb确认是否安装（该工具用户数据库实例触发core问题后集群状态反复异常，对此问题及时分析根因并及时进行规避）登录任意集群节点执行以下命令（HC/HCS/HCSO环境登录沙箱外执行）：gdb--help提示以下信息则已安装2、gstack是否安装（与gdb关联工具，gdb安装后此工具会默认安装，作用与gdb相同）登录任意集群节点执行以下命令（HC/HCS/HCSO环境登录沙箱
本文分享自华为云社区《GaussDB(DWS)查询优化技术大揭秘》，作者：胡辣汤。大数据时代，数据量呈爆发式增长，经常面临百亿、千亿数据查询场景，当数据仓库数据量较大、SQL语句执行效率低时，数据仓库性能会受到影响。本期《GaussDB(DWS)查询优化技术大揭秘》的主题直播中，我们邀请到华为云GaussDB(DWS)技术布道师王跃老师，深入讲解在GaussDB(DWS)中如何进行表结构设计，如何进行SQL优化，如何查找慢SQL和高频SQL。一、认识优化器数据库的优化器基本上有2种模式，基于规则的优化器(rbo)和基于成本的优化器(cbo)。当前比较通用的是CBO模型的优化器。基于成本的优化器
本文分享自华为云社区《DWS临时内存不可用报错:memorytemporarilyunavailable》，作者：漫天。1、定位报错的DN/CN当出现memorytemporarilyunavailable报错时，首先根据报错信息确认具体是哪个cn/dn报的，如果报错信息没有类似dnxxxx_xxxx这样的信息，就是cn报的，需要去每个cn的日志里排查是哪个cn。2、DWS813以前的版本内存报错定位通过free-g或者top命令查看操作系统内存使用情况，确认是操作系统内存耗尽导致，还是cn/dn的内存使用达到限制，导致内存可不用报错。如果没有现场，需要查看操作系统的内存监控。如果是cn/dn
本文分享自华为云社区《GaussDB(DWS)临时表系列-本地临时表》，作者：acydy。GaussDB(DWS)从8.2.1版本后支持三种形式的临时表：本地临时表、Volatile临时表、全局临时表。本文先介绍DWS的本地临时表功能。本地临时表特点：表定义和数据都是会话相关，其他会话看不到本会话创建的本地临时表。元数据会持久化到系统表，集群节点异常出错可以支持RETRY。语法与使用CREATE[LOCAL]{TEMPORARY|TEMP}TABLE[IFNOTEXISTS]table_name({column_namedata_type[compress_mode][COLLATEcolla
本文分享自华为云社区《GaussDB(DWS)性能调优：MERGE场景下语句不下推引起的性能瓶颈问题案例》，作者：O泡果奶~。1、【问题描述】语句执行时间过长，且该语句performance执行计划中SQLDiagnosticInformation显示SQL语句不下推，理由为：TypeofRecordindualthatisnotarealtablecannotbeshipped2、【原始语句】mergeintofin_drt_act.rt_act_apd_npd_rmk_sto_his_dtl_fTusing(SELECT'Y'del_flagFROMDUAL)Son(T.PERIOD_ID
摘要：GaussDB(DWS)查询过滤器（黑名单）提供查询过滤功能，支持自动隔离反复被终止的查询，防止烂SQL再次执行。本文分享自华为云社区《GaussDB(DWS)查询过滤器原理与应用》，作者：门前一棵葡萄树。一、概述GaussDB(DWS)查询过滤器（黑名单）提供查询过滤功能，支持自动隔离反复被终止的查询，防止烂SQL再次执行。主要应用场景包含以下两种：1.异常熔断机制配置异常规则后，查询触发异常规则后，异常信息将被记录在dbms_om.gs_blocklist_query系统表中。同一个查询触发异常规则次数超限（query_exception_count_limit）后，查询自动加入黑名
文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2、公有云部署场景对应的客户需求四、为何重视数据共享（含湖仓一体）？4.1、传统数据共享业务场景4.2、数据共享（含湖仓一体）能力解决掉的问题五、数据仓库技术架构演进5.1、SharedStorage架构5.2、SharedNothing架构5.3、存算分离架构六、GaussDB（DWS）演进历程七、DWS云原生架构技术解析7.1、极致弹性、数据共享、高灵活度、高性价比7.2、按需弹性实践适应灵
本文分享自华为云社区《GaussDB(DWS)性能调优：Sort+Groupagg聚集引起的性能瓶颈案例》，作者：O泡果奶~。本文针对SQL语句长时间执行不出来，且verbose执行计划中出现Sort+GroupAgg聚集方式的案例进行分析。1、【问题描述】语句执行时间过长，2300s+也无法得出结果。从verbose执行计划可以看出存在sort聚合。2、【原始语句】SELECT/*+setglobal(agg_redistribute_enhancementon)setglobal(best_agg_plan3)*/dm_ebg_glb_kpi_sum_w_v."na_level_name"
本文分享自华为云社区《GaussDB（DWS）锁问题全解》，作者：yd_211043076。一、gaussdb有哪些锁1、常规锁：常规锁主要用于业务访问数据库对象的加锁，保护并发操作的对象，保持数据一致性；常见的常规锁有表锁（relation）和行锁（tuple）。表锁：当对表进行DDL、DML操作时，会对操作的对象表加锁，在事务结束释放。行锁：使用selectforshare语句时持有该模式锁，后台会对tuple加5级锁；使用selectforupdate,delete,update等操作时，后台会对tuple加7级锁（ExclusiveLock）。2、轻量级锁：轻量级锁主要用于数据库内部共
