jjzjj

详解GaussDB(DWS)中3个防过载检查项

本文分享自华为云社区《【防过载检查项】》,作者:譡里个檔。1.GUC参数检查目的:针对不同版本建议设定不同的参数值,当前先检查出来,后续diagnosis会给出建议值SELECTsplit_part((substring(version()from'\((.*)\)')),'',2)ASversion,(EXISTS(SELECT1FROM(SELECTcount(DISTINCTnode_name)ASdn_cntFROMpgxc_nodeWHEREnode_type='D'ANDnode_host'localhost'GROUPBYnode_host)WHEREdn_cnt1))ASsdn

Libcomm通信库:GaussDB(DWS) 为解决建联过多的小妙招

本文分享自华为云社区《GaussDB(DWS)集群通信系列三:Libcomm通信库》,作者:半岛里有个小铁盒。1.前言适用版本:【8.1.0(及以上)】在大规模集群、高并发业务下,如果有1000DN集群,每个stream线程需要建立1000个连接。如果1000stream并发,DN总共需要建立100万个连接,会消耗大量的连接、内存、fd资源。为了解决这个问题,我们引入了Libcomm通信库,在一个物理长连接上模拟n个逻辑连接,使得所有并发的数据跑在一个物理连接上,极大的解决了物理连接数过多和建连耗时的问题。2.基本原理GaussDB(DWS)为解决建联过多的问题,实现了Libcomm通信库(即

GaussDB(DWS)集群通信:详解pooler连接池

本文分享自华为云社区《GaussDB(DWS)集群通信系列一:pooler连接池》,作者:半岛里有个小铁盒。1.前言适用版本:【8.1.0(及以上)】GaussDB(DWS)为MPP型分布式数据库,使用ShareNothing架构,数据分散存储在各个DN节点,而CN不存储数据,作为接收查询的入口,生成的计划会尽量下推到DN并行执行以提升性能,此过程中会产生大量的建连操作,使得通信开销变得很大。因此在大数据时代,集群规模越来越大,业务并发越来越高,数据库集群各节点间的通信压力也越来越大。GaussDB(DWS)集群通信技术,在大规模集群中可以承载高并发业务,能够实现高性能分布式通信系统。2.背景

GaussDB(DWS)运维利刃:TopSQL工具解析

本文分享自华为云社区《GaussDB(DWS)运维利刃:TopSQL工具解析》,作者:胡辣汤。在生产环境中,难免会面临查询语句出现异常中断、阻塞时间长等突发问题,如果没能及时记录信息,事后就需要投入更多的人力及时间成本进行问题的定位和解决,有时还无法定位到错误出现的地方。在本期《GaussDB(DWS)运维利刃:TopSQL工具解析》的主题直播中,华为云数仓GaussDB(DWS)调优专家刘坤鹏老师,深入讲解GaussDB(DWS)TopSQL的基本原理、能力及典型应用场景。一、 什么是TopSQL?TopSQL是GaussDB(DWS)数据库中内置的一款功能十分强大的性能分析工具。在生产环境

详解数据仓库和数据集市:ODS、DW、DWD、DWM、DWS、ADS

一、数据流向二、应用示例三、何为数仓DWDatawarehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-lineAnalyticalProcessing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。目前行业比较流行的有:AWSRedshift,Greenplum,Hive等。数据仓库并不是数据的最终目的地,而是为数据最终的目的地做好准备,这些准备包含:清洗、转义、分类、重组、合并、拆分、统计等主要特点面向主题[

高斯数据库gaussDB(DWS),全网首篇对标MySQL命令集合文章

文章目录创建高斯数据库gaussDB(DWS)连接gaussDB(DWS)GaussDB(DWS)命令学习`\l`:列出所有数据库`\c数据库名`:切换数据库创建一个表维护数据创建和管理schema其余命令总结创建高斯数据库gaussDB(DWS)在正式开始前需要提前创建一下VPC,位置入口如下所示。在打开的页面配置如下信息,然后创建即可。其中首要进行的修改是基本名称和子网名称创建完毕之后的结果如下所示:接下来就可以配置高斯数据库DWS了,功能入口地址为大数据->数据仓库服务GaussDB(DWS)这里按照华为云提示输入即可,请注意购买一个公网IP,否则后续实践不好操作。虚拟私有云选择前文配置

详解GaussDB(DWS)通信安全的小妙招:连接认证机制

本文分享自华为云社区《GaussDB(DWS)数据库安全系列之通信安全》,作者:yd_262982826。1.前言适用版本:【8.1.3及以上】网络是一个开放的环境,仅仅依靠用户名和密码难以应对复杂的网络环境,针对可能存在的身份伪造的欺骗行为,以及监听通信内容的窃听行为,为了确保通信双方身份的真实性和通信内容的私密性,防止非法用户对GaussDB(DWS)系统、其他用户造成不利影响,GaussDB(DWS)建立了一套完整而严密的防护机制——连接认证机制,可以有效防止非法用户入侵。2.证书校验&&秘钥协商证书校验和秘钥协商在SSL的握手阶段实现,握手协议如下:2.1准备证书在华为云CA认证中心申

详解GaussDB(DWS)通信安全的小妙招:连接认证机制

本文分享自华为云社区《GaussDB(DWS)数据库安全系列之通信安全》,作者:yd_262982826。1.前言适用版本:【8.1.3及以上】网络是一个开放的环境,仅仅依靠用户名和密码难以应对复杂的网络环境,针对可能存在的身份伪造的欺骗行为,以及监听通信内容的窃听行为,为了确保通信双方身份的真实性和通信内容的私密性,防止非法用户对GaussDB(DWS)系统、其他用户造成不利影响,GaussDB(DWS)建立了一套完整而严密的防护机制——连接认证机制,可以有效防止非法用户入侵。2.证书校验&&秘钥协商证书校验和秘钥协商在SSL的握手阶段实现,握手协议如下:2.1准备证书在华为云CA认证中心申

GaussDB(DWS)中的分布式死锁问题实践

本文分享自华为云社区《GaussDB(DWS)中的分布式死锁问题实践》,作者:他强由他强。1、什么是分布式死锁分布式死锁是相对于单机死锁而言,一个事务块中的语句,可能会分散在集群里多个节点(CN/DN)执行,在不同节点上可能都会持有锁,当并发事务进行时可能会导致分布式(全局)死锁,如下图所示,会话SESSION1持有了DN1上的lock1资源后再去请求DN2上的lock2,会话SESSION2持有了DN2上的lock2资源后再去请求DN1上的lock1,两个会话形成互相等待。出现分布式死锁现象后,如果没有外部干预,通常是一方等待锁超时报错后,事务回滚清理持有锁资源,另一方可继续执行。2、常见的

GaussDB(DWS)中的分布式死锁问题实践

本文分享自华为云社区《GaussDB(DWS)中的分布式死锁问题实践》,作者:他强由他强。1、什么是分布式死锁分布式死锁是相对于单机死锁而言,一个事务块中的语句,可能会分散在集群里多个节点(CN/DN)执行,在不同节点上可能都会持有锁,当并发事务进行时可能会导致分布式(全局)死锁,如下图所示,会话SESSION1持有了DN1上的lock1资源后再去请求DN2上的lock2,会话SESSION2持有了DN2上的lock2资源后再去请求DN1上的lock1,两个会话形成互相等待。出现分布式死锁现象后,如果没有外部干预,通常是一方等待锁超时报错后,事务回滚清理持有锁资源,另一方可继续执行。2、常见的