jjzjj

华为云云原生数据库:A Philosophy about “less”

华为云开发者社区 2023-03-28 原文
摘要:斯坦福教授、Tcl语言发明者John Ousterhout的著作《A Philosophy of Software Design》提出了一个经久不衰的观点——软件设计的核心在于降低复杂性。

在新技术不断涌现的云时代,出现了一种“技术过载”现象——本应帮助企业提高效率的技术,反倒让企业心生焦虑,企业担心不会用、用不好,这在数据库领域体现得十分突出。

数据库是现代企业的核心系统,随着云计算从根本上改变IT产业的格局,数据库重构突然变成了“容易”的事。“事出反常必有妖”,为了重构而重构的数据库,给企业和开发者们带来了新的挑战。

他们要面对不同数据库的复杂理念和运维,这些复杂性不应该被让渡到使用者的层面。

斯坦福教授、Tcl语言发明者John Ousterhout的著作《A Philosophy of Software Design》提出了一个经久不衰的观点——软件设计的核心在于降低复杂性。

数据库可谓是最复杂的关键基础软件之一,关于如何降低数据库复杂性的思考,在当下变得十分应景。书中提到的一些方法,例如分层、抽象和复杂性下沉,正在先行者华为云云原生数据库GaussDB身上得到新的演绎,也推动着云原生数据库走向下一阶段。

分层和抽象之后

在软件领域,分层和抽象的逻辑并不陌生,计算机体系结构、TCP/IP网络协议等都是这种理念的体现,在云计算领域,IaaS、PaaS、SaaS是云计算平台的三层能力,实际上就是云对传统IT的分层和抽象。

IaaS让开发者不必考虑计算、存储和网络等资源调度,PaaS提供中间件和丰富的平台能力,SaaS提供开箱即用的应用,从IaaS到SaaS,抽象的程度越来越高,使用者关心的技术细节也就越来越少,正如现在几乎没有人关注计算机体系机构和TCP/IP网络协议一样。

数据库的云原生化,就是一个不断提高抽象程度的过程,数据库厂商希望借此降低复杂性。

此前,传统数据库或者新诞生的云原生数据库,都在贴近云技术进行改造和重塑,开发者对后端资源的关注有所降低,但这依然不足以让云原生数据库的复杂性降低到令人满意的水平。

华为云数据库服务产品部总经理苏光牛

华为云数据库服务产品部总经理苏光牛表示,从云化到云原生化,过去更多是做服务化,今天更多是对数据库内核进行重构,实现基于云的架构来构建、真正的“生于云、长于云”的数据库。

譬如从产品方面来讲,传统数据库基于单机主备架构来构建,要做到云化,需要对产品的整体架构做重构,贴合云的各种技术栈来进行,例如:分布式存储和对象存储,容器化等基础技术。

再从商业模式来讲,数据库云化需要改变客户使用传统数据库的模式,重点从按需的使用模式出发,端到端的客户体验的优化,比如Serverless模式,这是简单的数据库服务化做不到的,从IaaS的资源调度到Serverless,就是抽象程度提高的典型例子。

新的阶段,数据库所面临的挑战有四个方面,时效性、可用性、多模融合和性价比,表面看起来似乎还是那些要求,但是要求数据库厂商对技术的把握和业务的理解,再上一个台阶。

A Philosophy about “less”

John Ousterhout告诉我们,如果一定要在某个层次处理复杂性,这个层次越低越好,数据库的复杂性和下层功能相关,下沉之后能够解决其他层次和整体的复杂性,华为云便是这么做的。

华为云认为,未来的云数据库需要做三大转变,第一是从关注资源的规划部署,转变为聚焦应用如何更好地使用;第二是从关注数据的物理部署,转变为如何让数据全域可用;第三是从关注多个分离模型的数据转变为多模融合,从关注单一交易或分析业务(TP或者AP)负载,转为HTAP一体化负载,数据库根据业务类型和负载自动选择合适的引擎来处理。

为了实现这些转变,数据库领域需要引入新的技术,实现云原生数据库的Serverless、Regionless、Modeless,也是华为云GaussDB的技术哲学——A Philosophy about “less”,让复杂的事情简单化。

苏光牛提到,Serverless让应用弹性透明地调度和无损透明切换成为可能,过去的Serverless主要是单机伸缩和无状态管理,可能会引起业务中断、受损,云原生Serverless将从通用场景出发,实现失耦状态的常态管理。

Regionless让数据全域可用,用户只需要关注流量从哪里来,用户从哪里访问,数据库将数据分布到不同的Region,应用就近、随时随地访问数据。全球分布统一管理的数据库管理系统和数据库的部署能力,将成为数据库的核心竞争力。

Modeless带来数据库极简体验,传统的数据库只能支持单一负载或者单一模式(KV、文档、时序、宽表等),而企业的应用在融合,交易和分析任务兼有,还有图像和地理信息。

GaussDB分别采用HTAP和多模数据库技术,一个入口处理多样负载、一个入口处理多种数据类型,有效地避免了传统解决方案的抽取、转换和装载繁琐的过程,实现一站式处理,业务接入效率可从数月缩短至数天。

可以看出,为了解决数据库的复杂性问题,华为云下沉到了更深一层,Serverless是更进一步的资源抽象,Regionless是更进一步的空间抽象,Modeless是更进一步的模型抽象,三者都实现了云原生化细颗粒度的解决方式。

“无感知”的数据库

“Less is more”,抽象的程度越高,使用者就越不必关心具体技术和细节,但这并不意味着数据库技术难度降低,相反,数据库厂商把复杂做成简单,内敛比外化要难得多。

例如华为云无感知的资源调度框架AST,智能判断用户负载,实时匹配负载资源将用户成本降到最低;全域数据分层引擎GTE,将部分不常用数据放到低成本的对象存储上,GTE引擎还能支持多个实例共享一份数据同时读取;NDPQ近存储并行查询技术,把一些算子下推到存储上进行计算,计算节点和存储节点都能够进行本地处理,减少网络带宽传输,提高业务效率。

数据库的复杂性下沉,既是技术的下沉,华为云GaussDB将复杂性下沉到离用户更远的一层,也是场景应用的下沉,让数据库去适配应用开发者的习惯,企业用户离DaaS(Database as a Service)才能越来越近。

华为从2007年就开始研发内存数据库,起初是因为电信领域对数据的要求极高,市场上找不到能与之较好契合的数据库。后来随着华为业务的发展,华为不断投入资源研发数据库,打造了一系列数据库产品。

苏光牛提到,华为本身对数据库的要求就是全方位的,包括:华为自身的IT系统、华为成熟的ICT业务以及华为的互联网业务、终端云等需求,GaussDB既要满足金融政企对数据库的严苛诉求,也要满足互联网行业这样典型的To C类业务诉求,这是华为云数据库区别于其他厂商的关键。

因此,GaussDB一开始就瞄准全行业不同场景,与云平台的技术能力深度结合,把云原生数据库的弹性、极简体验做到极致,这也是数据库的未来,企业无需关注数据库的类型,即可拥有无感知的体验。

 

例如华为运动健康App,全球范围内用户数超4亿,月活跃用户数超过9000万,它选择了华为云GaussDB(for Cassandra),存算分离架构可以很好满足业务海量并发的需求,同时具备快速扩容能力,高峰期承载上千万QPS,最大能够支持百亿行的表。

互联网应用重视数据库的性价比,且对弹性扩展的灵活性要求高,GaussDB(for Cassandra)能够保证业务高并发运行的同时,实现低时延,很好地满足了穿戴设备数据写入的需求。

再如永安保险,保险业务对数据库的扩展性、性能等要求极高,更要满足数据安全与灾备监管要求,新时代业务敏捷创新与上线,呼唤云化开放架构和分布式技术,永安保险希望找到“一专多能”的云原生数据库。

华为云GaussDB(for MySQL)和数据复制服务DRS,支持主流商业数据库生态,全栈工具链助力切换主流商业数据库,业务无需改造,资源弹性扩容能力强,且华为云DRS简单易用、安全可靠,实现了永安保险意外险和健康险业务的高效上云。

保险业务属于金融场景,是数据库领域的核心地带之一,在云原生时代的大背景下,以华为云GaussDB整体为代表的“新”数据库,正在挑战Oracle和IBM DB2等为代表的“旧”数据库,新与旧的博弈,最终由客户业务场景来评判,云原生数据库正在攻城略地。

在全方位场景化的驱动下,华为云数据库凝练出自己的发展方向,让企业客户不必纠结于复杂的技术,俨然也成为云原生数据库行业的风向标,云原生数据库的成熟态,行且将至。

 

点击关注,第一时间了解华为云新鲜技术~

有关华为云云原生数据库:A Philosophy about “less”的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - 将 Bootstrap Less 添加到 Sinatra - 2

    我有一个ModularSinatra应用程序,我正在尝试将Bootstrap添加到应用程序中。get'/bootstrap/application.css'doless:"bootstrap/bootstrap"end我在views/bootstrap中有所有less文件,包括bootstrap.less。我收到这个错误:Less::ParseErrorat/bootstrap/application.css'reset.less'wasn'tfound.Bootstrap.less的第一行是://CSSReset@import"reset.less";我尝试了所有不同的路径格式,但它

  3. ruby - Ruby 有 `Pair` 数据类型吗? - 2

    有时我需要处理键/值数据。我不喜欢使用数组,因为它们在大小上没有限制(很容易不小心添加超过2个项目,而且您最终需要稍后验证大小)。此外,0和1的索引变成了魔数(MagicNumber),并且在传达含义方面做得很差(“当我说0时,我的意思是head...”)。散列也不合适,因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题,但我很想知道:Ruby标准库是否已经带有这样一个类? 最佳

  4. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  5. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  6. 华为OD机试用Python实现 -【明明的随机数】 2023Q1A - 2

    华为OD机试题本篇题目:明明的随机数题目输入描述输出描述:示例1输入输出说明代码编写思路最近更新的博客华为od2023|什么是华为od,od薪资待遇,od机试题清单华为OD机试真题大全,用Python解华为机试题|机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为o

  7. 华为常用命令 - 2

    system-view进入系统视图quit退到系统视图sysname交换机命名vlan20创建vlan(进入vlan20)displayvlan显示vlanundovlan20删除vlan20displayvlan20显示vlan里的端口20Interfacee1/0/24进入端口24portlink-typeaccessvlan20把当前端口放入vlan20undoporte1/0/10删除当前VLAN端口10displaycurrent-configuration显示当前配置02配置交换机支持TELNETinterfacevlan1进入VLAN1ipaddress192.168.3.100

  8. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流,在人体运动的基础上,添加双手手指部分的运动。双手手背的角度仍由Optitrack提供,数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照:https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming,开始向Unity3D广播数据;MotionVenus中设置->选项选择Unit

  9. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co

  10. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​,到目前为止一切都已安装,但是当我尝试使用rakedb:create创建数据库时,我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

随机推荐