jjzjj

MatrixOne

全部标签

开源数据库 MatrixOne 的 HTAP 分布式架构演进

一、Matrixone的早期架构与难题MatrixOne早期的架构与现在有很大区别。早期的架构可以总结为两个词:一个是NewSQL,一个是MPP。NewSQL是当年谷歌的几篇论文衍生出来的分布式数据库的一套理论体系。其中最重要的一点就是分布式架构,解决的是传统数据库的高可用以及水平扩展的难题。另外一点就是多引擎,用不同的引擎来做不同的事情。MPP或者叫大规模并行计算,主要的用途是通过分布式的方式将一些规模比较大的计算任务分布到不同的节点,并且在计算完成之后汇总。充分利用了分布式架构的算力资源。我们早年的架构确实也是这个样子。上面有一个负责分发负载均衡的proxy。下面是MatrixOneSer

开源数据库 MatrixOne 的 HTAP 分布式架构演进

一、Matrixone的早期架构与难题MatrixOne早期的架构与现在有很大区别。早期的架构可以总结为两个词:一个是NewSQL,一个是MPP。NewSQL是当年谷歌的几篇论文衍生出来的分布式数据库的一套理论体系。其中最重要的一点就是分布式架构,解决的是传统数据库的高可用以及水平扩展的难题。另外一点就是多引擎,用不同的引擎来做不同的事情。MPP或者叫大规模并行计算,主要的用途是通过分布式的方式将一些规模比较大的计算任务分布到不同的节点,并且在计算完成之后汇总。充分利用了分布式架构的算力资源。我们早年的架构确实也是这个样子。上面有一个负责分发负载均衡的proxy。下面是MatrixOneSer

MatrixOne:HTAP数据库中的OLAP设计

一、MatrixOne整体架构MatrixOne早期的架构是一个典型的sharenothing架构,数据存放在一个MultiRaft集群上面,数据的每一个切片存在一个Raft上面,不同的RaftGroup之间的数据是完全没有重叠的。早期架构存在着一些无法解决的问题,比如在扩展性上,每扩展一个节点,就需要同时扩展存算的资源,因为计算和存储没有完全分开。而且每扩展一个节点,需要大量的数据迁移工作。另外因为每一份数据都要保存至少3个副本,从扩展节点到完成的时间会非常久。在性能方面,Raft协议所包含的leader角色,容易造成热点;在性能较差的存储下,数据库整体性能下降会超过预期;多种引擎各自用途不

MatrixOne从入门到实践03——部署MatrixOne

MatrixOne从入门到实践——部署MatrixOne前两章节我们简单介绍了MatrixOne和源码编译了MatrixOne。本章节将使用不同的部署方式,来部署MatrixOne的服务。注意:不同版本的MO,启动所使用的的命令不一样,请执行相应版本的启动命令!源码部署源码编译源码编译直通车:MatrixOne从入门到实践——源码编译上一章节讲了MatrixOne的源码编译,在编译完成之后,会在当前目录生成一个二进制文件:mo-service目录结构如下所示:drwxr-xr-x.4rootroot4096Sep614:32cgodrwxr-xr-x.3rootroot24Sep614:32c

MatrixOne从入门到实践03——部署MatrixOne

MatrixOne从入门到实践——部署MatrixOne前两章节我们简单介绍了MatrixOne和源码编译了MatrixOne。本章节将使用不同的部署方式,来部署MatrixOne的服务。注意:不同版本的MO,启动所使用的的命令不一样,请执行相应版本的启动命令!源码部署源码编译源码编译直通车:MatrixOne从入门到实践——源码编译上一章节讲了MatrixOne的源码编译,在编译完成之后,会在当前目录生成一个二进制文件:mo-service目录结构如下所示:drwxr-xr-x.4rootroot4096Sep614:32cgodrwxr-xr-x.3rootroot24Sep614:32c

MatrixOne从入门到实践10——物联网平台架构升级

MatrixOne从入门到实践——物联网平台架构升级公司介绍西安天能软件科技有限责任公司,成立于2018年,公司自成立起集中力量精心打造物联网平台,拥有集自主研发、终端生产、销售、服务一体的物联网平台及服务团队,已为国内外300多家物联网企业、千万级物联网设备提供合作支持。公司在物联网领域拥有多项设备接入、远程管理及大数据分析等研发技术专利,用行业领先的物联网服务经验为企业注入了全新的生产力。智能家居上云:针对消费级设备智能化特点,Skyable为空净新风、净水机、厨卫电器、白色大家电、可穿戴设备、血糖仪、体脂秤、智能锁等消费级智能产品提供设备连接、数据分析、设备管理、智能售后、APP开发、用

MatrixOne从入门到实践10——物联网平台架构升级

MatrixOne从入门到实践——物联网平台架构升级公司介绍西安天能软件科技有限责任公司,成立于2018年,公司自成立起集中力量精心打造物联网平台,拥有集自主研发、终端生产、销售、服务一体的物联网平台及服务团队,已为国内外300多家物联网企业、千万级物联网设备提供合作支持。公司在物联网领域拥有多项设备接入、远程管理及大数据分析等研发技术专利,用行业领先的物联网服务经验为企业注入了全新的生产力。智能家居上云:针对消费级设备智能化特点,Skyable为空净新风、净水机、厨卫电器、白色大家电、可穿戴设备、血糖仪、体脂秤、智能锁等消费级智能产品提供设备连接、数据分析、设备管理、智能售后、APP开发、用

Go汇编语法和MatrixOne使用介绍

目录MatrixOne数据库是什么?Go汇编介绍为什么使用Go汇编?为什么不用CGO?Go汇编语法特点操作数顺序寄存器宽度标识函数调用约定对写Go汇编代码有帮助的工具avotext/template在Go汇编代码中使用宏在MatrixOne数据库中的Go语言汇编应用基本向量运算加速Go语言无法直接调用的指令编译器无法达到的特殊优化效果MatrixOne社区MatrixOne数据库是什么?MatrixOne是一个新一代超融合异构数据库,致力于打造单一架构处理TP、AP、流计算等多种负载的极简大数据引擎。MatrixOne由Go语言所开发,并已于2021年10月开源,目前已经release到0.3

Go汇编语法和MatrixOne使用介绍

目录MatrixOne数据库是什么?Go汇编介绍为什么使用Go汇编?为什么不用CGO?Go汇编语法特点操作数顺序寄存器宽度标识函数调用约定对写Go汇编代码有帮助的工具avotext/template在Go汇编代码中使用宏在MatrixOne数据库中的Go语言汇编应用基本向量运算加速Go语言无法直接调用的指令编译器无法达到的特殊优化效果MatrixOne社区MatrixOne数据库是什么?MatrixOne是一个新一代超融合异构数据库,致力于打造单一架构处理TP、AP、流计算等多种负载的极简大数据引擎。MatrixOne由Go语言所开发,并已于2021年10月开源,目前已经release到0.3

浅谈MatrixOne如何用Go语言设计与实现高性能哈希表

目录MatrixOne数据库是什么?哈希表数据结构基础哈希表基本设计与对性能的影响碰撞处理链地址法开放寻址法MaxloadfactorGrowthfactor空闲桶探测方法一些常见的哈希表实现C++std::unordered_map/boost::unordered_mapgomapswisstableClickHouse的哈希表实现高效哈希表的设计与实现基本设计与参数选择哈希函数特殊优化具体实现代码性能测试测试环境测试内容整数key结果字符串key结果总结MatrixOne数据库是什么?MatrixOne是一个新一代超融合异构数据库,致力于打造单一架构处理TP、AP、流计算等多种负载的极简
12