jjzjj

DataSophon——国产开源一站式运维平台

你好,我叫罗鹏程 2023-04-21 原文

1、DataSophon是谁开源的?

国内某大厂

2、DataSophon想干嘛?

致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助您快速构建起稳定,高效的大数据集群服务。

3、DataSophon是什么?

DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

4、DataSophon都有哪些特性?

  • 极易部署,1小时可完成300节点的大数据集群部署

  • 国产化兼容,兼容arm服务器和常用国产化操作系统

  • 监控指标全面丰富,基于生产实践展示用户最关心的监控指标

  • 灵活便捷的告警服务,可实现用户自定义告警组和告警指标

  • 可扩展性强,用户可通过配置的方式集成或升级大数据组件

5、DataSophon架构图

6、DataSophon架构翻译一下?

  • 集群分为三大部分:管理节点、工作节点、监控

  • 管理节点负责管理工作节点、工作节点上部署组件、负责任务执行

  • 运维监控体系是独立的,通过prometheus+exporter采集组件状态参数,grafana负责运维可视化,通过alertmanager进行告警,这一套是现在主流的采集、存储、可视化、告警的,每一步都是单独的

  • 管理员和运维人员通过管理节点实现节点上下线、扩容等

  • 集群部署维护节点的元数据存储在mysql中,所以兼容jdbc协议,也可以用其他数据库替换mysql

7、DataSophon可以集成哪些组件?

序号名称版本描述
1HDFS3.3.3分布式大数据存储
2YARN3.3.3分布式资源调度与管理平台
3ZooKeeper3.5.10分布式协调系统
4FLINK1.15.2实时计算引擎
5Spark3.1.3分布式计算系统
6Hive3.1.0离线数据仓库
7Kafka2.4.1高吞吐量分布式发布订阅消息系统
8Trino367分布式Sql交互式查询引擎
9StarRocks2.2.2新一代极速全场景MPP数据库
10Hbase2.0.2分布式列式存储数据库
11Ranger2.1.0权限控制框架
12ElasticSearch7.16.2高性能搜索引擎
13Prometheus2.17.2高性能监控指标采集与告警系统
14Grafana9.1.6监控分析与数据可视化套件
15AlertManager0.23.0告警通知管理系统

8、搭建和环境依赖?

首先DataSophon是一套自动化运维搭建平台,集成服务是jar包形式,目前目录中列出的组件,提供好了对应的jar包,相当于jar包仓库,按照要求放在对应的目录中,搭建分布式服务时通过jar包分发的形式进行,然后调用os,进行解压,修改配置等操作。

基于上述,在服务集成上相对于cdn,hdp很方便。

9、rpc技术选型?

管理端与工作端通信选择akka框架。选型依据如下:

(1)Actor并发模型,支持协程,比线程小很多,高并发性能高。

(2)非常轻量的事件驱动处理机制(1GB内存可容纳约270万个Actor)。

(3)可以以jar包形式集成到现有框架,简洁易用,无其他依赖。

(4)具备容错机制,允许在Actor出错时进行一些恢复或者重置操作。

(5)消息传递支持exactly once。

(6)相对于netty,学习成本,使用成本更低。

10、当前版本能做的事?

支持多集群管理。

支持配置集群管理员,集群管理员具备集群操作管理权限,普通用户只有查看权限。

支持HDFS ,YARN,Hive , Kafka , ZooKeeper,Flink , Spark 等常用大数据组件。

支持集群总览监控。

支持各服务组件总览监控。

支持服务启动,停止,重启等操作。

支持服务角色启动,停止,重启,删除等操作。

支持Yarn公平调取器管理。

支持主机管理,支持实时监控主机Cpu使用率,内存使用率,磁盘使用率等常用指标。

支持告警管理,支持自定义告警指标。

支持服务配置文件修改。

支持配置文件修改后集群服务自动检测需要重启生效的依赖服务提示。

支持各大数据服务Web UIs便捷访问。

支持在线查看服务角色日志。

有关DataSophon——国产开源一站式运维平台的更多相关文章

  1. H2数据库配置及相关使用方式一站式介绍(极为详细并整理官方文档) - 2

    目录H2数据库入门以及实际开发时的使用1.H2数据库的初识1.1H2数据库介绍1.2为什么要使用嵌入式数据库?1.3嵌入式数据库对比1.3.1性能对比1.4技术选型思考2.H2数据库实战2.1H2数据库下载搭建以及部署2.1.1H2数据库的下载2.1.2数据库启动2.1.2.1windows系统可以在bin目录下执行h2.bat2.1.2.2同理可以通过cmd直接使用命令进行启动:2.1.2.3启动后控制台页面:2.1.3spring整合H2数据库2.1.3.1引入依赖文件2.1.4数据库通过file模式实际保存数据的位置2.2H2数据库操作2.2.1Mysql兼容模式2.2.2Mysql模式

  2. python - 开源 Twitter 克隆(在 Ruby/Python 中) - 2

    关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。关闭6年前。Improvethisquestion是否有任何用Ruby或Python编写的生产就绪的开源Twitter克隆?我对功能丰富的实现更感兴趣,而不仅仅是简单的Twitter消息(例如:API、FBconnect、通知等)谢谢!

  3. Gradle 自动化构建开源工具 - 2

    文章目录写在前面1、下载与安装(windows)1.1、idea中配置gradle2、基础知识(Gradle6.9为例)2.1、Gradle脚本语法2.1.1、dependsOn2.1.2、创建动态任务2.1.3、增加任务行为2.1.4、参数2.1.5、Ant任务2.1.6、方法2.1.7、默认任务2.1.6、依赖任务的不同输出3、java项目中使用3.1、在已有项目中构建gradle3.2、在新建项目时构建gradle(idea)3.3、gradle项目目录结构3.4、build.gradle3.4.1、plugins3.4.2、repositories3.4.3、dependencies3

  4. 从零开始学习Linux运维,成为IT领域翘楚(二) - 2

    文章目录🔥Linux系统目录结构🔥Linux用户和用户组🔥Linux用户管理🔥Linux系统目录结构文件系统组织结构⭐ /lib系统开机所需要最基本的动态链接共享库,其作用类似于Windows里的DLL文件。几乎所有的应用程序都需要用到这些共享库。⭐ /lost+found一般情况下是空的,当系统非法关机后,这里就存放了一些文件。⭐ /etc所有系统管理所需要的配置文件和子目录my.conf⭐ /usr用户的很多应用程序和文件都放在这个目录下。⭐ /bin是Binary的缩写,这个目录存放着经常使用的命令⭐ /sbin(usr/sbin、/usr/local/sbin)sbin就是peruse

  5. NFT交易平台开发 创建NFT数字藏品平台 - 2

    为什么需要NFT市场?NFTMarketplace允许用户购买、出售、交易、查看或创建自己的NFT,就像他们需要一个市场来购买物理或数字世界中的大多数产品一样。几乎每个人都可以进入NFT市场,但要做到这一点,用户必须满足以下要求:一个NFT市场用户账户,允许您在给定平台上购买NFT。你需要一个与区块链兼容的加密钱包来购买NFT。NFTMarketplace非常重要,因为它连接了买卖双方,并为用户提供了多种工具来快速创建自己的NFT。艺术家可以在市场上列出要出售的NFT,买家可以通过投标过程探索市场并购买物品。NFT市场开发过程解释创建NFT市场是一个耗时的过程,需要编程知识和理解。那么搭建NF

  6. Ruby跨平台EOF符号的写法 - 2

    在Ruby中是否有一种平台无关的方式将EOF符号写入字符串。在*nix中,我认为符号是^D,但在Windows中是^Z,这就是我问的原因。 最佳答案 EOF不是一个字符,它是一个状态。终端使用控制字符来表示此状态(C-d)。没有这样的事情是“读一个EOF字符”,写一个也是一样的。如果您正在写入文件,请在完成后将其关闭。看这个mailinglistpost:ItsoundslikeyouarethinkingofEOFasanin-bandbutspecialcharactervaluethatmarkstheendoffile.It

  7. 停车系统源码-基于springboot+uniapp开源项目 - 2

    Iparking停车收费管理系统-可商用介绍Iparking是一款基于springBoot的停车收费管理系统,支持封闭车场和路边车场,支持微信支付宝多种支付渠道,支持多种硬件,涵盖了停车场管理系统的所有基础功能。技术栈Springboot,MybatisPlus,Beetl,Mysql,Redis,RabbitMQ,UniApp功能云端功能序号模块功能描述1系统管理菜单管理配置系统菜单2系统管理组织管理管理组织机构3系统管理角色管理配置系统角色,包含数据权限和功能权限配置4系统管理用户管理管理后台用户5系统管理租户管理多租户管理6系统管理公众号配置租户公众号配置7系统管理操作日志审计日志8系统

  8. ruby-on-rails - 有没有很好的引用(开源)Rails NoSQL应用程序? - 2

    我有兴趣了解使用nosql将如何影响rails应用程序的架构/设计/代码。有人知道使用nosql持久性的开源rails应用程序的一个好例子吗?谢谢 最佳答案 看看这些项目:卡桑德拉用法atDigg。卡桑德拉用法atTwitter。Friendly用法atFetLife(nsfw)。最后,MyNoSQL是一个提供nosql相关信息的好网站。 关于ruby-on-rails-有没有很好的引用(开源)RailsNoSQL应用程序?,我们在StackOverflow上找到一个类似的问题:

  9. 视频融合技术解决方案,三维全景拼接赋能平台 - 2

    近年来,随着信息化时代的到来,三维全景拼接以视频监控领域为代表的智能硬件公司迅速崛起,随后全国各地在视频监控领域进行了大量的建设。但随着摄像头数量的增加,视频监控画面离散、庞杂、关联性差等诸多问题日渐凸显。如何优化现有视频技术,助力管理者或使用者有效、直观、准确地掌控现场实时动态,成为我国信息化前行路上面临的新课题。视频融合技术平台解决方案北京智汇云舟科技有限公司成立于2012年,专注于创新性的“视频孪生(实时实景数字孪生)”技术研发与应用。公司依托自研三维地理信息引擎(3DGIS),融合建筑信息模型(BIM)、视频监控(Video)、人工智能(AI)及物联网(IOT)等多种技术,并在此基础上

  10. ruby - 如何指定 gem 仅是 JRuby 平台? - 2

    我正在开发一个只适用于JRuby平台的gem。如何在我的.gemspec中指定它? 最佳答案 你可以简单地输入gemspecspec.platform='java'表示它仅适用于JRuby。具体设置平台可以看一下:RubygemSpecificationReference 关于ruby-如何指定gem仅是JRuby平台?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/189366

随机推荐