我有一个正在运行的 AWS Aurora 数据库集群,它 99.9% 专注于写入。在高峰期,它将运行 2-3k 写入/秒。
我知道 Aurora 默认情况下针对写入进行了一定程度的优化,但作为 AWS 的相对新手,我想问一下 - 关于 Aurora 写入性能的一些最佳实践/技巧是什么?
最佳答案
根据我的经验,Amazon Aurora 不适合运行写入流量大的数据库。至少在 2017 年左右实现。也许它会随着时间的推移而改进。
我在 2017 年初为一个写入密集型应用程序制定了一些基准测试,我们发现 RDS(非 Aurora)在写入性能方面远优于 Aurora,考虑到我们的应用程序和数据库。基本上,Aurora 比 RDS 慢两个数量级。亚马逊声称 Aurora 的高性能显然完全是营销驱动的废话。
2016 年 11 月,我参加了在拉斯维加斯举行的亚马逊 re:Invent 大会。我试图找到一位知识渊博的 Aurora 工程师来回答我关于性能的问题。我所能找到的都是初级工程师,他们奉命重复声称 Aurora 神奇地比 MySQL 快 5-10 倍的说法。
2017 年 4 月,我参加了 Percona Live session ,看到了关于如何使用标准 MySQL 和 Ceph 为开源分布式存储层开发类似 Aurora 的分布式存储架构的演示。这里有一个关于同一主题的网络研讨会:https://www.percona.com/resources/webinars/mysql-and-ceph ,由我在 session 上发言的工程师伊夫·特鲁多 (Yves Trudeau) 共同介绍。
关于将 MySQL 与 Ceph 一起使用变得清楚的是,工程师必须禁用 MySQL change buffer因为没有办法缓存对二级索引的更改,同时也有分布式存储。对于写入具有二级(非唯一)索引的表,这会导致巨大的性能问题。
这与我们在使用 Aurora 对我们的应用程序进行基准测试时看到的性能问题是一致的。我们的数据库有很多二级索引。
因此,如果您绝对必须将 Aurora 用于具有高写入流量的数据库,我建议您必须做的第一件事是删除所有二级索引。
显然,如果需要索引来优化您的某些查询,这就是一个问题。当然,SELECT 查询以及一些 UPDATE 和 DELETE 查询都可能使用二级索引。
一种策略可能是创建 Aurora 集群的非 Aurora 只读副本,并仅在只读副本中创建二级索引以支持您的 SELECT 查询。我从来没有这样做过,但根据 https://aws.amazon.com/premiumsupport/knowledge-center/enable-binary-logging-aurora/ 显然这是可能的
但这仍然无助于您的 UPDATE/DELETE 语句需要二级索引的情况。我对那种情况没有任何建议。你可能不走运。
我的结论是,我不会选择将 Aurora 用于写入密集型应用程序。也许这会在未来发生变化。
2021 年 4 月更新:
自从写完以上内容以来,我已经针对 Aurora 版本 2 运行了 sysbench 基准测试。我无法分享具体数字,但我得出结论,当前的 Aurora 改进更适合写入繁重的工作负载。我确实对很多二级索引进行了测试以确保。但我鼓励任何认真采用 Aurora 的人运行他们自己的基准测试。
至少,Aurora 比使用 EBS 存储的传统 Amazon RDS for MySQL 要好得多。这可能就是他们声称 Aurora 比 MySQL 快 5 倍的地方。但 Aurora 并不比我测试的其他一些替代方案快,而且实际上无法匹配:
MySQL Server 使用本地存储将自己安装在 EC2 实例上,尤其是带有本地附加 NVMe 的 i3 实例。我知道实例存储不可靠,因此需要运行冗余节点。
MySQL Server 使用直连 SSD 存储在我们数据中心的物理主机上安装。
将 Aurora 用作托管云数据库的值(value)不仅仅在于性能。它还具有自动监控、备份、故障转移、升级等功能。
关于mysql - 优化 AWS Aurora 实例的写入性能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46383763/
我正在查看instance_variable_set的文档并看到给出的示例代码是这样做的:obj.instance_variable_set(:@instnc_var,"valuefortheinstancevariable")然后允许您在类的任何实例方法中以@instnc_var的形式访问该变量。我想知道为什么在@instnc_var之前需要一个冒号:。冒号有什么作用? 最佳答案 我的第一直觉是告诉你不要使用instance_variable_set除非你真的知道你用它做什么。它本质上是一种元编程工具或绕过实例变量可见性的黑客攻击
在我的应用程序中,我需要能够找到所有数字子字符串,然后扫描每个子字符串,找到第一个匹配范围(例如5到15之间)的子字符串,并将该实例替换为另一个字符串“X”。我的测试字符串s="1foo100bar10gee1"我的初始模式是1个或多个数字的任何字符串,例如,re=Regexp.new(/\d+/)matches=s.scan(re)给出["1","100","10","1"]如果我想用“X”替换第N个匹配项,并且只替换第N个匹配项,我该怎么做?例如,如果我想替换第三个匹配项“10”(匹配项[2]),我不能只说s[matches[2]]="X"因为它做了两次替换“1fooX0barXg
好的,所以我的目标是轻松地将一些数据保存到磁盘以备后用。您如何简单地写入然后读取一个对象?所以如果我有一个简单的类classCattr_accessor:a,:bdefinitialize(a,b)@a,@b=a,bendend所以如果我从中非常快地制作一个objobj=C.new("foo","bar")#justgaveitsomerandomvalues然后我可以把它变成一个kindaidstring=obj.to_s#whichreturns""我终于可以将此字符串打印到文件或其他内容中。我的问题是,我该如何再次将这个id变回一个对象?我知道我可以自己挑选信息并制作一个接受该信
我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案
我正在处理旧代码的一部分。beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)endRubocop错误如下:Avoidstubbingusing'allow_any_instance_of'我读到了RuboCop::RSpec:AnyInstance我试着像下面那样改变它。由此beforedoallow_any_instance_of(SportRateManager).toreceive(:create).and_return(true)end对此:let(:sport_
我收到格式为的回复#我需要将其转换为哈希值(针对活跃商家)。目前我正在遍历变量并执行此操作:response.instance_variables.eachdo|r|my_hash.merge!(r.to_s.delete("@").intern=>response.instance_eval(r.to_s.delete("@")))end这有效,它将生成{:first="charlie",:last=>"kelly"},但它似乎有点hacky和不稳定。有更好的方法吗?编辑:我刚刚意识到我可以使用instance_variable_get作为该等式的第二部分,但这仍然是主要问题。
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我想知道Ruby用来在命令行打印这些东西的输出流:irb(main):001:0>a="test"=>"test"irb(main):002:0>putsatest=>nilirb(main):003:0>a=>"test"$stdout是否用于irb(main):002:0>和irb(main):003:0>?而且,在这两次调用之间,$stdout的值是否有任何变化?另外,有人能告诉我打印/写入这些内容的Ruby源代码吗? 最佳答案 是的。而且很容易向自己测试/证明。在命令行试试这个:ruby-e'puts"foo"'>test.
我正在写一篇关于在Ruby中几乎一切都是对象的博客文章,我试图通过以下示例来展示这一点:classCoolBeansattr_accessor:beansdefinitialize@bean=[]enddefcount_beans@beans.countendend所以从类中我们可以看出它有4个方法(当然,除非我错了):它可以在创建新实例时初始化一个默认的空bean数组它可以计算它有多少个bean它可以读取它有多少个bean(通过attr_accessor)它可以向空数组写入(或添加)更多bean(也通过attr_accessor)但是,当我询问类本身它有哪些实例方法时,我没有看到默认
如果我有以下一段Ruby代码:classBlahdefself.bleh@blih="Hello"@@bloh="World"endend@blih和@@bloh到底是什么?@blih是Blah类中的一个实例变量,@@bloh是Blah类中的一个类变量,对吗?这是否意味着@@bloh是Blah的类Class中的一个变量? 最佳答案 人们似乎忽略了该方法是类方法。@blih将是常量Bleh的类Class实例的实例变量。因此:irb(main):001:0>classBlehirb(main):002:1>defself.blehirb