jjzjj

高级程序员必知必会，一文详解MySQL主从同步原理，推荐收藏

一灯架构 2023-03-28 原文

1. MySQL主从同步实现方式

MySQL主从同步是基于Bin Log实现的，而Bin Log记录的是原始SQL语句。

Bin Log共有三种日志格式，可以binlog_format配置参数指定。

参数值 含义
Statement 记录原始SQL语句，会导致更新时间与原库不一致。
比如 update_time=now()
Row 记录每行数据的变化，保证了数据与原库一致，缺点是数据量较大。
Mixed Statement和Row的混合模式，默认采用Statement模式，涉及日期、函数相关的时候采用Row模式，既减少了数据量，又保证了数据一致性。

常见的主从同步架构有一主多从、双主多从。

2. MySQL主从同步的作用

  1. 读写分离，提升数据库性能
  2. 容灾恢复，主服务器不可用时，从服务器提供服务，提高可用性
  3. 冗余备份，主服务器数据损坏丢失，从服务器保留备份

一主多从架构：

一般是主库负责所有读写请求，而从库只负责容灾恢复和冗余备份。

如果做了读写分离的话，主库负责写请求，从库负责读请求，可以提升数据库性能。

双主多从架构：

一般是主库1负责所有读写请求，主库2不对外提供服务，只用来容灾恢复。

相比一主多从架构，双主多从架构可以减少宕机时间，更快恢复数据库可用状态。

3. 主动同步的原理

  1. 当主库数据发生变更时，写入本地Bin Log文件

  2. 从库IO线程发起dump主库Bin Log文件的请求

  3. 主库IO线程推送Bin Log文件到从库中

  4. 从库IO线程把Bin Log内容写入本地的Relay Log文件中

  5. 从库SQL线程读取Relay Log文件内容

  6. 从库SQL线程重新执行一遍SQL语句

4. 主从同步延迟问题

主从同步最常遇到的问题就是主从同步延迟，可以通过在从库上执行show slave status命令查看延迟时间，Seconds_Behind_Master表示延迟的秒数。

主从同步延迟的原因有哪些？

  1. 从库机器性能较差

    主库负责所有读写请求，从库只用来备份，会用性能较差的机器，执行时间自然较慢。

  2. 从库压力更大

    读写分离后，主库负责写请求，从库负责读请求。

    互联网应用一般读请求更多，所以从库读压力更大，占用更多CPU资源。

  3. 网络延迟

    当主库的Bin Log文件往从库上发送时，可能产生网络延迟，也会导致从库数据跟不上。

  4. 主库有大事务

    当主库上有个大事务需要执行5分钟，把Bin Log文件发送到从库，从库至少也需要执行5分钟，所以这时候从库就出现了5分钟的延迟。

主从同步延迟的解决方案？

  1. 从库机器性能较差

    把从库换成跟主库同等规格的机器。

  2. 从库压力更大

    多搞几台从库，分担读请求压力。

  3. 网络延迟

    联系运维或者云服务提供商解决。

  4. 主库有大事务

    把大事务分割成小事务执行，大事务不但会产生从库延迟，还可能产生死锁，降低数据库并发性能，所以尽量少用大事务。

5. 如何提升主从同步性能

1. 从库开启多线程复制

就是在主从同步的最后两步使用多线程，修改配置 slave_parallel_workers=4，代表开启4个复制线程。

2. 修改同步模式，改为异步

主从同步共有三种复制方式：

  1. 全同步复制

    当主库执行完一个事务，并且所有从库都执行完该事务后，才给客户端返回成功。

  2. 半同步复制

    至少有一个从库执行完成后，就给客户端返回成功。

  3. 异步复制

    主库执行完后，立即返回成功，不关心从库是否执行完成。

如果对数据安全性要求没那么高，可以把同步模式改成半同步复制或者异步复制。

3. 修改从库Bin Log配置

修改sync_binlog配置：

sync_binlog=0 ，表示写binlog不立即刷新磁盘，由系统决定什么时候刷新磁盘。

sync_binlog=1，每次写binlog都刷新磁盘，安全性高，性能差。

sync_binlog=N，写N次binlog才刷新磁盘。

从库对数据安全性要求没那么高，可以设置sync_binlog=0。

修改innodb_flush_log_at_trx_commit配置：

innodb_flush_log_at_trx_commit=0，每隔一秒钟，把事务日志刷新到磁盘。

innodb_flush_log_at_trx_commit=1，每次事务都刷新到磁盘。

innodb_flush_log_at_trx_commit=2，每次事务都不主动刷新磁盘，由系统决定什么时候刷新磁盘。

从库对数据安全性要求没那么高，可以设置innodb_flush_log_at_trx_commit=2。

知识点总结：

文章持续更新，可以微信搜一搜「 一灯架构 」第一时间阅读更多技术干货。

一文详解strongli734446Java

有关高级程序员必知必会，一文详解MySQL主从同步原理，推荐收藏的更多相关文章

  1. ruby - 在 Ruby 程序执行时阻止 Windows 7 PC 进入休眠状态 - 2

    我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0

  2. ruby - 如何指定 Rack 处理程序 - 2

    Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack

  3. ruby - 在 Ruby 中编写命令行实用程序 - 2

    我想用ruby​​编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序

  4. ruby-on-rails - Rails 应用程序之间的通信 - 2

    我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此

  5. ruby - 无法运行 Rails 2.x 应用程序 - 2

    我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby​​:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r

  6. ruby-on-rails - Rails 应用程序中的 Rails : How are you using application_controller. rb 是新手吗？ - 2

    刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr

  7. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容？ - 2

    我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

  8. ruby - 检查是否通过 require 执行或导入了 Ruby 程序 - 2

    如何检查Ruby文件是否是通过“require”或“load”导入的，而不是简单地从命令行执行的？例如:foo.rb的内容:puts"Hello"bar.rb的内容require'foo'输出:$./foo.rbHello$./bar.rbHello基本上，我想调用bar.rb以不执行puts调用。 最佳答案 将foo.rb改为:if__FILE__==$0puts"Hello"end检查__FILE__-当前ruby​​文件的名称-与$0-正在运行的脚本的名称。 关于ruby-检查是否

  9. ruby-on-rails - 如何在 Gem 中获取 Rails 应用程序的根目录 - 2

    是否可以在应用程序中包含的gem代码中知道应用程序的Rails文件系统根目录？这是gem来源的示例:moduleMyGemdefself.included(base)putsRails.root#returnnilendendActionController::Base.send:include,MyGem谢谢，抱歉我的英语不好 最佳答案 我发现解决类似问题的解决方案是使用railtie初始化程序包含我的模块。所以，在你的/lib/mygem/railtie.rbmoduleMyGemclassRailtie使用此代码，您的模块将在

  10. 程序员如何提高代码能力？ - 2

    前言作为一名程序员，自己的本质工作就是做程序开发，那么程序开发的时候最直接的体现就是代码，检验一个程序员技术水平的一个核心环节就是开发时候的代码能力。众所周知，程序开发的水平提升是一个循序渐进的过程，每一位程序员都是从“菜鸟”变成“大神”的，所以程序员在程序开发过程中的代码能力也是根据平时开发中的业务实践来积累和提升的。提高代码能力核心要素程序员要想提高自身代码能力，尤其是新晋程序员的代码能力有很大的提升空间的时候，需要针对性的去提高自己的代码能力。提高代码能力其实有几个比较关键的点，只要把握住这些方面，就能很好的、快速的提高自己的一部分代码能力。1、多去阅读开源项目，如有机会可以亲自参与开源

随机推荐