jjzjj

mydumper备份mysql8.0 sql thread被kill掉

李努力ly 2023-03-28 原文
这个问题是好久以前的问题了，今天看自己的笔记，发现了这个问题，当时没有进行细看，想着现在复现一下。
 
1、半夜收到测试数据库备份告警：
报警内容就是8002端口，备份失败，因为有慢查询导致的。
白天想着手动跑一下备份命令：
mydumper -u root -S /tmp/mysql_8002.sock --kill-long-queries --regex '^(?!(test|information_schema|performance_schema|sys))' -o /data0/backup/sqldump/2021-06-11 --triggers --events --routines -c
报错：
** (mydumper:40672): WARNING **: Killed a query that was running for 64s
此时又收到了主从状态的告警，登上从库show slave status\G;可以看到：
当时解决的办法是，在备份脚本中添加stop slave;然后再备份，备份完成后再start slave;该库也比较小，备份很快，不会产生太多延迟，再加上是凌晨备份，业务较少。
 
问题过去很久了，记不太清当时的场景了，悔恨当时没有详细的记录啊。
 
2、现在猜测是有大事务，现在就来模拟一下大事务的场景，看看有没有这种现象发生：
数据库版本为8.0.21，mydumper版本为0.10.x
首先测试表有三条数据：
select * from t1;
+----+------+
| id | age |
+----+------+
| 1 | 111 |
| 2 | 222 |
| 33 | 3 |
+----+------+
在主库开启事务执行update，并阻塞70s：
mysql> begin;
Query OK, 0 rows affected (0.00 sec)
 
mysql> update t1 set id=sleep(70)+3 where id=33;
Query OK, 1 row affected, 1 warning (20.01 sec)
Rows matched: 1 Changed: 1 Warnings: 1
 
mysql> commit;
 
3、此时在从库查看线程：
可以估计一下秒数，当超过60s的时候，执行备份命令：
mydumper -u root -S /tmp/mysql_8002.sock --kill-long-queries --regex '^(?!(test|information_schema|performance_schema|sys))' -o /data0/backup/sqldump/2021-06-11 --triggers --events --routines -c
此时报错：** (mydumper:37592): WARNING **: 16:43:23.791: Killed a query that was running for 63s
从库主从同步也报同样的错误。
复现成功，说明当时可能是有超过60s的大事务在执行。
 
4、mydumper中有两个重要的参数，说明一下：
① --long-query-guard ：
该参数可以修改备份被阻塞的时间，mydumper检查的时候是在执行的时候进行检查并不是一直在检查，当执行的时候检测到有超过该时间的慢查询，备份进程将立即结束；
② --kill-long-queries ：
该参数是杀掉慢查询，也是在执行开始的时候进行检查，默认是60s，当执行的时候检测到有超过60s的慢查询将其杀掉，然后继续进行备份；
以上两个参数可以联合起来使用，比如--long-query-guard 100就是当备份开始的时候，会检测有没有超过100s的慢查询，如果有的话会杀掉，然后继续进行备份（如果在备份开始的时候没有超过时间的慢查询，但是存在正在执行的慢查询，那么dump进程将会等待慢查询执行完成后，再进行备份）。
 
5、在mydumper bug库找到了一样的问题： 
mydumper bug库：https://bugs.launchpad.net/mydumper/+bug/1713201
mydumpermysql8divstrongspanMySQL

有关mydumper备份mysql8.0 sql thread被kill掉的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  3. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  4. ruby-on-rails - 当我通过 rvm 使用 rails3 时，如何在 ubuntu 上安装 mysql2 gem？ - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止，我设法在ubuntu上设置了rvm(出于某种原因，ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时，出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时，出现错误，告诉我需要为安装命令提供参数。但是，参数列表很大，我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3？谢谢。

  5. ruby 脚本 'Killed' - 2

    我正在从命令行运行ruby​​脚本。该脚本下载一个文件(15MB)，将其解压缩，将其解析为JSON，然后用它填充一个mysql数据库。当我运行它时，我收到一条简单的“Killed”消息。这是怎么回事？我怎样才能找出问题所在？我在EC2微型实例上使用它。谢谢这是脚本require'open-uri'require'zlib'require'json'require_relative'../db/db.rb'dl=open('........')ex=Zlib::GzipReader.newdljson=JSON.parseex.readevents=json['resultsPage']

  6. Centos7-yum安装mysql-修改密码-无密码登录-安全配置 - 2

    目录1、yum安装mysql修改密码(1)在mysql里面修改(2)第二种方式，利用mysqladmin修改密码2、没有密码，登录mysql修改密码3、mysql的安全设置1、yum安装mysql在CentOS中默认安装有MariaDB（MySQL的一个分支），安装完成之后可以直接覆盖MariaDB。rpm-qa|grepmariadb查询是否安装了mariadbrpm-e--nodepsmariadb-libs-5.5.60-1.el7_5.x86_64卸载mariadwgethttp://dev.mysql.com/get/mysql57-community-release-el7-11.

  7. ruby - 安装 dm-mysql-adapter 时出错 - 2

    我是Ruby的新手。我安装了DataMapper并且正在尝试安装dm-mysql-adapter-1.0.2gem。但是当我尝试安装时，出现以下错误。我正在使用ubuntu操作系统。vinoth@vinoth-laptop:~/Downloads$geminstalldm-mysql-adapter-1.0.2----with-mysql-lib=/usr/lib/mysql----with-mysql-conf=/usr/bin/mysqlWARNING:Installingto~/.gemsince/home/vinoth/gemsand/home/vinoth/gems/bina

  8. ruby-on-rails - gem 列表中的 mysql2 gem 但获取项目找不到 gem - 2

    我目前正在构建一个需要mysql2gem的RoR项目。我成功安装了gem。因为它出现在我的gem列表中。[root@vc2cmmka035538nsimple_cms]#gemlist***LOCALGEMS***actionmailer(3.2.3)actionpack(3.2.3)activemodel(3.2.3)activerecord(3.2.3)activeresource(3.2.3)activesupport(3.2.14,3.2.3)arel(3.0.2)bigdecimal(1.1.0)builder(3.2.2,3.0.0)bundler(1.1.5)c2c_li

  9. ruby - 如何在 heroku 中使用自己的 mysql 数据库服务器？ - 2

    我想使用托管在我自己服务器上的mysql数据库。我已经更改了DATABASE_URL和SHARED_DATABASE_URL配置变量以指向我的服务器，但它仍在尝试连接到heroku的amazonaws服务器。我该如何解决？ 最佳答案 根据Herokudocumentation，更改DATABASE_URL是正确的方法。Ifyouwouldliketohaveyourrailsapplicationconnecttoanon-Herokuprovideddatabase,youcantakeadvantageofthissamemec

  10. ruby - 如何设置mysql2时区选项以删除查询警告 - 2

    使用mysql2做查询总是得到警告/usr/local/lib/ruby/gems/1.9.1/gems/mysql2-0.2.6/lib/active_record/connection_adapters/mysql2_adapter.rb:463:warning::database_timezoneoptionmustbe:utcor:local-defaultingto:local我确实看到了时区选项Mysql2现在支持两个时区选项::database_timezone-thisisthetimezoneMysql2willassumefieldsarealreadystored

随机推荐