我有一个由 MYISAM 表组成的数据库模式,我有兴趣不时从某些表中删除旧记录。
我知道 delete 不会回收内存空间,但是正如我在 DELETE 命令的描述中发现的,插入可能会重用删除的空间
在 MyISAM 表中,已删除的行在链表中维护,后续的 INSERT 操作会重用旧行位置。
如果 LOAD DATA 命令也重用已删除的空间,我很感兴趣?
更新
我也很感兴趣索引空间是如何回收的?
更新 2012-12-03 23:11
根据@RolandoMySQLDBA 的回答提供了更多信息
执行以下建议的查询后,对于需要重用或回收空间的不同表,我得到了不同的结果:
SELECT row_format FROM information_schema.tables
WHERE table_schema='mydb' AND table_name='mytable1';
> 动态
SELECT row_format FROM information_schema.tables
WHERE table_schema='mydb' AND table_name='mytable2';
> 固定
更新 2012-12-09 08:06
LOAD DATA 当且仅当行格式是固定的或(行格式是动态的并且有删除的行大小完全相同)。
看来如果row_format是动态的,对每条记录都会在删除列表中进行全量查找,如果没有找到准确的行大小,则不使用删除的记录,表内存占用会增加, 此外 LOAD DATA 将花费更多时间来导入记录。
我将排除此处给出的答案,因为它完美地描述了所有过程。
最佳答案
对于名为 mydb.mytable 的 MySQL 表,只需运行以下命令:
OPTIMIZE TABLE mydb.mytable;
您也可以分阶段进行:
CREATE TABLE mydb.mytable_new LIKE mydb.mytable;
ALTER TABLE mydb.mytable_new DISABLE KEYS;
INSERT INTO mydb.mytable_new SELECT * FROM mydb.mytable;
ALTER TABLE mydb.mytable_new ENABLE KEYS;
ALTER TABLE mydb.mytable RENAME mydb.mytable_old;
ALTER TABLE mydb.mytable_new RENAME mydb.mytable;
ALTER TABLE mydb.mytable_old;
ANALYZE TABLE mydb.mytable;
无论哪种情况,表最终都没有碎片。
试一试!!!
如果您担心通过 LOAD DATA INFILE 批量插入时行是否被重用,请注意以下几点:
当您创建 MyISAM 表时,我假设默认的行格式是动态的。你可以检查它是什么
SHOW CREATE TABLE mydb.mytable\G
或
SELECT row_format FROM information_schema.tables
WHERE table_schema='mydb' AND table_name='mytable';
由于您的表的行格式是动态,因此碎片行的大小各不相同。 MyISAM 存储引擎会一直检查每个已删除的行长度,以查看下一组插入的数据是否适合。如果传入数据无法容纳任何已删除的行,则会附加新行数据。
The presence of such rows can make myisamchk struggle .
这就是我建议运行 OPTIMIZE TABLE 的原因。这样,可以更快地附加数据。
您还可以做一些有趣的事情:Try setting concurrent_insert to 2 .这样,您总是在不检查表中的间隙的情况下追加到 MyISAM 表。这将显着加快 INSERT 的速度,但不会影响所有已知的差距。
您仍然可以尽早使用 OPTIMIZE TABLE 对您的表进行碎片整理。
为什么不运行我的第二个建议
CREATE TABLE mydb.mytable_new LIKE mydb.mytable;
ALTER TABLE mydb.mytable_new DISABLE KEYS;
INSERT INTO mydb.mytable_new SELECT * FROM mydb.mytable;
ALTER TABLE mydb.mytable_new ENABLE KEYS;
ALTER TABLE mydb.mytable RENAME mydb.mytable_old;
ALTER TABLE mydb.mytable_new RENAME mydb.mytable;
ANALYZE TABLE mydb.mytable;
这会给你一个想法
OPTIMIZE TABLE 运行需要多长时间.MYD 和 .MYI 在运行 OPTIMIZE TABLE 后会小多少运行我的第二个建议后,您可以将它们与
SELECT
A.mydsize,B.mydsize,A.mydsize - B.mydsize myd_diff,
A.midsize,B.myisize,A.myisize - B.myisize myi_diff
FROM
(
SELECT data_length mydsize,index_length myisize
FROM information_schema.tables
WHERE table_schema='mydb' AND table_name='mytable'
) A,
(
SELECT data_length mydsize,index_length myisize
FROM information_schema.tables
WHERE table_schema='mydb' AND table_name='mytable_new'
) B;
任何 ROW_FORMAT 设置为固定的表都可以每次分配相同长度的行。如果 MyISAM 表维护一个已删除行的列表,则列表中的第一行应始终被选为下一行以插入数据。在找到具有足够长度的合适行间隙之前,无需遍历整个列表。每个删除的行都会在 DELETE 之后快速追加。每个 INSERT 都会选择已删除行的第一行。
我们可以假设这些事情,因为 MyISAM tables can do concurrent inserts .为了通过 concurrent_insert 提供此功能选项,插入 MyISAM 表必须能够检测到三 (3) 个事物之一:
为了使检测 #1 尽可能快,MyISAM 表的 row_format 必须固定。如果是Dynamic,很有可能需要遍历列表。
关于mysql - LOAD DATA 删除后回收磁盘空间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13685949/
我有一个对象has_many应呈现为xml的子对象。这不是问题。我的问题是我创建了一个Hash包含此数据,就像解析器需要它一样。但是rails自动将整个文件包含在.........我需要摆脱type="array"和我该如何处理?我没有在文档中找到任何内容。 最佳答案 我遇到了同样的问题;这是我的XML:我在用这个:entries.to_xml将散列数据转换为XML,但这会将条目的数据包装到中所以我修改了:entries.to_xml(root:"Contacts")但这仍然将转换后的XML包装在“联系人”中,将我的XML代码修改为
查看Ruby的CSV库的文档,我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列,但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html
我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后,每个操作都应在S3上回滚。S3Object这可能吗?? 最佳答案 虽然S3API具有批量删除功能,但它不支持事务,因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST),因此每个上传操作都是通过一个独立的API调用完成的
在Ruby中是否有Gem或安全删除文件的方法?我想避免系统上可能不存在的外部程序。“安全删除”指的是覆盖文件内容。 最佳答案 如果您使用的是*nix,一个很好的方法是使用exec/open3/open4调用shred:`shred-fxuz#{filename}`http://www.gnu.org/s/coreutils/manual/html_node/shred-invocation.html检查这个类似的帖子:Writingafileshredderinpythonorruby?
我正在尝试找到一种方法来规范化字符串以将其作为文件名传递。到目前为止我有这个:my_string.mb_chars.normalize(:kd).gsub(/[^\x00-\x7F]/n,'').downcase.gsub(/[^a-z]/,'_')但第一个问题:-字符。我猜这个方法还有更多问题。我不控制名称,名称字符串可以有重音符、空格和特殊字符。我想删除所有这些,用相应的字母('é'=>'e')替换重音符号,并将其余的替换为'_'字符。名字是这样的:“Prélèvements-常规”“健康证”...我希望它们像一个没有空格/特殊字符的文件名:“prelevements_routin
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目,Java开发。基于数据库增量日志解析,提供增量数据订阅&消费。Git地址:https://github.co
我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中,我们希望成为我们的rails应用程序中的一等公民的几个类类型起源,这意味着它们应该驻留在应用程序的app文件夹下,它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来,我有点担心应用程序文件夹被这么多目录污染。因此,我想将它们移动到一个子目录/模块中,该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内,目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty
我去了这个website查看Rails5.0.0和Rails5.1.1之间的区别为什么5.1.1不再包含:config/initializers/session_store.rb?谢谢 最佳答案 这是删除它的提交:Setupdefaultsessionstoreinternally,nolongerthroughanapplicationinitializer总而言之,新应用没有该初始化器,session存储默认设置为cookie存储。即与在该初始值设定项的生成版本中指定的值相同。 关于
啊,正则表达式有点困惑。我正在尝试删除字符串末尾所有可能的标点符号:ifstr[str.length-1]=='?'||str[str.length-1]=='.'||str[str.length-1]=='!'orstr[str.length-1]==','||str[str.length-1]==';'str.chomp!end我相信有更好的方法来做到这一点。有什么指点吗? 最佳答案 str.sub!(/[?.!,;]?$/,'')[?.!,;]-字符类。匹配这5个字符中的任何一个(注意,。在字符类中并不特殊)?-前一个字符或组
你好,我无法成功如何在散列中删除key后释放内存。当我从哈希中删除键时,内存不会释放,也不会在手动调用GC.start后释放。当从Hash中删除键并且这些对象在某处泄漏时,这是预期的行为还是GC不释放内存?如何在Ruby中删除Hash中的键并在内存中取消分配它?例子:irb(main):001:0>`ps-orss=-p#{Process.pid}`.to_i=>4748irb(main):002:0>a={}=>{}irb(main):003:0>1000000.times{|i|a[i]="test#{i}"}=>1000000irb(main):004:0>`ps-orss=-p