懒得看过程的话这里直接总结一下最后的解决方法:
如果不能直接减少主表的数据(小表驱动大表),就想办法把多个left join合成一个子查询,速度是否变快,没有的话再在子查询底下加一个having条件(having什么不重要,结果不会错就行)
项目场景:因为一些迫不得已的原因(产品一定要)导致一个分页查询数据的sql非常复杂,查询效率巨巨巨慢(从来没查到过结果,最长等了2分钟)
涉及项目,就不贴真实代码了,大概结构是
select p.id,p.name,ps2.sort
from table1 p
left join table2 ps
on p.name = ps.name
and ps.region = 1
left join table2 ps2
on ps.name = ps2.name
and ps2.region = 1
and ...
where ...
order by ps2.sort asc,p.sale desc,p.time desc
limit 0,10
table1表有1w+的数据量,table2表有八百万数据,每个region大概有1w+数据。
left join数据量太大,笛卡尔积相当于1w✖️1w✖️1w,也就是做了1w✖️1w✖️1w的关联。最后的order by由于数据量过大,要反复回表查做排序,导致查询速度及其慢。
(不加order by时10秒能查出来,虽然也还是慢但是至少能查出来,但是order by 不能不要)
经过一系列百度,作出以下几种解决尝试。
方案一:按需给涉及的两个表加了索引,explain走了索引,但仍然因为order by 无法查出结果。(删除order by仍需要10s+)
方案二:根据对mysql join的理解,按理说减少笛卡尔积应该能大幅度提升速度,于是猜想把sql的两次left join 变成一次,是不是就能解决问题?对sql进行分析,能把后两次left join抽成一个子查询,即如下结构
select p.id,p.name,pss.sort
from table1 p
left join (
select name,sort
from table2 ps
left join table2 ps2
on ps.name = ps2.name
and ...
where ...
) pss
on p.name = pss.name
where ...
order by pss.sort asc,p.sale desc,p.time desc
limit 0,10
但是仍然查询很慢也仍然无法查出结果,explain的结果与未作修改的explain结果没有差别,也就是说笛卡尔积仍然是1w✖️1w✖️1w,而我预想的结果应当是1w✖️1w。
方案三:百思不得其解时,我随手在方案二升级的子查询里加了一个having sort = 1,速度陡然变快,与方案二的sql仅一个having之差,速度却提升了数十倍,原本2min都查不出来的sql,现在3秒内能查出,explain结果也有所不同,多了一行table为 < dervied2>的结果,看样子是实现了1w✖️1w的效果。
方案二的子查询应该是被mysql自动优化成直接的left join关联,所以explain结果才会没有差别,而在子查询中加了having之后mysql无法自动优化成直接的left join,就沿用了sql的调用顺序,所以explain才会多一个子查询的行,也就实现了我想要的效果,即从1w✖️1w✖️1w ->1w✖️1w,速度也就得到了很大的提升。
没有谷歌出来实锤,但是根据explain的结果应该是这样没错。
讲道理应该从更根本的表结构的源头上解决问题,或者考虑是不是应该用es,但是有些东西身不由己,代码和人总要有一个能跑,哎。
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题
我有多个ActiveRecord子类Item的实例数组,我需要根据最早的事件循环打印。在这种情况下,我需要打印付款和维护日期,如下所示:ItemAmaintenancerequiredin5daysItemBpaymentrequiredin6daysItemApaymentrequiredin7daysItemBmaintenancerequiredin8days我目前有两个查询,用于查找maintenance和payment项目(非排他性查询),并输出如下内容:paymentrequiredin...maintenancerequiredin...有什么方法可以改善上述(丑陋的)代
我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何
我有一个具有一些属性的模型:attr1、attr2和attr3。我需要在不执行回调和验证的情况下更新此属性。我找到了update_column方法,但我想同时更新三个属性。我需要这样的东西:update_columns({attr1:val1,attr2:val2,attr3:val3})代替update_column(attr1,val1)update_column(attr2,val2)update_column(attr3,val3) 最佳答案 您可以使用update_columns(attr1:val1,attr2:val2
我正在尝试修改当前依赖于定义为activeresource的gem:s.add_dependency"activeresource","~>3.0"为了让gem与Rails4一起工作,我需要扩展依赖关系以与activeresource的版本3或4一起工作。我不想简单地添加以下内容,因为它可能会在以后引起问题:s.add_dependency"activeresource",">=3.0"有没有办法指定可接受版本的列表?~>3.0还是~>4.0? 最佳答案 根据thedocumentation,如果你想要3到4之间的所有版本,你可以这
我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b','光盘','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组,按顺序,这些数字可以产生x个字符,比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串,]current_combo['0','0','0']
是否有可能:before_filter:authenticate_user!||:authenticate_admin! 最佳答案 before_filter:do_authenticationdefdo_authenticationauthenticate_user!||authenticate_admin!end 关于ruby-on-rails-before_filter运行多个方法,我们在StackOverflow上找到一个类似的问题: https://
我正在使用Rails3.1并在一个论坛上工作。我有一个名为Topic的模型,每个模型都有许多Post。当用户创建新主题时,他们也应该创建第一个Post。但是,我不确定如何以相同的形式执行此操作。这是我的代码:classTopic:destroyaccepts_nested_attributes_for:postsvalidates_presence_of:titleendclassPost...但这似乎不起作用。有什么想法吗?谢谢! 最佳答案 @Pablo的回答似乎有你需要的一切。但更具体地说...首先改变你View中的这一行对此#
我收到格式为的回复#我需要将其转换为哈希值(针对活跃商家)。目前我正在遍历变量并执行此操作:response.instance_variables.eachdo|r|my_hash.merge!(r.to_s.delete("@").intern=>response.instance_eval(r.to_s.delete("@")))end这有效,它将生成{:first="charlie",:last=>"kelly"},但它似乎有点hacky和不稳定。有更好的方法吗?编辑:我刚刚意识到我可以使用instance_variable_get作为该等式的第二部分,但这仍然是主要问题。
我的问题的一个例子是体育游戏。一场体育比赛有两支球队,一支主队和一支客队。我的事件记录模型如下:classTeam"Team"has_one:away_team,:class_name=>"Team"end我希望能够通过游戏访问一个团队,例如:Game.find(1).home_team但我收到一个单元化常量错误:Game::team。谁能告诉我我做错了什么?谢谢, 最佳答案 如果Gamehas_one:team那么Rails假设您的teams表有一个game_id列。不过,您想要的是games表有一个team_id列,在这种情况下