我正在为我的一个项目开发全文索引系统。作为索引页面过程的一部分，它将数据分成非常非常多的非常小的部分。
我已经将片段的大小设置为低至 20-30 字节的常量，并且可能更少，它基本上是由 2 个 8 字节整数和一个 float 组成的实际数据。
由于我正在寻找的规模和由此产生的碎片数量，我正在寻找 mysql 的替代品，它在远低于我的目标的值集上显示出重大问题。
我目前的想法是键值存储是最好的选择，我已经相应地调整了我的代码。
我已经尝试了一些，但出于某种原因，它们的扩展性似乎都比 mysql 小。
我希望存储数亿或数十亿或更多的键值对，因此我需要的东西不会因大小而导致性能大幅下降。
我尝试过 memcachedb、membase 和 mongo，虽然它们都很容易设置，但没有一个适合我。
由于所需的 key 数量和可用内存有限，内存库的问题最多。写入速度在这里非常重要，因为这是一个非常接近均匀的工作负载，我写一次东西，然后读回几次并存储它以供最终更新。
我不需要太多的删除性能，我更喜欢可以很好地集群的东西，因为我希望最终能够跨机器扩展它，但它现在需要在一台机器上工作。
我也希望让这个项目易于部署，这样一个简单的设置会更好。该项目是用 php 编写的，因此需要从 php 轻松访问它。
我不需要行或其他更高级别的抽象，在这种情况下它们大多没用，我已经从我的其他一些测试中编写了代码以深入到键值存储，这似乎可能是最快的，因为我只有 2 个东西可以从一行中检索到第三个键，所以使用键值存储几乎不需要做额外的工作。有谁知道任何可以像这样扩展的易于使用的项目？
我正在使用这个存储来存储三个数字的单独集合，(大小基于它们在 mysql 中的存储方式，在其他存储位置可能不正确)2 个八字节整数，一个用于document 和一个用于单词的 ID 和 float 表示该单词在文档中所占的比例(作品出现的次数除以文档中的单词数)。此数据的索引是单词 ID 和文档 ID 所属的范围，每次我需要检索此数据时，它将是给定单词 ID 的所有结果。我目前将单词 id、范围和该单词/范围组合的计数器分别转换为数字的二进制表示形式，并将它们连接起来形成键以及一个 2 位数字来表示我存储的该键的值，文档 ID 或浮点值。
性能测量有些主观，它会查看将数据放入存储或从存储中提取数据的过程的输出，查看它处理文档的速度以及快速刷新我的统计计数器，这些计数器跟踪更准确的统计数据速度当我使用每种存储方法时，系统正在运行并查看差异。
最佳答案
您需要提供更多关于您真正想做什么的数据...
根据您定义快速大规模的方式，您有多种选择:
等等......名单变得相当大......
编辑 1:
根据这篇帖子的评论，我会说你看看 Cassandra 或伏地魔。 Cassandra 不是简单的 KV 存储本身，因为您可以存储比 K -> V
如果您想用 PHP 检查 cassandra，请查看 phpcassa .但是redis如果您设置副本，这也是一个不错的选择。
关于php - 用于 PHP 程序的快速大规模键值存储，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8637918/
我需要在客户计算机上运行Ruby应用程序。通常需要几天才能完成(复制大备份文件)。问题是如果启用sleep，它会中断应用程序。否则，计算机将持续运行数周，直到我下次访问为止。有什么方法可以防止执行期间休眠并让Windows在执行后休眠吗？欢迎任何疯狂的想法;-) 最佳答案 Here建议使用SetThreadExecutionStateWinAPI函数，使应用程序能够通知系统它正在使用中，从而防止系统在应用程序运行时进入休眠状态或关闭显示。像这样的东西:require'Win32API'ES_AWAYMODE_REQUIRED=0x0
大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
Rackup通过Rack的默认处理程序成功运行任何Rack应用程序。例如:classRackAppdefcall(environment)['200',{'Content-Type'=>'text/html'},["Helloworld"]]endendrunRackApp.new但是当最后一行更改为使用Rack的内置CGI处理程序时，rackup给出“NoMethodErrorat/undefinedmethod`call'fornil:NilClass”:Rack::Handler::CGI.runRackApp.newRack的其他内置处理程序也提出了同样的反对意见。例如Rack
我想用ruby编写一个小的命令行实用程序并将其作为gem分发。我知道安装后，Guard、Sass和Thor等某些gem可以从命令行自行运行。为了让gem像二进制文件一样可用，我需要在我的gemspec中指定什么。 最佳答案 Gem::Specification.newdo|s|...s.executable='name_of_executable'...endhttp://docs.rubygems.org/read/chapter/20 关于ruby-在Ruby中编写命令行实用程序
我构建了两个需要相互通信和发送文件的Rails应用程序。例如，一个Rails应用程序会发送请求以查看其他应用程序数据库中的表。然后另一个应用程序将呈现该表的json并将其发回。我还希望一个应用程序将存储在其公共(public)目录中的文本文件发送到另一个应用程序的公共(public)目录。我从来没有做过这样的事情，所以我什至不知道从哪里开始。任何帮助，将不胜感激。谢谢! 最佳答案 无论Rails是什么，几乎所有Web应用程序都有您的要求，大多数现代Web应用程序都需要相互通信。但是有一个小小的理解需要你坚持下去，网站不应直接访问彼此
我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby:$rvmuseree-1.8.7-head我尝试运行服务器，然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r
刚入门rails，开始慢慢理解。有人可以解释或给我一些关于在application_controller中编码的好处或时间和原因的想法吗？有哪些用例。您如何为Rails应用程序使用应用程序Controller？我不想在那里放太多代码，因为据我了解，每个请求都会调用此Controller。这是真的？ 最佳答案 ApplicationController实际上是您应用程序中的每个其他Controller都将从中继承的类(尽管这不是强制性的)。我同意不要用太多代码弄乱它并保持干净整洁的态度，尽管在某些情况下ApplicationContr
我是一个Rails初学者，但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby中打印出变量(认为它会在终端中出现)，但没有得到任何结果。有什么建议吗？我知道Rails调试器，但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R
我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm
