jjzjj

amazon-web-services - 用于全局索引的 DynamoDB ConsistentRead

coder 2024-07-07 原文

我有下一个表结构:

ID              string    `dynamodbav:"id,omitempty"`
Type            string    `dynamodbav:"type,omitempty"`
Value           string    `dynamodbav:"value,omitempty"`
Token           string    `dynamodbav:"token,omitempty"`
Status          int       `dynamodbav:"status,omitempty"`
ActionID        string    `dynamodbav:"action_id,omitempty"`
CreatedAt       time.Time `dynamodbav:"created_at,omitempty"`
UpdatedAt       time.Time `dynamodbav:"updated_at,omitempty"`
ValidationToken string    `dynamodbav:"validation_token,omitempty"`

我有 2 个全局二级索引，用于 Value(ValueIndex) 字段和 Token(TokenIndex) 字段。稍后在内部逻辑的某个地方，我执行该实体的更新并通过该索引之一(ValueIndex 或 TokenIndex)立即读取该实体，我看到数据未准备好(我的意思是尚未更新)的预期问题。对于这种情况，我不能使用 ConsistentRead，因为这是 Global Secondary Index，它不支持这个选项。结果，我无法对这个逻辑运行我的负载测试，因为当测试进入 10-20-30 线程时数据还没有准备好。所以我的问题 - 是否有可能在某个地方解决这个问题？或者我应该重新组织我的表并将其拆分为 2-3 个不同的表并将值、 token 等字段移动到 HASH 键或 SORT 键？

最佳答案

GSI 从它们索引的表中异步更新。 GSI 的更新通常发生在不到一秒钟的时间内。因此，如果您在插入/更新/删除后立即读取 GSI，则有可能获得陈旧数据。这就是 GSI 的工作方式——您对此无能为力。但是，您需要真正注意三件事:

  1. 确保您的 GSI 保持精简 - 也就是说，只转换您需要的绝对最少属性。要写入的数据越少，速度就越快。
  2. 确保您的 GSI 具有正确的配置吞吐量。否则，它可能无法跟上表格中的事件，因此您将在 GSI 保持同步方面遇到长时间延迟。
  3. 如果更新导致 GSI 中的 key 被更新，则您需要为每个更新配置 2 个单位的吞吐量。本质上，DynamoDB 将删除该项目，然后插入一个更新了键的新项目。因此，即使您的表有 100 个预置写入，如果每次写入都会导致您的 GSI key 更新，您将需要预置 200 个写入单元。

一旦您调整了 DynamoDB 设置并且您仍然绝对无法处理 GSI 中的短暂延迟，您可能需要使用不同的技术。例如，即使您决定将您的表拆分为多个表，它也会产生相同(如果不是更糟)的影响。您将更新一个表，然后尝试从另一个表中读取数据，但您尚未将这些值插入到另一个表中。

我怀疑一旦您根据自己的情况调整 DynamoDB，您就会非常接近您想要的结果。

关于amazon-web-services - 用于全局索引的 DynamoDB ConsistentRead，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47032502/

amazon-web-servicesConsistentReaddynamodbavomitemptysectiongoamazon-dynamodb

有关amazon-web-services - 用于全局索引的 DynamoDB ConsistentRead的更多相关文章

  1. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  2. ruby-on-rails - rails : save file from URL and save it to Amazon S3 - 2

    从给定URL下载文件并立即将其上传到AmazonS3的更直接的方法是什么(+将有关文件的一些信息保存到数据库中，例如名称、大小等)？现在，我既不使用Paperclip，也不使用Carrierwave。谢谢 最佳答案 简单明了:require'open-uri'require's3'amazon=S3::Service.new(access_key_id:'KEY',secret_access_key:'KEY')bucket=amazon.buckets.find('image_storage')url='http://www.ex

  3. Ruby Sinatra 配置用于生产和开发 - 2

    我已经在Sinatra上创建了应用程序，它代表了一个简单的API。我想在生产和开发上进行部署。我想在部署时选择，是开发还是生产，一些方法的逻辑应该改变，这取决于部署类型。是否有任何想法，如何完成以及解决此问题的一些示例。例子:我有代码get'/api/test'doreturn"Itisdev"end但是在部署到生产环境之后我想在运行/api/test之后看到ItisPROD如何实现？ 最佳答案 根据SinatraDocumentation:EnvironmentscanbesetthroughtheRACK_ENVenvironm

  4. ruby - inverse_of 是否适用于 has_many？ - 2

    当我使用has_one时，它​​工作得很好，但在has_many上却不行。在这里您可以看到object_id不同，因为它运行了另一个SQL来再次获取它。ruby-1.9.2-p290:001>e=Employee.create(name:'rafael',active:false)ruby-1.9.2-p290:002>b=Badge.create(number:1,employee:e)ruby-1.9.2-p290:003>a=Address.create(street:"123MarketSt",city:"SanDiego",employee:e)ruby-1.9.2-p290

  5. ruby-on-rails - 协会的 Rails 索引 - 2

    我发现自己需要这个。假设cart是一个包含用户列表的模型。defindex_of_itemcart.users.each_with_indexdo|u,i|ifu==current_userreturniendend获取此类关联索引的更简单方法是什么？ 最佳答案 indexArray上的方法与您的index_of_item方法相同，例如cart.users.index(current_user)返回数组中第一个对象的索引==给obj。如果未找到匹配项，则返回nil。 关于ruby-on-

  6. ruby - Rails -- :id attribute? 所需的数据库索引 - 2

    因此，当我遵循MichaelHartl的RubyonRails教程时，我注意到在用户表中，我们为:email属性添加了一个唯一索引，以提高find的效率方法，因此它不会逐行搜索。到目前为止，我们一直在根据情况使用find_by_email和find_by_id进行搜索。然而，我们从未为:id属性设置索引。:id是否自动索引，因为它在默认情况下是唯一的并且本质上是顺序的？或者情况并非如此，我应该为:id搜索添加索引吗？ 最佳答案 大多数数据库(包括sqlite，这是RoR中的默认数据库)会自动索引主键，对于RailsMigration

  7. ruby - 在 RSpec 中 stub /模拟全局常量 - 2

    我有一个gem，它有一个根据Rails.env的不同行为的方法:defself.envifdefined?(Rails)Rails.envelsif...现在我想编写一个规范来测试这个代码路径。目前我是这样做的:Kernel.const_set(:Rails,nil)Rails.should_receive(:env).and_return('production')...没关系，只是感觉很丑。另一种方法是在spec_helper中声明:moduleRails;end而且效果也很好。但也许有更好的方法？理想情况下，这应该有效:rails=double('Rails')rails.sho

  8. ruby - "undefined method"用于 rails 模型 - 2

    我正在使用带有Rails的Devise，我想添加一个方法“getAllComments”，所以我这样写:classUser在我的Controller中:defdashboard@user=current_user@comments=@user.getAllComments();end当我访问我的url时，我得到了undefinedmethod`getAllComments'for#我做错了什么？谢谢 最佳答案 因为getAllComments是一个类方法，而您正试图将其作为实例方法访问。您要么需要访问它:User.getAllCom

  9. ruby - 将全局 $stdout 重新分配给控制台 - ruby - 2

    我正在尝试将$stdout设置为临时写入一个文件，然后返回到一个文件。test.rb:old_stdout=$stdout$stdout.reopen("mytestfile.out",'w+')puts"thisgoesinmytestfile"$stdout=old_stdoutputs"thisshouldbeontheconsole"$stdout.reopen("mytestfile1.out",'w+')puts"thisgoesinmytestfile1:"$stdout=old_stdoutputs"thisshouldbebackontheconsole"这是输出。r

  10. ruby-on-rails - 如何将大于 5GB 的文件上传到 Amazon S3？ - 2

    我目前正在使用带有Carrierwavegem的Rails3.2将文件上传到AmazonS3。现在我需要能够处理用户提交的大于5GB的文件，同时仍然使用Carrierwavegem。Carrierwave或Fog是否有任何其他gem或分支可以处理5GB以上的文件上传到S3？编辑:我不想重写一个完整的Rails上传解决方案，所以像这样的链接没有帮助:https://gist.github.com/908875. 最佳答案 我想出了如何做到这一点，并且现在可以正常工作了。在正确的config/environment文件中，添加以下内容以

随机推荐