jjzjj

hadoop - 将相同的 EBS 快照附加到每个 EMR 卷？

coder 2024-01-10 原文

我想在 EMR 作业中使用 EBS 快照。因为映射器从快照中读取，所以我希望快照安装在每个节点上。除了登录到每个节点之外，有没有一种简单的方法可以做到这一点？我想我可以在 mapreduce 作业的第一步中安装它，但这似乎是错误的。有更简单的方法吗？

最佳答案

这是可能的，但您必须克服一些困难才能让它发挥作用。假设您有在 shell 脚本中从 EBS 快照创建 EBS 卷的方法。 EMR 提供引导操作，它们只是您可以创建和运行的 shell 脚本。在允许运行任何作业(EMR 中的步骤)之前运行引导操作。

以下是执行 shell 脚本所需的步骤:

  1. 根据您的快照创建一个新的 EBS 卷。 aws 二进制文件安装在所有 EMR 实例上，因此这是您最好的选择。假设您知道快照 ID，这应该很简单: http://docs.aws.amazon.com/cli/latest/reference/ec2/create-volume.html
    • 确保包含 DeleteOnTermination 附件。
    • 您需要解析响应以获取 EBS 卷 ID。
  2. 将您刚刚创建的卷(使用 EBS 卷 ID)附加到当前实例: http://docs.aws.amazon.com/cli/latest/reference/ec2/attach-volume.html

要获取当前实例 ID，请使用元数据服务:

wget -q -O - http://instance-data/latest/meta-data/instance-id

获得 shell 脚本后，您需要将其上传到 S3，然后将该脚本作为引导操作添加到您的集群: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

另请注意，您需要为创建的每个 EBS 卷付费，因此请确保正确设置终止逻辑删除!

关于hadoop - 将相同的 EBS 快照附加到每个 EMR 卷？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34126165/

hadoopEBSsectionlatestamazonemrmrjob

有关hadoop - 将相同的 EBS 快照附加到每个 EMR 卷？的更多相关文章

  1. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby - 将n维数组的每个元素乘以Ruby中的数字 - 2

    在Ruby中，是否有一种简单的方法可以将n维数组中的每个元素乘以一个数字？这样:[1,2,3,4,5].multiplied_by2==[2,4,6,8,10]和[[1,2,3],[1,2,3]].multiplied_by2==[[2,4,6],[2,4,6]]？(很明显，我编写了multiplied_by函数以区别于*，它似乎连接了数组的多个副本，不幸的是这不是我需要的)。谢谢! 最佳答案 它的长格式等价物是:[1,2,3,4,5].collect{|n|n*2}其实并没有那么复杂。你总是可以使你的multiply_by方法:c

  4. ruby - 每个页面上的 Jekyll 分页 - 2

    据我们所知，Jekyll默认分页仅支持index.html，我想创建blog.html并在那里包含分页。有什么解决办法吗？ 最佳答案 如果您创建一个名为/blog的目录并在其中放置一个index.html文件，那么您可以向_config.yml表示paginate_path:"blog/page:num"。不是使用根文件夹中的默认index.html作为分页器模板，而是使用/blog/index.html。分页器将根据需要生成类似/blog/page2/和/blog/page3/的页面。这将使您到达yourwebsite.com/b

  5. ruby - 如何将相同的相邻数字分组 - 2

    如果至少有两个相邻的数字相同，格式为，我需要打包.这是我的输入:[2,2,2,3,4,3,3,2,4,4,5]以及预期的输出:"2:3,3,4,3:2,2,4:2,5"到目前为止我试过:a=[1,1,1,2,2,3,2,3,4,4,5]a.each_cons(2).any?do|s,t|ifs==t如果相等，也许可以尝试计数器，但那是行不通的。 最佳答案 您可以使用Enumerable#chunk_while(如果你使用的是Ruby>=2.3):a.chunk_while{|a,b|a==b}.flat_map{|chunk|chu

  6. ruby - `gem install` 多个 gem 的语法是什么，为每个 gem 指定版本？ - 2

    如何使用geminstall同时安装多个gem，同时指定我想要的版本？例子:geminstallakami-v1.2.0--ignore-dependenciesgeminstallatomic-v1.1.14--ignore-dependenciesgeminstallaws-s3-v0.6.2--ignore-dependenciesgeminstallbackports-v3.3.0--ignore-dependenciesgeminstallbrendanlim-sms-fu-v1.0.0--ignore-dependenciesgeminstallbuilder-v3.1.3

  7. ruby-on-rails - 未定义的方法每个 rails 错误 - 2

    我正在通过位于http://ruby.railstutorial.org的教程在Rails上试用ruby.我已经到了可以创建用户并将他们的姓名和头像显示在以下位置的地步:http://localhost:3000/users/1现在我想在用户访问时显示所有用户:http://localhost:3000/users/这是我的Controller:classUsersController这是我的看法。#Viewforindexactioninuser'scontroleerAllusers我收到以下错误。undefinedmethod`each'fornil:NilClass谁能告诉我为

  8. ruby-on-rails - 每个 Ruby 未定义的方法 - 2

    破败。一个人可以有很多出价，这个人只有一个出价。在我的索引操作中，我有@bids=Bid.find_by_person_id(params[:person_id])在我看来是的我得到NoMethodError:undefinedmethodeach'for#在访问人员出价的索引View时。这是因为这个人只有一个出价吗？我觉得不是这样，但除此之外我很茫然.. 最佳答案 find_by返回第一项。我想你在找Bid.where(person_id:params[:person_id]) 关于r

  9. ruby - 在 Ruby 中添加到数组中的每个元素 - 2

    有没有办法在数组的每个元素前加上一些东西。例如:file=File.new(my_file,'r')header=IO.readlines(my_file)[1]#headerlookslike[1,2,3]#Prependeachelelementofheaderwithfilename,somethinglikeheader.prepend(filename+".")#headerlookslike[filename.1,filename.2,filename.3] 最佳答案 您想使用map:["foo","bar","baz"

  10. ruby - 如何使用每个迭代器获取数组索引或迭代次数？ - 2

    我正在用ruby​​遍历一个数组。有没有一种简单的方法可以在不返回for循环的情况下获取迭代次数或数组索引？ 最佳答案 啊，知道了。each_with_index哇!编辑:糟糕! 关于ruby-如何使用每个迭代器获取数组索引或迭代次数？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/706115/

随机推荐