我有一个在 AWS EMR 上连续运行的 Apache Spark 批处理作业。它从 AWS S3 中提取数据，使用该数据运行几个作业，然后将数据存储在 RDS 实例中。
但是，作业之间似乎有很长一段时间没有事件。
这是 CPU 使用情况:
这是网络:
注意每列之间的间隙，它几乎与事件列的大小相同!
起初我以为这两列发生了移动(当它从 S3 中提取时，它没有使用大量 CPU，反之亦然)但后来我注意到这两个图表实际上是相互跟随的。这是有道理的，因为 RDD 是惰性的，因此会在作业运行时拉动 。
这引出了我的问题，那段时间 Spark 在做什么？在那段时间里，所有的 Ganglia 图表似乎都归零了。就好像集群决定在每个作业之前休息一下。
谢谢。
编辑:查看日志，这是似乎需要一个小时的部分......什么都不做？
15/04/27 01:13:13 INFO storage.DiskBlockManager: Created local directory at /mnt1/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/appcache/application_1429892010439_0020/spark-c570e510-934c-4510-a1e5-aa85d407b748
15/04/27 01:13:13 INFO storage.MemoryStore: MemoryStore started with capacity 4.9 GB
15/04/27 01:13:13 INFO netty.NettyBlockTransferService: Server created on 37151
15/04/27 01:13:13 INFO storage.BlockManagerMaster: Trying to register BlockManager
15/04/27 01:13:13 INFO storage.BlockManagerMaster: Registered BlockManager
15/04/27 01:13:13 INFO util.AkkaUtils: Connecting to HeartbeatReceiver: akka.tcp://sparkDriver@ip-10-0-3-12.ec2.internal:41461/user/HeartbeatReceiver
15/04/27 02:30:45 INFO executor.CoarseGrainedExecutorBackend: Got assigned task 0
15/04/27 02:30:45 INFO executor.CoarseGrainedExecutorBackend: Got assigned task 7
15/04/27 02:30:45 INFO executor.Executor: Running task 77251.0 in stage 0.0 (TID 0)
15/04/27 02:30:45 INFO executor.Executor: Running task 77258.0 in stage 0.0 (TID 7)
15/04/27 02:30:45 INFO executor.CoarseGrainedExecutorBackend: Got assigned task 8
15/04/27 02:30:45 INFO executor.Executor: Running task 0.0 in stage 0.0 (TID 8)
15/04/27 02:30:45 INFO executor.CoarseGrainedExecutorBackend: Got assigned task 15
15/04/27 02:30:45 INFO executor.Executor: Running task 7.0 in stage 0.0 (TID 15)
15/04/27 02:30:45 INFO broadcast.TorrentBroadcast: Started reading broadcast variable
注意 01:13:13，它一直卡在那里直到 20:30:45。
最佳答案
我发现了问题。问题在于我调用从 S3 拉取的方式。
我们在 S3 中的数据由日期模式分隔，如 s3n://bucket/2015/01/03/10/40/actualData.txt 中的数据来自 2015-01- 03 10:40
所以当我们想在整个集合上运行批处理时，我们调用sc.textFiles("s3n://bucket/*/*/*/*/*/*") .
但这很糟糕。回想起来，这是有道理的；对于每个星号 (*)，Spark 需要获取该“目录”中的所有文件，然后获取该目录下的所有文件。一个月大约有 30 个文件，每天有 24 个文件，每个文件有 60 个。所以上面的模式会在每个星上调用一个“列表文件”，并且返回的文件上的调用列表文件，一直到纪要!这是为了最终可以获取所有的 **/acutalData.txt 文件，然后合并它们的所有 RDD。
当然，这真的很慢。所以答案是在代码中构建这些路径(所有日期的字符串列表。在我们的例子中，可以确定所有可能的日期)并将它们减少为逗号分隔的字符串，可以传递到 textFiles。
如果在您的情况下您无法确定所有可能的路径，请考虑重组您的数据或构建尽可能多的路径并且仅在路径末尾调用 *，或者使用 AmazonS3Client 使用 list-objects api 获取所有 key (它允许您非常快速地获取带有前缀的存储桶中的所有 key )，然后将它们作为逗号分隔的字符串传递到 textFiles .它仍然会为每个文件调用 list Status 并且它仍然是串行的，但调用次数会少很多。
但是，所有这些解决方案只会减缓不可避免的事情；随着越来越多的数据被构建，越来越多的列表状态调用将被串行调用。问题的根源似乎是 sc.textFiles(s3n://) 假装 s3 是一个文件系统，但实际上不是。它是一个键值存储。 Spark(和 Hadoop)需要一种不同的方式来处理不假定文件系统的 S3(以及可能的其他键值存储)。
关于hadoop - Apache Spark 在工作开始前做什么，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29995131/
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳
它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串