我想问几个问题来理解YARN的工作原理:任何人都可以解释或引用任何可以轻松了解YARN中故障模式的文档(即任务故障、应用程序主机故障、节点管理器故障、资源管理器故障)YARN中的容器大小是多少？和Mapreduce1中的slot一样吗？YARN的任何实际/工作示例？谢谢 最佳答案 请参阅Hadoop权威指南教科书...除此之外，apache网站上还有很多信息。容器大小不是固定的，它是根据资源管理器的要求动态分配的。从开发人员的角度来看，相同的旧map-reduce将适用于YARN。ResourceManager失败在YARN框架的初
我刚刚完成了一个小型hadoop集群的设置(使用3台ubuntu机器和apachehadoop2.2.0)，现在我正在尝试运行python流作业。运行测试作业遇到以下问题:几乎所有的maptask都被标记为成功，但有注释说Containerkilled。在在线界面上，map作业的日志显示:进度100.00状态成功但在注意下它表示几乎每次尝试(~200)容器被ApplicationMaster杀死。或者容器被ApplicationMaster杀死。根据要求杀死容器。退出代码为143在与尝试关联的日志文件中，我可以看到一条日志，上面写着任务“attempt_xxxxxxxxx_0”已完成。
首先，我看到我正在运行的作业是由1个应用程序主节点处理的，它不是主节点(不同的IP地址)。因此我认为我的工作仅由1个节点处理。但是当我检查映射器作业在哪里处理时，它们实际上是由其他从节点处理的。我有点困惑，因为我认为主节点也是应用程序主节点，负责作业管理。但在本例中并非如此。有人可以帮助我理解为什么我的工作的当前管理是由从节点(称为应用程序主节点)而不是主节点处理的吗？还有一个问题，hadoop中master节点被认为是单点故障，但是当我们有secondary节点的时候就没事了。对于应用程序主节点的情况，它是否也应该被视为单点故障？因为如果从属节点宕机，据我所知将没有备份。非常感谢。
我在从RMWebUI(hadoop2.6.0)访问ApplicationMasterUI时遇到以下问题。没有运行独立的WebProxy服务器。Proxy作为ResourceManager的一部分运行。"HTTPERROR500Problemaccessing/proxy/application_1431357703844_0004/.Reason:Connectionrefused"资源管理器日志中的日志条目:2015-05-1119:25:01,837INFOwebproxy.WebAppProxyServlet(WebAppProxyServlet.java:doGet(330))
我无法识别Hadoop2.0架构中ApplicationMaster和NodeManager之间的区别。我知道ApplicationMaster负责运行map和reduce任务，它通过与ResourceManager协调来检索容器以运行这些任务。但我对NodeManager的用途感到困惑。NodeManager是为ApplicationMaster创建容器(运行那些map和reduce任务)还是ResourceManager为ApplicationMaster创建容器(运行那些map和reduce任务)而NodeManager只是管理节点的健康，安全地放置为ApplicationMas
在某些情况下我遇到了以下错误:2017-03-2311:55:10,794INFO[AsyncDispatchereventhandler]org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl:Diagnosticsreportfromattempt_1490079327128_0048_r_000003_0:ContainerkilledbytheApplicationMaster.Containerkilledonrequest.Exitcodeis143Containerexitedwithanon-zeroexi
我正在尝试在Hadoop上执行mapreduce程序。当我将作业提交到hadoop单节点集群时。正在创建作业，但失败并显示消息“容器被ApplicationMaster杀死”使用的输入大小为10MB。当我使用输入文件400KB的相同脚本时，它成功了。但是对于大小为10MB的输入文件失败。我的终端显示的完整日志如下。15/05/2909:52:16WARNutil.NativeCodeLoader:Unableto`loadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicableSubmit
本节开始，将对ResourceManager中一些常见行为进行分析探究，看某些具体关键的行为，在RM中是如何流转的。本节将深入源码探究「启动ApplicationMaster」的具体流程。一、整体流程本小节介绍从应用程序提交到启动ApplicationMaster的整个过程，期间涉及Client、RMService、RMAppManager、RMApplmpl、RMAppAttemptImpl、RMNode、ResourceScheduler等几个主要组件。当客户端调用RPC函数ApplicationClientProtocol#submitApplication后，ResourceManag
本节开始，将对ResourceManager中一些常见行为进行分析探究，看某些具体关键的行为，在RM中是如何流转的。本节将深入源码探究「启动ApplicationMaster」的具体流程。一、整体流程本小节介绍从应用程序提交到启动ApplicationMaster的整个过程，期间涉及Client、RMService、RMAppManager、RMApplmpl、RMAppAttemptImpl、RMNode、ResourceScheduler等几个主要组件。当客户端调用RPC函数ApplicationClientProtocol#submitApplication后，ResourceManag
一、Yarn产生的背景Hadoop2之前是由HDFS和MR组成的，HDFS负责存储，MR负责计算。一）MRv1的问题耦合度高：MR中的jobTracker同时负责资源管理和作业控制两个功能，互相制约。可靠性差：管理节点是单机的，有单点故障的问题。资源利用率低：基于slot的资源分配模型。机器会将资源划分成若干相同大小的slot，并划定哪些是mapslot、哪些是reduceslot。无法支持多种计算框架：限定了只能用于MapReduce程序。二）Yarn的诞生由于之前Hadoop资源调度的种种问题，新的资源调度框架产生了——YARN（YetAnotherResourceNegotiator）。
