我手动安装了一个具有以下配置的三节点集群:Master/SlaveNode0-NameNode,SecondaryNameNode,JobTracker,HMaster,DataNode,TaskTracker,HRegionServer,HiveMetaStore,DatabaseforHive/Sqoop,HiveServer2,HCatalog,OozieServer,Zookeeper,Oozie-client,Hive-client,pig-client,M/Rclienttools,SqoopSlaveNode1-DataNode,TaskTracker,HRegionSe

我在AWS上使用ElasticMapReduce(Hadoop2.0和YARN)。配置如下:10xg2.2xlargecoreinstanceswith15GBofRAMand8CPUcoresyarn.nodemanager.vmem-check-enabled=falseyarn.scheduler.minimum-allocation-mb=2048yarn.nodemanager.resource.memory-mb=12288mapreduce.map.memory.mb=3072运行作业时，调度程序显示仅分配了81.7%的集群:UsedCapacity:81.7%Absol

官方对该参数的描述如下:TheruntimeframeworkforexecutingMapReducejobs.Canbeoneoflocal,classicoryarn.我知道值“yarn”用于MRv2，它会将mapreduce作业提交给resourcemanager。但是本地和经典之间有什么区别？哪个对应MRv1？非常感谢! 最佳答案 你是对的，“yarn”代表MRv2。“经典”用于MRv1，“本地”用于MR作业的本地运行。但是为什么需要MRv1？Yarn现在已经结束测试，它比旧的MRv1框架更稳定，而您的MapReduce作

谁能告诉我，现有的MapReduce和YARN之间有哪些区别，因为我没有发现这两者之间所有明显的区别？P.S:我要求对这些进行比较。谢谢! 最佳答案 MRv1使用JobTracker创建任务并将其分配给数据节点，当集群扩展到足够大(通常大约4,000个节点)时，这可能成为资源瓶颈。MRv2(又名YARN，“YetAnotherResourceNegotiator”)每个集群都有一个资源管理器，每个数据节点都运行一个节点管理器。对于每个作业，一个从节点将充当ApplicationMaster，监控资源/任务等。

【人工智能】—约束满足问题约束满足问题CSP示例：地图着色约束图CSP的种类约束类型举例:密码算法现实世界的CSP标准搜索公式回溯搜索改进回溯搜索的效率最少剩余值启发式度启发式最少约束值启发式Forwardchecking—前向检验Constraintpropagation—约束传播约束满足问题CSP标准搜索问题：状态是一个“黑匣子”——任何支持目标测试、评估、后续的旧数据结构CSP:状态由变量Xi和(值域)Di域中的值定义目标测试是一组约束条件，每个约束包括一些变量的子集，并指定这些子集的值之间允许进行的合并示例：地图着色变量WA、NT、Q、NSW、V、SA、T域Di=｛红、绿、蓝｝限制：相

我看到hadoop的最新稳定版本是0.20.x。最新版本是0.23.。从.20.到0.23.x似乎有很多变化。我们能够建立具有稳定版本(0.20.2)的小型集群并练习mapreduce编程。我们已经看到在0.23.x中添加了许多新的API。为了探索0.23.x，我们还需要使用0.23.x版本设置集群。你们能给我们一份文档吗，我们可以在其中设置0.23.x版本的集群。当我解压tar文件时，0.23.x似乎完全不同，它不像0.20.x。请给我们一些书籍引用/文档，其中从一开始就提到了集群设置。谢谢MRK 最佳答案 0.23和pre-0.

我正在努力思考新API的实际用途，并且通过互联网阅读，我找到了对我正在处理的相同问题的不同答案。我想知道答案的问题是:1)哪个MRv2/YARN守护进程负责启动应用程序容器和监控应用程序资源使用情况。2)MRv2/YARN旨在解决哪两个问题？我会尝试通过指定资源和我的搜索中的实际数据来使这个线程对其他读者具有教育意义和建设性，所以我希望它不会看起来像我提供了太多信息，而我可以只问问题和缩短我的帖子。对于第一个问题，阅读文档，我可以找到3个主要资源可以依赖:来自Hadoop文档:ApplicationMasterNodeManagerLaunchcontainers.Communicat

我正在运行一个运行MRv1(CDH5)与LocalFileSystem配对的测试集群，我唯一能够运行作业的用户是mapred(因为mapred是启动jobtracker/tasktracker守护进程的用户)。当以任何其他用户提交作业时，作业失败，因为jobtracker/tasktracker无法在.staging目录下找到job.jar。当YARN(MRv2)与LocalFileSystem配对时，我遇到了完全相同的问题，即当由“yarn”以外的用户提交作业时，应用程序主管无法在.staging目录下找到job.jar。查看提交作业的用户的.staging目录，发现.staging

我从https://downloads.cloudera.com/demo_vm/vmware/cloudera-demo-vm-cdh4.0.0-vmware.tar.gz下载了VM我发现系统启动后，下面列出的服务正在运行。MRV1服务hadoop-0.20-mapreduce-jobtrackerhadoop-0.20-mapreduce-tasktrackerMRV2服务hadoop-yarn-nodemanagerhadoop-yarn-资源管理器hadoop-mapreduce-historyserverHDFS服务hadoop-hdfs-namenodehadoop-hdf