我想打开tasktracker的web/ui。localhost:50030/jobtracker.jsp但它不起作用，因为没有正在运行的tasktracker。我的hadoop应用程序在没有tasktracker的情况下运行良好。但是我发现应该运行tasktracker才能打开web/ui。但是我不知道如何启动tasktracker。我如何启动tasktracker？我尝试了很多方法，但它们都不起作用。我的状态和环境:localhost:50070web/ui运行良好。jps命令显示Datanode、NameNode、NodeManager、SecondaryNameNode、Res

我已经成功安装了ubuntu12.04和hadoop2.3.0。输入jps命令后，我发现输出如下4135jps2582SeconadaryNameNode3143NodeManager2394Namenode2391Datanode3021ResourceManager为什么不显示jobtracker和tasktracker。我尝试了start-mapred.sh但它显示找不到命令。(我搜索了hadoop目录没有找到这样的文件所以我认为较新的版本即2.0.3已经弃用它并且必须有一些其他方式来启动jobtracker和tasktracker)localhost:50070工作得很好但是l

是否可以配置cgroups或Hadoop，使TaskTracker生成的每个进程都分配给特定的cgroup？我想使用cgroups强制执行内存限制。可以将cgroup分配给TaskTracker，但如果作业造成严重破坏，TaskTracker也可能会被oom-killer杀死，因为它们在同一组中。假设我的机器有8GB内存。我想为DataNode和系统实用程序保留1.5GB，让HadoopTaskTracker使用6.5GB内存。现在，我在生成4个映射器和2个缩减器(理论上每个都可以使用1GBRAM)时使用流式API开始一个作业，它占用的内存比允许的多。现在cgroup内存限制将被命中并

我已经能够使用python映射器和缩减器设置流式示例。mapred文件夹位置是/mapred/local/taskTrackerroot和mapred用户都拥有此文件夹和子文件夹的所有权然而，当我运行我的流式传输时，它会创建map但不会减少并给出以下错误无法运行程序/mapred/local/taskTracker/root/jobcache/job_201303071607_0035/attempt_201303071607_0035_m_000001_3/work/./mapper1.py权限被拒绝我注意到，虽然它为mapred/local/taskTracker及其所有子目录提供

我有一个包含5个数据节点的Hadoop集群(ClouderaCDH4.2)。我正在尝试运行创建HBaseConfiguration对象的MapReduce作业。tasktracker尝试失败，因为它们试图连接到localhost:2181而不是实际zookeeper安装的地址。我知道这是因为没有为tasktracker提供包含hbase配置的正确类路径。但是，如果我这样运行作业:HADOOP_CLASSPATH=`/usr/bin/hbaseclasspath`hadoopjarmyjar.jar文档表明这应该可以解决问题。hbaseclasspath中的第一个条目是/usr/lib/

执行mapreduce程序时，Tasktracker不工作。tasktraker日志:2014-01-3115:58:51,021INFOorg.apache.hadoop.mapred.JvmManager:InJvmRunnerconstructedJVMID:jvm_201401311556_0001_m_-5239237092014-01-3115:58:51,021INFOorg.apache.hadoop.mapred.JvmManager:JVMRunnerjvm_201401311556_0001_m_-523923709spawned.2014-01-3115:58:

我正在运行ApachePig0.11.2和Hadoop2.2.0。我在Pig中运行的大多数简单作业都运行良好。但是，每当我尝试在大型数据集上使用GROUPBY或LIMIT运算符时，我都会收到以下连接错误:2013-12-1811:21:28,400[main]INFOorg.apache.hadoop.ipc.Client-Retryingconnecttoserver:tasktracker2/10.201.2.145:54957.Alreadytried0time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetr

我有5个节点的hadoop集群。我为每个节点配置了10个映射器。当MR作业正在运行时，其中一个hdfs节点死亡。这最终导致该任务跟踪器被列入黑名单。在它被列入黑名单之后和MR作业完成之前，如果我修复受影响的hdfs节点，是否可以从黑名单中恢复任务跟踪器？我在ubuntu上使用clouderacdh4.2。 最佳答案 我正在阅读有关tasktracker失败的“Hadoop权威指南”。我找到了这个说法“列入黑名单的tasktracker没有分配任务，但它们会继续与jobtracker通信。故障会随着时间的推移而过期(以每天一个的速度)

我在Windows7下的cygwin上设置了hadoop1.1.1。dfs组件启动正常(start-dfs.sh或start-all.sh两者)，jobtracker也是如此(启动mapred.sh)，但tasktracker无法正常启动启动和关闭时出现与taskTracker路径权限相关的错误(无法设置0755)。我在Problemstartingtasktrackerinhadoopunderwindows看到过类似的问题但没有找到任何解决方案或指导如何解决它。也尝试过许多网站的解决方案，但都是徒劳的。这是日志输出2013-01-0215:51:31,836INFOorg.apac

您好，我正在使用OozieClientAPI。我需要使用OozieClientAPI检索特定工作流作业的任务跟踪器日志。如果不使用OozieClientAPI，使用程序的任何其他方式也可以。截至目前，使用OozieClient我能够使用client.getJobLog()获取作业日志，但我需要任务跟踪器日志而不是作业日志。请帮忙。 最佳答案 尝试使用OozieClientAPI从oozie中检索yarn应用程序ID。获得此ID后，您可以使用其restapi/或历史服务器的客户端库调用历史服务器，以使用“jobAttempts”api