jjzjj

YarnConfiguration

全部标签

java - 如何使用新 API 以编程方式获取 Hadoop 集群中所有正在运行的作业?

我有一个软件组件可以将MR作业提交到Hadoop。我现在想在提交之前检查是否还有其他作业在运行。我发现新API中有一个Cluster对象,可用于查询集群中正在运行的作业,获取它们的配置并从中提取相关信息。但是我在使用它时遇到了问题。只需执行newCluster(conf),其中conf是有效的Configuration,可用于访问此集群(例如,提交jobs)使对象保持未配置状态,并且Cluster的getAllJobStatuses()方法返回null。从配置中提取mapreduce.jobtracker.address,从中构造一个InetSocketAddress并使用Cluste