jjzjj

CapacityScheduler

全部标签

hadoop - Hadoop CapacityScheduler slot reservation scheme 会死锁吗?

如果可用内存不能满足被调度作业的需要,HadoopCapacityScheduler会在TaskTracker上保留插槽(在TaskSchedulingMgr.getTaskFromQueue(...)中)。但是,这会造成任何僵局吗?假设,我有来自两个不同队列的两个不同作业,每个映射任务需要3个槽。每台机器只有4个map槽。起初,作业1被调度时,机器A上有2个slot可用,因此作业1保留了这2个slot。稍后,当作业2在机器A上被调度时,又有2个槽位可用,因此作业2保留了剩余的两个槽位。在这种情况下,作业1或作业2都不会获得足够的插槽在机器A上执行。CapacityScheduler中

hadoop - 我不明白 CapacityScheduler 中的 "The sum of capacities for all queues, at each level, must be equal to 100"

在http://hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html,我看见了yarn.scheduler.capacity..capacity:Queuecapacityinpercentage(%)asafloat(e.g.12.5).Thesumofcapacitiesforallqueues,ateachlevel,mustbeequalto100.Applicationsinthequeuemayconsumemoreresourcesthanthequeue'sca