jjzjj

isSplittable

全部标签

hadoop - isSplittable() 方法

我对FileInputFormat类的isSplitable()有疑问。根据定义,此方法将限制在输入拆分上创建多个映射器。但是mapper的数量是基于一个文件的splits的数量。就像一个160MB的文件被分成3个部分,比如64、64和32MB。将有3个映射任务,每个输入拆分一个。如果我用false值覆盖isSplitable(),它将限制什么,无论如何都会有3个映射器根据输入拆分处理文件。 最佳答案 如果您不希望您的数据文件被拆分,或者您想要一个单一的映射器来处理您的整个文件。这样一个文件将仅由一个映射器处理。在这种情况下,扩展m