我试图了解MapReduce中的分区，我了解到Hadoop有一个默认的分区程序，称为HashPartitioner，分区程序有助于在决定给定键将转到哪个reducer时。从概念上讲，它是这样工作的:hashcode(key)%NumberOfReducers,where`key`isthekeyinpair.我的问题是:HashPartitioner如何计算key的哈希码？是简单地调用key的hashCode()还是此HashPartitioner使用一些其他逻辑来计算key的哈希码？谁能帮我理解一下？ 最佳答案 默认的分区器简单地

我在ubuntu上以伪分布式模式设置了hadoop。我的理解是我可以在伪模式下使用多个reducer运行一项工作。但即使将numReducetasks设置为2，我也只得到一个输出文件partr0000。这是为什么？注意:我的输入文件只有12条记录。这是一个二级排序的MR程序。感谢您的帮助。 最佳答案 如果您看到默认分区程序HashPartitioner的getPartition()，它看起来如下所示:publicintgetPartition(Kkey,Vvalue,intnumReduceTasks){return(key.has

HashPartitionerhash=newHashPartitioner();@OverridepublicintgetPartition(CompositeKeyClasskeyClass,TextvalClass,intnumOfPartition){//TODOAuto-generatedmethodstubtry{String[]type=valClass.toString().split(",");if(type[0].equals("Mapper1")){return(hash.getPartition(keyClass.getFirst(),valClass,numO