jjzjj

AvroMultipleOutputs

全部标签

hadoop - AvroMultipleOutputs 创建空文件,日志中没有错误

尝试将输出写入两个不同的命名输出文件AvroMultipleOutputs但得到一个空文件并且日志中没有错误。计数器显示正确的记录数。还有这个写入单个文件时工作正常。Avro版本1.7.1代码Jobjob=newJob(config,"AVRO_MULTITEST");job.setJarByClass(AvroMultiWriter.class);FileInputFormat.setInputPaths(job,newPath(args[0]));FileOutputFormat.setOutputPath(job,newPath(args[1]));job.setInputFor

java - 使用 AvroMultipleOutputs 创建多个输出文件

我有一个使用AvroKeyOutput作为输出格式的Reducer。默认情况下,MapReduce会将我的所有key写入单个输出文件。我想为每个键值写入一个单独的输出文件。Avro提供了AvroMultipleOutputs方法,但示例很少。Apache提供的AvroMultipleOutputs,展示了如何在定义作业时预先配置各种输出。例子表明:职位:AvroMultipleOutputs.addNamedOutput(job,"avro1",AvroOutputFormat.class,schema);AvroMultipleOutputs.addNamedOutput(job,"