我正在使用Apacheavro进行数据序列化。因为，数据有一个固定的模式，我不希望模式成为序列化数据的一部分。在以下示例中，模式是avro文件“users.avro”的一部分。Useruser1=newUser();user1.setName("Alyssa");user1.setFavoriteNumber(256);Useruser2=newUser("Ben",7,"red");Useruser3=User.newBuilder().setName("Charlie").setFavoriteColor("blue").setFavoriteNumber(null).build(

我正在尝试加载一些数据，按特定字段过滤并将输出存储到HDFS。我的代码如下所示:data=LOAD'$inputPath'usingAvroStorage();data=FILTERdatabycondition;STOREdataINTO'$outputPath'usingAvroStorage('schema','$SCHEMA');但我收到一条错误消息:ERRORorg.apache.pig.backend.hadoop.executionengine.Launcher-Error:org.apache.avro.file.DataFileWriter$AppendWriteEx

我有一个spark应用程序。我使用saveAsNewAPIHadoopDataset在hdfs上存储一个rdd，利用AvroKeyOutputFormat。对于大型RDD，有时我会收到太多ClosedChannelException，以至于应用程序最终中止。我在某处读到设置hadoopConf.set("fs.hdfs.impl.disable.cache","false");有帮助。以下是我如何保存我的rdd:hadoopConf.set("fs.hdfs.impl.disable.cache","false");finalJobjob=Job.getInstance(hadoopC