jjzjj

AvroParquetWriter

全部标签

hadoop - Parquet-MR AvroParquetWriter - 如何将数据转换为 Parquet(使用特定映射)

我正在开发一种工具,用于将数据从本地格式转换为Parquet和JSON(用于Spark、Drill和MongoDB的不同设置),使用带有特定映射的Avro作为垫脚石。我必须支持定期在客户端机器上转换新数据,这就是为什么我尝试使用(Avro|Parquet|JSON)开关编写自己的独立转换工具,而不是使用Drill或Spark或其他工具作为转换器如果这是一次性工作,我可能会这样做。我将整个事情都基于Avro,因为这似乎是在一个引擎盖下转换为Parquet和JSON的最简单方法。我使用特定映射从静态类型检查中获益,编写了一个IDL,将其转换为schema.avsc,生成类并使用特定构造函数