jjzjj

javascript - 在 JavaScript 中使用 Apache Avro

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以便用事实和引用来回答。关闭2年前。Improvethisquestion有没有办法通过javascript和REST、RPC或websocket在客户端使用Avro?如果有,用js库吗?

go - 如何在 Go 中自动生成 Avro 模式?

我正在尝试将Avro和SchemaRegistry集成到我们的Kafka数据管道中。现在它在Go服务内部看起来像获取数据->将数据编码为JSON->写入Kafka我想以同样的方式使用avro模式生成模式->在模式注册表中更新模式->获取数据->编码为Avro->写入Kafka但是有几个问题:如何从Go类自动生成架构?我应该如何检查架构与架构注册表的兼容性? 最佳答案 有几种方法可以从Avro创建go类。你试过这个吗https://github.com/actgardner/gogen-avro?UsageTogenerateGoso

json - 使用 Avro Schema 验证 Json 文件

我正在尝试检查Json字符串是否与Avro架构匹配。我不关心数据的序列化,只关心isValidJson=true/false的bool结果。我将使用每个golang库。我试着用这个goavro写点东西lib,但它对我不起作用,可能是因为我是golang的新手。所需的伪代码:funcmain(){avroSchema:=`{"type":"record","name":"raw","namespace":"events","fields":[{"name":"my_int","type":["null","int"],"default":null},{"name":"my_string"

go - 使用 goavro 创建的 Avro 文件将数字数据加载到 BigQuery

我正在尝试弄清楚如何使用Avro文件将美元值加载到BigQuery中的数字列中。我正在使用golang和goavro打包生成avro文件。看来go中处理货币的适当数据类型是big.Rat。BigQuerydocumentation表示应该可以为此使用Avro。从几个我可以看出goavrotestcases将*big.Rat编码为fixed.decimal类型是可能的。我正在使用goavro.OCFWriter使用简单的avro模式对数据进行编码,如下所示:{"type":"record","name":"MyData","fields":[{"name":"ID","type":["s

xml - 有没有办法将目录中的一些 XML 文件转换为 AVRO 文件?

有没有办法将目录中的一些XML文件转换成AVRO文件??因此,将读取XML文件中的数据,并在一端制作和序列化相应的类似AVRO文件......并在另一端反序列化以获取数据。是否有一些解析器或其他东西可以提供帮助 最佳答案 是的,好像是。你应该看看thisarticle.你也可以查看这个githubrepository.希望对您有所帮助。 关于xml-有没有办法将目录中的一些XML文件转换为AVRO文件?,我们在StackOverflow上找到一个类似的问题:

xml - 在 spark 中过滤数据框并保存为 avro

我正在尝试将数据框保存为avro文件。我已经读入了一个包含许多嵌套层的xml文件。它将其存储为数据框。数据帧已成功存储。xml有许多namespaceheader,例如@nso、@ns1、@ns2等。这些成为数据帧中的header。当我尝试将它保存为avro文件时,它给了我这个错误:“线程“main”中的异常org.apache.avro.SchemaParseException:非法初始字符:@ns0”valconf=newSparkConf().setMaster("local[2]").setAppName("conversion")valsc=newSparkContext(c

java - 将 pojos 转换为 confluent.io 中的通用记录以通过 KafkaProducer 发送

我是Kafka和avro的新手,正在尝试使用confluent包。我们有用于JPA的现有POJO,我希望能够简单地生成我的POJO的实例,而不必手动将每个值反射(reflect)到通用记录中。我似乎在文档中遗漏了这是如何完成的。示例使用通用记录并像这样一个一个地设置每个值:Stringkey="key1";StringuserSchema="{\"type\":\"record\","+"\"name\":\"myrecord\","+"\"fields\":[{\"name\":\"f1\",\"type\":\"string\"}]}";Schema.Parserparser=ne

使用 Avro 工具将 JSON 转换为 Avro 后,java.io.IOException 不是数据文件

我有一个JSON文件和一个avro模式文件,它们正确地描述了它的结构。然后,我使用Avro工具将JSON文件转换为avro文件,没有出现错误,如下所示:java-jar.\avro-tools-1.7.7.jarfromjson--schema-file.\data.avsc.\data.json>.\data.avro然后我将生成的Avro文件转换回JSON以验证我是否获得了一个有效的Avro文件,如下所示:java-jar.\avro-tools-1.7.7.jartojson.\data.avro>.\data.json这会引发错误:Exceptioninthread"main"

java - Flink 1.4 AvroUtils 报错

我尝试在Flink1.4上提交作业并收到以下异常。知道如何解决这个问题吗?Causedby:org.apache.flink.runtime.client.JobExecutionException:Jobexecutionfailed.atorg.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobManager.scala:897)atorg.apache.flink.runtime.jobmanager.JobManag

java - 在 Avro 中,在 GenericRecord 上调用 toString() 和使用 JSONEncoder 之间有什么区别吗?

我有一些Avro数据作为Java中的GenericRecord,我想将其转换为JSON,我注意到有两种方法可以做到这一点:一种涉及使用JsonEncoder,另一个涉及简单地调用GenericRecord上的toString()。经过一些简短的实验,这两种方法似乎产生了相同的结果,并且在任何一种情况下都可以使用JsonDecoder将生成的JSON字符串转换回Avro。所以,我的问题是:两者之间是否存在任何功能差异,是否有任何理由优先使用其中一个?我正在使用Avro1.7.7。 最佳答案 在进一步测试查看Avro源代码后,似乎Gen