我需要通过Spark处理一个.warc文件，但我似乎无法找到一种直接的方法。我宁愿使用Python而不是通过wholeTextFiles()将整个文件读入RDD(因为整个文件将在单个节点处理(？))因此它似乎是唯一的/最好的方法是通过在Python中与.hadoopFile()一起使用的自定义HadoopInputFormat。但是，我找不到执行此操作的简单方法。将.warc文件拆分为条目就像拆分\n\n\n一样简单；那么我怎样才能做到这一点，而不用像各种在线“教程”中所示那样编写大量额外的(无用的)代码呢？可以全部用Python完成吗？即，如何在不使用wholeTextFiles读取

我正在处理WARC文件中存在数据的不正常用例。[[https://en.wikipedia.org/wiki/web_archive*1]我想将数据导入到neo4j中。我能想到的一个解决方案是解析WARC文件（一些要读取的Java代码），然后将结构化数据写入CSV，以便可以使用某些导入工具将其加载。提取到CSV中是将数据加载到neo4j中的唯一选择？您能给我一些有关如何实施此用例的建议吗？谢谢，Phaneendra看答案这取决于。这取决于您要从Web存档中加载的数据。如果您谈论的是加载元数据...那么您不需要中间步骤，处理文件并将数据直接插入数据库。您可以使用存储过程（APOC库都充满了类似的

我一直在使用用Python编写的映射器和缩减器在AWS/EMR中运行流式处理步骤，以映射CommonCrawl中的一些文件以进行情绪分析。我正在从较旧的通用爬网textData格式迁移到较新的warc.gz格式，我需要知道如何为我的EMR输入指定一系列warc.gz文件。例如:在旧格式中，我可以这样指定文本数据文件的输入范围:s3://aws-publicdatasets/common-crawl/parse-output/segment/1341690165636/textData-000[0-9][0-9]但新格式看起来像这样:第一个文件:s3://aws-publicdatase

我正在尝试使用WARClibrary为warc文件编写mapreduce作业python。以下代码对我有用，但我需要此代码来执行hadoopmapreduce作业。importwarcf=warc.open("test.warc.gz")forrecordinf:printrecord['WARC-Target-URI'],record['Content-Length']我希望此代码从warc文件读取流式输入，即zcattest.warc.gz|warc_reader.py请告诉我如何修改此代码以进行流式输入。谢谢 最佳答案 war