jjzjj

hadoop - 附加到现有序列文件

coder 2024-01-08 原文

在我的用例中，我需要找到一种将键/值对附加到现有序列文件的方法。怎么做？任何线索都会非常有帮助。我正在使用 hadoop 2x。

此外，我还看到了以下文档。谁能告诉我如何使用它来追加？

public static org.apache.hadoop.io.SequenceFile.Writer createWriter(FileContext fc, 配置 session ， 路径名， 类键类， 类 valClass， org.apache.hadoop.io.SequenceFile.CompressionType 压缩类型， CompressionCodec编解码器， org.apache.hadoop.io.SequenceFile.Metadata 元数据， 枚举集创建标志， org.apache.hadoop.fs.Options.CreateOpts ...选择) 抛出 IOException

Construct the preferred type of SequenceFile Writer.

Parameters:
    fc - The context for the specified file.
    conf - The configuration.
    name - The name of the file.
    keyClass - The 'key' type.
    valClass - The 'value' type.
    compressionType - The compression type.
    codec - The compression codec.
    metadata - The metadata of the file.
    **createFlag - gives the semantics of create: overwrite, append etc.**
    opts - file creation options; see Options.CreateOpts. 
Returns:
    Returns the handle to the constructed SequenceFile Writer. 
Throws:
    IOException

最佳答案

更新:issue HADOOP-7139现在它已经关闭，从 2.6.1/2.7.2 版本开始 可以附加到现有的 SequenceFile :)

(我使用的是 2.7.1 版并希望追加到 SequenceFile，所以我降级到 2.6.1，因为 2.7.2 版还没有出来)

关于hadoop - 附加到现有序列文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/25845578/

列文有序SequenceFilesectionhadoop

有关hadoop - 附加到现有序列文件的更多相关文章

  1. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - ruby:将数组的每个元素用附加引号引起来 - 2

    我有以下字符串:a="001;Barbara;122"我拆分成字符串数组:names=a.split(";")names=["001","Barbara","122"]我应该怎么做才能将每​​个元素另外用''引号括起来？结果应该是names=["'001'","'Barbara'","'122'"]我知道这听起来很奇怪，但我需要它在ruby​​onrails中进行数据库查询。出于某种原因，如果我的名字在“”引号中，我将无法访问数据库记录。我在数据库中确实有mk1==0006但rails不想以某种方式访问​​它。但是，它确实访问1222。sql="SELECTmk1,mk2,pk1,pk

  4. ruby - 如何在 Ruby 中创建数字列表并将其反向附加到它 - 2

    给定一个最小整数和最大整数，我想创建一个数组，它从最小值到最大值以二为单位计数，然后倒退(再次以二为单位，重复最大数)。例如，如果最小数是1，最大数是9，我想要[1,3,5,7,9,9,7,5,3,1].我试图尽可能简洁，这就是我使用单行代码的原因。在Python中，我会这样做:range(1,10,2)+range(9,0,-2)在我刚刚开始学习的Ruby中，到目前为止我所想到的是:(1..9).inject([]){|r,num|num%2==1?r这行得通，但我知道必须有更好的方法。这是什么？ 最佳答案 (1..9).step

  5. ruby - 为什么 `<<` 附加到 Ruby 字符串而 `+=` 不附加？ - 2

    这个问题在这里已经有了答案:ArestringsmutableinRuby?(3个答案)WhenpassingaRubyarrayasanargument,whydoes`(2个答案)关闭8年前。我正在学习教程，我想了解为什么会出现以下情况:original_string="Hello,"hi=original_stringthere="World"hi+=thereassert_equal"Hello,",original_stringoriginal_string="Hello,"hi=original_stringthere="World"hi为什么+=对original_str

  6. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  7. ruby - 给定一个 Ruby 元类，我如何获取它所附加的实例？ - 2

    这是问题“GivenaninstanceofaRubyobject,howdoIgetitsmetaclass?”的反面您可以在默认的to_s输出中看到附加元类或单例类的对象的表示:s="hello"s_meta=class"#>"classC;endc_meta=class"#"是否有可能实现一个方法Class.attached来返回这个对象(如果接收者是一个普通类，则返回nil)？s_meta.attached#=>sc_meta.attached#=>CC.attached#=>nil 最佳答案 有一个丑陋的(但有效的)黑客，

  8. ruby - 附加具有唯一值的收集数组 - 2

    所以我有一个由collect构建的数组。@a=Relation.where(part:"v04")@relations=@a.collect{|x|x.car}构建..=>["f03","f04"]@a=Relation.where(part:"v03")@relations=@a.collect{|x|x.car}构建..=>["f01","f03"]我想要的是追加收集，这样我就可以从v03和v04构建一个数组，它看起来像这样。=>["f03","f04","f01","f03"]然后只保留唯一值，所以它看起来像这样。=>["f03","f04","f01"]取出f03，因为它列出了

  9. ruby-on-rails - 冒号前缀和附加之间的区别(:item vs item:) - 2

    在ruby​​中追加和前置冒号有什么区别？例子:#Inrailsyouoftenhavethingslikethis:has_many:models,dependent::destroy为什么dependent:有一个冒号，而:models和:destroy有一个冒号？有什么区别？ 最佳答案 这是Ruby1.9中的新语法，用于定义散列中作为键的符号。前置和附加的:都定义了一个symbol，但后者仅在散列初始化期间有效。你可以想到一个symbol作为轻量级字符串常量。相当于:dependent=>:destroy在1.9之前，散列是使

  10. css - 使用 Compass/Sass 删除附加到 Sprite 文件名的随机字符串 - 2

    我最近一直在使用Compass和Sass来做一些CSSspriting，因为它非常有用。但是，文件名总是附加一个随机字符串。例如。图标-s5eb424578c.png。而且我不希望附加这个随机字符串，因为这意味着每次发生更改时我都需要上传新的CSS文件和新的Sprite图像。那么，有人知道Compassgem目录中哪个Ruby或其他配置文件附加了这个随机字符串吗？然后我可以只注释掉那个位的代码。除非我缺少官方变量，否则我可以在Compass中设置以告诉它我不想附加此字符串？提前感谢您对此提供的任何帮助。 最佳答案 尝试将这些行添加到

随机推荐