jjzjj

hadoop - 在 Pig 中加载文件并将其转换为带分隔符的一行

coder 2024-01-10 原文

我需要你的帮助来输出我在 Pig 中加载的文件，其中包含如下数据:

AAAA,message1
BBBB,message2
CCCC,message3
DDDD,message4

我需要做的就是得到这样的输出

AAAA,message1,BBBB,message2,CCCC,message3,DDDD,message4

此输出我将在其他 pig udf 之后使用它..

谢谢你的帮助

最佳答案

输入:

AAAA,message1
BBBB,message2
CCCC,message3
DDDD,message4

pig 脚本:

A = LOAD 'input.csv'  USING  PigStorage(',') AS (key:chararray,value:chararray);
B = GROUP A ALL;
C = FOREACH B {
    D = ORDER A BY key;
    GENERATE BagToString(D,',');
    }; 
DUMP C;

输出:

(AAAA,message1,BBBB,message2,CCCC,message3,DDDD,message4)

关于hadoop - 在 Pig 中加载文件并将其转换为带分隔符的一行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34022871/

中加载文messagesectionstronghadoopapache-pig

有关hadoop - 在 Pig 中加载文件并将其转换为带分隔符的一行的更多相关文章

  1. python - 如何读取 MIDI 文件、更改其乐器并将其写回？ - 2

    我想解析一个已经存在的.mid文件，改变它的乐器，例如从“acousticgrandpiano”到“violin”，然后将它保存回去或作为另一个.mid文件。根据我在文档中看到的内容，该乐器通过program_change或patch_change指令进行了更改，但我找不到任何在已经存在的MIDI文件中执行此操作的库.他们似乎都只支持从头开始创建的MIDI文件。 最佳答案 MIDIpackage会为您完成此操作，但具体方法取决于midi文件的原始内容。一个MIDI文件由一个或多个音轨组成，每个音轨是十六个channel中任何一个上的

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby - 如何跳过 CSV 文件的第一行并将第二行作为标题 - 2

    有没有办法跳过CSV文件的第一行，让第二行作为标题？我有一个CSV文件，第一行是日期，第二行是标题，所以我需要能够在遍历它时跳过第一行。我尝试使用slice但它会将CSV转换为数组，我真的很想将其读取为CSV，以便我可以利用header。 最佳答案 根据您的数据，您可以使用另一种方法和skip_lines-option此示例跳过所有以#开头的行require'csv'CSV.parse(DATA.read,:col_sep=>';',:headers=>true,:skip_lines=>/^#/#Markcomments!)do|

  4. ruby - 如何使用 Ruby 从 CSV 中删除一行 - 2

    给定以下CSV文件，您将如何删除列“foo”中包含单词“true”的所有行？Date,foo,bar2014/10/31,true,derp2014/10/31,false,derp我有一个可行的解决方案，但它需要制作一个辅助CSV对象csv_no_foo@csv=CSV.read(@csvfile,headers:true)#http://bit.ly/1mSlqfA@headers=CSV.open(@csvfile,'r',:headers=>true).read.headers#MakeanewCSV@csv_no_foo=CSV.new(@headers)@csv.eachd

  5. 一行中的 while block 的 Ruby 语法 - 2

    请问，一行whileblock的Ruby语法是什么？ 最佳答案 例如putsa[i+=1]whilei 关于一行中的whileblock的Ruby语法，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/21712232/

  6. ruby-on-rails - 如何以递归方式将 YAML 文件扁平化为 JSON 对象，其中键是点分隔的字符串？ - 2

    例如，如果我有YAML文件en:questions:new:'NewQuestion'other:recent:'Recent'old:'Old'这最终会变成一个json对象，例如{'questions.new':'NewQuestion','questions.other.recent':'Recent','questions.other.old':'Old'} 最佳答案 由于问题是关于在Rails应用程序上使用YAML文件进行i18n，因此值得注意i18ngem提供了一个辅助模块I18n::Backend::Flatten完全像

  7. ruby - 如何将文本文件读入数组数组(每个子数组都是文本文件中的一行？) - 2

    所以我在Ruby方面几乎是个新手，我整理了一个代码来解决MinCut问题(对于一个作业，是的——我整理并测试了那部分代码)，并且我无法弄清楚如何读取文件并将其放入数组数组中。我有一个文本文件要阅读，其中包含不同长度的列，如下所示137791642123134348123134109我想将它读入一个二维数组，其中每一行和每一列都被拆分，每一行都进入一个数组。因此，上述示例的结果数组将是:[[1,37,79,164],[2,123,134],[3,48,123,134,109]]我读取文本文件的代码如下:defread_array(file,count)int_array=[]File.f

  8. ruby - 如何在 Ruby 中创建数字列表并将其反向附加到它 - 2

    给定一个最小整数和最大整数，我想创建一个数组，它从最小值到最大值以二为单位计数，然后倒退(再次以二为单位，重复最大数)。例如，如果最小数是1，最大数是9，我想要[1,3,5,7,9,9,7,5,3,1].我试图尽可能简洁，这就是我使用单行代码的原因。在Python中，我会这样做:range(1,10,2)+range(9,0,-2)在我刚刚开始学习的Ruby中，到目前为止我所想到的是:(1..9).inject([]){|r,num|num%2==1?r这行得通，但我知道必须有更好的方法。这是什么？ 最佳答案 (1..9).step

  9. ruby - 在类/模块中加载外部文件 - 2

    我有一个外部文件:path_to_external_file.rb带有一些类定义:classAsome_definitionsend我想在模块B中加载它，以便上面定义的类A可以称为B::A。我试过:classBload('path_to_external_file.rb')end但是A是在主环境中定义的，而不是在B中定义的:A#=>AB.constants#=>[]如何在某些类/模块中加载外部文件？编辑我是否应该将外部文件作为字符串读取，并在Class.new{...}中评估它们，然后在B中include该类？ 最佳答案 你不能。至

  10. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

随机推荐