jjzjj

hadoop - Hive collect_list() 不收集 NULL 值

coder 2024-01-05 原文

我正在尝试收集包含 NULL 的列以及该列中的一些值...但是 collect_list 忽略了 NULL并仅收集其中具有值(value)的那些。有没有一种方法可以检索 NULL 以及其他值？

SELECT col1, col2, collect_list(col3) as col3
FROM (SELECT * FROM table_1 ORDER BY col1, col2, col3)
GROUP BY col1, col2;

实际的 col3 值

0.9
NULL
NULL
0.7
0.6

结果 col3 值

[0.9, 0.7, 0.6]

我希望在应用 collect_list 之后有一个看起来像这样的配置单元解决方案 [0.9, NULL, NULL, 0.7, 0.6]。

最佳答案

此函数的工作原理如下，但我发现了以下解决方法。 将 case when 语句添加到您的查询以检查并保留 NULL。

SELECT col1, 
    col2, 
    collect_list(CASE WHEN col3 IS NULL THEN 'NULL' ELSE col3 END) as col3
FROM (SELECT * FROM table_1 ORDER BY col1, col2, col3)
GROUP BY col1, col2

现在，因为您有一个字符串元素 ('NULL')，所以整个结果集是一个字符串数组。 最后只需将字符串数组转换为 double 值数组。

关于hadoop - Hive collect_list() 不收集 NULL 值，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31956335/

collect_listcollectcodecolNULLhadoophivehive-udf

有关hadoop - Hive collect_list() 不收集 NULL 值的更多相关文章

  1. "\0"null 的 Ruby 测试？ - 2

    我在破坏脚本的字符串中出现了一些奇怪的字符。据我所知，通过putbadstring到控制台，它们是"\0\0\0\0"。我想对此进行测试，以便我可以忽略它们...但是如何呢？以为这就是blank?和empty?的用途？!？:>badstring="\0"=>"\u0000">badstring.blank?NoMethodError:undefinedmethod`blank?'for"\u0000":Stringfrom(irb):97from/Users/meltemi/.rvm/rubies/ruby-2.0.0-p195/bin/irb:16:in`'>badstring.em

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - Rails - Carrierwave 进程抛出 ArgumentError : no images in this image list - 2

    在尝试实现应用auto_orient的过程之后!对于我的图片，我收到此错误:ArgumentError(noimagesinthisimagelist):app/uploaders/image_uploader.rb:36:in`fix_exif_rotation'app/controllers/posts_controller.rb:12:in`create'Carrierwave在没有进程的情况下工作正常，但在添加进程后尝试上传图像时抛出错误。流程如下:process:fix_exif_rotationdeffix_exif_rotationmanipulate!do|image|

  4. ruby-on-rails - 将 acts_as_list 与 has_many 一起使用 :through in rails - 2

    我有一个Rails应用程序，我正在尝试使用acts_as_list插件设置可排序列表。数据库中的位置字段正在更新，但是在呈现页面时，不考虑顺序。我想我是在寻求帮助。这是我的模型...classQuestionMembership:question_membershipsendclassQuestion:question_membershipsacts_as_listend还有给我列表的草率View代码...>true)%>拖放用于重新排序。数据库中QuestionMembership对象的位置值更新，页面实际上正确显示重新排序。问题是在页面重新加载时，它默认返回到它感觉的任何顺序。我认

  5. ruby - 在 Ruby 数组中收集重复项的最快/单行方法？ - 2

    像这样转换数组的最快/单行方法是什么:[1,1,1,1,2,2,3,5,5,5,8,13,21,21,21]...进入像这样的对象数组:[{1=>4},{2=>2},{3=>1},{5=>3},{8=>1},{13=>1},{21=>3}] 最佳答案 要获得所需的格式，您可以附加一个调用以映射到您的解决方案:array.inject({}){|h,v|h[v]||=0;h[v]+=1;h}.map{|k,v|{k=>v}}虽然它仍然是单行的，但它开始变得凌乱了。 关于ruby-在Ruby

  6. ruby - 符号的垃圾收集 Ruby 2.2.1 - 2

    所以从Ruby2.2+版本开始引入了符号垃圾回收。我在irb中编写了以下代码片段:before=Symbol.all_symbols.size#=>3331100_000.timesdo|i|"sym#{i}".to_symendSymbol.all_symbols.size#=>18835GC.startSymbol.all_symbols.size#=>3331因此，正如预期的那样，它收集了使用to_sym动态生成的所有符号。那么GC是如何知道收集哪些符号的呢？即使它们在程序中被引用，它会收集符号吗？符号垃圾回收是如何工作的？如果我创建的其中一个符号在程序中被引用，它还会收集它吗？

  7. ruby-on-rails - 收集 Rails 应用程序使用统计信息的最佳方式 - 2

    我有一个Rails应用程序，用户可以在其中设置他们的域并在其中发布内容。我需要收集公共(public)流量统计信息，例如网页浏览量等。此功能的一个很好的例子是我作为客户可以看到的flickr使用统计信息。问题是收集使用信息的最佳方式是什么。应该通过解析日志文件来完成还是应该在运行时收集并存储在数据库中？是否有任何工具或Rails插件已经提供了此功能？此解决方案应该可以很好地扩展，即使每月有数千个域和数百万次网页浏览。 最佳答案 GoogleAnalytics可能是您最好的选择... 关于

  8. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

  9. ruby-on-rails - 将没有默认值的 NOT NULL 字段添加到填充的数据库中 - 2

    我有一个表，我们称它为MyTable。它是Postgresql数据库的一部分。MyTable中有很多条目，比方说超过一百万。我想向该表中添加一个字段，我们将其命名为MyNewField。它由ActiveRecord迁移添加。此字段没有默认值且不可为空。结果，在它的迁移类中将是这样的:classAddMyFieldToMyTable但是，它会触发一个错误(PG::NotNullViolation)，因为该表已经包含行，所有这些行的MyField都设置为NULL。我想做的是:添加没有默认值且可空设置为false的行(不触发PG::NotNullViolation)。然后，将另一个表中的值插

  10. ruby - ActiveRecords 选择(:id). 收集与采摘(:id) methods: Why is pure AR "pluck" slower? - 2

    我正在尝试从我的文章模型中获取所有ID。我可以通过两种方式做到这一点:Article.select(:id).collect{|a|a.id}ArticleLoad(2.6ms)SELECT"articles"."id"FROM"articles"或2.2.1:006>Article.pluck(:id)(4.3ms)SELECT"articles"."id"FROM"articles"什么给了？为什么AR比Ruby版本慢？即使我对Ruby方法进行基准测试，它似乎也更快:Benchmark.measure{Article.select(:id).collect{|a|a.id}}Art

随机推荐