jjzjj

Java MapReduce 计数器 - Oozie

coder 2024-01-08 原文

Java 应用程序在 Hadoop 集群中作为具有单个 Mapper 任务的 map-reduce 作业执行。如果一个 java mapreduce 作业(不是 hive 或任何其他作业只是一个直接的 mapreduce 作业)是 oozie 的一部分，我们会得到一个单独的 mapper 启动器并且实际的 mapreduce 作业独立运行。那么有没有办法将启动器和实际的 mapreduce 作业运行联系起来？像获取与启动器 jobid 一起运行的实际操作的 jobid？任何命令知道吗？

最佳答案

您可以转到 oozie UI 并获取此信息。单击您想要的操作，然后转到 Child Job URLs 选项卡。在那里您可以找到特定操作启动的所有子作业。

java 没有子 url 的 oozie 操作:

map-reduce oozie 中带有子 urls 选项卡的操作:

对于 map-rdeuce 作业，您可以访问 Child Job URLs 选项卡并获取所有子 mapreduce 作业 url。

关于Java MapReduce 计数器 - Oozie，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34350953/

MapReduceOoziesection启动器codejavahadoopbigdata

有关Java MapReduce 计数器 - Oozie的更多相关文章

  1. ruby-on-rails - Ruby on Rails 计数器缓存错误 - 2

    尝试在我的RoR应用程序中实现计数器缓存列时出现错误Unknownkey(s):counter_cache。我在这个问题中实现了模型关联:Modelassociationquestion这是我的迁移:classAddVideoVotesCountToVideos0Video.reset_column_informationVideo.find(:all).eachdo|p|p.update_attributes:videos_votes_count,p.video_votes.lengthendenddefself.downremove_column:videos,:video_vot

  2. ruby - 使用多个数组创建计数 - 2

    我正在尝试按0-9和a-z的顺序创建数字和字母列表。我有一组值value_array=['0','1','2','3','4','5','6','7','8','9','a','b'，'光盘'，'e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','','u','v','w','x','y','z']和一个组合列表的数组，按顺序，这些数字可以产生x个字符，比方说三个list_array=[]和一个当前字母和数字组合的数组(在将它插入列表数组之前我会把它变成一个字符串，]current_combo['0','0','0']

  3. Ruby 计数数组对象，如果对象包含值 - 2

    我有一个数组:array=['Footballs','Baseball','football','Soccer']而且我需要计算看到Football或Baseball的次数，无论大小写和复数形式如何。这是我尝试做的，但没有成功:array.count{|x|x.downcase.include?'football'||x.downcase.include?'baseball'}编写这段代码的正确或更好的方法是什么？我正在寻找3作为答案。 最佳答案 我会将count与一个block结合使用，该block根据与您正在寻找的约束相匹配的正

  4. ruby - AWS 上远程机器上的进程计数 - 2

    我正在为在AmazonEC2实例上运行的应用程序设计一个AutoScaling系统。应用程序从SQS读取消息并对其进行处理。AutoScaling系统将监控两件事:SQS中的消息数量，所有EC2机器上运行的进程总数。例如，如果SQS中的消息数量超过3000，我希望系统自动缩放，创建一个新的EC2实例，在其上部署代码，当消息数量低于2000时，我希望系统终止EC2实例.我正在用Ruby和Capistrano做这件事。我的问题是:我无法找到一种方法来确定在所有EC2机器上运行的进程数并将该数字保存在变量中。你能帮帮我吗？ 最佳答案 您可

  5. ruby-on-rails - FactoryGirl工厂特征内的序列不使用主序列计数器 - 2

    我有以下工厂:FactoryGirl.definedofactory:foodosequence(:name){|n|"Foo#{n}"}trait:ydosequence(:name){|n|"Fooy#{n}"}endendend如果我跑create:foocreate:foocreate:foo,:y我得到Foo1,Foo2,Fooy1。但我想要Foo1,Foo2,Fooy3。我怎样才能做到这一点？ 最佳答案 经过smile2day'sanswer的一些提示后和thisanswer，我得出以下解决方案:FactoryGirl.

  6. ruby - 续集:如何使用分组和计数 - 2

    简单地说，我如何使用Sequel执行此查询？selecta.id,count(t.id)fromalbumsarightjointrackstont.album_id=a.idgroupbya.id 最佳答案 DB[:albums___a].right_join(:tracks___t,:album_id=>:id).select_group(:a__id).select_more{count(:t__id)} 关于ruby-续集:如何使用分组和计数，我们在StackOverflow上找

  7. ruby-on-rails - RSpec 检查数组的计数 - 2

    我正在测试我的ControllerAction以供练习。在我的Controller中，我只想从我的数据库中按名称获取所有不同的产品:defshop@products=Product.select('distincton(name)*').sort_by&:orderend我已经手动检查过了，它工作正常。现在我正在使用我的RSpec设置我的测试，我想测试@products是一个大于0的数组:RSpec.describePagesController,type::controllerdodescribe'GET#shop'doit'shouldgetallproudcts'doget:sh

  8. arrays - ruby 中的最佳排列计数算法 - 2

    我正在尝试计算由二进制形式的1和0的P数表示的数字的数量。如果P=2，则表示的数字为0011、1100、0110、0101、1001、1010，所以计数为6。我试过:[0,0,1,1].permutation.to_a.uniq但这不是大数的最佳解决方案(P可以什么可能是最好的排列技术，或者我们是否有任何直接的数学来做到这一点？ 最佳答案 Numberofpermutationcanbecalculatedusingfactorial.a=[0,0,1,1](1..a.size).inject(:*)#=>4!=>24要计算重复项，

  9. ruby-on-rails - Rails 计数器缓存及其实现 - 2

    我正在尝试掌握Rails计数器缓存功能，但无法完全掌握它。假设我们有3个模型ABCA属于B或C，取决于字段key_type和key_id。key_type表示A属于B还是C，因此如果key_type="B"则记录属于B，否则属于C。在我的模型a.rb中，我定义了以下关联:belongs_to:b,:counter_cache=>true,:foreign_key=>"key_id"belongs_to:c,:counter_cache=>true,:foreign_key=>"key_id"和在b和c模型文件中has_many:as,:conditions=>{:key_type=>"

  10. sql - 在 Rails 中进行计数的正确方法是什么？ - 2

    我有一个包含以下许多代码片段的Rails应用程序:Ouractivecommunityof我的问题是，这是计算观看次数的正确方法吗？看起来很“肮脏”，有没有更粗鲁的方法来计算？我可能在考虑命名范围，但我只是想确保这些类型的东西不会对性能产生更大的影响。谢谢你， 最佳答案 您不需要名称范围来执行计数。Account.where(:admin=>false).count但是命名作用域是使您的代码更具可重用性的绝佳方式。命名范围不会对您的应用程序产生任何明显的性能影响。 关于sql-在Rail

随机推荐