jjzjj

hadoop - reducer 阶段根本没有启动。它总是 'reducer=0%'

coder 2024-01-09 原文

我一直在等待 reducer 阶段开始，但它没有开始。我试过格式化名称节点，但仍然是同样的问题。无论 reducer 必须运行在哪里，我都会遇到这个问题。任何人都可以在这方面帮助我。

hive> LOAD DATA LOCAL INPATH '/home/training/Desktop/student_performs_CSV.csv' OVERWRITE INTO TABLE stud_marks;
Copying data from file:/home/training/Desktop/student_performs_CSV.csv
Copying file: file:/home/training/Desktop/student_performs_CSV.csv
Loading data to table default.stud_marks
Deleted hdfs://localhost:9000/user/hive/warehouse/stud_marks
OK
Time taken: 1.633 seconds
hive> select count(*) from stud_marks;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
  set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
  set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
  set mapred.reduce.tasks=<number>
Starting Job = job_201211141618_0002, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201211141618_0002
Kill Command = /home/training/Installations/hadoop-1.0.3/libexec/../bin/hadoop job  -Dmapred.job.tracker=localhost:9001 -kill job_201211141618_0002
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2012-11-14 16:48:29,822 Stage-1 map = 0%,  reduce = 0%
2012-11-14 16:48:42,270 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:43,349 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:44,429 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:45,507 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec
2012-11-14 16:48:46,580 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.39 sec

..
.
.
.
.
.
.
2012-11-14 16:56:44,394 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
2012-11-14 16:56:45,417 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec
2012-11-14 16:56:46,449 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 54.9 sec

最佳答案

您只是试图将数据从本地机器加载到 HIVE 表中。在 HIVE 中，此操作不会启动任何 reduce 阶段，加载数据发生在 map 阶段，并且在 reduce 阶段不会执行任何操作。

要查找一些 reduce 任务，请尝试使用“group by”等操作进行一些其他 HIVE 查询。

关于hadoop - reducer 阶段根本没有启动。它总是 'reducer=0%'，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/13378391/

reducerampreduceCumulativeStagehadoopmapreducehive

有关hadoop - reducer 阶段根本没有启动。它总是 'reducer=0%'的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗？当我运行compasswatch时，它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行？文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们？我自己编译的.sass文件编译成compiled/t

  3. ruby - 难道Lua没有和Ruby的method_missing相媲美的东西吗？ - 2

    我好像记得Lua有类似Ruby的method_missing的东西。还是我记错了？ 最佳答案 表的metatable的__index和__newindex可以用于与Ruby的method_missing相同的效果。 关于ruby-难道Lua没有和Ruby的method_missing相媲美的东西吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/7732154/

  4. ruby-on-rails - Rails 3.2.1 中 ActionMailer 中的未定义方法 'default_content_type=' - 2

    我在我的项目中添加了一个系统来重置用户密码并通过电子邮件将密码发送给他，以防他忘记密码。昨天它运行良好(当我实现它时)。当我今天尝试启动服务器时，出现以下错误。=>BootingWEBrick=>Rails3.2.1applicationstartingindevelopmentonhttp://0.0.0.0:3000=>Callwith-dtodetach=>Ctrl-CtoshutdownserverExiting/Users/vinayshenoy/.rvm/gems/ruby-1.9.3-p0/gems/actionmailer-3.2.1/lib/action_mailer

  5. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常，我可以创建项目。但是在我输入“railsnew”时重新启动后，我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  6. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  7. ruby - 主要 :Object when running build from sublime 的未定义方法 `require_relative' - 2

    我已经从我的命令行中获得了一切，所以我可以运行rubymyfile并且它可以正常工作。但是当我尝试从sublime中运行它时，我得到了undefinedmethod`require_relative'formain:Object有人知道我的sublime设置中缺少什么吗？我正在使用OSX并安装了rvm。 最佳答案 或者，您可以只使用“require”，它应该可以正常工作。我认为“require_relative”仅适用于ruby​​1.9+ 关于ruby-主要:Objectwhenrun

  8. ruby - 无法让 RSpec 工作—— 'require' : cannot load such file - 2

    我花了三天的时间用头撞墙，试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上，从现在开始，您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳

  9. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem，所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  10. ruby-on-rails - 新 Rails 项目 : 'bundle install' can't install rails in gemfile - 2

    我已经像这样安装了一个新的Rails项目:$railsnewsite它执行并到达:bundleinstall但是当它似乎尝试安装依赖项时我得到了这个错误Gem::Ext::BuildError:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcheckingforlibkern/OSAtomic.h...yescreatingMakefilemake"DESTDIR="cleanmake"DESTDIR="

随机推荐