jjzjj

hadoop - 作业跟踪器和名称节点不以 start-all.sh 开头

coder 2024-01-09 原文

我正在尝试安装 hadoop 单节点，但它无法正常工作。

当我执行 start-all.sh name node 和 job tracker 时，不要启动。

您是否在我的文件中看到什么可能是错误的，所以我得到了这个结果？

hadoop jps 命令的结果:

14878 日元

14823 任务追踪器

14605 二级名称节点

14456 数据节点

start-all.sh 命令的结果:

admin@vm-sgd10:/usr/local$ start-all.sh
    starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-admin-namenode-vm-10.vd.uk.pt.out
    localhost: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-admin-datanode-vm-10.vd.uk.pt.out
    localhost: starting secondarynamenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-admin-secondarynamenode-vm-10.vd.uk.pt.out
    starting jobtracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-admin-jobtracker-vm-10.vd.uk.pt.out
    localhost: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-admin-tasktracker-vm-10.vd.uk.pt.out

core-site.xml 文件:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://vm-10:10001</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

ma​​pred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>vm-10:10002</value>
</property>
</configuration>

hadoop-env.sh 文件:

 # The java implementation to use.  Required.
   export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
 # Extra Java runtime options.  Empty by default.
   export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true

日志中出现的内容:

2015-03-10 12:24:11,698 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.net.BindException: Problem binding to vm-10/10.17.0.24:10001 $
        at org.apache.hadoop.ipc.Server.bind(Server.java:267)
        at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:341)
        at org.apache.hadoop.ipc.Server.<init>(Server.java:1539)
        at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:569)
        at org.apache.hadoop.ipc.RPC.getServer(RPC.java:530)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:324)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
Caused by: java.net.BindException: Cannot assign requested address

最佳答案

如果您还没有尝试过两件事，您可以尝试一下。

  1. 首先再次格式化namenode。
  2. 按此顺序分别启动守护进程，namenode、datanode、jobtracker 和 tasktracker。您还可以包括 secondarynamenode。

此外，清除您的 tmp 文件夹。您使用的是哪个版本的 hadoop？ -H

关于hadoop - 作业跟踪器和名称节点不以 start-all.sh 开头，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/28916940/

跟踪器start-allhadoopstrongNameNode

有关hadoop - 作业跟踪器和名称节点不以 start-all.sh 开头的更多相关文章

  1. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby-on-rails - ActiveRecord destroy_all - 2

    在Rails4.1中，ActiveRecorddestroy_all是否将整个函数包装在一个事务中？例如，如果我有一堆记录，我对其执行了destroy_all操作，它们对这些单独的对象运行了一些回调，其中一个失败了，整个操作会在那个时候回滚吗？ 最佳答案 看起来不像:#Fileactiverecord/lib/active_record/relation.rb,line386defdestroy_all(conditions=nil)ifconditionswhere(conditions).destroy_allelseto_a.

  4. ruby-on-rails - 在所有延迟的作业之前 Hook - 2

    是否可以在所有delayed_job任务之前运行一个方法？基本上，我们试图确保每个运行delayed_job的服务器都有我们代码的最新实例，所以我们想运行一个方法来在每个作业运行之前检查它。(我们已经有了“check”方法并在别处使用它。问题只是关于如何从delayed_job中调用它。) 最佳答案 现在有一种官方方法可以通过插件来做到这一点。这篇博文通过示例清楚地描述了如何执行此操作http://www.salsify.com/blog/delayed-jobs-callbacks-and-hooks-in-rails(本文中描述

  5. ruby - Sinatra 不以 twitter gem 开头 - 2

    当我尝试启动sinatra时，出现以下错误/var/lib/gems/1.9.1/gems/sinatra-1.4.4/lib/sinatra/base.rb:1488:instart_server':undefinedmethodrun'forHTTP:模块(NoMethodError)require'sinatra/base'require_relative"twt.rb"classSinatraApp在“twt.rb”中我需要Twitter(5.7.1)require'twitter'classTwitattr_accessor:clientdefinitialize(consu

  6. ruby - caches_page :all - 2

    有什么方法可以告诉Rails3在给定的Controller中缓存所有页面，而不必在调用caches_page时列出所有页面？我尝试了caches_page:all，但它不起作用。 最佳答案 有点像实现的错误，但我刚刚尝试过它并且它适用于Rails3.0.6:caches_page:except=>[] 关于ruby-caches_page:all，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/que

  7. ruby - 强制 Ruby 不以标准形式/科学记数法/指数记数法输出 float - 2

    我遇到了同样的问题here对于python，但对于ruby​​。我需要输出这样一个小数字:0.00001，而不是1e-5。有关我的特定问题的更多信息，我正在使用f.write("Mynumber:"+small_number.to_s+"\n")输出到一个文件对于我的问题，准确性不是什么大问题，所以只做一个if语句来检查是否small_number那么更通用的方法是什么？ 最佳答案 f.printf"Mynumber:%.5f\n",small_number您可以将.5(小数点右侧5位数字)替换为您喜欢的任何特定格式大小，例如，%8

  8. ruby-on-rails - find_all 数组中符合条件的元素？ - 2

    我有一个哈希条目数组，并希望根据传递给函数的参数进行过滤。如果散列中有三个值，A、B和C，我想做类似的事情:data=[{A:'a1',B:'b1',C:'c1'},{A:'a1',B:'b2',C:'c1'},{A:'a1',B:'b2',C:'c2'},{A:'a2',B:'b1',C:'c1'},{A:'a2',B:'b2',C:'c1'}]data.find_all{|d|d[:A].include?params[:A]}.find_all{|d|d[:B].include?params[:B]}.find_all{|d|d[:C].include?params[:C]}找到所

  9. ruby - 如何从 URL 中删除 Google 跟踪参数 (UTM)？ - 2

    我有一堆要清理的URL。它们都包含UTM参数，在这种情况下不是必需的，或者是有害的。示例:http://houseofbuttons.tumblr.com/post/22326009438?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed%3A+HouseOfButtons+%28House+of+Buttons%29所有可能的参数都以utm_开头。如何使用ruby​​脚本/结构轻松删除它们而不破坏其他潜在的“好”URL参数？ 最佳答案 您可以将正则表达式应用于url以清

  10. ruby - 脚本在命令行中成功执行但不是作为 cron 作业 - 2

    我有一个bash脚本，它运行一个ruby​​脚本来获取我的Twitter提要。##/home/username/twittercron#!/bin/bashcd/home/username/twitterrubytwitter.rbfriends命令行运行成功/home/username/twittercron但是当我尝试将它作为cronjob运行时，它运行了但无法获取提要。##crontab-e*/15*****/home/username/twittercron脚本已经chmod+x。不知道为什么会这样。有什么想法吗？ 最佳答案

随机推荐