jjzjj

未启用 Ubuntu Hadoop 2.7 HA

coder 2024-01-10 原文

我的操作系统是 Ubuntu 15.04 & Hadoop 版本是 2.7.0 通过 tar -xzf hadoop2.7.0.tar.gz 来自官网。

还有一些环境如下: (我没有足够的声誉。哈哈)

主机文件:

配置并启动journalnode后,出现一个疑惑的问题:

我处理了很长时间。有人可以帮助我吗?

这些是我的配置文件:

核心站点.xml:

hdfs-site.xml:

mapred-site.xml:

最佳答案

在 Ubuntu 15.04 中尝试以下设置

$ sudo apt-get 更新

$ sudo apt-get install default-jdk

$java -version

$ sudo apt-get install ssh

$ sudo apt-get 安装 rsync

$ ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

$ wget -c http://apache.mirrors.lucidnetworks.net/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz

$ sudo tar -zxvf hadoop-2.7.0.tar.gz

$ sudo mv hadoop/usr/local/hadoop

$ update-alternatives --config java

$ sudo nano ~/.bashrc

      #Hadoop Variables
      export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
      export HADOOP_HOME=/usr/local/hadoop
      export PATH=$PATH:$HADOOP_HOME/bin
      export PATH=$PATH:$HADOOP_HOME/sbin
      export HADOOP_MAPRED_HOME=$HADOOP_HOME
      export HADOOP_COMMON_HOME=$HADOOP_HOME
      export HADOOP_HDFS_HOME=$HADOOP_HOME
      export YARN_HOME=$HADOOP_HOME
      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
      export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

$源~/.bashrc

$ cd/usr/local/hadoop/etc/hadoop

$ sudo nano hadoop-env.sh

      #The java implementation to use.
      export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"

$ sudo nano 核心站点.xml

      <configuration>
              <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://localhost:9000</value>
              </property>
      </configuration>

$ sudo nano yarn-site.xml

      <configuration>
              <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
              <property>
              <property>
                  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                  <value> org.apache.hadoop.mapred.ShuffleHandler</value>
              </property>
      </configuration>

$ sudo cp mapred.site.xml.template mapred-site.xml

$ sudo nano mapred-site.xml

      <configuration>
              <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
              </property>
      </configuration>

$ sudo nano hdfs-site.xml

      <configuration>
              <property>
                  <name>dfs.replication</name>
                  <value>1</value>
              </property>
              <property>
                  <name>dfs.namenode.name.dir</name>
                  <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
              </property>
              <property>
                  <name>dfs.datanode.data.dir</name>
                  <value>file:/usr/local/hadoop/hadoop_store/hdfs/datanode</value>
              </property>
      </configuration>

$光盘

$ mkdir -p/usr/local/hadoop/hadoop_data/hdfs/namenode

$ mkdir -p/usr/local/hadoop/hadoop_data/hdfs/datanode

$ sudo chown chaal:chaal -R/usr/local/hadoop

$ hdfs 名称节点格式

$启动-all.sh

$日元

http://192.168.56.10:8088/ http://192.168.56.10:50070/

我怀疑你在主从级别上有一些不正确的配置。请从上面的安装文档开始新的配置,它将起作用。以上链接适用于 Ubuntu 14.04,但它也适用于其他 Ubuntu 版本。

关于未启用 Ubuntu Hadoop 2.7 HA,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30665532/

有关未启用 Ubuntu Hadoop 2.7 HA的更多相关文章

  1. ruby-on-rails - 启用 Rack::Deflater 时 ETag 发生变化 - 2

    在启用Rack::Deflater来gzip我的响应主体时偶然发现了一些奇怪的东西。也许我遗漏了一些东西,但启用此功能后,响应被压缩,但是资源的ETag在每个请求上都会发生变化。这会强制应用程序每次都响应,而不是发送304。这在没有启用Rack::Deflater的情况下有效,我已经验证页面源没有改变。我正在运行一个使用thin作为Web服务器的Rails应用程序。Gemfile.lockhttps://gist.github.com/2510816有没有什么方法可以让我从Rack中间件获得更多的输出,这样我就可以看到发生了什么?提前致谢。 最佳答案

  2. ruby - 使用 Selenium WebDriver 启用/禁用 javascript - 2

    出于某种原因,我必须为Firefox禁用javascript(手动,我们按照提到的步骤执行http://support.mozilla.org/en-US/kb/javascript-settings-for-interactive-web-pages#w_enabling-and-disabling-javascript)。使用Ruby的SeleniumWebDriver如何实现这一点? 最佳答案 是的,这是可能的。而是另一种方式。您首先需要查看链接Selenium::WebDriver::Firefox::Profile#[]=

  3. ruby-on-rails - 如何在 Rails 中启用 Ruby 警告? - 2

    我在test.rb中做了这个:defsome_methodp"Firstdefinition"enddefsome_methodp"Seconddefinition"endsome_method当我调用rubytest.rb时,它打印出Seconddefinition(预期)当我调用ruby-wtest.rb时,它会打印Seconddefinition(预期)并打印警告test。rb:5:警告:方法重新定义;丢弃旧的some_method有没有办法在Rails中启用这些警告?(并将警告打印到控制台/日志文件)为什么我要启用警告:例如,如果我无意中重新定义Controller中的一个方法

  4. ruby - 为什么这个启用 SSL 的 Ruby 服务器/客户端测试有效? - 2

    我正在努力在Ruby中创建启用SSL的服务器,以及与服务器一起使用的相应Ruby客户端。为了进行测试,我使用以下命令创建了自己的根CA证书。$:~/devel/ssl-test/ssl/CA$opensslgenrsa-outTestCA.key2048GeneratingRSAprivatekey,2048bitlongmodulus............+++...........................+++eis65537(0x10001)$:~/devel/ssl-test/ssl/CA$opensslreq-new-keyTestCA.key-outTestCA.

  5. ruby - 在 Rails 控制台中启用异常堆栈转储 - 2

    我正在使用带有prygem的RubyonRails。当rake任务期间发生错误时,我得到一个非常好的堆栈跟踪。然而,当我在我的Rails控制台中执行某些触发异常的操作时,我只能看到错误消息和触发它的一行代码(大部分时间在Rails核心中的某个地方)。有没有办法在控制台中启用这些堆栈转储? 最佳答案 我自己找到了解决方案。显然,我需要pry附带的命令wtf?。[7]project»p.known_attributesNoMethodError:undefinedmethod`foo'for#from/[...]/gems/active

  6. ruby - 如何为独立的 Sinatra 应用程序启用 SSL? - 2

    我想用Sinatra编写一个快速服务器应用程序。它必须是独立的(即不使用apache/nginx/passenger)但也必须支持SSL。是否有一种简单的方法可以为Sinatra启用SSL支持(例如使用WEBRick)? 最佳答案 要使用MRIruby​​执行此操作,请使用以下monkeypatch:sinatra_ssl.rb:require'webrick/https'moduleSinatraclassApplicationdefself.run!certificate_content=File.open(ssl_certif

  7. Ruby - 覆盖/启用多重分配(例如 `a, b, c = d, e, f` ) - 2

    在ruby中,你可以这样做:d=[1,2,3]a,b,c=da、b和c将分别接收值1、2和3。d,在本例中是一个Array,ruby知道将其内容分配给a、b,和c。但是,如果d是一个Fixnum,例如,只有a会被分配给d的值,而b和c将被分配nil。d的哪些属性允许它用于多重赋值?到目前为止,在我的探索中,我只能使Array的子类实例以这种方式运行。 最佳答案 这是一个非常没有文档记录的功能,我会谨慎使用它,但我们开始吧。摘自《TheRubyProgrammingLanguage》一书:Whentherearemultiplelva

  8. ruby - 使用 JRuby 或 bundle exec 时如何使用 rspec 启用颜色? - 2

    我正在尝试使用JRuby运行我的rspec:rakespec结果是:jruby-Sbundleexecrspec--colorspec/foo_spec.rb没有颜色出现,所以我从等式中删除了Jruby:bundleexecrspec--colorspec/foo_spec.rb没有颜色。如何将“--color”选项传递给rspec?我的项目的根目录中还有一个.rspec文件,在这些情况下似乎没有帮助。然而,.rspec文件在我刚刚运行时被拾取或使用:rspecspec/foo_spec.rb有什么想法吗? 最佳答案 将--tty添

  9. ruby - 重新启用 Rails 4 自动解释 - 2

    对运行缓慢的SQL查询自动进行EXPLAIN。此功能已从Rails4中删除。config.active_record.auto_explain_threshold_in_seconds=0.5我们发现它在受控情况下很有用。我未能找到以下问题的答案。删除自动解释的基本原理是什么?(我确信原因是合理的,但我找不到它们是什么。)有没有办法在我的Rails4代码库中重新引入自动解释?(找不到gem,也找不到任何在线信息) 最佳答案 Here是删除auto_explain的提交。看起来原因是它很少使用,并且在Assets管道中存在一些问题。正

  10. ruby - 如何在 jRuby 中启用 C 扩展支持? - 2

    我想安装一个gem,但出现以下错误:Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtwitter-login:ERROR:Failedtobuildgemnativeextension.C:/nwcloud/jruby-1.7.2/bin/jruby.exeextconf.rbNotImplementedError:Cextensionsupportisnotenabled.Pass-Xcext.enabled=truetoJRubyorsetJRUBY_OPTSormodify.jrubyrct

随机推荐