我的操作系统是 Ubuntu 15.04 & Hadoop 版本是 2.7.0 通过 tar -xzf hadoop2.7.0.tar.gz 来自官网。
还有一些环境如下: (我没有足够的声誉。哈哈)
主机文件:
配置并启动journalnode后,出现一个疑惑的问题:
我处理了很长时间。有人可以帮助我吗?
这些是我的配置文件:
核心站点.xml:
hdfs-site.xml:
mapred-site.xml:
最佳答案
在 Ubuntu 15.04 中尝试以下设置
$ sudo apt-get 更新
$ sudo apt-get install default-jdk
$java -version
$ sudo apt-get install ssh
$ sudo apt-get 安装 rsync
$ ssh-keygen -t dsa -P ' ' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ wget -c http://apache.mirrors.lucidnetworks.net/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz
$ sudo tar -zxvf hadoop-2.7.0.tar.gz
$ sudo mv hadoop/usr/local/hadoop
$ update-alternatives --config java
$ sudo nano ~/.bashrc
#Hadoop Variables
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
$源~/.bashrc
$ cd/usr/local/hadoop/etc/hadoop
$ sudo nano hadoop-env.sh
#The java implementation to use.
export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
$ sudo nano 核心站点.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
$ sudo nano yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value> org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
$ sudo cp mapred.site.xml.template mapred-site.xml
$ sudo nano mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
$ sudo nano hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_store/hdfs/datanode</value>
</property>
</configuration>
$光盘
$ mkdir -p/usr/local/hadoop/hadoop_data/hdfs/namenode
$ mkdir -p/usr/local/hadoop/hadoop_data/hdfs/datanode
$ sudo chown chaal:chaal -R/usr/local/hadoop
$ hdfs 名称节点格式
$启动-all.sh
$日元
http://192.168.56.10:8088/ http://192.168.56.10:50070/
我怀疑你在主从级别上有一些不正确的配置。请从上面的安装文档开始新的配置,它将起作用。以上链接适用于 Ubuntu 14.04,但它也适用于其他 Ubuntu 版本。
关于未启用 Ubuntu Hadoop 2.7 HA,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30665532/
在启用Rack::Deflater来gzip我的响应主体时偶然发现了一些奇怪的东西。也许我遗漏了一些东西,但启用此功能后,响应被压缩,但是资源的ETag在每个请求上都会发生变化。这会强制应用程序每次都响应,而不是发送304。这在没有启用Rack::Deflater的情况下有效,我已经验证页面源没有改变。我正在运行一个使用thin作为Web服务器的Rails应用程序。Gemfile.lockhttps://gist.github.com/2510816有没有什么方法可以让我从Rack中间件获得更多的输出,这样我就可以看到发生了什么?提前致谢。 最佳答案
出于某种原因,我必须为Firefox禁用javascript(手动,我们按照提到的步骤执行http://support.mozilla.org/en-US/kb/javascript-settings-for-interactive-web-pages#w_enabling-and-disabling-javascript)。使用Ruby的SeleniumWebDriver如何实现这一点? 最佳答案 是的,这是可能的。而是另一种方式。您首先需要查看链接Selenium::WebDriver::Firefox::Profile#[]=
我在test.rb中做了这个:defsome_methodp"Firstdefinition"enddefsome_methodp"Seconddefinition"endsome_method当我调用rubytest.rb时,它打印出Seconddefinition(预期)当我调用ruby-wtest.rb时,它会打印Seconddefinition(预期)并打印警告test。rb:5:警告:方法重新定义;丢弃旧的some_method有没有办法在Rails中启用这些警告?(并将警告打印到控制台/日志文件)为什么我要启用警告:例如,如果我无意中重新定义Controller中的一个方法
我正在努力在Ruby中创建启用SSL的服务器,以及与服务器一起使用的相应Ruby客户端。为了进行测试,我使用以下命令创建了自己的根CA证书。$:~/devel/ssl-test/ssl/CA$opensslgenrsa-outTestCA.key2048GeneratingRSAprivatekey,2048bitlongmodulus............+++...........................+++eis65537(0x10001)$:~/devel/ssl-test/ssl/CA$opensslreq-new-keyTestCA.key-outTestCA.
我正在使用带有prygem的RubyonRails。当rake任务期间发生错误时,我得到一个非常好的堆栈跟踪。然而,当我在我的Rails控制台中执行某些触发异常的操作时,我只能看到错误消息和触发它的一行代码(大部分时间在Rails核心中的某个地方)。有没有办法在控制台中启用这些堆栈转储? 最佳答案 我自己找到了解决方案。显然,我需要pry附带的命令wtf?。[7]project»p.known_attributesNoMethodError:undefinedmethod`foo'for#from/[...]/gems/active
我想用Sinatra编写一个快速服务器应用程序。它必须是独立的(即不使用apache/nginx/passenger)但也必须支持SSL。是否有一种简单的方法可以为Sinatra启用SSL支持(例如使用WEBRick)? 最佳答案 要使用MRIruby执行此操作,请使用以下monkeypatch:sinatra_ssl.rb:require'webrick/https'moduleSinatraclassApplicationdefself.run!certificate_content=File.open(ssl_certif
在ruby中,你可以这样做:d=[1,2,3]a,b,c=da、b和c将分别接收值1、2和3。d,在本例中是一个Array,ruby知道将其内容分配给a、b,和c。但是,如果d是一个Fixnum,例如,只有a会被分配给d的值,而b和c将被分配nil。d的哪些属性允许它用于多重赋值?到目前为止,在我的探索中,我只能使Array的子类实例以这种方式运行。 最佳答案 这是一个非常没有文档记录的功能,我会谨慎使用它,但我们开始吧。摘自《TheRubyProgrammingLanguage》一书:Whentherearemultiplelva
我正在尝试使用JRuby运行我的rspec:rakespec结果是:jruby-Sbundleexecrspec--colorspec/foo_spec.rb没有颜色出现,所以我从等式中删除了Jruby:bundleexecrspec--colorspec/foo_spec.rb没有颜色。如何将“--color”选项传递给rspec?我的项目的根目录中还有一个.rspec文件,在这些情况下似乎没有帮助。然而,.rspec文件在我刚刚运行时被拾取或使用:rspecspec/foo_spec.rb有什么想法吗? 最佳答案 将--tty添
对运行缓慢的SQL查询自动进行EXPLAIN。此功能已从Rails4中删除。config.active_record.auto_explain_threshold_in_seconds=0.5我们发现它在受控情况下很有用。我未能找到以下问题的答案。删除自动解释的基本原理是什么?(我确信原因是合理的,但我找不到它们是什么。)有没有办法在我的Rails4代码库中重新引入自动解释?(找不到gem,也找不到任何在线信息) 最佳答案 Here是删除auto_explain的提交。看起来原因是它很少使用,并且在Assets管道中存在一些问题。正
我想安装一个gem,但出现以下错误:Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtwitter-login:ERROR:Failedtobuildgemnativeextension.C:/nwcloud/jruby-1.7.2/bin/jruby.exeextconf.rbNotImplementedError:Cextensionsupportisnotenabled.Pass-Xcext.enabled=truetoJRubyorsetJRUBY_OPTSormodify.jrubyrct