我是Hadoop编程的新手，我已经通过在三节点集群上设置Hadoop2.7.1开始学习。我试过在Hadoop中运行开箱即用的helloworldjar，它运行良好并成功，但我在本地机器上编写了自己的驱动程序代码并将其捆绑到一个jar中并以这种方式执行但它失败了，没有错误消息。这是我的代码，这就是我所做的。WordCountMapper.javapackagemot.com.bin.test;importjava.io.IOException;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWri
最后编辑我通过将许多不同的答案混合在一起来修复它。首先，我更改了以下权利:/usr/local/hadoop_store/hdfs/namenode/usr/local/hadoop_store/hdfs/datanode到777。然后我运行stop-all.sh并重新启动hadoop。这个问题应该关闭吗？我知道这以前用过，但提问者似乎使用的是更旧的版本。另外，没有一个答案对我有帮助。我在Ubuntu15.10上安装了hadoop2.7.0并完全按照以下教程操作:https://www.digitalocean.com/community/tutorials/how-to-instal
我们最近决定在多个集群(具体版本各不相同)上为HadoopNameNode启用GC日志记录，以帮助调查与NameNode相关的内存和垃圾收集问题。我们希望集群中的所有NameNode(事件和备用或主要和次要)都这样做。我们还想避免两个我们知道可能会发生的问题:当NameNode因任何原因重启时覆盖日志文件日志使用过多的磁盘空间，导致磁盘被填满当为进程启动JavaGC日志记录时，它似乎会替换任何具有相同名称的文件的内容。这意味着除非您小心，否则您将丢失GC日志记录，也许在您更有可能需要它的时候。如果您让集群运行足够长的时间，日志文件将填满磁盘，除非进行管理。即使GC日志记录目前不是很多，
当通过执行命令“bin/hadoopnamenode-format”格式化namenode时，我得到这个错误:hduser@ubuntu:~/hadoop/bin$./hadoopnamenode-format弃用:不推荐使用此脚本执行hdfs命令。而是使用hdfs命令。错误:无法找到或加载主类org.apache.hadoop.hdfs.server.namenode.NameNode 最佳答案 尝试删除所有hadoop临时数据rm-Rf/app/hadoop/tmp/*然后再尝试格式化
我在启动时在远程服务器上安装hadoophdfs名称节点格式出现错误java.net.UnknownHostException:Web:Web:unknownerror我已经配置了所有需要的文件16/10/1414:28:38INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=java.net.UnknownHostException:Web:Web:unkno
假设在Hadoop集群中我们有2个机架rck1和rck2。每个机架有5个节点。Namenode如何知道节点1属于机架1，节点3属于机架2。 最佳答案 您必须配置系统以指定机架信息的确定方式。例如，thisClouderalink告诉您如何在ClouderaManager中为主机配置机架。或者，thisApachelink解释了如何通过配置文件在java类的外部脚本中指定此信息。拓扑通常采用/myrack/myhost形式，但您可以使用更深的层次结构。他们在python中有以下示例，它假设每个机架有一个/24子网，因此提取IP地址的前
我在HA集群中使用hadoopapache2.7.1。我需要更新两个名称节点的堆内存，所以我更新了hadoop-env.sh中的属性HADOOP_NAMENODE_OPTS为8gbexportHADOOP_NAMENODE_OPTS="-Xmx8192m$HADOOP_NAMENODE_OPTS"所以我的名称节点中的堆大小现在是8GB但是我在hadoop-env.sh中实现了参数HADOOP_HEAPSIZE我没有给它任何值(value)将HADOOP_NAMENODE_OPTS设置为8GB是否足够，还是我们也应该将HADOOP_HEAPSIZE设置为8GB？我的意思是HADOOP_N
我是hadoop新手，我尝试在我的vm中安装hadoop3.0，在我配置hadoop之后，然后尝试:hdfsnamenode‐format得到输出:2017-12-2600:20:56,255INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MSG:StartingNameNodeSTARTUP_MSG:host=localhost/127.0.0.1STARTUP_MSG:args=[‐format]STARTUP_MSG:ver
我已经拍摄了我的集群的快照。以下是我的发现:SafemodeisONConfiguredCapacity:47430737653760(43.14TB)PresentCapacity:20590420062208(18.73TB)DFSRemaining:19343468953600(17.59TB)DFSUsed:1246951108608(1.13TB)DFSUsed%:6.06%Underreplicatedblocks:2Blockswithcorruptreplicas:0Missingblocks:0-------------------------------------
我想知道hadoop中Namenode和Datanode使用的具体端口号的通信协议(protocol)。假设，如果我在Namenode中编写以下命令，hdfsdfsadmin-report它将显示实时节点(名称节点和数据节点)的详细信息，有多少数据节点等。我的问题是名称节点和数据节点如何通信？通过哪个端口？我实际上使用上述命令只获得了1个数据节点，而在我的集群中，有8个数据节点。所以，我不确定是否有任何portblockingofnetworking是由这个引起的!!我的防火墙在名称节点和所有数据节点中被禁用。我已经通过返回inactive的sudoufwstatus命令检查了这一点。
