我正在尝试将Hadoop3.1.0安装到两个虚拟机中:第一台机器包含一个名称节点和一个数据节点，第二台机器包含一个数据节点。我关注了这篇文章InstallHadoop3.0.0multi-nodeclusteronUbuntu.在我执行start-dfs.sh和start-yarn.sh命令之前，一切都很顺利。当我在Name节点上运行Jps命令时，它显示以下结果:16488NameNode16622DataNode17215NodeManager17087ResourceManager17530Jps16829SecondaryNameNode当我在数据节点上运行它时，它显示:2306

我构建了HDFS(2个数据节点)。我将数据存储在HDFS的数据节点中。我想使用两个数据节点平衡存储数据。但是当我使用CLI(hadoopfs-put)时，我只存储了一个数据节点有没有人知道如何将数据准确地存储为两个单独的数据？ 最佳答案 听起来你在问如何设置复制因子。如果你有2个数据节点，复制因子2将确保所有文件都存储在两个节点上。您可以在Hadoopconf目录中的hdfs-site.xml中进行设置。你想设置:dfs.replication2您还可以运行setrep命令来更改特定文件或目录的复制因子:hadoopfs-setre

环境:Hadoop3.0.01个NameNode，5个DataNode我在mapred-site.yml上配置如下限制同时运行3maptask:mapreduce.framework.nameyarnmapreduce.tasktracker.map.tasks.maximum3Themaximumnumberofmaptasksthatwillberunsimultaneouslybyatasktracker.mapreduce.tasktracker.reduce.tasks.maximum3Themaximumnumberofreducetasksthatwillberunsim

我有3个节点的Hadoop2.7.3集群，可以描述如下:节点A:25gb，DataNode，NameNode节点B:50gb，DataNode节点C:25gb，DataNode问题是节点A上的磁盘使用率很高(大约95%)。我想实现的是限制磁盘使用率，使其永远不会超过85%。我尝试将dfs.namenode.resource.du.reserved属性设置为大约3gb，但这并没有解决我的问题，因为只要可用磁盘空间低于该值，我的Hadoop就会立即进入安全模式.我知道所有必需的资源都必须可供NN继续运行，并且只要任何冗余资源可用，NN就会继续运行。此外，我知道定义所需资源的dfs.name

我创建了一个具有1个主节点和2个从属节点的Hadoop集群。所有服务都在节点中运行。Datanode和Nodemanager在slave1和slave2上处于Activity状态。Namenode，Datanode，Nodemanager，ResourceManager和SecondaryNameNode在主节点上处于Activity状态。但是在Live节点的一部分中，NameNode的WebUI(localhost:50070)显示1个节点(主节点)，而yarn的WebUI则显示1个Activity节点。完成以下工作:禁用防火墙。所有节点之间的无密码ssh连接。主机名配置。将Hado

我的Hadoop集群运行没有任何错误。我不知道发生了什么变化，但是当我尝试使用master的start-all.sh命令启动Hadoop组件时，我使用jps命令检查正在运行的进程，发现DataNode在从属节点中不起作用。数据节点日志如下。Hadoop安装版本(1.0.4)在集群中的机器上是相同的。我找不到解决问题的方法。2013-09-1809:35:21,638INFOorg.apache.hadoop.hdfs.server.datanode.DataNode:STARTUP_MSG:/***********************************************

需要明确的是，我不是在询问HDFS中的权限设置，而是在ext3中或在HDFS运行于其上的各个数据节点机器上使用的任何文件系统中。p>我知道我们设置了sudochownhduser:hadoop/app/hadoop/tmp，所以用户hduser是文件所有者，但是我想知道这些文件的权限位(chmod)指南。 最佳答案 如果您将权限设置为755(更糟的是777)，则底层文件系统中的文件可以被任何人读取，这肯定是一个安全问题。诸如700之类的限制性权限配置是有一定意义的。这可以防止未经授权的用户简单地从本地磁盘打开和读取文件，而不是使用H

我正在使用hadoop2.4.0进行测试。我必须在我的机器上配置hadoop，这样我才能在伪分布式模式下运行hadoop，这样我就可以在我的机器上独立测试。我也想让我的机器成为集群的一部分。但我认为，当数据节点和少数其他具有默认端口的服务试图在同一端口上运行时，就会出现问题。那么任何人都可以指导我，我怎样才能做到这一点。谢谢 最佳答案 更改hdfs-site.xml中的以下设置:dfs.datanode.address(例如:0.0.0.0:50010)dfs.datanode.ipc.addressdfs.datanode.htt

我在google中搜索以查找有关如何调整值的信息-DataNodemaximumJavaheapsize，除了这个-https://community.hortonworks.com/articles/74076/datanode-high-heap-size-alert.htmlhttps://docs.oracle.com/cd/E19900-01/819-4742/abeik/index.html但未找到计算DataNode最大Java堆大小值的公式DataNode最大Java堆大小的默认值为1G我们将这个值增加到5G，因为在某些情况下我们从数据节点日志中看到关于堆大小的错误但这

我正在尝试设置多节点Hadoop集群。现在，我只尝试使用两个节点。一个是NameNode/DataNode(主机A)，另一个是第二个DataNode(主机B)。奇怪的是，我只能从主机A或主机B运行一个DataNode。如果我从conf/slaves文件中删除主机B，只保留主机A，系统将使用主机A作为数据节点。但是如果我把主机A和B都放在conf/slaves文件中，只有主机B会显示为系统中唯一的DataNode。主机A不工作时的日志如下:************************************************************/2013-07-3110:1