我的hadoop集群数据节点中的一个磁盘已变为只读。我不确定是什么导致了这个问题。从数据节点中删除该卷会导致数据丢失吗？？如果我将面临数据丢失，该如何处理？ 最佳答案 如果您的hadoop集群的复制因子大于1(默认情况下，多节点集群为3)，则您的数据必须已复制到多个数据节点上。您可以在hdfs-site.xml中检查您的复制因子值(dfs.replication)。所以现在如果你从你的集群中删除这个只读数据节点并且你有一个大于1的复制因子，那么你将不会面临任何数据丢失。因为你的集群在其他datanode上会有对应的replica。为
在使用以下命令格式化DATANODE时:hdfsdfsdatanode-format是否可以指定HDFS的大小？我了解水平可扩展性会受到影响。 最佳答案 HDFS与附加到它的数据节点一样大...因此，通过添加更多硬件，您可以指定大小。它不像一个可以分区的磁盘(至少，不是一般意义上的为特定任务分配特定大小的磁盘)。 关于hadoop-我们可以在hdfs文件系统中指定DATANODE的大小吗，我们在StackOverflow上找到一个类似的问题： https://
假设在Hadoop集群中我们有2个机架rck1和rck2。每个机架有5个节点。Namenode如何知道节点1属于机架1，节点3属于机架2。 最佳答案 您必须配置系统以指定机架信息的确定方式。例如，thisClouderalink告诉您如何在ClouderaManager中为主机配置机架。或者，thisApachelink解释了如何通过配置文件在java类的外部脚本中指定此信息。拓扑通常采用/myrack/myhost形式，但您可以使用更深的层次结构。他们在python中有以下示例，它假设每个机架有一个/24子网，因此提取IP地址的前
我是Hadoop的新手。遵循手册http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/运行我的hadoop我得到了3个错误:1)致命的datanode.DataNode:secureMain中的异常java.lang.RuntimeException:运行命令获取文件权限时出错:ExitCodeExceptionexitCode=-1073741515:2)FATALnodemanager.NodeManager:启动NodeManager时出错java.lang.U
我在同一个jvm中运行“namenode”和“datanode”，当我尝试写入数据时出现以下异常org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy$NotEnoughReplicasException:在org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicyDefault.chooseRandom(BlockPlacementPolicyDefault.java:836)在org.apache.hadoop.hdfs.serve
我想知道hadoop中Namenode和Datanode使用的具体端口号的通信协议(protocol)。假设，如果我在Namenode中编写以下命令，hdfsdfsadmin-report它将显示实时节点(名称节点和数据节点)的详细信息，有多少数据节点等。我的问题是名称节点和数据节点如何通信？通过哪个端口？我实际上使用上述命令只获得了1个数据节点，而在我的集群中，有8个数据节点。所以，我不确定是否有任何portblockingofnetworking是由这个引起的!!我的防火墙在名称节点和所有数据节点中被禁用。我已经通过返回inactive的sudoufwstatus命令检查了这一点。
由于OutOfMemoryError，我的Cloudera集群HDFSDatanodes反复崩溃:java.lang.OutOfMemoryError:JavaheapspaceDumpingheapto/tmp/hdfs_hdfs-DATANODE-e26e098f77ad7085a5dbf0d369107220_pid18551.hprof...Heapdumpfilecreated[2487730300bytesin16.574secs]##java.lang.OutOfMemoryError:Javaheapspace#-XX:OnOutOfMemoryError="/usr/
我正在尝试检测Hadoop集群中Datanode的驱动器故障。ClouderaManagerAPI没有任何特定的API。CMAPI仅与名称节点或重启服务相关。这里有什么建议吗？非常感谢! 最佳答案 如果您有权访问NameNodeUI，JMX页面将为您提供此信息。如果您直接点击JMX页面，它将是一个JSON格式的页面，可以轻松解析。我们主要使用HortonWorks，很长时间没有接触Cloudera，但我认为它可以以某种方式提供。 关于python-3.x-如果任何Datanode驱动器(
我在安装在windows10上的vmware中的Ubuntu上安装了伪分布式独立hadoop版本。我从网上下载了一个文件，复制到ubuntu本地目录/lab/data我在ubuntu中创建了名为namenodep和datan1的namenode和datanode文件夹(不是hadoop文件夹)。我还在hdfs中创建了一个文件夹作为/input。当我将文件从ubuntu本地复制到hdfs时，为什么该文件存在于以下两个目录中？$hadoopfs-copyFromLocal/lab/data/Civil_List_2014.csv/input$hadoopfs-ls/input/input/
我已授予/app/hadoop/tmp/dfs/data权限。WARNorg.apache.hadoop.hdfs.server.datanode.DataNode:Invaliddfs.datanode.data.dir/app/hadoop/tmp/dfs/data:EPERM:Operationnotpermittedatorg.apache.hadoop.io.nativeio.NativeIO$POSIX.chmodImpl(NativeMethod)atorg.apache.hadoop.io.nativeio.NativeIO$POSIX.chmod(NativeIO.j
