在搭建伪集群或全集群时，是否需要格式化datanode来安装HDFS文件系统，还是只需要格式化namenode。我问这个是因为，我在很多博客上读到过，HDFS在硬盘上按顺序存储数据，它是一个抽象层，将数据存储在大块上，而不是默认block大小存储提供的主机文件系统。如果我们不格式化datanode，HDFS的强大功能就来折腾了。 最佳答案 格式化和挂载硬盘驱动器与格式化HDFS没有直接关系。从概念上讲，“格式化”的想法是相同的。但这两个任务是完全独立的，没有直接关系。hadoopformat命令不会格式化或挂载硬盘。硬盘驱动器应该已
使用CentOs5.4三台虚拟机(使用vmwareworkstation):master,slave1,slave2。master用于namenode，slave1slave2用于datanode。Hadoop版本是hadoop-0.20.1.tar.gz，我已经配置好所有相关文件，并用root用户关闭防火墙使用命令:/sbin/serviceiptables停止。然后尝试在master(namenode)虚拟机中格式化namenode并启动hadoop，命令如下，没有报错。bin/hadoopnamenode-formatbin/start-all.sh然后我现在在ma
我已经使用本指南在Ubuntu14.04上安装了Hadoop2.5.2单节点http://www.vasanthivuppuluri.com/hadoop/installing-hadoop-2-5-1-on-64-bit-ubuntu-14-01/当我输入start-all.sh然后jps输出不显示数据节点进程。hduser@jerrygoyal-Lenovo-B490:~$jps18043NodeManager18327Jps17913ResourceManager17763SecondaryNameNode17018NameNode我也试过Datanodeprocessnotru
设置一个包含3个节点的Hadoop集群。其中一个同时具有NameNode和DataNode角色，而另外两个只是DataNode。我启动了所有节点和服务，但总的来说，它显示只有一个DataNode的状态是事件的。其他节点的状态甚至没有显示。我的问题是开始和上线有什么区别？为什么其他节点根本没有状态？我猜问题是数据节点无法与名称节点通信。所以Azwaw指出，我检查了/etc/hosts文件。是这样的:127.0.0.1nnode.domainnnodelocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainloca
我有一个正在运行的三节点hadoop集群。出于某种原因，当数据节点从站启动时，它们会识别出一个IP地址，而这个IP地址甚至不存在于我的网络中。这是我的主机名和IP映射。nodes:-hostname:hadoop-masterip:192.168.51.4-hostname:hadoop-data1ip:192.168.52.4-hostname:hadoop-data2ip:192.168.52.6正如您在下面看到的，hadoop-master节点正常启动，但在其他两个节点中，只有一个显示为Livedatanode，无论哪个显示的始终具有IP192.168.51.1，这与您一样可以看
继续提问:datablocksizeinHDFS,why64MB?我知道在分发中的所有数据节点中，HDFS中的块大小为一致/相同(大小取决于配置)。我的问题是:为什么此块大小在所有NameNode中保持一致？我问这个问题是因为，我有10个高端处理机作为DataNode，还有20个低端硬件。如果我们在这10台计算机的HDFS中保留更高块的块，它可以更快地处理吗？另外，NameNode具有元数据以标识DataNode中的块，因此机器之间块大小不一致的问题是什么？ 最佳答案 letsayIhave10higherendprocessing
在我的主节点中运行Hive查询时，我遇到了一些严重的问题。我有3个集群设置(1个名称节点，2个数据节点)。版本:Hadoop:2.7.3hive:2.1.0Java:openjdk版本“1.8.0_111”操作系统:ubuntu16.04.1环境:亚马逊EC2我已经在主节点中安装了Hive，并使用start-dfs.sh和start-yarn.sh从主节点启动了所有守护进程。我检查了主节点和从节点中的所有守护进程，都运行良好。当我连接到Hive并运行示例查询时，主节点中的所有守护进程都停止运行，但数据节点中的守护进程仍在运行。请从hadoop-hduser-datanode-namen
我目前对Hadoop生态系统和HDFS架构有一些初学者的理解。我想了解有关HDFS的以下一些更深层次的方面:有没有一种方法可以连接到NameNode执行以识别正在从HDFS添加/修改/删除的文件-类似于Windows中的文件系统事件？我可以编写插件来通过执行NameNode和DataNode中存在的自定义处理来扩展功能吗？数据节点通常会发回所有已在它们之间复制的block的block报告。有没有办法扩展此数据block报告以添加自定义字段或属性？任何针对上述问题的指示都会很棒。在此先感谢您的帮助 最佳答案 IsthereawayIc
我是hadoop的新手，我已经回答了我之前的问题，但是评论部分太短了，我无法显示我的日志文件。Thisismypreviousquestion.谁能帮我找出这个日志文件中的错误？我将不胜感激。谢谢。STARTUP_MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git-rbaa91f7c6bc9cb92be5982de4719c1c8af91ccff;compiledby'root'on2016-08-18T01:41ZSTARTUP_MSG:java=1.8.0_121*************************
我想从我的hadoop集群中删除数据节点，但又不想丢失我的数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点？ 最佳答案 您的hadoop集群的复制因子是多少？如果是默认的，一般是3，你可以直接删除datanode，因为数据会自动复制。这个过程一般由名称节点控制。如果你把集群的复制因子改成1，那么如果你删除这个节点，里面的数据就会丢失。您无法进一步复制它。 关于hadoop-如何在不丢失数据的情况下从hadoop集群中删除datanode，我们在StackOverflow
