我目前对Hadoop生态系统和HDFS架构有一些初学者的理解。我想了解有关HDFS的以下一些更深层次的方面:有没有一种方法可以连接到NameNode执行以识别正在从HDFS添加/修改/删除的文件-类似于Windows中的文件系统事件？我可以编写插件来通过执行NameNode和DataNode中存在的自定义处理来扩展功能吗？数据节点通常会发回所有已在它们之间复制的block的block报告。有没有办法扩展此数据block报告以添加自定义字段或属性？任何针对上述问题的指示都会很棒。在此先感谢您的帮助 最佳答案 IsthereawayIc
我是hadoop的新手，我已经回答了我之前的问题，但是评论部分太短了，我无法显示我的日志文件。Thisismypreviousquestion.谁能帮我找出这个日志文件中的错误？我将不胜感激。谢谢。STARTUP_MSG:build=https://git-wip-us.apache.org/repos/asf/hadoop.git-rbaa91f7c6bc9cb92be5982de4719c1c8af91ccff;compiledby'root'on2016-08-18T01:41ZSTARTUP_MSG:java=1.8.0_121*************************
我想从我的hadoop集群中删除数据节点，但又不想丢失我的数据。是否有任何技术可以将我要删除的节点上的数据复制到扩孔数据节点？ 最佳答案 您的hadoop集群的复制因子是多少？如果是默认的，一般是3，你可以直接删除datanode，因为数据会自动复制。这个过程一般由名称节点控制。如果你把集群的复制因子改成1，那么如果你删除这个节点，里面的数据就会丢失。您无法进一步复制它。 关于hadoop-如何在不丢失数据的情况下从hadoop集群中删除datanode，我们在StackOverflow
我正在尝试运行SpringBootYARN示例(Windows上为https://spring.io/guides/gs/yarn-basic/)。在application.yml中，我更改了fsUri和resourceManagerHost以指向我的VM主机192.168...。但是当我尝试运行应用程序时，Exceprion出现了:DFSClient:ExceptionincreateBlockOutputStreamjava.net.ConnectException:Connectiontimedout:nofurtherinformationatsun.nio.ch.Socket
我试图让hadoop和hive在我的linux系统上本地运行，但是当我运行jps时，我注意到数据节点服务丢失了:vaughn@vaughn-notebook:/usr/local/hadoop$jps2209NameNode2682ResourceManager3084Jps2510SecondaryNameNode如果我运行bin/hadoopdatanode，会出现以下错误:17/07/1319:40:14INFOdatanode.DataNode:registeredUNIXsignalhandlersfor[TERM,HUP,INT]17/07/1319:40:14WARNut
我是apachehadoop的新手。我正在安装多节点集群，但出现两个错误。我不知道这些是什么类型的错误以及它们产生的原因。我在谷歌上搜索了很多关于这些错误的信息，但我无法找出错误产生背后的原因。Error:Couldnotfindorloadmainclassorg.apache.hadoop.util.PlatformNameError:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.datanode.DataNode这两个错误都是由于datanode或slaves引起的。我需要知道错误的种类、产生的原因以及如何解决它
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。ImprovethisquestionUbuntu12.04服务器AMD64有什么建议吗？InitializationfailedforblockpoolBlockpoolBP-1276073141-127.0.1.1-1357815963565(storageidDS-1319948814-127.0.1.1-50010-1357815971500)servicetobpct-server-01/127.0.1.1:8020org
我正在为我的5节点hadoop集群使用VM(1个VM有NameNode，1个VM有JobTracker/SecondaryNameNode/HMaster，3个VM有DataNodes/TaskTrackers/HRegionServers/Zookeepers)，这是Cloudera发行版，我手动安装，而不是通过ClouderaManager安装。编辑-每个包含数据节点的虚拟机的磁盘空间大约用了50-60%。我最好在明天早上之前完成这件事，但我可以在24小时内完成。我必须返回其中一个VM(特别是一个特定的DataNode)并将其替换为另一个(不要问为什么)。我购买了第二台VM，可以随
尝试在HAHDFS集群中启动数据节点时出现以下错误2016-01-0622:54:58,064INFOorg.apache.hadoop.hdfs.server.common.Storage:Storagedirectory[DISK]file:/home/data/hdfs/dn/hasalreadybeenused.2016-01-0622:54:58,082INFOorg.apache.hadoop.hdfs.server.common.Storage:AnalyzingstoragedirectoriesforbpidBP-1354640905-10.146.52.232-14
我正在尝试在我的windows10中安装hadoop引用:https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10Hadoopstart-all.cmd命令成功启动namenode、resourceManager和nodeManager但datanode没有启动错误::checker.StorageLocationChecker:ExceptioncheckingStorageLocation[DISK]file:/C:/ha
