jjzjj

Datanode

全部标签

java - Spring Boot YARN 不运行在 Hadoop 2.8.0 客户端无法访问 DataNode

我正在尝试运行SpringBootYARN示例(Windows上为https://spring.io/guides/gs/yarn-basic/)。在application.yml中,我更改了fsUri和resourceManagerHost以指向我的VM主机192.168...。但是当我尝试运行应用程序时,Exceprion出现了:DFSClient:ExceptionincreateBlockOutputStreamjava.net.ConnectException:Connectiontimedout:nofurtherinformationatsun.nio.ch.Socket

ubuntu - java.io.IOException : All directories in dfs. datanode.data.dir 无效

我试图让hadoop和hive在我的linux系统上本地运行,但是当我运行jps时,我注意到数据节点服务丢失了:vaughn@vaughn-notebook:/usr/local/hadoop$jps2209NameNode2682ResourceManager3084Jps2510SecondaryNameNode如果我运行bin/hadoopdatanode,会出现以下错误:17/07/1319:40:14INFOdatanode.DataNode:registeredUNIXsignalhandlersfor[TERM,HUP,INT]17/07/1319:40:14WARNut

java - 错误 : Could not find or load main class org. apache.hadoop.hdfs.server.datanode.DataNode

我是apachehadoop的新手。我正在安装多节点集群,但出现两个错误。我不知道这些是什么类型的错误以及它们产生的原因。我在谷歌上搜索了很多关于这些错误的信息,但我无法找出错误产生背后的原因。Error:Couldnotfindorloadmainclassorg.apache.hadoop.util.PlatformNameError:Couldnotfindorloadmainclassorg.apache.hadoop.hdfs.server.datanode.DataNode这两个错误都是由于datanode或slaves引起的。我需要知道错误的种类、产生的原因以及如何解决它

ubuntu - 无法使用 CDH4 : Datanode denied communication with namenode 启动 hdfs 服务

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗?Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。ImprovethisquestionUbuntu12.04服务器AMD64有什么建议吗?InitializationfailedforblockpoolBlockpoolBP-1276073141-127.0.1.1-1357815963565(storageidDS-1319948814-127.0.1.1-50010-1357815971500)servicetobpct-server-01/127.0.1.1:8020org

Hadoop 如何停用一个 DataNode 并用另一台机器替换它?

我正在为我的5节点hadoop集群使用VM(1个VM有NameNode,1个VM有JobTracker/SecondaryNameNode/HMaster,3个VM有DataNodes/TaskTrackers/HRegionServers/Zookeepers),这是Cloudera发行版,我手动安装,而不是通过ClouderaManager安装。编辑-每个包含数据节点的虚拟机的磁盘空间大约用了50-60%。我最好在明天早上之前完成这件事,但我可以在24小时内完成。我必须返回其中一个VM(特别是一个特定的DataNode)并将其替换为另一个(不要问为什么)。我购买了第二台VM,可以随

hadoop - 哈HDFS : Initialization failed for Block pool <registering> (Datanode Uuid unassigned)

尝试在HAHDFS集群中启动数据节点时出现以下错误2016-01-0622:54:58,064INFOorg.apache.hadoop.hdfs.server.common.Storage:Storagedirectory[DISK]file:/home/data/hdfs/dn/hasalreadybeenused.2016-01-0622:54:58,082INFOorg.apache.hadoop.hdfs.server.common.Storage:AnalyzingstoragedirectoriesforbpidBP-1354640905-10.146.52.232-14

windows - Hadoop start-all.cmd 命令 : datanode shutting down

我正在尝试在我的windows10中安装hadoop引用:https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10Hadoopstart-all.cmd命令成功启动namenode、resourceManager和nodeManager但datanode没有启动错误::checker.StorageLocationChecker:ExceptioncheckingStorageLocation[DISK]file:/C:/ha

hadoop - Apache Hadoop Windows 10 - Datanode、Resource Manager 和 Yarn 在启动时立即关闭

我已经按照教程为Windows设置了ApacheHadoop,可以找到here.我现在遇到Datanode、ResourceManager和Yarncmd窗口的问题,显示打开后所有3秒都关闭,只有Namenode继续运行。这是我到目前为止尝试过的过程:以管理员身份运行CMD使用命令start-all.cmd(这会打开Namenode、Datanode、Yarn和Resourcemanagercmd窗口)Datanode、Yarn和Resourcemanager几乎都在启动后立即给出关闭消息SHUTDOWN_MSG:正在thood-alienware/...关闭ResourceManag

java - hadoop 2.5.0 启动datanode失败

我正在尝试部署独立版本的hadoop2.5.0。但是Datanode启动失败。日志打印:2014-10-2013:42:13,288FATALorg.apache.hadoop.hdfs.server.datanode.DataNode:ExceptioninsecureMainjava.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.SharedFileDescriptorFactory.createDescriptor0(Ljava/lang/String;Ljava/lang/String;I)Ljava/io/Fi

Hadoop:datanode 进程正在运行但不工作?

这几天一直在尝试安装hadoop集群。有时成功,但大多数时候失败。我根据官方文档和一些貌似高质量的博客进行了配置。我遇到的问题是:所有进程(包括namenode、datanode、nodemanager、resourcemanager)可以通过命令查看:jps但奴隶们实际上并没有工作。我在Web界面master:8088或master:50070中看不到它们有人说是重复的namenode格式和id冲突造成的。我认为这不是我的问题,因为数据节点从一开始就不起作用,而且数据节点文件夹始终是空的。这种现象还有其他可能的原因吗?我真的很难设置集群。详细信息:Hadoop版本:3.0.0-alp