jjzjj

NameNode

全部标签

hadoop - 为 hdfs namenode 禁用 Web UI

是否有禁用HDFSHTTP命令的配置?在没有Kerberos的情况下,我试图禁用对HDFS中文件的HTTP访问。 最佳答案 WebHDFS应该默认被禁用。您可以通过在之间添加以下内容来修改hdfs-site.xml来禁用WebHDFS和标签。dfs.webhdfs.enabledtrueEnableordisablewebhdfs.Defaultstofalse 关于hadoop-为hdfsnamenode禁用WebUI,我们在StackOverflow上找到一个类似的问题:

安装后 Hadoop 格式化 NameNode - 错误 : command not found (UBUNTO)

你好,我刚刚安装了Hadoop,但无法格式化namenode我正在和Ubunto一起工作它应该很简单但是我得到这个错误:“找不到命令”barak@barak-VirtualBox:/usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/bin$ls-ltrtotal76-rwxr-xr-x1rootroot1462223:08stop-all.sh-rw-r--r--1rootroot1770223:08stop-all.cmd-rwxr-xr-x1rootroot1471223:08start-all.sh-rw-

ubuntu - 无法使用 CDH4 : Datanode denied communication with namenode 启动 hdfs 服务

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗?Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。ImprovethisquestionUbuntu12.04服务器AMD64有什么建议吗?InitializationfailedforblockpoolBlockpoolBP-1276073141-127.0.1.1-1357815963565(storageidDS-1319948814-127.0.1.1-50010-1357815971500)servicetobpct-server-01/127.0.1.1:8020org

java - namenode 没有提供 hadoop YARN

我在ubuntu上使用hadoopYARN。我已经在/usr/local目录中设置了hadoop目录(以及数据节点和名称节点目录)。每当我运行start-dfs.sh时,namenode都不会出现-屏幕输出中的消息提示缺少bin/hdfs文件,即使该文件存在(具有读/写访问权限)。我已经使用Hadoop环境变量设置了bashrc(复制在下面)。有什么想法可能是错误的吗?#HADOOPVARIABLESSTARTexportJAVA_HOME=/usr/lib/jvm/java-8-oracleexportHADOOP_INSTALL=/usr/local/hadoop/hadoop-2

java - 集群重启后 Namenode 卡在 SAFEMODE

我设置了3节点Hadoop集群(ApacheHadoop-2.8.0)。我已经部署了2个使用QJM在HA模式下配置的名称节点。在安装namenode的同一台机器上配置了2个datanodes。第三个节点仅用于仲裁目的。SetupNode1{nn1,dn1,jn1,zkfc1,zkServer1}Node2->{nn2,dn2,jn2,zkfc2,zkServer2}Node3->{jn3,zkServer3}我出于某种原因停止了集群(重新启动服务器)并且因为它们我无法成功启动集群。检查日志后,我发现名称节点处于安全模式,并且它们都无法将block加载到内存中。以下是名称节点UI中名称节

hadoop - 对 Hadoop namenode 内存使用的困惑

我对Hadoopnamenode内存计算有一个愚蠢的怀疑。它在Hadoop书(明确指南)中提到“由于名称节点在内存中保存文件系统元数据,文件系统中文件数量的限制由名称节点上的内存量决定。根据经验,每个文件、目录和block大约需要150字节。因此,例如,如果您有100万个文件,每个文件占用一个block,则您至少需要300MB的内存。虽然存储数百万个文件是可行的,但数十亿个文件超出了当前硬件的能力。”由于每取一个block,namenode最小内存应该是150MB而不是300MB。请帮我理解为什么是300MB 最佳答案 我猜你读过T

Hadoop NameNode 不启动

我目前正在尝试在AmazonEC2实例(多节点集群)上运行Hadoop2.6.0。我启动了两个Ubuntu14.04实例。其中一个是主人,另一个是奴隶。以下是我的配置:大师-核心站点.xmlfs.defaultFShdfs://hadoopmaster:9000-hdfs-site.xmldfs.replication1dfs.namenode.name.dirfile:/home/ubuntu/hadoop-2.6.0/hadoop_data/hdfs/namenode-yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuff

xml - 当我要格式化 namenode 时,我收到错误提示 org.xml.sax.SAXParseException

pc83@pc83-ThinkCentre-M92p:~/Application/hadoop-2.6.0/etc/hadoop$hadoopnamenode-formatDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit.15/10/0916:02:11INFOnamenode.NameNode:STARTUP_MSG:/************************************************************STARTUP_MS

Hadoop:为什么我在 Namenode Information Web 中收到 "Max Non Heap Memory is -1 B."消息?这是什么意思?

我有一个使用VirtualBox制作的Hadoop2.6.5集群(一个主节点用作名称节点和数据节点,两个从节点)(easch节点安装了Xubuntu16.04)。先验,安装是正确的,因为我运行了一个wordcount示例并且没问题。在master:50070(我看到名称节点信息的地方),我得到这个:"MaxNonHeapMemoryis-1B."你知道这是什么意思吗?我找不到答案,我想检查一下,因为在运行wordcount之后我尝试运行我自己的程序但它没有成功,尽管它在我的Hadoop单节点安装中运行正常。我希望清楚,如果您需要更多信息,请告诉我。谢谢! 最

hadoop - Namenode 关闭错误 - 以状态 0 退出(Hadoop 安装)

我正在尝试让Hadoop-2.8.1正常工作。我正在运行命令来配置Namenode。但是,当我从Hadoop目录运行Namenode时它会关闭。***********s-MacBook-Pro-2:~***********$cdDownloads/hadoop-2.8.1***********s-MacBook-Pro-2:hadoop-2.8.1***********$bin/hdfsnamenode-format17/09/1212:08:26INFOnamenode.NameNode:STARTUP_MSG:/***********************************