jjzjj

hadoop - 你如何检查dfs中的目录

我在dfs中新建了一个目录/foodir来测试,如下:hadoopdfs-mkdir/foodir谁能告诉我/foodir保存在哪里?我怎样才能检查路径?我需要确保它没有保存在本地文件系统/tmp下,因为每次重新启动服务器时/tmp都会被删除。关于如何检查服务器文件系统中的/foodir路径有什么想法吗? 最佳答案 这取决于您如何设置core-site.xml和hdfs-site.xml文件...如果fs.defaultFS未设置为file://路径(默认),则不会触及您的本地/tmp如果你的datanode和namenode数据目

hadoop DFS 启动命令不工作并给出错误

您好,我已经配置好hadoop并通过以下命令启动dfsstart_local_hdp_services但我收到以下错误已更新我在Windows上使用hadoop。使用“msi”安装请帮帮我已更新我在Startingmaster,startingregionserver中遇到错误 最佳答案 nohup是一个posix命令,因此您需要安装cygwin或运行某种不同的脚本(.cmd或.bat文件?)http://en.wikipedia.org/wiki/Nohup我倾向于安装cygwin或类似软件,基本上您需要能够模拟linux命令。您

macos - Hadoop: start-dfs/start-yarn.sh: 没有那个文件或目录

尽管我检查了两个文件都存在于目录中并且hadoop可以访问这些文件夹,但它还是给了我上述两个错误。我使用以下教程安装了hadoop:link出了什么问题,如何解决? 最佳答案 您可能没有导出此目录的路径。尝试提供/entirepath/start-dfs.sh。同样在您的.bash_rc文件中添加HADOOP_HOME=/Pathtohadoopinstallationfolder。使用命令source.bash_rc获取bash_rc文件。 关于macos-Hadoop:start-d

hadoop - hadoop错误:util.NativeCodeLoader(hdfs dfs -ls不起作用!)

我已经看到很多人在安装hadoop时遇到问题。我经历了所有相关的stackoverflow问题,但无法解决问题。问题是:hdfsdfs-ls16/09/2709:43:42WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicablels:`.':Nosuchfileordirectory我正在使用ubuntu16.04,并且从Apache镜像下载了hadoop稳定版2.7.2:http://apache.spinell

223.【2023年华为OD机试真题(C卷)】小华最多能得到多少克黄金(优先搜索DFS-Java&Python&C++&JS实现)

🚀点击这里可直接跳转到本专栏,可查阅顶置最新的华为OD机试宝典~本专栏所有题目均包含优质解题思路,高质量解题代码(Java&Python&C++&JS分别实现),详细代码讲解,助你深入学习,深度掌握!文章目录一.题目-小华最多能得到多少克黄金二.解题思路三.题解代码Python题解代码JAVA题解代码C/C++题解代码JS题解代码四.代码讲解(Java&Python&C++&JS分别讲解)

hadoop - 如何通过grafana(opentsdb)监控dfs.namenode.handler.count?

像这样?picture我的问题是是否也有像RedMashine中那样的指标。它的名字是什么?或者我是否应该定义一个指标?这该怎么做?谢谢! 最佳答案 Grafana2.5的Opentsdb查询编辑器默认启用建议。因此,当您开始键入任何指标的名称或什至尝试将光标放在文本框中时,您将看到指标名称的建议。如果您使用的是Grafana2.5之前的旧版本。那么您将必须在提到的Opentsdb中启用某些属性here在文档中。 关于hadoop-如何通过grafana(opentsdb)监控dfs.n

java - hdfs dfs -ls 的默认值

为什么hdfsdfs-ls与hdfsdfs-ls/不同。hdfsdfs-ls的默认值是多少 最佳答案 默认是您的hdfs用户的主目录,类似于/user/$USER(其中$USER是您在shell中登录的用户,与hdfs无关)。 关于java-hdfsdfs-ls的默认值,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/36184034/

hadoop - 如何将Hadoop文件系统保存在hadoop安装盘以外的物理盘中?

我正在尝试在多节点集群环境中安装hadoop。我已经在SSD上安装了ubuntu15.10。我想在SSD上安装hadoop2.6.2,并将我的HDFS放在单独的SATA硬盘上。为此,我应该遵循哪些步骤?我在SSD中安装了hadoop,在hdfs-site.xml中配置如下。因此,我将属性dfs.datanode.data.dir设置为file:///media/coea23/HDFS/hdfs/datanode。但是在执行jps时数据节点没有显示,而名称节点显示在已完成hadoop安装的SSD中。dfs.datanode.data.dirfile:///media/coea23/HDF

Hadoop 2.9.0 - hadoop namenode -format 和 hdfs-site.xml dfs.namenode.name.dir

我的第一个问题,我会尽量不把事情搞砸:)出于学习目的,我正在4节点集群上安装Hadoop2.9.0。我已经按照官方ApacheHadoop2.9.0文档和一些谷歌页面开始安装/配置名称节点。我像这样编辑了位于$HADOOP_HOME/etc/hadoop目录下的hdfs-site.xml:dfs.namenode.name.dirfile:///apps/hdfs/namenode/datadfs.datanode.data.dirfile:///apps/hdfs/datanode/datadfs.namenode.checkpoint.dirfile:///apps/hdfs/na

bash - 如何查看整个根 hdfs 磁盘使用情况? (hadoop dfs -du/gets 子文件夹)

我们可能并不意外地认识到大数据对企业的吸引力,这是我们希望在我们的hadoop集群上监控的磁盘空间问题。我有一个cron作业在运行,它正在做我想做的事情,除了我想要其中一条输出行显示已使用的总体空间。换句话说,在bash中,“du/”命令的最后一行显示了整个磁盘上所有子文件夹的总使用情况。我想要这种行为。目前,当我运行“hadoopdfs-du/”时,我只得到子目录信息,而不是总计。获得它的最佳方式是什么?非常感谢所有SuperStackOverflow人员:)。 最佳答案 我只是没有正确理解文档!这是获得已用总空间的答案;$had