启动hdfs时出现报错：ERROR:Cannotwritenamenodepid/tmp/hadoop-longda-namenode.pid,且/tmphadoop-longda-namenode.pid权限不够解决方法：sudochmod777-R/tmp即可
运行start-sh.all发现了如图的问题也是搞了很久搜了很多教程，发现很多人并不是大毛病而是很多小细节出了错误。首先检查如下hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml内容是否有配置错误下图这种明显的错误一定要注意“-”不要用错符号若均正确（真的要很仔细的去看）进入/etc/profile查看自己是否正确的添加了环境变量echo 'export HADOOP_HOME=/export/server/hadoop‐3.3.0' >> /etc/profileecho 'export PATH=$
hadoop集群启动jps后没有namenode启动集群jps后出现：1.关闭集群stop-all.sh2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建新的logscd/usr/local/hadooprm-rftmprm-rflogsmkdirlogs3.重新格式化namenodehdfsnamenode-format4.重新启动后集群start-all.sh
解压文件修改文件名 配置环境变量执行flume-ngversion 将flume-env.sh.template改名为flume-env.sh， 并修改其配置启动Flume传输Hadoop日志启动flume 解压文件tar-zxvfapache-flume-1.9.0-bin.tar.gz-C/opt修改文件名mvapache-flume-1.9.0-binflume 配置环境变量vim/etc/profile 需要保证hadoop与hive的环境变量存在无误exportHADOOP_HOME=/opt/module/hadoop-3.3.1exportPATH=$PATH:$H
元数据管理元数据是什么元数据管理概述内存元数据元数据文件fsimage内存镜像文件editslog编辑日志namenode加载元数据文件顺序元数据管理相关目录文件元数据相关文件VERSIONseen_txid元数据文件查看（OIV,OEV）SecondaryNameNode介绍checkpoint机制SNNCheckpoint--触发机制元数据文件恢复namenode存储多目录从SNN中恢复元数据是什么在HDFS中，元数据主要值得是文件相关的元数据，有namenode管理维护。从广义的角度来说，因为namenode还需要管理众多的DataNode结点，因此DataNode的位置和健康状态信息也
文章目录背景架构HDFSHA配置错误原因解决方案方案一方案二方案三（首先查看自己各参数文件是否配置出错）后记补充failovertransitionToActive常用端口号及配置文件常用端口号hadoop3.xhadoop2.x常用配置文件这里说一下配置HadoopHA集群可能出现的两种情况，第一种就是两个NameNode都是standby，第二种就是主Master是standby，从Master是active。背景针对Hadoop1.x中可能出现的NameNode单点故障（SPOF）或者短时间无法使用的情况，Hadoop2.x通过增加一个NameNode的方式进行了改善，而增加一个Name
HDFS有什么特点，被设计做什么 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。有一下几个特点： HDFS是一个高度容错性的系统，具有高容错、高可靠性、高扩展性的特点，适合部署在廉价的机器上。 HDFS能提供对应用程序数据的高吞吐量访问，非常适合大规模数据集上的应用。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。一个单一的HDFS实例应该能支撑数以千万计的文件
问题1：Couldn’tcreateproxyproviderclassorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProhadoop处于ha高可用模式了需要将高可用环境下的hdfs-site.xml文件复制到idea的resource下，特别是其中的dfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider问题2：Classorg.apache
1.分析原因：可能出错的原因及解决方法：多次初始化这个问题一般是由于两次或两次以上的格式化NameNode（hadoopnamenode-format）造成的，2.想要重新格式化，删掉hadoop-2.10.1目录下的tmp文件夹:执行命令：rm-rftmp （注意在执行格式化命令时一定要关闭hadoop集群后操作）3.执行完成后便可以看到namenode节点
现象：解决：1.看Hadoop的日志：查看namenode日志：tail-n200hadoop-xinjie-namenode-VM-0-9-centos.log（文件目录所在位置：hadoop安装位置logs文件） 2.发现是端口占用3.命令查看端口占用情况：netstat-anp|grep9866 4.杀死进程：kill-998665.把所有占用的端口全部杀完之后重启集群，问题解决
