在Cloudera的文档中——“在集群上部署HDFS(使用命令行)”据说，要启动名称节点服务，请键入以下命令:forxin`cd/etc/init.d;lshadoop-hdfs-*`;dosudoservice$xstart;done问题是，/etc/init.d/目录下没有匹配hadoop-hdfs-*名称模式的项。我认为应该有一个hadoop-hdfs-namenode，不是吗？有人能告诉我为什么hadoop-hdfs-namenode不见了吗？我错过了任何部署步骤吗？非常感谢! 最佳答案 您在安装时缺少可选服务包。尝试安装h
CDH上是否有检查Avro库版本的机制？我知道Avro库依赖于项目中的依赖项，但我看到在我们的Hadoop集群的节点上有一些地方默认驻留库。有没有办法检查默认包含在CDH发行版中的avro版本？即使我们将Avro与hive一起使用，Avro版本也是CDH自己使用的，无需单独配置(在CDH中)。我想知道如何检查Avro版本。 最佳答案 您可以运行avro-tools，它会告诉您所使用的Avro版本。$avro-toolsVersion1.7.6-cdh5.14.0-SNAPSHOTofApacheAvro....
我正在尝试从Oozie运行一个spark作业(使用spark2-submit)，所以这个作业可以按计划运行。当运行我们从命令行在我们的服务帐户(不是Yarn)下运行shell脚本时，作业运行得很好。当我们将它作为Oozie工作流运行时，会发生以下情况:17/11/1612:03:55ERRORspark.SparkContext:ErrorinitializingSparkContext.org.apache.hadoop.security.AccessControlException:Permissiondenied:user=yarn,access=WRITE,inode="/us
我从ClouderaManager中卸载了sqoop，但我仍然可以通过终端看到sqoop版本:chaithu@localhost:~$sqoopversionWarning:/opt/cloudera/parcels/CDH-5.13.1-1.cdh5.13.1.p0.2/bin/../lib/sqoop/../accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.17/12/2418:49:28INFOsqoop.Sqoop:Run
我是CDH4和Hadoop的新手。我正在尝试运行wordcountexample并收到以下错误。你能纠正我并让我知道问题是什么吗:WordCount.java:25:interfaceexpectedherepublicstaticclassMapextendsMapReduceBaseimplementsMapper{^WordCount.java:39:interfaceexpectedherepublicstaticclassReduceextendsMapReduceBaseimplementsReducer{^WordCount.java:56:setMapperClass(
我正在尝试在CDH4环境中配置RHive。在R中读取包“RHive”时，返回了以下错误。我猜这是由于错误的家庭。如果是这样，什么是正确的？或者，如果这不是原因，那有什么问题？如有任何帮助，我们将不胜感激。谢谢。>Sys.setenv(HIVE_HOME="/etc/hive")>Sys.setenv(HADOOP_HOME="/etc/hadoop")>library(RHive)Loadingrequiredpackage:rJavaLoadingrequiredpackage:RserveThisisRHive0.0-7.Foroverviewtype'?RHive'.HIVE_H
我正在尝试使用bash脚本在ClouderaHadoop4.4集群上自动停止、格式化和启动HDFS和MapReduce服务。使用“pkill-Uhdfs&&pkill-Umapred”可以很容易地终止HDFS和MapReduce进程，但是如何在不使用ClouderaManagerGUI的情况下再次启动这些进程？ 最佳答案 好吧，显然CM有一个非常棒的API在这里查看http://cloudera.github.io/cm_api/ 关于hadoop-CDH4.4:Restarting
我需要使用最新的mahout版本0.9(因为我需要使用所有分布式推荐算法)。为此，我应该使用哪个版本的hadoop？在某些地方，已经提到hadoop2.20不能很好地与mahout0.9一起工作。因此，我可以使用mahout0.9的最低hadoop版本是多少。如果我使用的是cloudera(CDH)，我应该使用什么版本来处理mahout0.9。 最佳答案 CDH4.x包含Mahout0.7CDH5.0.x包含Mahout0.8CDH5.1.x发布后，可能会包含Mahout0.9，但不要引用我的话所有这些Mahout版本的默认构建都是
我正在尝试设置描述的share_jobs设置HERE为false。文档HERE说要访问http://myserver:port/dump_config以查找HUE配置的位置。对我来说，它提供了/var/run/cloudera-scm-agent/process/73-hue-HUE_SERVER/。正如您可能从它在/var/run/中猜到的那样，每次启动时都会重新创建该目录，因此不会保存对hue.ini的更改并执行似乎不会影响http://myserver:port/dump_config中列出的配置。我运行了find/-namehue.ini以查看是否还有另一个要更改的hue.in
我安装了一个CDH集群并使用了hadoop版本，但它只返回了Hadoop版本。有没有办法在图形界面上获取所有已安装组件的版本号？例如，哪个命令可以获取Spark版本号？ 最佳答案 打开CM(hostname:portnumber)->Hosts选项卡->HostInspector查找是什么版本CM和CDH安装在集群中的所有主机上，以及安装的带有版本详细信息的cdh组件列表 关于hadoop-CDH组件版本号，我们在StackOverflow上找到一个类似的问题：
