我尝试使用Ambari来管理Hadoop集群的安装和维护。启动ambariserver后,使用网页搭建Hadoop集群。但是在第3步--确认hosts时,报错如下然后我检查了/var/log/ambari-server的日志,我发现:INFO:root:BootStrappinghosts['qiao']using/usr/lib/python2.6/site-packages/ambari_serverclusterprimaryOS:redhat6withuser'root'sshKeyFile/var/run/ambari-server/bootstrap/1/sshKeypas
所以我删除了我的主机,然后尝试再次添加它。DataNode工作正常,但我无法让Nodemanager工作。我在删除后用yum删除了hadoop-yarn包,然后使用ambari再次安装它。现在,当我尝试使用ambari启动Nodemanager时,出现以下错误:2014-05-2319:40:41,507-Execute['exportHADOOP_LIBEXEC_DIR=/usr/lib/hadoop/libexec&&/usr/lib/hadoop-yarn/sbin/yarn-daemon.sh--config/etc/hadoop/confstartnodemanager']{
我正在尝试使用amabari中的apachepig分析一些数据在这种特定情况下,我遇到了问题...我有一列时间戳以这种特定格式编写14333061460001422814565122使用在线转换器,如果我输入1433306146000,输出是08/30/47389@12:06pm(UTC)但事实并非如此,事实上,如果我手动删除最后3个数字(1433306146),结果是06/03/2015@凌晨4:35(UTC)。那么,pig中有一种方法可以删除时间戳列中的最后3个数字吗?还有一个主要问题是:使用函数GetDay(datetime)如果我传递时间戳,它会起作用吗?或者有不同的方法从时间
我是ambari和yarn的新手,我的新flashambari机器没有任何其他配置。ambari版本是最新的,这里是yarn.py地址:ambari-server/src/main/resources/common-services/YARN/2.1.0.2.0/package/scripts/yarn.py我发现了一些潜在的解决方案,例如https://community.hortonworks.com/questions/11907/nodemanager-fails-to-start-io-error-lock.html和https://reviews.apache.org/r/
我在通过Ambari启动所有服务来启动hortonworks服务时遇到一些问题,所以我决定手动启动这些服务,我不确定在启动这些服务时是否应该遵守顺序。我已经安装了几乎所有我们可以在hortonworks数据平台上找到的服务。 最佳答案 通过Ambari手动启动hortonworks数据平台服务,有个命令要尊重,如下link显示我们可以在HDP上使用的最频繁服务的列表:RangerKnoxZooKeeperHDFSYARNHBaseHiveMetastoreHiveServer2WebHCatOozieHueStormKafkaAtl
我在DigitalOceanDroplet上运行Ambari。我已经销毁并重新安装了多个Droplets,包括全新安装的Ambari,以及扩展的PostgreSQL。尝试启动服务器时,我一直遇到以下错误。我重新启动了服务器,重新设置了服务器,删除了陈旧的PID文件,以及许多其他东西,但找不到答案。[root@jamatney0~]#ambari-serverstatusUsingpython/usr/bin/python2.6Ambari-serverstatusAmbariServernotrunning.StalePIDFileat:/var/run/ambari-server/a
我在google中搜索以查找有关如何调整值的信息-DataNodemaximumJavaheapsize,除了这个-https://community.hortonworks.com/articles/74076/datanode-high-heap-size-alert.htmlhttps://docs.oracle.com/cd/E19900-01/819-4742/abeik/index.html但未找到计算DataNode最大Java堆大小值的公式DataNode最大Java堆大小的默认值为1G我们将这个值增加到5G,因为在某些情况下我们从数据节点日志中看到关于堆大小的错误但这
我们目前正在运行Hortonworks2.6.5.0:$hadoopversionHadoop2.7.3.2.6.5.0-292Subversiongit@github.com:hortonworks/hadoop.git-r3091053c59a62c82d82c9f778c48bde5ef0a89a1Compiledbyjenkinson2018-05-11T07:53ZCompiledwithprotoc2.5.0Fromsourcewithchecksumabed71da5bc89062f6f6711179f2058Thiscommandwasrunusing/usr/hdp/
当一个主机被移除时,一条记录会留在topology_host_info表、topology_host_request表中,可能还会在其他一些表中。AmbariJIRA坏消息是我无法删除旧的ZooKeeper服务器。当我使用Ambari重新启动ZooKeeper服务器时,旧服务器被添加到ZooKeeper服务器配置:/etc/zookeeper/conf/zoo.cfg并且我没有法定人数,所以整个集群都关闭了..对我来说,唯一快速的解决方案是从配置文件中手动删除旧的ZooKeeper服务器并从命令行运行ZooKeeper服务器-但这不是解决方案。现在我卡住了..我不能使用Ambari来管
我有一个集群设置,其中的节点不可靠并且可能会出现故障(它们是awsspot实例)。我试图确保我的applicationmaster仅在集群的可靠节点(awsondemand实例)上启动。有同样的解决方法吗?我的集群由hortonworksambari管理。 最佳答案 这可以通过使用节点标签来实现。在yarn上运行spark时,我能够使用sparkspark.yarn.am.nodeLabelExpression中的属性将我的应用程序主机限制为一组节点。将节点标签添加到要用于应用程序主机的任何节点。