jjzjj

json - 使用关键 HAWQ 的数据即服务

我们有一个要求,我们需要将HAWQ的数据作为一个RESTfulAPI以JSON格式提供给许多消费者,例如具有Web服务安全性的移动应用程序、Web应用程序等;基本上数据即服务来自数据湖的不同应用程序.您能否帮助我们提供详细的架构或一些相同的指示。我们正在使用PivotalHD3.0 最佳答案 我想说您可以使用任何应用程序来开发您的网络服务(即:spring)并通过JDBC驱动程序连接到HAWQ以查询数据,然后在您的网络服务中将其重新格式化为JSON。 关于json-使用关键HAWQ的数据

Hadoop - Hawq - 添加新段

我使用ambari在Hadoop上安装了hawq。在安装步骤中,我选择了带有2个网段的Hawqmaster主机,一切正常。后来,我使用ambari添加了一个新的hawq段,安装过程顺利,没有错误。但我意识到新段实际上并没有添加到hawq集群中,并且/data/hawq/segments目录在这个新节点中是空的。我是否遗漏了将新段添加到hawq集群的任何步骤?如有任何帮助或提示,我们将不胜感激。 最佳答案 你能澄清一下你的HAWQ版本吗?我假设你的意思是添加一个新的HAWQ“节点”不是“段”?HAWQ1.x不能动态添加/删除段号,这是

hadoop - HAWQ 表大小估计

我对要加载到HAWQ中的表的存储大小计算/估算有疑问吗?我在HIVE中有一个30MB的表,我正在尝试使用PXF将其加载到HAWQ中,例如:createtablet2tablespacedataasselect*fromhcatalog.default.afs_trvn_mktscn_population;HAWQ中的表消耗了369MB的存储空间?不管我有多少个HAWQ段以及HAWQDFS.replica因子或HDFS复制因子是多少?我的情况是,即使有4个HAWQ段或1个HAWQ段,加载后表的大小也是369MB。我能理解最小块大小是128MB,所以即使是30MB也至少使用128MB,但为

hadoop - Pivotal HDB - 如何将数据从 HAWQ 内部/外部可读表推送到 Greenplum

我们有小型hadoop和Greenplum集群。当前的数据管道流程是:Externaltable>>hadoop-hawqexternalreadbaletable>>hawqinternaltable.输出:1.我们正在尝试使用GREENPLUM扩展数据管道。基本上是想将HAWQ内部表或外部可读表数据直接推送到greenplum中。原因是因为我们要编辑我们的文件。另外,HAWQ不支持更新和删除。是否有任何替代方法来处理或推送数据。请指导。2.如何使用gphdfs协议(protocol)通过GPDB外部表访问HDFS数据提前致谢! 最佳答案

hadoop - HAWQ - 如何选择一个节点来安装段

我有一个六节点集群,我想在上面安装HAWQ数据库和PXF。我的集群看起来像这样:Node1-NameNode,ResourceManager,HiveMetastore,HiveClientNode2-SNameNode,NodeManagerNode3-DataNode,NodeManagerNode4-DataNode,NodeManagerNode5-DataNode,NodeManagerNode6-HiveClient我必须在哪个节点上安装HAWQMaster、HAWQSegments和PXF?是否可以仅在前三个节点上执行此操作,或者我必须在每个节点上安装HAWQSegmen

postgresql - 在 Hortonworks 上部署 HAWQ 2.0 时主 postgres initdb 失败

我尝试部署HAWQ2.0,但无法让HAWQMaster运行。以下是错误日志:[gpadmin@hdps31hwxworker2hawqAdminLogs]$cat~/hawqAdminLogs/hawq_init_20160805.log20160805:23:00:10:050348hawq_init:hdps31hwxworker2:gpadmin-[INFO]:-Preparetodo'hawqinit'20160805:23:00:10:050348hawq_init:hdps31hwxworker2:gpadmin-[INFO]:-Youcanfindlogin:201608

c - 在 Redhat 上安装 HAWQ

我正在AmazonEC2上配置的RedHat服务器上安装HAWQ。我已经在集群上安装了HDP2.3。我从Github克隆了HAWQ.首先我运行./configure--prefix=/opt/hawq。在第二步中,我运行make。当我从incubator-hawq的根文件夹运行make时,依赖项编译正确。当make从根目录(incubator-hawq)的src文件夹开始编译时,出现如下错误:make[2]:Enteringdirectory`/root/incubator-hawq/src/port'gcc-O3-std=gnu99-Wall-Wmissing-prototypes-

sql-server - 如何使用Spring XD从oracle和sql server加载数据到HAWQ

您好,我在Oracle和SQLServer中有表。我需要使用SpringXD将数据从oracle和sqlserver加载到PivotalHAWQ。在文档中找不到。 最佳答案 您需要将sqoop作业与SpringXD集成。有关springxd的sqoop作业,请参见下面的链接https://github.com/tzolov/spring-xd-sqoop-job 关于sql-server-如何使用SpringXD从oracle和sqlserver加载数据到HAWQ,我们在StackOve
12