jjzjj

Teradata

全部标签

hadoop - SQOOP 从 Teradata 导入 : Create table Ok but without data

我使用sqoop通过我的TD数据库拨号。当我尝试这个时,一切正常(我的表是在默认配置单元数据库中创建的)sqoopimport\-libjars$LIB_JARS\-Dteradata.db.input.job.type=hive\-Dteradata.db.input.target.table=hive_table\-Dteradata.db.input.target.table.schema="c1bigint"\-m1\--connectjdbc:teradata://PRD/Database=database\--connection-managerorg.apache.sqo

hadoop - Sqoop Teradata 连接器问题 - 错误 : The user does not have CREATE TABLE access to database

当我尝试从TeradataView导入表时,我遇到了Sqoop的Teradata连接器问题。我只能访问View。但不知何故,当sqoop作业开始时,它试图在我正在访问的TeradataDB中创建一个表,但无权在该DB/schema中创建任何表我低于错误13/05/3103:40:12ERRORtool.ImportTool:EncounteredIOExceptionrunningimportjob:com.teradata.hadoop.exception.TeradataHadoopSQLException:com.teradata.jdbc.jdbc_4.util.JDBCExc

hadoop - Lunch TDCH to Load 将数据从 Hive parquet 表加载到 Teradata

我需要使用TDCH(Hadoop的Teradata连接器)将存储为parquet文件的Hive表中的数据加载到Teradata数据库。我使用TDCH1.5.3和CDH5.8.3。和Hive1.1.0我尝试启动TDCHusignhadoopjar命令并收到错误:java.lang.ClassNotFoundException:org.apache.parquet.hadoop.util.ContextUtil有人知道为什么会这样吗? 最佳答案 当查看您的问题时,您可能没有能够上传到Teradata所需的所有Hive库。这是一个可用于从

hadoop - 通过 teradata 连接时出现 Sqoop 错误

我无法使用Teradata执行sqoop命令。我收到这个错误:Error8017][SQLState28000]TheUserId,PasswordorAccountisinvalid.Sqoop命令:sqoopimport--connectjdbc:teradata://TDPRODC/LOGMECH=LDAP--drivercom.teradata.jdbc.TeraDriver--usernamesvddssas--password''--tableADW.GST_STST_V--hive-import--hive-tablewins.gst_stst_v1-m1

hadoop - 从 Teradata Studio Express 15.10 连接 HDP

我一直在尝试通过Knox从TeradataStudioExpress15.10连接我的HDP集群(2.1),但未能成功。所有配置,即我提供的JDBC主机名、端口、用户/密码、WebHCat主机、端口都是正确的。如果我从beelineshell测试JDBC连接,它工作正常。beeline>!connectjdbc:hive2://xx.xx.xxx.xxx:10000scancompletein11msConnectingtojdbc:hive2://xx.xx.xxx.xxx:10000Enterusernameforjdbc:hive2://xx.xx.xxx.xxx:10000:h

hadoop - 使用 Teradata Hadoop 连接器时出现连接拒绝异常

我目前正在使用免费版TeradataHadoop连接器teradata-connector1.3.4将数据加载到Teradata。我正在使用internal.faSTLoad加载数据。数据库版本为14.10jdbc驱动版本为15.0有时我在运行作业时遇到Connectionrefusedexception,但在重置加载作业2-3次时此问题消失。此外,这与teradata数据库的负载无关,因为负载非常正常。抛出的异常如下:15/10/2922:52:54INFOmapreduce.Job:Runningjob:job_1445506804193_290389com.teradata.co

hadoop - 用于 Teradata 的 HDFS

根据我的理解,HDFS对于非结构化和大量的数据很有用。我想知道,是否可以将HDFS与Teradata一起使用,因为Teradata是RDBMS,因此不是那么非结构化?此外,HDFS是如何与数据库结合在一起的。是文件系统包含数据还是简单来说它是如何工作的?谢谢 最佳答案 使用TeradataDB本身-不。然而:),Teradata提供所谓的UDA(统一数据架构),其中Teradata、AsterDB和Hadoop(HDFS)相互连接并可以协同工作几乎无缝:)。一般来说,如果您只想处理非结构化数据,请选择Aster。这是Teradata

hadoop - sqoop 将数据从 Teradata 传输到 HDFS

sqoop将数据从Teradata传输到HDFS:报错如下:-bash-4.1$sqoopimport--connection-managercom.cloudera.sqoop.manager.DefaultManagerFactory--drivercom.teradata.jdbc.TeraDriver\--connectjdbc:teradata://dwsoat.dws.company.co.uk/DATABASE=TS_72258_BASELDB\--usernameuserid-P--tableADDRESS--num-mappers3\--target-dir/user

hadoop - 从配置单元到 teradata 的 Sqoop 导出不适用于时间戳字段

我正在尝试将一个文件从配置单元中导出一个文件,其中一个字段作为时间戳('2016-05-2102:00:00')到teradata。teradata中的数据类型是timestamp(0),可以期待类似的格式。当我尝试使用sqoop导出它时,它给出了字符串到时间戳的转换错误。任何解决方法都将大有帮助。注意:String到teradata中的Varchar(256)工作。String到teradata中的timestamp(0)失败。Timestampinhivetotimestamp(0)interadata失败。日志:16/07/1212:24:20INFOmapreduce.Job:

oracle - 将数据从 oracle 移动到 HDFS,处理并从 HDFS 移动到 Teradata

我的要求是MovedatafromOracletoHDFSProcessthedataonHDFSMoveprocesseddatatoTeradata.还需要每15分钟执行一次整个处理。源数据量可能接近50GB,处理后的数据也可能相同。在网上查了很多,发现ORAOOPtomovedatafromOracletoHDFS(Havethecodewithingtheshellscriptandscheduleittorunattherequiredinterval).DolargescaleprocessingeitherbyCustomMapReduceorHiveorPIG.SQOO