jjzjj

hadoop - Sqoop中--connection-manager的意义

coder 2024-01-08 原文

我已经编写了 sqoop 脚本来将数据从 Teradata 导入到 Hive。 

`sqoop import \
--connect $JDBC_URL \
--driver com.teradata.jdbc.TeraDriver \
--username $Username \
--password $Password \
--table $TD_Table \
--hive-import \
--hive-overwrite \  
--hive-drop-import-delims \
--hive-table $Hive_Database.$Hive_Staging_Table \
--split-by $Split_Col \
-m $Mapper_Number`

上面的脚本给出了警告

--连接管理器)。 Sqoop 将退回到 org.apache.sqoop.manager.GenericJdbcManager。

但是当我在上面的脚本中使用 --connection-manager 时，我的 --hive-drop-import-delims 和 --hive-overwrite停止工作

我想了解连接管理器参数的意义是什么，如果我忽略它，它将如何影响我的导入

请推荐

最佳答案

您不需要使用 --driver多于。另外，请确保您在 /etc/sqoop/conf/managers.d 中设置了连接管理器.以下是使其正常工作的步骤:

  1. cd /etc/sqoop/conf
  2. mkdir managers.d && cd managers.d
  3. echo '<manager factory class> = <manager factory jar>' > td_connector.txt

Manager factory jar 应该放在/var/lib/sqoop可以从 Cloudera 下载一个.

关于hadoop - Sqoop中--connection-manager的意义，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29388465/

connection-managerconnectioncode连接管sectionhadoophiveteradatasqoop

有关hadoop - Sqoop中--connection-manager的意义的更多相关文章

  1. 旋转矩阵的几何意义 - 2

    点向量坐标矩阵的几何意义介绍旋转矩阵的几何含义之前，先介绍一下点向量坐标矩阵的几何含义点：在一维空间下就是一个标量，如同一条直线上，以任意某一个位置为0点，以一定的尺度间隔为1，2，3...,相反方向为-1，-2，-3...；如此就形成了一维坐标系，这时候任何一个点都可以用一个数值表示，如点p1=5，即即从原点出发沿着x轴正方向移动5个尺度；点p2=-3，负方向移动3个尺度；     在一维坐标系上过原点做垂直于一维坐标系的直线，则形成了二维坐标系，此时描述一个点需要两个数值来表示点p3=（3，2），即从原点出发沿着x轴正方向移动3个尺度，在此基础上沿着y轴正方向移动两个尺度的位置就是点p3。

  2. hadoop安装之保姆级教程（二）之YARN的配置 - 2

    1.1.1 YARN的介绍 为克服Hadoop1.0中HDFS和MapReduce存在的各种问题⽽提出的，针对Hadoop1.0中的MapReduce在扩展性和多框架⽀持⽅⾯的不⾜，提出了全新的资源管理框架YARN. ApacheYARN（YetanotherResourceNegotiator的缩写）是Hadoop集群的资源管理系统，负责为计算程序提供服务器计算资源，相当于⼀个分布式的操作系统平台，⽽MapReduce等计算程序则相当于运⾏于操作系统之上的应⽤程序。 YARN被引⼊Hadoop2,最初是为了改善MapReduce的实现，但是因为具有⾜够的通⽤性，同样可以⽀持其他的分布式计算模

  3. ruby HTTPClient : How to use persistent connections? - 2

    如何通过HTTPClient使用持久HTTP连接？发送HTTP请求时是否只是设置KeepAlive的问题？文档指出支持持久连接，但没有告诉我们如何使用它们。 最佳答案 是availableinNet::HTTP如文档中所写，Net::HTTP.startimmediatelycreatesaconnectiontoanHTTPserverwhichiskeptopenforthedurationoftheblock.Theconnectionwillremainopenformultiplerequestsintheblockift

  4. ruby - Ruby 中的 "method"方法有什么意义？ - 2

    在Ruby中，有“method”方法，它创建一个方法对象，然后您可以将其视为Proc。如果您想进行元编程，这很有用:deffoobar(method_as_a_string)2.method(method_as_a_string).call(2)endfoobar("+")=>4foobar("-")=>0但是，通常情况下，如果您想进行这样的元编程，您会使用send而不是方法...deffoobar(method_as_a_string)2.send(method_as_a_string,2)endfoobar("+")=>4foobar("-")=>0Ruby中的“方法”方法有什么意

  5. ruby - 使用 watir-webdriver 打开多个线程导致 'Connection refused' 错误 - 2

    我有这个简单的例子:require'watir-webdriver'arr=[]sites=["www.google.com","www.bbc.com","www.cnn.com","www.gmail.com"]sites.eachdo|site|arr每次我运行这个脚本，我都会得到ruby/2.1.0/net/http.rb:879:in`initialize':Connectionrefused-connect(2)for"127.0.0.1"port9517(Errno::ECONNREFUSED)或者其中一个浏览器在至少一个线程上意外关闭。另一方面，如果我在每个循环周期结束

  6. ruby-on-rails - connect() 到 unix :/var/run/unicorn. 连接到上游时 sock 失败(111:连接被拒绝) - 2

    我遵循ruby​​onrails一个应用程序点击部署。数据库做得很好，即使我检查Rails控制台一切正常017/02/2615:34:17[error]18564#0:*31connect()tounix:/var/run/unicorn.sockfailed(111:Connectionrefused)whileconnectingtoupstream,client:121.52.156.57,server:_,request:"GET/HTTP/1.1",upstream:"http://unix:/var/run/unicorn.sock:/",host:"188.166.157

  7. ruby - 在方法调用中使用 Ruby 的 double-splat (`**` ) 有什么意义？ - 2

    通过一个splat，我们可以将一个数组扩展为多个参数，这与直接传递数组有很大不同:deffoo(a,b=nil,c=nil)aendargs=[1,2,3]foo(args)#Evaluatestofoo([1,2,3])=>[1,2,3]foo(*args)#Evaluatestofoo(1,2,3)=>1然而，对于关键字参数，我看不出有什么区别，因为它们只是散列的语法糖:deffoo(key:)keyendargs={key:'value'}foo(args)#Evaluatestofoo(key:'value')=>'value'foo(**args)#Evaluatestofo

  8. ruby-on-rails - Faraday::ConnectionFailed，Connection refused - connect(2) for “localhost” port 9200 Error Ruby on Rails - 2

    我正在尝试使用RubyonRails在我的应用程序中添加Searchkickgem，但是当我在搜索框中键入一个词时，我的应用程序中出现此错误。我已经根据需要安装了elasticsearch和最新版本的java，但错误仍然是一样的。这是我得到的错误:Faraday::ConnectionFailedinPostsController#searchConnectionrefused-connect(2)for"localhost"port9200这是我的代码:终端显示已安装Elasticsearch:终端Warning:elasticsearch-1.7.3alreadyinstalled

  9. ruby-on-rails - 将 Facebook Connect 与 Authlogic 结合使用 - 2

    我正在尝试使Authlogic和FacebookConnect(使用Facebook)发挥良好的作用，以便您可以通过正常注册方式或使用Facebookconnect创建帐户。我已经能够让连接以一种方式工作，但注销只会在facebook而不是我的网站上注销，我必须删除cookie才能使其正常工作。任何帮助都会很棒，谢谢! 最佳答案 这是我使用FacebookConnect扩展、authlogic和OpenID制作的示例应用程序。它仍然需要一些工作，但它确实起作用了。http://big-glow-mama.heroku.com/htt

  10. 大数据之Hadoop数据仓库Hive - 2

    目录：一、简介二、HQL的执行流程三、索引四、索引案例五、Hive常用DDL操作六、Hive常用DML操作七、查询结果插入到表八、更新和删除操作九、查询结果写出到文件系统十、HiveCLI和Beeline命令行的基本使用十一、Hive配置一、简介Hive是一个构建在Hadoop之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类SQL查询功能，用于查询的SQL语句会被转化为MapReduce作业，然后提交到Hadoop上运行。特点：简单、容易上手(提供了类似sql的查询语言hql)，使得精通sql但是不了解Java编程的人也能很好地进行大数据分析；灵活性高，可以自定义用户函数(UDF)和

随机推荐