jjzjj

java - PIG - 找到接口(interface) org.apache.hadoop.mapreduce.JobContext，但类是预期的

coder 2024-01-06 原文

我试图从配置单元加载一个表。 为此，我正在使用 Hcatalog。

我使用

登录到配置单元 
pig -useHCatalog

我从 hive 和 hadoop 导出了几乎所有的 jar

register 'hdfs://localhost:8020/user/pig/jars/hive-jdbc-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-exec-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-common-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-metastore-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/mysql-connector-java-5.1.28-bin.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-beeline-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-builtins-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-cli-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-contrib-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-hbase-handler-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-hwi-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-metastore-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-pdk-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-serde-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-service-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hive-shims-0.10.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/antlr-2.7.7.jar';
register 'hdfs://localhost:8020/user/pig/jars/antlr-runtime-3.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/avro-1.7.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/hcatalog-core-0.5.0-incubating.jar';
register 'hdfs://localhost:8020/user/pig/jars/hcatalog-pig-adapter-0.5.0-incubating.jar';
register 'hdfs://localhost:8020/user/pig/jars/avro-ipc-1.7.4-tests.jar';
register 'hdfs://localhost:8020/user/pig/jars/avro-mapred-1.7.4-hadoop2.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-cli-1.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-codec-1.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-collections-3.2.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-compress-1.4.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-configuration-1.6.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-dbcp-1.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-io-2.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-lang-2.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-logging-1.0.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-logging-api-1.0.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-logging-1.0.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-pool-1.5.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/datanucleus-api-jdo-3.2.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/datanucleus-core-3.2.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/datanucleus-rdbms-3.2.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/derby-10.4.2.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/guava-11.0.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/hbase.jar';
register 'hdfs://localhost:8020/user/pig/jars/jackson-xc-1.8.8.jar';
register 'hdfs://localhost:8020/user/pig/jars/activation-1.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/ant-contrib-1.0b3.jar';
register 'hdfs://localhost:8020/user/pig/jars/asm-3.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/avro-compiler-1.7.4.jar';
register 'hdfs://localhost:8020/user/pig/jars/cloudera-jets3t-2.0.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-beanutils-1.7.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-beanutils-core-1.8.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-digester-1.8.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-el-1.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-httpclient-3.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-io-2.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-lang-2.5.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-logging-1.1.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-math-2.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/commons-net-3.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/jersey-core-1.8.jar';
register 'hdfs://localhost:8020/user/pig/jars/jersey-json-1.8.jar';
register 'hdfs://localhost:8020/user/pig/jars/jersey-server-1.8.jar';
register 'hdfs://localhost:8020/user/pig/jars/jets3t-0.6.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/jettison-1.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/jetty-6.1.26.cloudera.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/jetty-util-6.1.26.cloudera.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/jsch-0.1.42.jar';
register 'hdfs://localhost:8020/user/pig/jars/jsp-api-2.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/jsr305-1.3.9.jar';
register 'hdfs://localhost:8020/user/pig/jars/junit-4.8.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/kfs-0.2.2.jar';
register 'hdfs://localhost:8020/user/pig/jars/kfs-0.3.jar';
register 'hdfs://localhost:8020/user/pig/jars/log4j-1.2.17.jar';
register 'hdfs://localhost:8020/user/pig/jars/mockito-all-1.8.5.jar';
register 'hdfs://localhost:8020/user/pig/jars/paranamer-2.3.jar';
register 'hdfs://localhost:8020/user/pig/jars/protobuf-java-2.4.0a.jar';
register 'hdfs://localhost:8020/user/pig/jars/servlet-api-2.5.jar';
register 'hdfs://localhost:8020/user/pig/jars/slf4j-api-1.6.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/stax-api-1.0.1.jar';
register 'hdfs://localhost:8020/user/pig/jars/xmlenc-0.52.jar';
register 'hdfs://localhost:8020/user/pig/jars/zookeeper-3.4.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/original-parquet-pig-1.2.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/original-parquet-pig-bundle-1.2.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/original-parquet-thrift-1.2.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/parquet-hive-1.2.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/parquet-pig-1.2.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/parquet-pig-bundle-1.2.5-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hadoop-core-2.0.0-mr1-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hadoop-core.jar';
register 'hdfs://localhost:8020/user/pig/jars/hadoop-mapreduce-client-core-2.0.0-cdh4.5.0.jar';
register 'hdfs://localhost:8020/user/pig/jars/hadoop-mapreduce-client-core.jar';

我也试过这个命令

ant clean jar -Dhadoopversion=23'

是不是版本不匹配的问题？

我正在使用 Hadoop 2.0.0-cdh4.5.0 和 pig-0.12.0-src

请帮忙

最佳答案

是的，这是一个兼容性问题。

您可以看到 Hadoop 2 未列为与 Pig 0.12 兼容:

Requirements
Mandatory

Unix and Windows users need the following:

Hadoop 0.20.2, 020.203, 020.204, 0.20.205, 1.0.0, 1.0.1, or 0.23.0, 0.23.1

http://pig.apache.org/docs/r0.12.0/start.html

关于java - PIG - 找到接口(interface) org.apache.hadoop.mapreduce.JobContext，但类是预期的，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/21873050/

JobContextinterfacelocalhostregister39javahadoophiveapache-pighcatalog

有关java - PIG - 找到接口(interface) org.apache.hadoop.mapreduce.JobContext，但类是预期的的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么？ 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设？ 关于java-等价于Java中的RubyHash，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/22737685/

  3. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java，并成功地将它与另一个Java包一起使用，但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  4. java - 我的模型类或其他类中应该有逻辑吗 - 2

    我只想对我一直在思考的这个问题有其他意见，例如我有classuser_controller和classuserclassUserattr_accessor:name,:usernameendclassUserController//dosomethingaboutanythingaboutusersend问题是我的User类中是否应该有逻辑user=User.newuser.do_something(user1)oritshouldbeuser_controller=UserController.newuser_controller.do_something(user1,user2)我

  5. ruby-on-rails - ruby 日期方程不返回预期的真值 - 2

    为什么以下不同？Time.now.end_of_day==Time.now.end_of_day-0.days#falseTime.now.end_of_day.to_s==Time.now.end_of_day-0.days.to_s#true 最佳答案 因为纳秒数不同:ruby-1.9.2-p180:014>(Time.now.end_of_day-0.days).nsec=>999999000ruby-1.9.2-p180:015>Time.now.end_of_day.nsec=>999999998

  6. java - 什么相当于 ruby​​ 的 rack 或 python 的 Java wsgi？ - 2

    什么是ruby​​的rack或python的Java的wsgi？还有一个路由库。 最佳答案 来自Python标准PEP333:Bycontrast,althoughJavahasjustasmanywebapplicationframeworksavailable,Java's"servlet"APImakesitpossibleforapplicationswrittenwithanyJavawebapplicationframeworktoruninanywebserverthatsupportstheservletAPI.ht

  7. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  8. Observability：从零开始创建 Java 微服务并监控它 （二） - 2

    这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/

  9. 【Java 面试合集】HashMap中为什么引入红黑树，而不是AVL树呢 - 2

    HashMap中为什么引入红黑树，而不是AVL树呢1.概述开始学习这个知识点之前我们需要知道，在JDK1.8以及之前，针对HashMap有什么不同。JDK1.7的时候，HashMap的底层实现是数组+链表JDK1.8的时候，HashMap的底层实现是数组+链表+红黑树我们要思考一个问题，为什么要从链表转为红黑树呢。首先先让我们了解下链表有什么不好？？？2.链表上述的截图其实就是链表的结构，我们来看下链表的增删改查的时间复杂度增：因为链表不是线性结构，所以每次添加的时候，只需要移动一个节点，所以可以理解为复杂度是N(1)删：算法时间复杂度跟增保持一致查：既然是非线性结构，所以查询某一个节点的时候

  10. 【Java入门】使用Java实现文件夹的遍历 - 2

    遍历文件夹我们通常是使用递归进行操作，这种方式比较简单，也比较容易理解。本文为大家介绍另一种不使用递归的方式，由于没有使用递归，只用到了循环和集合，所以效率更高一些！一、使用递归遍历文件夹整体思路1、使用File封装初始目录，2、打印这个目录3、获取这个目录下所有的子文件和子目录的数组。4、遍历这个数组，取出每个File对象4-1、如果File是否是一个文件，打印4-2、否则就是一个目录，递归调用代码实现publicclassSearchFile{publicstaticvoidmain(String[]args){//初始目录Filedir=newFile("d:/Dev");Datebeg

随机推荐