我正在使用 JDBC 客户端代码连接到配置单元安装。我创建了一个包含两列(column1，column2)的测试表，它们都是字符串类型。当我尝试执行像“select* from test”这样的简单查询时，我在 Java 程序中得到了结果，但是使用 where 子句和其他复杂查询的查询会抛出以下异常。

“查询返回非零代码:1，原因:失败:执行错误，从 org.apache.hadoop.hive.ql.exec.MapRedTask 返回代码 1”

我已经尝试更改存在文件的 hdfs 目录的权限，/tmp 在本地目录上，但这没有用。

这是我的连接代码

Connection con = DriverManager.getConnection("jdbc:hive://"+host+":"+port+"/default", "", "");

Statement stmt = con.createStatement();

executeQuery() 方法抛出错误

检查服务器上的日志给出以下异常:

java.io.IOException:无法初始化集群。请检查您的配置以获取 mapreduce.framework.name 和相应的服务器地址。 在 org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:121) 在 org.apache.hadoop.mapreduce.Cluster.(Cluster.java:83) 在 org.apache.hadoop.mapreduce.Cluster.(Cluster.java:76) 在 org.apache.hadoop.mapred.JobClient.init(JobClient.java:478) 在 org.apache.hadoop.mapred.JobClient.(JobClient.java:457) 在 org.apache.hadoop.hive.ql.exec.ExecDriver.execute(ExecDriver.java:426) 在 org.apache.hadoop.hive.ql.exec.MapRedTask.execute(MapRedTask.java:138) 在 org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:138) 在 org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57) 在 org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1374) 在 org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1160) 在 org.apache.hadoop.hive.ql.Driver.run(Driver.java:973) 在 org.apache.hadoop.hive.ql.Driver.run(Driver.java:893) 在 org.apache.hadoop.hive.service.HiveServer$HiveServerHandler.execute(HiveServer.java:198) 在 org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:644) 在 org.apache.hadoop.hive.service.ThriftHive$Processor$execute.getResult(ThriftHive.java:628) 在 org.apache.thrift.ProcessFunction.process(ProcessFunction.java:39) 在 org.apache.thrift.TBaseProcessor.process(TBaseProcessor.java:39) 在 org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:206) 在 java.util.concurrent.ThreadPoolExecutor.runWorker(未知来源) 在 java.util.concurrent.ThreadPoolExecutor$Worker.run(未知来源) 在 java.lang.Thread.run(未知来源) 作业提交失败，出现异常“java.io.IOException(无法初始化集群。请检查您的配置以获取 mapreduce.framework.name 和相应的服务器地址。)”

查询在命令提示符下运行时有效，但在 JDBC 客户端中无效。

我卡在这上面了。任何建议都会有所帮助。

更新

我正在使用 cloudera CDH4 hadoop/hive 发行版。我运行的脚本如下

#!/bin/bash
HADOOP_HOME=/usr/lib/hadoop/client
HIVE_HOME=/usr/lib/hive

echo -e '1\x01foo' > /tmp/a.txt
echo -e '2\x01bar' >> /tmp/a.txt

HADOOP_CORE={{ls $HADOOP_HOME/hadoop*core*.jar}}
CLASSPATH=.:$HADOOP_CORE:$HIVE_HOME/conf

for i in ${HIVE_HOME}/lib/*.jar ; do
    CLASSPATH=$CLASSPATH:$i
done

for i in ${HADOOP_HOME}/*.jar ; do
    CLASSPATH=$CLASSPATH:$i
done

java -cp $CLASSPATH com.hive.test.HiveConnect

我已将 HADOOP_CORE={{ls $HADOOP_HOME/hadoop-*-core.jar}} 更改为 HADOOP_CORE={{ls $HADOOP_HOME/hadoop*core*.jar}} 因为我的 hadoop_home 中没有以 hadoop- 开头并以 -core.jar 结尾的 jar 文件。这个对吗？同样运行脚本会出现以下错误

/usr/lib/hadoop/client/hadoop*core*.jar}}: 没有那个文件或目录

我还修改了脚本以将 hadoop 客户端 jar 添加到类路径，因为脚本抛出了找不到 hadoop fileReader 的错误。所以我也添加了以下内容。 我在 ${HADOOP_HOME}/*.jar 中；做 类路径=$类路径:$i 完成

这将执行类文件并运行查询“select * from test”但在“select column1 from test”上失败。

仍然没有成功，同样的错误。

最佳答案

既然它在 hive shell 上运行良好，你能检查你运行 hive shell 的用户和 java 程序(使用 JDBC)是否相同吗？

接下来，启动 Thrift 服务器 cd 到配置单元所在的位置 - 发出这个命令 -

bin/hive --service hiveserver &

你应该看到 -

Starting Hive Thrift Server

确保 HiveServer 正在运行的一种快速方法是使用 netstat 命令确定端口 10,000 是否打开并监听连接:

netstat -nl | grep 10000
tcp  0  0 :::10000         :::*          LISTEN

接下来，创建一个名为 myhivetest.sh 的文件并将以下内容放入其中 并根据您的要求替换 HADOOP_HOME、HIVE_HOME 和 package.youMainClass-

    #!/bin/bash
    HADOOP_HOME=/your/path/to/hadoop
    HIVE_HOME=/your/path/to/hive

    echo -e '1\x01foo' > /tmp/a.txt
    echo -e '2\x01bar' >> /tmp/a.txt

    HADOOP_CORE={{ls $HADOOP_HOME/hadoop-*-core.jar}}
    CLASSPATH=.:$HADOOP_CORE:$HIVE_HOME/conf

    for i in ${HIVE_HOME}/lib/*.jar ; do
        CLASSPATH=$CLASSPATH:$i
    done

    java -cp $CLASSPATH package.youMainClass

保存 myhivetest.sh 并执行 chmod +x myhivetest.sh。您可以使用 ./myhivetest.sh 运行 bash 脚本，这将在调用您的配置单元程序之前构建您的类路径。

请关注instruction here了解详情。 有嵌入式模式和独立模式两种方式。 您应该寻找独立模式。

供您引用: Hive 不是类似于 MySQL、Oracle 和 Teradata 等 DBMS 的广泛查询引擎。 Hive 对您可以进行的复杂查询的范围有限制，比如非常复杂的连接等。 当您进行查询时，Hive 会运行 Hadoop MapReduce 作业。

Check this tutorial支持哪些类型的查询，哪些不支持。

希望这对您有所帮助。

关于jdbc - Hive JDBC 客户端抛出 SQLException，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17500114/