我在使用 java 代码访问 haddop 文件时遇到堆栈溢出错误。

import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
public class URLCat 
{
    static 
    {
            URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }

    public static void main(String[] args) throws Exception 
    {
        InputStream in = null;
        try 
        {
            in = new URL(args[0]).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        }
        finally 
        {
            IOUtils.closeStream(in);
        }
    }
}

我用eclipse调试这段代码然后我才知道行

in = new URL(args[0]).openStream();

产生错误。

我通过传递 hadoop 文件路径来运行这段代码，即

 hdfs://localhost/user/jay/abc.txt

异常(从评论中提取):

Exception in thread "main" java.lang.StackOverflowError
  at java.nio.Buffer.<init>(Buffer.java:174) 
  at java.nio.ByteBuffer.<init>(ByteBuffer.java:259) 
  at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:52) 
  at java.nio.ByteBuffer.wrap(ByteBuffer.java:350) 
  at java.nio.ByteBuffer.wrap(ByteBuffer.java:373) 
  at java.lang.StringCoding$StringEncoder.encode(StringCoding.java:237) 
  at java.lang.StringCoding.encode(StringCoding.java:272) 
  at java.lang.String.getBytes(String.java:946) 
  at java.io.UnixFileSystem.getBooleanAttributes0(Native Method) 
  .. stack trace truncated ..

最佳答案

1)这是因为hadoop提供的FSURLStreamHandlerFactory类存在bug。请注意，该错误已在包含此类的最新 jar 中修复。

2) 该文件位于 hadoop-common-2.0.0-cdh4.2.1.jar 中。要完全理解这个问题，我们必须理解 java.net.URL 类是如何工作的。

URL 对象的工作

当我们使用其构造函数中的任何一个创建新 URL 而未传递“URLStreamHandler”(通过为其值传递 null 或调用不将 URLStreamHandler 对象作为其参数的构造函数)时，它会在内部调用一个名为 getURLStreamHandler( ).该方法返回 URLStreamHandler 对象并设置一个成员

URL 类中的变量。

这个对象知道如何构建特定方案的连接，如“http”、"file"……等等。这个 URLStreamHandler 是由名为

URLStreamHandlerFactory。

3) 在上面给出的问题示例中，通过调用以下静态方法将 URLStreamHandlerFactory 设置为“FsUrlStreamHandlerFactory”。

    URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());

因此，当我们创建一个新 URL 时，这个“FSUrlStreamHandlerFactory”用于通过调用其 createURLStreamHandler(protocol) 方法为这个新 URL 创建 URLStreamHandler 对象。

该方法依次调用 FileSystem 类的名为 loadFileSystems() 的方法。 loadFileSystems() 方法调用 ServiceLoader.load("FileSystem.class") 因此它尝试通过搜索类路径中所有 jar 文件的所有 META-INF/services/*.FileSystem 文件来读取 FileSystem 实现类的二进制名称和阅读其条目。

4) 请记住，每个 jar 都是作为 URL 对象处理的，这意味着对于每个 jar，一个 URL 对象是由 ClassLoader 在内部创建的。类加载器提供 URLStreamHandler 对象

在为这些 jar 构建 URL 时，这些 URL 将不会受到我们设置的“FSUrlStreamHandlerFactory”的影响，因为 URL 已经具有“URLStreamHandler”。因为我们是

处理 jar 文件时，类加载器将“URLStreamHandler”设置为“sun.net.www.protocol.jar.Handler”类型。

5) 现在为了读取文件系统实现类的 jar 文件中的条目，“sun.net.www.protocol.jar.Handler”需要通过以下方式为每个条目构造 URL 对象

在没有 URLStreamHandler 对象的情况下调用 URL 构造函数。由于我们已经将 URLStreamHandlerFactory 定义为“FSUrlStreamHandlerFactory”，因此它调用 createURLStreamHandler

(protocol) 方法导致无限递归并导致“StackOverflowException”。

此错误被 Hadoop 提交者称为“HADOOP-9041”。链接是https://issues.apache.org/jira/browse/HADOOP-9041 .

我知道这有点复杂。

所以简而言之，下面给出了这个问题的解决方案。

1) 使用最新的 jar hadoop-common-2.0.0-cdh4.2.1.jar 修复了这个 bug

或

2) 在设置 URLStreamHandlerFactory 之前，将以下语句放在静态 block 中。

      static {
               FileSystem.getFileSystemClass("file",new Configuration()); 
               URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
             } 

请注意，静态 block 中的第一条语句现在不依赖于 FsUrlStreamHandlerFactory，而是使用 file://的默认处理程序来读取 META-INF/services/*.FileSystem 文件中的整个文件。

关于hadoop - 在hadoop中获取堆栈溢出错误，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17360018/