有没有办法使用 StAX 和 JAX-B 创建索引，然后快速访问 XML 文件？

我有一个很大的 XML 文件，我需要在其中查找信息。这用于桌面应用程序，因此它应该在 RAM 很少的系统上工作。

所以我的想法是:创建一个索引，然后从大文件中快速访问数据。

我不能只拆分文件，因为它是我想不加改动地使用的官方联邦数据库。

使用 XMLStreamReader 我可以快速找到一些元素，然后使用 JAXB 解码该元素。

    final XMLStreamReader r = xf.createXMLStreamReader(filename, new FileInputStream(filename));
    final JAXBContext ucontext = JAXBContext.newInstance(Foo.class);
    final Unmarshaller unmarshaller = ucontext.createUnmarshaller();
    r.nextTag();

    while (r.hasNext()) {

        final int eventType = r.next();
        if (eventType == XMLStreamConstants.START_ELEMENT && r.getLocalName().equals("foo")
                && Long.parseLong(r.getAttributeValue(null, "bla")) == bla
                ) {
            // JAX-B works just fine:
            final JAXBElement<Foo> foo = unmarshaller.unmarshal(r,Foo.class);
            System.out.println(foo.getValue().getName());
            // But how do I get the offset?
            // cache.put(r.getAttributeValue(null, "id"), r.getCursor()); // ???
            break;
        }
    }

但是我无法得到偏移量。我想用它来准备索引:
(元素的 id)->(文件中的偏移量)

然后我应该能够使用偏移量从那里解码:打开文件流，跳过那么多字节，解码。 我找不到执行此操作的库。如果不知道文件光标的位置，我不能自己做。 javadoc清楚地表明有一个游标，但我找不到访问它的方法。

编辑:
我只是想提供一种可以在旧硬件上运行的解决方案，以便人们可以实际使用它。不是每个人都能买得起功能强大的新电脑。使用 StAX 我可以在大约 2 秒内获取数据，这有点长。但它不需要内存。它需要 300 MB 的 RAM 才能使用 JAX-B。对于这样一个简单的任务，使用一些嵌入式数据库系统只会带来很多开销。无论如何我都会使用 JAX-B。因为 wsimport 生成的类已经很完美，所以其他任何东西对我来说都是无用的。当我只需要几个对象时，我不想加载 300 MB 的对象。

我找不到只需要 XSD 来创建内存中数据库的数据库，它不使用那么多 RAM。它都是为服务器制作的，或者需要定义模式和映射 XML。所以我认为它根本不存在。

最佳答案

您可以使用 ANTLR4 来处理生成的 XML 解析器.

以下在 ~17GB Wikipedia dump 上运行良好/20170501/dewiki-20170501-pages-articles-multistream.xml.bz2 但我不得不使用 -xX6GB 增加堆大小。

1。获取 XML 语法

cd /tmp
git clone https://github.com/antlr/grammars-v4

2。生成解析器

cd /tmp/grammars-v4/xml/
mvn clean install

3。将生成的 Java 文件复制到您的项目

cp -r target/generated-sources/antlr4 /path/to/your/project/gen

4。与监听器 Hook 以收集字符偏移量

package stack43366566;

import java.util.ArrayList;
import java.util.List;

import org.antlr.v4.runtime.ANTLRFileStream;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.tree.ParseTreeWalker;

import stack43366566.gen.XMLLexer;
import stack43366566.gen.XMLParser;
import stack43366566.gen.XMLParser.DocumentContext;
import stack43366566.gen.XMLParserBaseListener;

public class FindXmlOffset {

    List<Integer> offsets = null;
    String searchForElement = null;

    public class MyXMLListener extends XMLParserBaseListener {
        public void enterElement(XMLParser.ElementContext ctx) {
            String name = ctx.Name().get(0).getText();
            if (searchForElement.equals(name)) {
                offsets.add(ctx.start.getStartIndex());
            }
        }
    }

    public List<Integer> createOffsets(String file, String elementName) {
        searchForElement = elementName;
        offsets = new ArrayList<>();
        try {
            XMLLexer lexer = new XMLLexer(new ANTLRFileStream(file));
            CommonTokenStream tokens = new CommonTokenStream(lexer);
            XMLParser parser = new XMLParser(tokens);
            DocumentContext ctx = parser.document();
            ParseTreeWalker walker = new ParseTreeWalker();
            MyXMLListener listener = new MyXMLListener();
            walker.walk(listener, ctx);
            return offsets;
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

    public static void main(String[] arg) {
        System.out.println("Search for offsets.");
        List<Integer> offsets = new FindXmlOffset().createOffsets("/tmp/dewiki-20170501-pages-articles-multistream.xml",
                        "page");
        System.out.println("Offsets: " + offsets);
    }

}

5.结果

打印:

偏移量:[2441、10854、30257、51419 ....

6。从偏移位置读取

为了测试代码，我编写了将每个维基百科页面读取到 java 对象的类

@JacksonXmlRootElement
class Page {
   public Page(){};
   public String title;
}

基本上使用这段代码

private Page readPage(Integer offset, String filename) {
        try (Reader in = new FileReader(filename)) {
            in.skip(offset);
            ObjectMapper mapper = new XmlMapper();
             mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
            Page object = mapper.readValue(in, Page.class);
            return object;
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

查找完整example on github .

关于java - 使用 StAX 为 XML 创建索引以便快速访问，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43366566/