我正在为 java 测试新的应用引擎搜索 api，我有以下代码尝试在索引上添加约 3000 个文档:

List<Document> documents = new ArrayList<Document>();
    for (FacebookAlbum album: user.listAllAlbums()) {
        Document doc = Document.newBuilder()
                .setId(album.getId())
                .addField(Field.newBuilder().setName("name").setText(album.getFullName()))
                .addField(Field.newBuilder().setName("albumId").setText(album.getAlbumId()))
                .addField(Field.newBuilder().setName("createdTime").setDate(Field.date(album.getCreatedTime())))
                .addField(Field.newBuilder().setName("updatedTime").setDate(Field.date(album.getUpdatedTime())))
                .build();
        documents.add(doc);
    }     

    try {
        // Add all the documents.
        getIndex(facebookId).add(documents);
    } catch (AddException e) {
        if (StatusCode.TRANSIENT_ERROR.equals(e.getOperationResult().getCode())) {
            // retry adding document
        }
    }

但是，我收到以下异常:

Uncaught exception from servlet
java.lang.IllegalArgumentException: number of documents, 3433, exceeds maximum 200
at com.google.appengine.api.search.IndexImpl.addAsync(IndexImpl.java:196)
at com.google.appengine.api.search.IndexImpl.add(IndexImpl.java:380)
at photomemories.buildIndexServlet.doGet(buildIndexServlet.java:47)

将添加调用设置为 200 时，我可以插入的文档数量是否有配额？

如果我尝试使用以下代码一次将一个文档插入到索引中:

 for (FacebookAlbum album: user.listAllAlbums()) {
        Document doc = Document.newBuilder()
                .setId(album.getId())
                .addField(Field.newBuilder().setName("name").setText(album.getFullName()))
                .addField(Field.newBuilder().setName("albumId").setText(album.getAlbumId()))
                .addField(Field.newBuilder().setName("createdTime").setDate(Field.date(album.getCreatedTime())))
                .addField(Field.newBuilder().setName("updatedTime").setDate(Field.date(album.getUpdatedTime())))
                .build();

         try {
            // Add the document.
            getIndex(facebookId).add(doc);
        } catch (AddException e) {
            if (StatusCode.TRANSIENT_ERROR.equals(e.getOperationResult().getCode())) {
                // retry adding document
            }
        }

    }     

我收到以下异常:

com.google.apphosting.api.ApiProxy$OverQuotaException: The API call search.IndexDocument() required more quota than is available.
at com.google.apphosting.runtime.ApiProxyImpl$AsyncApiFuture.success(ApiProxyImpl.java:479)
at com.google.apphosting.runtime.ApiProxyImpl$AsyncApiFuture.success(ApiProxyImpl.java:382)
at com.google.net.rpc3.client.RpcStub$RpcCallbackDispatcher$1.runInContext(RpcStub.java:786)
at com.google.tracing.TraceContext$TraceContextRunnable$1.run(TraceContext.java:455)

我认为 api 调用的配额是 20k/天(参见此处:https://developers.google.com/appengine/docs/java/search/overview#Quotas)。

对正在发生的事情有什么想法吗？

最佳答案

这里发生了一些事情。最重要的是，这将很快在文档中阐明，搜索 API 调用配额还考虑了添加/更新的文档数量。因此，插入 10 个文档的单个添加调用会将您的每日搜索 API 调用配额减少 10。

是的，在单个添加调用中可以索引的文档的最大数量是 200。但是，在这个阶段还有一个短期突发配额限制您每分钟大约 100 个 API 调用。

以上所有意味着，至少现在，每个添加请求添加的文档不要超过 100 个是最安全的。按照 Shay 的建议通过任务队列执行此操作也是一个非常好的主意。

关于java - 适用于 Java 的 Appengine 搜索 API 的配额，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/10567267/