jjzjj

java - 使 AJAX 应用程序可抓取？如何在 Google App Engine 上构建一个简单的网络服务来生成 HTML 快照？

coder 2023-08-30 原文

现实世界的问题:

我的应用托管在 Heroku 上，谁(据我所知)无法提供运行 headless (无 GUI)浏览器的解决方案 - 例如 HTMLUnit - 用于生成 HTML Snapshots让 Googlebot 为我的 AJAX 内容编制索引。

我提出的解决方案:

如果您还没有，我建议您阅读 Google 的 Full Specification for Making AJAX Applications Crawlable .

假设我有:

  • 一个Sinatra应用程序托管在域 http://example.com
    • 的 Heroku 上
  • 该应用在页面顶部有标签 TabA、TabB 和 TabC
  • 每个选项卡下是SubTab1、SubTab2、SubTab3
  • 如果 url 是 http://example.com#!tab=TabA&subtab=SubTab3 则客户端 Javascript 获取 location.hash 并加载到 TabA , 通过 AJAX 的 SubTab3 内容。

注意:Hash Bang (#!) 是 google spec 的一部分.

我想构建一个托管在 Google App Engine 上的简单“网络服务” (GAE) 认为:

  1. 接受一个 URL 参数，例如http://htmlsnapshot.appspot.com?url=http://example.com#!tab=TabA&subtab=SubTab3(url 参数应该是 URLEncoded)
  2. 运行 HTMLUnit 以打开 http://example.com#!tab=TabA&subtab=SubTab3 并在服务器上运行客户端 javascript。
  3. HTMLUnit 在一切完成后(或大约 45 秒后)返回 DOM。
  4. 返回的内容可以通过 JSON/JSONP 发回，或者一个 URL 返回到生成并存储在谷歌应用引擎服务器上的文件(对于基于文件的“缓存”结果)...在这里接受建议。如果返回文件的 URL，那么您可以 CURL获取源代码(又名 HTML 快照)。

我的 http://example.com 应用程序需要管理对 http://htmlsnapshot.appspot.com 的调用...基本上:

  1. 捕获 Googlebots 对 http://example.com/?_escaped_fragment_=tab=TabA%26subtab=SubTab3 的调用(Googlebot 抓取工具转义某些字符，例如 %26 = &)。
  2. 从后端发送请求到http://htmlsnapshot.appspot.com?url=http://example.com#!tab=TabA&subtab=SubTab3(url 参数应该是URLEncoded)
  3. 将返回的 HTML 快照渲染到前端。
  4. Google 索引了内容，我们很高兴!

我没有任何使用 Google App Engine、Java 或 HTMLUnit 的经验。

我也许能够弄清楚...如果我这样做了，我会发布我的结果。

否则，我觉得这是一个非常好的机会，可以让某人写一篇精彩的博文，概述新手分步指南来设置像这样的网络服务。

这将向更多人介绍出色(而且免费!)的 Google App Engine。此外，它无疑会鼓励更多人采用 Google 的可抓取 AJAX 内容规范……我们都可以从中受益!

随着 Google 的规范获得更多人的接受，设置 Headless Browser 的“障碍”将使 许多 开发人员使用 Google 搜索答案!立即获得名望和荣耀的答案! (编辑:至少我会歌颂你)。

如果您想讨论解决方案，请在 Twitter @_chrisjacob 上联系我。

最佳答案

我已经在 AppEngine 上成功使用了 HTMLunit。我的 GWT 代码可以在 gwt-platform project 中找到。我得到的结果与 HTMLunit-AppEngine test application 的结果相似阿米特·曼吉 (Amit Manjhi) 着。

使用 GWTP 当前的 HTMLunit 支持来准确执行您所描述的操作应该相对容易，尽管您可能会在更简单的应用程序中执行此操作。我看到的一个问题是 AppEngine 请求有 30 秒的超时时间，因此您不能让 HTMLunit 的页面处理时间超过 30 秒。

更新: 已经有一段时间了，但我终于解决了关于使用 GWTP 使 GWT 应用程序可爬网的长期存在的问题。文档并不完整，但请检查问题: http://code.google.com/p/gwt-platform/issues/detail?id=1

关于java - 使 AJAX 应用程序可抓取？如何在 Google App Engine 上构建一个简单的网络服务来生成 HTML 快照？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3517944/

何在来生codestronghttpjavaajaxgoogle-app-engineseohtmlunit

有关java - 使 AJAX 应用程序可抓取？如何在 Google App Engine 上构建一个简单的网络服务来生成 HTML 快照？的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣，我很好奇如何按顺序创建PI，而不是在过程结果之后生成数字，而是让数字在过程本身生成时显示。如果是这种情况，那么数字可以自行产生，我可以对以前看到的数字实现垃圾收集，从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法，类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

    我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

  3. ruby - 如何在 buildr 项目中使用 Ruby 代码？ - 2

    如何在buildr项目中使用Ruby？我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序，我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/)，但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻，因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  6. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  7. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller，client和test_client。客户端Controller已经构建，我想创建一个test_clientController，我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集，然后呈现客户端Controller的索引View，以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  8. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe？ - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗？我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe，无需等待进程完成是否有任何ruby​​gems会支持我的问题？ 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  9. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  10. ruby-on-rails - Rails HTML 请求渲染 JSON - 2

    在我的Controller中，我通过以下方式在我的index方法中支持HTML和JSON:respond_todo|format|format.htmlformat.json{renderjson:@user}end在浏览器中拉起它时，它会自然地以HTML呈现。但是，当我对/user资源进行内容类型为application/json的curl调用时(因为它是索引方法)，我仍然将HTML作为响应。如何获取JSON作为响应？我还需要说明什么？ 最佳答案 您应该将.json附加到请求的url，提供的格式在routes.rb的路径中定义。这

随机推荐