jjzjj

htmlunit

全部标签

java - 如何克服 HTMLUnit ScriptException?

我遇到了一行代码的问题,它可能会触发一些js函数并导致异常,我该如何解决这个问题?box.setText(link.toString());client.waitForBackgroundJavaScriptStartingBefore(10000);box.dblClick();//thislinecausetheexceptionExceptioninthread"main"=======EXCEPTIONSTART========EcmaError:lineNumber=[0]column=[0]lineSource=[function(){]name=[ReferenceErr

java - 如何克服 HTMLUnit ScriptException?

我遇到了一行代码的问题,它可能会触发一些js函数并导致异常,我该如何解决这个问题?box.setText(link.toString());client.waitForBackgroundJavaScriptStartingBefore(10000);box.dblClick();//thislinecausetheexceptionExceptioninthread"main"=======EXCEPTIONSTART========EcmaError:lineNumber=[0]column=[0]lineSource=[function(){]name=[ReferenceErr

java - 使用 headless 浏览器进行 Android 网页抓取

已结束。此问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提出有关书籍、工具、软件库等方面的建议的问题。您可以编辑问题,以便用事实和引用来回答它。关闭3年前。Improvethisquestion我花了一天时间研究可用于完成以下任务的库:在后台检索网页的全部内容,而不向View呈现结果。例如,该库应支持在初始HTML加载后触发ajax请求以加载一些额外结果数据的页面。我需要从生成的html中抓取xpath或css选择器形式的元素。将来我可能还需要导航到下一页(触发事件、提交按钮/链接等)这是我尝试过但没有成功的方法:Jsoup:效果很好,但不支持j

java - 使用 headless 浏览器进行 Android 网页抓取

已结束。此问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提出有关书籍、工具、软件库等方面的建议的问题。您可以编辑问题,以便用事实和引用来回答它。关闭3年前。Improvethisquestion我花了一天时间研究可用于完成以下任务的库:在后台检索网页的全部内容,而不向View呈现结果。例如,该库应支持在初始HTML加载后触发ajax请求以加载一些额外结果数据的页面。我需要从生成的html中抓取xpath或css选择器形式的元素。将来我可能还需要导航到下一页(触发事件、提交按钮/链接等)这是我尝试过但没有成功的方法:Jsoup:效果很好,但不支持j

android - Android 上的 HtmlUnit

我一直在使用HtmlUnit在Android上编写网络抓取应用程序。但是,当我构建应用程序时,出现构建错误“转换为Dalvik格式失败,错误1”。那么,如何使用HtmlUnit构建android应用程序?请... 最佳答案 我刚遇到这个,看到了很多由XML相关的jar触发的其他错误,包括这个:[2011-05-2012:57:50-AndroidHello]Dxtroubleprocessing"javax/xml/XMLConstants.class":Ill-advisedormistakenusageofacoreclass(

android - Android 的 HttpUnit/HtmlUnit 等价物

我正在寻找android上的浏览​​器模拟库,它可以处理类似的事情加载网站(http/https)重定向:HTTP(3xx状态代码)、JavaScript、HMTL标记填写html表格简单的html解析(可以回退到JSoup)HttpUnit或HtmlUnit会做的很好,但他们都很难在android上运行。除了(Android)HttpClient之外还有其他选择吗(因此我自己做了很多上面的事情)?或者我能以某种方式使用androidwebkit/浏览器吗?提前致谢! 最佳答案 我建议你看看AndroidDriver对于Seleni

java - 我如何告诉 HtmlUnit 的 WebClient 下载图像和 css?

如何让WebClient像通常的网络浏览器一样下载外部css样式表和图像主体? 最佳答案 我现在正在做的是:publicstaticfinalHashMapacceptTypes=newHashMap(){{put("html","text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");put("img","image/png,image/*;q=0.8,*/*;q=0.5");put("script","*/*");put("style","text/cs

java - HTMLUnit : super slow execution?

我一直在使用HTMLUnit。很符合我的要求。但它似乎非常缓慢。例如:我使用HTMLUnit自动化了以下场景GotoGooglepageEntersometextClickonthesearchbuttonGetthetitleoftheresultspageClickonthefirstresult.代码:longt1=System.currentTimeMillis();Loggerlogger=Logger.getLogger("");logger.setLevel(Level.OFF);WebClientwebClient=createWebClient();WebReques

java - HtmlUnit 在浏览页面时是否加载图像?

如上。它会加载图像吗? 最佳答案 默认:否。你必须使用htmlImage。getImageReader()或者,您可以使用htmlPage。save()更新:从2.25开始,您可以使用:webClient.getOptions().setDownloadImages(true); 关于java-HtmlUnit在浏览页面时是否加载图像?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/question

java - 生产中的 HtmlUnit + Selenium

我目前正在使用HtmlUnit和Selenium在我的生产代码中驱动它(WebDriver)。我正在使用这些库以编程方式对各种网站进行scape和交互,并且取得了一些成功并且没有遇到内存问题(确保session始终被清理)。我想知道这些库是否适合生产环境或不推荐使用。这很难通过谷歌找到,因为有大量关于自动化测试的信息,而不是我如何使用它们。我意识到这是一个相当普遍的问题,但我正在寻求有关这些库和可能更好的替代方案的建议。 最佳答案 WebDriver和Selenium非常适合生产环境。我在多机器/多数据中心分布式网格上广泛使用了2年