我目前正在学习 HtmlUnit 以抓取网站。一切都进行得很顺利，直到我遇到一个动态页面(例如，我正在使用 Pinterest 网站)，当用户向下滚动时，该页面上的元素会动态添加。

我已经尝试了几种应该在真实浏览器中触发滚动的方法(我将在下面展示)。 在继续之前，我想提一下我已经设置了以下配置:

    webclient.setJavaScriptEnabled(true);
    webclient.setAjaxController(new NicelyResynchronizingAjaxController());

假设我想让我所有的关注者都在 Pinterest 上。我导航到那个页面，现在因为第一次只有 24 个，我想向下滚动，触发对服务器的 Ajax 调用并检索下一组关注者的事件。

1) 纯 javascript 或 jQuery 代码触发窗口滚动。

    ScriptResult sr = followersPage.executeJavaScript("window.scrollBy(0,1000)");
    // One version in jQuery
    // ScriptResult sr = followersPage.executeJavaScript("$(window).scrollTop(0,1000);");
    // also tried with the body, html, with animation
    // ScriptResult sr = followersPage.executeJavaScript("$("html, body").animate({ scrollTop: $(document).height() }, 1000);");
    webclient.waitForBackgroundJavaScript(10000);
    followersPage = (HtmlPage)sr.getNewPage();

=> 当我检查到顶部的距离时，它等于 0，结果页面与原始页面相同。在Eclipse中调试时，当我跨过执行javascript的那一行时，它直接进入下一行，没有任何延迟。如果我编写任何其他 javascript，例如:

     ScriptResult sr = followersPage.executeJavaScript("$(div.GridItems).html('new content')");

您会注意到调试器在该行挂起半秒，这意味着 javascript 已执行。

2) 将焦点从一个跟随者 anchor 更改为另一个(我选择 anchor 是因为当您单击 TAB 键时它用于焦点顺序):

    HtmlDivision gridItems = followersPage.getFirstByXPath("//div[contains(concat(' ',@class,' '),' GridItems ')]");
    List<HtmlDivision> els = (List<HtmlDivision>) gridItems.getByXPath("//div[@class='item ']");
    List<HtmlDivision> items = (List<HtmlDivision>) gridItems.getByXPath("//div[@class='item ']");
    for (HtmlDivision item : items) {
        HtmlAnchor a = item.getFirstByXPath("//a[@class='userWrapper']");
        a.focus();
        webClient.waitForBackgroundJavaScript(1000);
    }
    followersPage = (HtmlPage) webClient.getCurrentWindow().getEnclosedPage();

同样，没有发生滚动。结果页面和原来一样

3) 创建一个触发窗口滚动事件的按钮:

    HtmlButton scrollButton = (HtmlButton) followersPage.createElement("button");
    scrollButton.setAttribute("type", "button");
    scrollButton.setAttribute("onclick", "window.scrollTo(0,document.body.scrollHeight);");
    gridItems.appendChild(scrollButton);
    followersPage = scrollButton.click();

不幸的是，它没有用。

我尝试了很多其他方法，但直到现在都没有积极的结果。

我阅读了很多有关该主题的相关文章，也在 stackoverflow 上。而且似乎没有人设法使用 HtmlUnit 使滚动工作，因为大多数问题仍未得到解答。这就是为什么我想知道该功能是否曾经起作用。

有人设法滚动页面(简单页面，没有 ajax)吗？ 有人设法滚动页面，触发一些 ajax 调用的事件吗？

最佳答案

我建议你使用 casperjs在这种情况下，我尝试使用 htmlunit 而不是 使用htmlunit打开pinterest并得到了

runtimeError: message=[Property 0 not found.] sourceName=[https://s.pinimg.com/webapp/js/vendor-react-d20f99c48b5d58e4821c.js] line=[1] lineSource=[ null] lineOffset=[0]

所以看起来htmlunit对js没有很好的支持，即使是最新的2.31..

这是一个使用 casperjs 的演示代码:

var utils = require('utils')
var fs = require('fs')
var system = require('system')

var casper = require('casper').create({
    verbose: true,
    logLevel: 'debug',
    localToRemoteUrlAccessEnabled: true,
    webSecurityEnabled: false,
    plainTextAllContent: false,
    viewportSize: {
        width: 1440,
        height: 800
    },
    onError: function(casper, msg, backtrace) {
        utils.dump(backtrace)
    }
});

var cookie = fs.read('cookie.txt').trim() 

casper.on('started', function() {

    this.page.onError = function(msg, trace) {
        casper.echo('Error => ' + msg + '\nError trace => ')
        utils.dump(trace)
    }

    this.page.customHeaders = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Accept-Language": "zh-CN,en;q=0.5",
        "Accept-Encoding": "gzip, deflate",
        "Connection": "keep-alive",
        "Pragma": "no-cache",
        "Cookie": cookie
    }


});

casper.start('https://www.pinterest.com', function() {

    this.then(function() {
        this.waitForSelector('div[class="_wx _2h"]', function() {
            this.echo("waitForSelector 'div[class=_wx _2h]' is done")
            this.scrollTo(0, 1000);
            this.wait(5000, function() {
                this.scrollTo(0, 2000);
            })
        })

    })

});

将上面的代码保存到名为demo.js的文件中，然后使用以下命令启动casperjs

casperjs --engine=slimerjs demo.js

然后您将看到 firefox 浏览器启动并正常运行!

关于javascript - 有没有办法用 HtmlUnit 触发滚动事件，或者根本不可能？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/23491638/