JSoup 是一个HTML解析器，而不是某种嵌入式浏览器引擎。这意味着它完全不知道在初始页面加载后 Javascript 添加到 DOM 的任何内容。

要访问那种类型的内容，您将需要一个嵌入式浏览器组件，关于这种组件的 SO 上有很多讨论，例如有没有办法在 Java 中嵌入浏览器？

在我的情况下使用 com.codeborne.phantomjsdriver 解决了注意：它是 groovy 代码。

pom.xml

        <dependency>
          <groupId>com.codeborne</groupId>
          <artifactId>phantomjsdriver</artifactId>
          <version> <here goes last version> </version>
        </dependency>

PhantomJsUtils.groovy

import org.jsoup.Jsoup
import org.jsoup.nodes.Document
import org.openqa.selenium.WebDriver
import org.openqa.selenium.phantomjs.PhantomJSDriver

class PhantomJsUtils {
    private static String filePath = 'data/temp/';

    public static Document renderPage(String filePath) {
        System.setProperty("phantomjs.binary.path", 'libs/phantomjs') // path to bin file. NOTE: platform dependent
        WebDriver ghostDriver = new PhantomJSDriver();
        try {
            ghostDriver.get(filePath);
            return Jsoup.parse(ghostDriver.getPageSource());
        } finally {
            ghostDriver.quit();
        }
    }

    public static Document renderPage(Document doc) {
        String tmpFileName = "$filePath${Calendar.getInstance().timeInMillis}.html";
        FileUtils.writeToFile(tmpFileName, doc.toString());
        return renderPage(tmpFileName);
    }
}

ClassInProject.groovy

Document doc = PhantomJsUtils.renderPage(Jsoup.parse(yourSource))

您需要了解正在发生的事情：

• 当您从网站查询页面时，无论是使用 Jsoup 还是您的浏览器，返回给您的是一些 HTML。Jsoup 能够解析它。
• 但是，大多数网站在该 HTML 中包含 Javascript，或从该 HTML 链接，这将使用内容填充页面。您的浏览器能够执行 Javascript，从而填充页面。Jsoup 不是。

理解这一点的方法如下：解析 HTML 代码很容易。执行 Javascript 代码并更新相应的 HTML 代码要复杂得多，而且是浏览器的工作。

以下是针对此类问题的一些解决方案：

1. 如果您能找到 Javascript 代码正在进行的 Ajax 调用，即加载内容，您也许可以将这些调用的 URL 与 Jsoup 结合使用。为此，请使用浏览器中的开发人员工具。但这不能保证有效：

   • 可能是 url 是动态的，取决于当时页面上的内容
   • 如果内容不公开，会涉及到cookies，单纯查询资源网址是不够的

2. 在这些情况下，您需要“模拟”浏览器的工作。幸运的是，存在这样的工具。我知道并推荐的是PhantomJS。它适用于 Javascript，您需要通过启动新进程从 Java 启动它。如果您想坚持使用 Java，这篇文章列出了一些 Java 替代方案。

在 JavaScript 脚本加载完成后，您可以使用 JSoup 和 HtmlUnit 的组合来获取页面内容。

pom.xml

<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>3.35</version>
</dependency>

来自文件的简单示例https://riptutorial.com/jsoup/example/16274/parsing-javascript-generated-page-with-jsoup-and-htmunit

// load page using HTML Unit and fire scripts
WebClient webClient2 = new WebClient();
HtmlPage myPage = webClient2.getPage(new File("page.html").toURI().toURL());

// convert page to generated HTML and convert to document
Document doc = Jsoup.parse(myPage.asXml());

// iterate row and col
for (Element row : doc.select("table#data > tbody > tr"))
    for (Element col : row.select("td"))
        // print results
        System.out.println(col.ownText());

// clean up resources        
webClient2.close();

一个复杂的例子：加载登录，获取 Session 和 CSRF，然后发布并等待主页加载完成（15 秒）

import java.io.IOException;
import java.net.HttpCookie;
import java.net.MalformedURLException;
import java.net.URL;

import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.HttpMethod;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebRequest;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

//JSoup load Login Page and get Session Details
Connection.Response res = Jsoup.connect("https://loginpage").method(Method.GET).execute();

String sessionId = res.cookie("findSESSION");
String csrf = res.cookie("findCSRF");

HttpCookie cookie = new HttpCookie("findCSRF", csrf);
cookie.setDomain("domain.url");
cookie.setPath("/path");

WebClient webClient = new WebClient();
webClient.addCookie(cookie.toString(),
            new URL("https://url"),
            "https://referrer");

// Add other cookies/ Session ...

webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setUseInsecureSSL(true);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getCookieManager().setCookiesEnabled(true);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
// Wait time
webClient.waitForBackgroundJavaScript(15000);
webClient.getOptions().setThrowExceptionOnScriptError(false);

URL url = new URL("https://login.path");
WebRequest requestSettings = new WebRequest(url, HttpMethod.POST);

requestSettings.setRequestBody("user=234&pass=sdsdc&CSRFToken="+csrf);
HtmlPage page = webClient.getPage(requestSettings);

// Wait
synchronized (page) {
    try {
        page.wait(15000);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
}

// Parse logged in page as needed
Document doc = Jsoup.parse(page.asXml());

我其实是有“办法”的！也许它比“方式”更像是“解决方法”......下面的代码检查元属性“REFRESH”和javascript重定向......如果它们中的任何一个存在RedirectedUrl变量被设置。所以你知道你的目标......然后您可以检索目标页面并继续...

    String RedirectedUrl=null;
    Elements meta = page.select("html head meta");
    if (meta.attr("http-equiv").contains("REFRESH")) {
        RedirectedUrl = meta.attr("content").split("=")[1];
    } else {
        if (page.toString().contains("window.location.href")) {
            meta = page.select("script");
            for (Element script:meta) {
                String s = script.data();
                if (!s.isEmpty() && s.startsWith("window.location.href")) {
                    int start = s.indexOf("=");
                    int end = s.indexOf(";");
                    if (start>0 && end >start) {
                        s = s.substring(start+1,end);
                        s =s.replace("'", "").replace("\"", "");        
                        RedirectedUrl = s.trim();
                        break;
                    }
                }
            }
        }
    }

... now retrieve the redirected page again...