Jsoup獲取動態(tài)js生成的內容

Jsoup本身是只能獲取到靜態(tài)頁面的數據,并無法獲取動態(tài)生成的內容,所以單單使用jsoup是無法獲取到js生成的內容的。我這里使用了htmlunit來獲取網頁內容后,將網頁轉換成xml格式,再通過jsoup進行解析

1.依賴導入
一般Jsoup和HttpClient都是一起使用的,版本隨意,可以無腦選擇新版本

<dependencies>
    <!--httpclient-->
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.2</version>
    </dependency>

    <!--jsoup-->
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.11.3</version>
    </dependency>

    <!--htmlunit-->
    <dependency>
        <groupId>net.sourceforge.htmlunit</groupId>
        <artifactId>htmlunit</artifactId>
        <version>2.33</version>
    </dependency>
</dependencies>

2.簡單的代碼
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import java.io.*;

//使用Jsoup+Htmlunit下載動態(tài)js的內容
public class Test {

public static void main(String[] args) throws IOException {
    //Htmlunit模擬的瀏覽器,設置css,js等支持及其它的一些簡單設置
    WebClient browser = new WebClient();
    browser.getOptions().setCssEnabled(false);
    browser.getOptions().setJavaScriptEnabled(true);
    browser.getOptions().setThrowExceptionOnScriptError(false);

    //獲取頁面
    HtmlPage htmlPage = browser.getPage("http://www.baidu.com");
    //設置等待js的加載時間
    browser.waitForBackgroundJavaScript(3000);

    //使用xml的方式解析獲取到jsoup的document對象
    Document doc = Jsoup.parse(htmlPage.asXml());
    System.out.println(doc);
}

}
現在可以將獲取到的org.jsoup.nodes.Document使用Jsoup的方式進行解析了!

?著作權歸作者所有,轉載或內容合作請聯系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • 背景介紹: 場景是,有京東三級分類名稱,沒有對應圖標,需要根據京東三級分類名稱,獲取分類名稱匹配的圖片,來作為商品...
    檸檬冰塊閱讀 1,180評論 0 2
  • jsoup是一款Java的HTML解析器,主要用來對HTML解析。官網 中文文檔 在爬蟲的時候,當我們用HttpC...
    __元昊__閱讀 3,858評論 0 4
  • jsoup是一款Java的HTML解析器,主要用來對HTML解析。官網 中文文檔 在爬蟲的時候,當我們用Htt...
    數據萌新閱讀 2,624評論 0 3
  • jsoup是一款Java的HTML解析器,主要用來對HTML解析。官網 中文文檔 在爬蟲的時候,當我們用HttpC...
    printf200閱讀 398評論 0 1
  • jsoup是一款Java的HTML解析器,主要用來對HTML解析。官網 中文文檔 在爬蟲的時候,當我們用HttpC...
    數據萌新閱讀 83,695評論 1 50

友情鏈接更多精彩內容