遇到問題

• 通過一個(gè)鏈接，
  http://s.click.taobao.com/t?e=m%3D2%26s%3DycajciJS87scQipKwQzePOeEDrYVVa64K7Vc7tFgwiG3bLqV5UHdqQukrx%2FmbH%2BPr8hK%2FDw%2Bbm0Tu%2BCoerkS%2Bdae792E8im8JRidYwYAT8f6NyJljMLbzHqG2ztm0vQp9TBV5jXLK10xPzRvFNtn38MBMDPQIFVh2EIH6jzSrcBxKmPmpIKZsA%3D%3D&unid=D2V41LKCAPc ， 返回一個(gè)200 的頁面，通過觸發(fā)頁面的 js 代碼拼接跳轉(zhuǎn)地址，進(jìn)行兩次302 跳轉(zhuǎn)后才到達(dá)所需頁面， 要抓取最后那個(gè)頁面的url地址
• 解決方案
  • 用 httpclient，因?yàn)橹祷亓?00，不能觸發(fā)后面的跳轉(zhuǎn)，最后得到的地址是200的那個(gè)地址 —— 失敗
  • 用 jsoup，不能執(zhí)行 js —— 失敗
  • 用 htmlunit， 可以執(zhí)行 js —— 成功

htmlunit 使用

• 請(qǐng)求 web 頁面

WebClient webClient = new WebClient();
// 啟動(dòng) js 解釋器
webClient.getOptions().setJavaScriptEnabled(true);
// 禁用 css 支持
webClient.getOptions().setCssEnabled(false);
HtmlPage page = weClient.getPage("http://www.baidu.com");

• 解析獲取的響應(yīng)文本

// 以 xml 的形式獲取響應(yīng)文本
String pageXml = page.asXml();
// 以 文本 的形式獲取響應(yīng)文本
String pageText = page.asText();
// 獲取當(dāng)前 Url (跳轉(zhuǎn)后的最終Url)
String url = page.getUrl();

關(guān)于關(guān)閉警告日志和異常日志

• 關(guān)掉所有警告日志和異常日志

LogFactory.getFactory().setAttribute("org.apache.commons.logging.Log", "org.apache.commons.logging.impl.NoOpLog");
java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(Level.OFF);
java.util.logging.Logger.getLogger("org.apache.commons.httpclient").setLevel(Level.OFF);