XPath語法和lxml模塊
什么是XPath？
xpath（XML Path Language）是一門在XML和HTML文檔中查找信息的語言，可用來在XML和HTML文檔中對元素和屬性進行遍歷。
XPath開發(fā)工具
- Chrome插件XPath Helper。
- Firefox插件Try XPath。
XPath語法
選取節(jié)點：
XPath 使用路徑表達式來選取 XML 文檔中的節(jié)點或者節(jié)點集。這些路徑表達式和我們在常規(guī)的電腦文件系統(tǒng)中看到的表達式非常相似。
| 表達式 | 描述 | 示例 | 結(jié)果 |
|---|---|---|---|
| nodename | 選取此節(jié)點的所有子節(jié)點 | bookstore | 選取bookstore下所有的子節(jié)點 |
| / | 如果是在最前面，代表從根節(jié)點選取。否則選擇某節(jié)點下的某個節(jié)點 | /bookstore | 選取根元素下所有的bookstore節(jié)點 |
| // | 從全局節(jié)點中選擇節(jié)點，隨便在哪個位置 | //book | 從全局節(jié)點中找到所有的book節(jié)點 |
| @ | 選取某個節(jié)點的屬性 | //book[@price] | 選擇所有擁有price屬性的book節(jié)點 |
| . | 當(dāng)前節(jié)點 | ./a | 選取當(dāng)前節(jié)點下的a標簽 |
謂語：
謂語用來查找某個特定的節(jié)點或者包含某個指定的值的節(jié)點，被嵌在方括號中。
在下面的表格中，我們列出了帶有謂語的一些路徑表達式，以及表達式的結(jié)果：
| 路徑表達式 | 描述 |
|---|---|
| /bookstore/book[1] | 選取bookstore下的第一個子元素 |
| /bookstore/book[last()] | 選取bookstore下的倒數(shù)第二個book元素。 |
| bookstore/book[position()<3] | 選取bookstore下前面兩個子元素。 |
| //book[@price] | 選取擁有price屬性的book元素 |
| //book[@price=10] | 選取所有屬性price等于10的book元素 |
通配符
*表示通配符。
| 通配符 | 描述 | 示例 | 結(jié)果 |
|---|---|---|---|
| * | 匹配任意節(jié)點 | /bookstore/* | 選取bookstore下的所有子元素。 |
| @* | 匹配節(jié)點中的任何屬性 | //book[@*] | 選取所有帶有屬性的book元素。 |
選取多個路徑：
通過在路徑表達式中使用“|”運算符，可以選取若干個路徑。
示例如下：
//bookstore/book | //book/title
# 選取所有book元素以及book元素下所有的title元素
運算符：
[圖片上傳失敗...(image-3e6244-1554966466416)]
lxml庫
lxml 是 一個HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數(shù)據(jù)。
lxml和正則一樣，也是用 C 實現(xiàn)的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學(xué)習(xí)的XPath語法，來快速的定位特定元素以及節(jié)點信息。
lxml python 官方文檔：http://lxml.de/index.html
需要安裝C語言庫，可使用 pip 安裝：pip install lxml
基本使用：
我們可以利用他來解析HTML代碼，并且在解析HTML代碼的時候，如果HTML代碼不規(guī)范，他會自動的進行補全。示例代碼如下：
# 使用 lxml 的 etree 庫
from lxml import etree
text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a> # 注意，此處缺少一個 </li> 閉合標簽
</ul>
</div>
'''
#利用etree.HTML，將字符串解析為HTML文檔
html = etree.HTML(text)
# 按字符串序列化HTML文檔
result = etree.tostring(html)
print(result)
輸入結(jié)果如下：
<html><body>
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</body></html>
可以看到。lxml會自動修改HTML代碼。例子中不僅補全了li標簽，還添加了body，html標簽。
從文件中讀取html代碼：
除了直接使用字符串進行解析，lxml還支持從文件中讀取內(nèi)容。我們新建一個hello.html文件：
<!-- hello.html -->
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
然后利用etree.parse()方法來讀取文件。示例代碼如下：
from lxml import etree
# 讀取外部文件 hello.html
html = etree.parse('hello.html')
result = etree.tostring(html, pretty_print=True)
print(result)
輸入結(jié)果和之前是相同的。
在lxml中使用XPath語法：
-
獲取所有l(wèi)i標簽：
from lxml import etree html = etree.parse('hello.html') print type(html) # 顯示etree.parse() 返回類型 result = html.xpath('//li') print(result) # 打印<li>標簽的元素集合 -
獲取所有l(wèi)i元素下的所有class屬性的值：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/@class') print(result) -
獲取li標簽下href為
www.baidu.com的a標簽：from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a[@href="www.baidu.com"]') print(result) -
獲取li標簽下所有span標簽：
from lxml import etree html = etree.parse('hello.html') #result = html.xpath('//li/span') #注意這么寫是不對的： #因為 / 是用來獲取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用雙斜杠 result = html.xpath('//li//span') print(result) -
獲取li標簽下的a標簽里的所有class：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li/a//@class') print(result) -
獲取最后一個li的a的href屬性對應(yīng)的值：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()]/a/@href') # 謂語 [last()] 可以找到最后一個元素 print(result) -
獲取倒數(shù)第二個li元素的內(nèi)容：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a') # text 方法可以獲取元素內(nèi)容 print(result[0].text) -
獲取倒數(shù)第二個li元素的內(nèi)容的第二種方式：
from lxml import etree html = etree.parse('hello.html') result = html.xpath('//li[last()-1]/a/text()') print(result)
