Python爬蟲初學(xué)（二）—— 爬百度貼吧小說和圖片

昨天初步接觸了爬蟲，實現(xiàn)了爬取網(wǎng)絡(luò)段子并逐條閱讀等功能，詳見Python爬蟲初學(xué)（一）。 今天準(zhǔn)備對百度貼吧下手了，嘿嘿。依然是跟著這個博客學(xué)習(xí)的，這次仿照該博主用類的方式寫。

其實我從來不玩貼吧，不過據(jù)我所知貼吧有一些網(wǎng)友，他們開帖子連載原創(chuàng)小說；還有些網(wǎng)友提供“福利”，造福廣大網(wǎng)民。嗯，所以今天的目標(biāo)是這樣的：

  • 把分散的連載小說下載到本地
  • 批量下載貼吧圖片

一. 下載小說

1. 定義一個類

這次用類來寫。實現(xiàn)這個也不難，經(jīng)過昨天的學(xué)習(xí)已經(jīng)有一定經(jīng)驗了。導(dǎo)入庫什么的就不說了。先看貼吧的url構(gòu)成，如http://tieba.baidu.com/p/4723863270?see_lz=1&pn=2。其中http://tieba.baidu.com/p/4723863270為該帖的基礎(chǔ)地址，?see_lz=1是只看樓主標(biāo)志位，為1是表示“只看樓主”，pn=2代表當(dāng)前帖子的頁碼?，F(xiàn)在來定義一個爬取百度貼吧的SpiderBaidu，初始化，然后定義一個open_url()來返回網(wǎng)頁內(nèi)容。

class SpiderBaidu:
    # 初始化帖子原地址，默認(rèn)只看樓主
    def __init__(self, url, see_lz_flag=1):
        self.url = url
        # 可設(shè)置看所有樓
        self.see_lz = '?see_lz=' + str(see_lz_flag)
        self.res = []
        
    # 打開具體網(wǎng)址并返回網(wǎng)頁內(nèi)容
    def open_url(self, num):
        # 該帖具體網(wǎng)址，num指定頁碼
        wanted_page = self.url + self.see_lz + '&pn=' + str(num)
        req = request.Request(wanted_page)
        req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                                     '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
        response = request.urlopen(req)
        html = response.read().decode('utf-8')
        return html

2. 獲取標(biāo)題和總頁數(shù)

我們想要知道帖子標(biāo)題以及總頁數(shù)，提取出來就是了！

可以發(fā)現(xiàn)標(biāo)題被<h1 class="core_title_txt(...)</h1>包含起來了，這里要注意的是，有些帖子不是<h1>,可能是<h3>或者其他，一會兒匹配的時候考慮進去。

    # 提取標(biāo)題
    def get_title(self):
        # 第1頁就包含標(biāo)題，所以num用1即可
        html = self.open_url(1)
        # 提取標(biāo)題的規(guī)則，<h\d>即無論h1還是h3都會匹配成功
        title_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>')
        title = re.findall(title_pattern, html)
        # 返回的是列表且只有一個元素，故用title[0]
        return title[0]

接下來是總頁數(shù)，仔細(xì)觀察總頁數(shù)其實在最上面和最下面都是有一個的，所以一會兒匹配后返回的列表會有兩個元素，這兩個元素是一模一樣的！


如上圖，數(shù)字7被<span class="red">(需要提取的數(shù)字)</span>包含。代碼如下。

    # 獲取總頁數(shù)
    def get_page_num(self): 
        # 第1頁也有總頁數(shù)
        html = self.open_url(1)
        num_pattern = re.compile(r'<span class="red">(\d+)</span>')
        page_num = re.findall(num_pattern, html)
        # 貼吧的最上和最下面都有總頁碼，隨便返回一個即可
        return page_num[0]

我們來看一下提取出來的標(biāo)題和頁碼。

3. 獲取正文

正文前面有空格，依然要用\s+匹配。正文被<div id="post_content...class=d_post_content j_d_post_content...空格空格（正文）</div>包含。以下函數(shù)提取出正文。

    # 獲取正文
    def get_content(self, num):
        # 獲取網(wǎng)頁全部內(nèi)容
        html = self.open_url(num)
        # 提取每樓發(fā)言
        content_pattern = re.compile(r'<div id="post_content.*?class="d_post_content j_d_post_content'
                                     r'.*?>\s+(.*?)</div>')
        content = re.findall(content_pattern, html)
        return content

即使提取出帖子正文了，也別高興的太早。貼吧發(fā)帖不可能人人都發(fā)的純文本，可以預(yù)想到里面會有圖片（包含表情），超鏈接，還有設(shè)置的簽名等。這些還沒有被過濾掉。（不好意思忘了截圖，反正打印出來的內(nèi)容會含有很多又長又難看的鏈接）

我們再制定規(guī)則過濾掉。

    # 這里參數(shù)con為get_content()函數(shù)返回的包含正文的列表
    def get_words_only(self, con):
        for i in con:
            # 刪除圖片
            each = re.sub(r'<img class=".*?>', '', i)
            # 刪除簽名
            each = re.sub(r'<div class="post_bubble_top".*?>', '', each)
            # 換行
            each = re.sub(r'<br>', '\n', each)
            # 刪除超鏈接
            each = re.sub(r'<a href=.*?</a>', '', each)
            # 添加到初始化的列表中
            self.res.append(each)
        return self.res

4. 下載小說到本地

默認(rèn)模式為只看樓主，其他人插樓小說還咋讀是不。

    # 下載到本地
    def save_text(self):
        # 返回的帖子標(biāo)題作為文件名
        file_title = self.get_title()
        # 最大頁碼
        page_num = int(self.get_page_num())
        with open(file_title + '.txt', 'w', encoding='utf-8') as f:
            # 每一頁內(nèi)容都寫入文件
            for number in range(1, page_num + 1):
                con = self.get_content(number)
                # 只留下純文字，過濾圖片、超鏈接等
                result = self.get_words_only(con)
                f.writelines(result)

最后創(chuàng)建一個實例就好了，試試下載吧。

if __name__ == '__main__':
    spider = SpiderBaidu('http://tieba.baidu.com/p/4698209454')
    title = spider.get_title()
    total_num = spider.get_page_num()
    print('{}(共{}頁)'.format(title, total_num))
    spider.save_text()

下載下來后是這個效果，還行，能讀。

二、 批量下載圖片

剛才有過濾圖片是不？我們反過來利用它，分分鐘就搞定！


提取圖片鏈接即可。它被<img class="BDE_Image" src="(.*?jpg)"這樣的形式包含。

# 只保存圖片
    def save_images(self, folder):
        page_num = int(self.get_page_num())
        # 文件名序號
        seq = 1
        # 創(chuàng)建文件夾
        os.mkdir(folder)
        # 工程目錄切換到當(dāng)成文件夾
        os.chdir(folder)
        for number in range(1, page_num + 1):
            # 網(wǎng)頁全部內(nèi)容
            html = self.open_url(number)
            img_pattern = re.compile(r'<img class="BDE_Image" src="(.*?jpg)"')
            images = re.findall(img_pattern, html)
            # 每爬一頁，休息10秒
            time.sleep(10)
            for each in images:
                # 文件名
                filename = str(seq) + '.jpg'
                # 下載到文件夾
                request.urlretrieve(each, filename)
                # 數(shù)字遞增方式給文件命名
                seq += 1
                # 每兩秒下載一次
                time.sleep(2)

可以適當(dāng)加入time.sleep(),防止訪問頻率過快導(dǎo)致爬蟲封IP。簡單的可以這么做，當(dāng)然可以用代理，多線程，不過我還沒接觸到，以后再深入。

居然幾百張！大豐收呀，看到圖片自動地就被飛速下載到本地了，還用一張張右鍵嗎？No！掛著程序讓它跑，看部電影去吧！

整理一下，全部代碼如下

from urllib import request, parse
import re
import os
import time


class SpiderBaidu:
    # 初始化帖子原地址，默認(rèn)只看樓主為否
    def __init__(self, url, see_lz_flag=1):
        self.url = url
        self.see_lz = '?see_lz=' + str(see_lz_flag)
        self.res = []

    def open_url(self, num):
        # 該帖具體網(wǎng)址
        wanted_page = self.url + self.see_lz + '&pn=' + str(num)
        req = request.Request(wanted_page)
        req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 '
                                     '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36')
        response = request.urlopen(req)
        html = response.read().decode('utf-8')
        return html

    # 提取標(biāo)題
    def get_title(self):
        html = self.open_url(1)
        title_pattern = re.compile(r'<h\d class="core_title_txt.*?>(.*?)</h\d>')
        title = re.findall(title_pattern, html)
        return title[0]

    # 獲取總頁數(shù)
    def get_page_num(self):
        html = self.open_url(1)
        num_pattern = re.compile(r'<span class="red">(\d+)</span>')
        page_num = re.findall(num_pattern, html)
        # 貼吧的最上和最下面都有總頁碼，隨便返回一個即可
        return page_num[0]

    # 獲取正文
    def get_content(self, num):
        html = self.open_url(num)
        content_pattern = re.compile(r'<div id="post_content.*?class="d_post_content j_d_post_content'
                                     r'.*?>\s+(.*?)</div>')
        content = re.findall(content_pattern, html)
        return content

    # 去除文字外所有內(nèi)容
    def get_words_only(self, con):
        for i in con:
            # 刪除圖片
            each = re.sub(r'<img class=".*?>', '', i)
            # 刪除簽名
            each = re.sub(r'<div class="post_bubble_top".*?>', '', each)
            # 換行
            each = re.sub(r'<br>', '\n', each)
            # 刪除超鏈接
            each = re.sub(r'<a href=.*?</a>', '', each)
            self.res.append(each)
        return self.res

    # 下載到本地
    def save_text(self):
        # 帖子標(biāo)題作為文件名
        file_title = self.get_title()
        # 最大頁碼
        page_num = int(self.get_page_num())
        with open(file_title + '.txt', 'w', encoding='utf-8') as f:
            for number in range(1, page_num + 1):
                con = self.get_content(number)
                result = self.get_words_only(con)
                f.writelines(result)

    # 只保存圖片
    def save_images(self, folder):
        page_num = int(self.get_page_num())
        # 文件名序號
        seq = 1
        os.mkdir(folder)
        os.chdir(folder)
        for number in range(1, page_num + 1):
            html = self.open_url(number)
            img_pattern = re.compile(r'<img class="BDE_Image" src="(.*?jpg)"')
            images = re.findall(img_pattern, html)
            time.sleep(10)
            for each in images:
                filename = str(seq) + '.jpg'
                request.urlretrieve(each, filename)
                seq += 1
                time.sleep(2)

if __name__ == '__main__':
    spider = SpiderBaidu('http://tieba.baidu.com/p/4698209454')
    title = spider.get_title()
    total_num = spider.get_page_num()
    print('{}(共{}頁)'.format(title, total_num))
    spider.save_text()
    spider.save_images('圖')

by @sunhaiyu

2016.8.16

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容