心血來(lái)潮去爬了一下深交所的部分?jǐn)?shù)據(jù)（http://www.szse.cn/main/disclosure/jgxxgk/djggfbd/）

在爬的過(guò)程中發(fā)現(xiàn)，該網(wǎng)頁(yè)跳轉(zhuǎn)頁(yè)碼，但網(wǎng)址卻一直不變，通過(guò)查看網(wǎng)頁(yè)的post數(shù)據(jù)，發(fā)現(xiàn)有個(gè)控制頁(yè)碼的項(xiàng)

Paste_Image.png

只要修改該項(xiàng)的值再post給網(wǎng)頁(yè)就能實(shí)現(xiàn)頁(yè)碼的跳轉(zhuǎn)，在網(wǎng)上查找具體方法后，改寫(xiě)了代碼，能實(shí)現(xiàn)爬取任意頁(yè)碼的數(shù)據(jù)了

我的代碼

# -*- coding:utf-8 -*-
import urllib.request, urllib.parse
from bs4 import BeautifulSoup
import time

def get_info(start=1,end=1):
    info = {}  #儲(chǔ)存目標(biāo)數(shù)據(jù)
    url = 'http://www.szse.cn/main/disclosure/jgxxgk/djggfbd/' #目標(biāo)鏈接
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
    }
    #爬取所選取頁(yè)數(shù)區(qū)間數(shù)據(jù)，該網(wǎng)頁(yè)跳轉(zhuǎn)頁(yè)碼，網(wǎng)址不變
    # 通過(guò)分析，post的數(shù)據(jù)中'tab1PAGENUM'是用來(lái)控制頁(yè)碼的，通過(guò)改變?cè)撴I的值，來(lái)實(shí)現(xiàn)頁(yè)碼跳轉(zhuǎn)
    for i in range(start,end+1):
        post_data = urllib.parse.urlencode({'tab1PAGENUM': i}).encode(encoding='UTF8') #需post的數(shù)據(jù)
        #req = urllib.request.Request(url, headers=headers)
        res = urllib.request.urlopen(url, post_data)  #為data參數(shù)賦值
        time.sleep(2) #防止訪問(wèn)太頻繁
        soup = BeautifulSoup(res, 'lxml')

        titles = soup.find_all('td', class_='cls-data-th') #標(biāo)題行
        datas = soup.find_all('td', class_='cls-data-td')  #數(shù)據(jù)行
        num = int(len(datas) / len(titles))                #數(shù)據(jù)行數(shù)
    #將數(shù)據(jù)寫(xiě)入本地文件
        with open('/Users/zorro/Desktop/test1.txt', 'a') as fs:
            for j in range(num):
                for title, data in zip(titles, datas[12 * j:12 * (j + 1)]):
                    info[title.get_text()] = data.get_text()
                    s = str(info)
                fs.writelines(s)
                fs.writelines('\n')
            print('Done!')


get_info(1,100)   #爬取前一百頁(yè)數(shù)據(jù) 

總結(jié)

1.爬取過(guò)程不是很難，該網(wǎng)頁(yè)無(wú)需用到headers即可爬??；
2.遇到的問(wèn)題是頁(yè)碼變動(dòng)但網(wǎng)址不變動(dòng)，只要找到控制頁(yè)碼變動(dòng)的項(xiàng)，把該值post給網(wǎng)頁(yè)就能實(shí)現(xiàn)了；
3.問(wèn)題解決過(guò)程中，查找了很多資料，也學(xué)到了很多，攻克每一個(gè)新遇到的問(wèn)題，就是對(duì)自己的一次肯定，能提高自信，也能提高學(xué)習(xí)興趣。