一、爬蟲的基本原理
1、網(wǎng)頁請求的過程
（1）Request （請求）。每個展示在用戶面前的網(wǎng)頁都必須經(jīng)過這一步，也就是向服務(wù)器發(fā)送訪問請求。
（2）Response（響應(yīng)）。服務(wù)器在接收到用戶的請求后，會驗證請求的有效性，然后向用戶（客戶端）發(fā)送響應(yīng)的內(nèi)容；客戶端接收服務(wù)器響應(yīng)的內(nèi)容，將內(nèi)容展示出來，這就是我們所熟悉的網(wǎng)頁請求。
2、網(wǎng)頁請求的方式
（1）GET：最常見的方式，一般用于獲取或查詢資源信息，參數(shù)設(shè)置在URL中，其也是大多數(shù)網(wǎng)站使用的方式，只需一次發(fā)送和返回，響應(yīng)速度快。
（2）POST：相比GET方式，POST方式通過request body傳遞參數(shù)，可發(fā)送請求的信息遠大于GET方式。所以，在寫爬蟲前要先確定向誰發(fā)送請求，用什么方式發(fā)送請求。
2.1、使用GET方式抓取數(shù)據(jù)
復(fù)制任意一條首頁首條新聞的標題，在源碼頁面按【Ctrl+F】組合鍵調(diào)出搜索框，將標題粘貼到搜索框中，然后按【Enter】鍵。
確定好請求對象和方式后，在PyCharm中輸入以下代碼。
import requests
#導(dǎo)入requests包
url='https://passport.****.net/login?code=public'? ##只是舉例
strhtml=requests.get(url)
#get方式,獲取網(wǎng)頁數(shù)據(jù)
print(strhtml.text)
加載庫使用的語句是import+庫的名稱。在上述過程中，加載requests庫的語句是import requests。用GET方式獲取數(shù)據(jù)需要調(diào)用requests庫中的get方法，使用方法是在requests后輸入英文點號（.）。將獲取到的數(shù)據(jù)保存到strhtml變量中，這時strhtml是一個URL對象，它代表整個網(wǎng)頁，但此時只需要網(wǎng)頁中的源碼，這個語句表示網(wǎng)頁源碼：：strhtml.text。
2.2、使用POST方式抓取數(shù)據(jù)
首先進入某翻譯頁面，然后按快捷鍵【F12】進入開發(fā)者模式，單擊“Network”選項卡
找到數(shù)據(jù)所在之處并且明確請求方式之后，接下來開始撰寫爬蟲。首先，將Headers中的URL復(fù)制出來，并賦值給url，代碼如下：
url = ‘http://fanyi.******.com/translate_o?smartresult=dict&smartresult=rule’
POST請求獲取數(shù)據(jù)的方式不同于GET，GET可以通過URL傳遞參數(shù)，而POST參數(shù)則需要放在請求實體里。
Form_data =?{'i': '你好','from': 'AUTO','to': 'AUTO','smartresult': 'dict','client': 'fanyideskweb','salt': '16141603979715','sign': 'c1215f89f296cf0af9404a92c94f42cb','lts': '1614160397971','bv': 'b5362300738e7f121e2c37609aaa6bb3','doctype':'json','version':'2.1','keyfrom': 'fanyi.web','action': 'FY_BY_REALTlME'}
接下來使用requests.post()方法請求表單數(shù)據(jù)：
import requests
response = requests.post（url=url,data=Form_data）
將字符串格式的數(shù)據(jù)轉(zhuǎn)換成JSON格式的數(shù)據(jù)，并根據(jù)數(shù)據(jù)結(jié)構(gòu)提取數(shù)據(jù)，將翻譯結(jié)果打印出來，代碼如下。
content = json.loads(response.text)
print(content['translateResult'][0][0]['tgt'])
完整代碼如下：
import requests
import json
def get_translate_date(word=None):
url ='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
? ? Form_data = {'i':word,'from':'AUTO','to':'AUTO','smartresult':'dict','client':'fanyideskweb',
'salt':'16141603979715','sign':'c1215f89f296cf0af9404a92c94f42cb','lts':'1614160397971',
'bv':'b5362300738e7f121e2c37609aaa6bb3','doctype':'json','version':'2.1','keyfrom':'fanyi.web',
'action':'FY_BY_REALTlME'}
#請求表單數(shù)據(jù)
? ? response = requests.post(url=url,data=Form_data)
#將json格式的字符串轉(zhuǎn)為字典dic
? ? content = json.loads(response.text)
print(content)
# 打印翻譯后的數(shù)據(jù)
? ? print(content['translateResult'][0][0]['tgt'])
if __name__ =='__main__':
get_translate_date('你好，五彩繽紛的世界')
2.3、使用Beautiful Soup解析網(wǎng)頁
通過requests庫已經(jīng)抓取到網(wǎng)頁源碼，接下來要從源碼中找到并提取數(shù)據(jù)。Beautiful Soup是Python的一個庫，其主要功能是從網(wǎng)頁中抓取數(shù)據(jù)。BeautifulSoup目前已經(jīng)被移植到bs4庫中，也就是說在導(dǎo)入Beautiful Soup時需要先安裝bs4庫。
安裝好bs4庫以后，還需安裝lxml庫。如果我們不安裝lxml庫，就會使用 Python默認的解析器。盡管Beautiful Soup既支持Python標準庫中的HTML解析器，又支持一些第三方解析器，但是lxml庫功能更強大、速度更快，因此筆者推薦安裝lxml庫。安裝Python第三方庫后，輸入下面的代碼，即可開啟Beautiful Soup之旅。
#從bs4庫中導(dǎo)入BeautifulSoup
from bs4import BeautifulSoup
import requests
url ='https://www.*******.com/feng0815/p/8045850.html'
strhtml = requests.get(url)#get方式，獲取網(wǎng)頁數(shù)據(jù)
print(strhtml.text)
soup = BeautifulSoup(strhtml.text,'lxml')#使用lxml庫解析網(wǎng)頁文檔
data = soup.select('#cnblogs_post_body > p:nth-child(7) > span')#獲取數(shù)據(jù)
print(data)
接下來用select（選擇器）定位數(shù)據(jù)，在定位數(shù)據(jù)時需要使用瀏覽器的開發(fā)者模式，隨后在瀏覽器右側(cè)會彈出開發(fā)者界面，右側(cè)高亮的代碼，對應(yīng)著左側(cè)高亮的數(shù)據(jù)文本。右擊右側(cè)高亮的代碼，在彈出的快捷菜單中選擇“Copy”===》“Copy selector”命令，便可以自動復(fù)制路徑。
將路徑粘貼到文檔中，代碼：data = soup.select('#cnblogs_post_body > p:nth-child(7) > span')#獲取一條數(shù)據(jù)
由于這條路徑是選中的第7條路徑，而我們需要獲取所有的頭條新聞，因此將p:nth-child(7)中冒號（包含冒號）后面的部分刪掉，代碼如下:
data1 = soup.select('#cnblogs_post_body > p > span')#獲取全部數(shù)據(jù)
2.4、清洗和組織數(shù)據(jù)
我們獲得了一段目標的HTML代碼，但還沒有把數(shù)據(jù)提取出來，接下來在PyCharm中輸入以下代碼：
for itemin data1:
result = {
'title':item.get_text(),
'link':item.get('href')
}
print(result)
運行結(jié)果如下圖：
首先明確要提取的數(shù)據(jù)是標題，標題在<span>標簽中，提取標簽的正文用get_text()方法；鏈接在<a>標簽的href屬性中，提取標簽中的href屬性用get()方法，在括號中指定要提取的屬性數(shù)據(jù)，即get('href')。
需要使用的正則符號如下：
● \d：匹配數(shù)字。
● +：匹配前一個字符1次或多次。
在Python中調(diào)用正則表達式時使用re庫，這個庫不用安裝，可以直接調(diào)用。使用re庫的findall()方法，第一個參數(shù)表示正則表達式，第二個參數(shù)表示要提取的文本。如：'ID':re.findall('\d+',item.get('href'))
2.5、爬蟲攻防戰(zhàn)
爬蟲是模擬人的瀏覽訪問行為，進行數(shù)據(jù)的批量抓取。當抓取的數(shù)據(jù)量逐漸增大時，會給被訪問的服務(wù)器造成很大的壓力，甚至有可能崩潰。換句話說就是，服務(wù)器是不喜歡有人抓取自己的數(shù)據(jù)的。那么，網(wǎng)站方面就會針對這些爬蟲者采取一些反爬策略。
服務(wù)器識別爬蟲的一種方式是通過檢查連接的User-Agent來識別到底是瀏覽器訪問的還是代碼訪問的。如果是代碼訪問的，當訪問量增大時，服務(wù)器就會直接封掉來訪IP。
那么應(yīng)對這種初級的反爬機制，我們應(yīng)該采取何種舉措？
在進行訪問時，我們在開發(fā)者環(huán)境下不僅可以找到URL、Form Data，還可以在Request Headers中構(gòu)造瀏覽器的請求頭，封裝自己。服務(wù)器識別瀏覽器訪問的方法就是判斷keywor是否為Request Headers下的User-Agent，如圖2-25所示。因此，我們只需要構(gòu)造這個請求頭的參數(shù)。創(chuàng)建請求頭部信息即可：
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'}
response = requests.post(url=url, data=Form_data,headers=headers)
So，修改User-Agent很簡單。確實很簡單，但是正常人1秒鐘看一張圖，而爬蟲1秒鐘可以抓取好多張圖，比如1秒鐘抓取上百張圖，那么服務(wù)器的壓力必然會增大。也就是說，在一個IP下批量訪問、下載圖片，這種行為不符合正常人類的行為，肯定要被封掉IP。其原理也很簡單，就是統(tǒng)計每個IP的訪問頻率，該頻率超過閾值就會返回一個驗證碼，如果真的是用戶在進行訪問，用戶就會填寫驗證碼，然后繼續(xù)訪問；如果是代碼在進行訪問，就會被封掉IP。
解決以上問題有兩種方法，第一種方法就是常用的增設(shè)延時，每3秒鐘抓取一次，代碼如下：（效率低）
import time
time.sleep(3)
第二種方法：為避免被封掉IP，在數(shù)據(jù)采集時經(jīng)常使用代理。當然，requests也有相應(yīng)的proxies屬性。首先構(gòu)建自己的代理IP池，將其以字典的形式賦值給proxies，然后傳輸給requests，代碼如下：
proxies ={
"http": "http: //10. 10.1.10: 3128",
"https": "http: //10.10.1. 10: 1080",}
response = requests. get (url, proxies=proxies)
