1.作用:發(fā)送請求獲取響應
為什么使用requesst?
1)requests底層實現(xiàn)的是urllib
2)requests在python2和python3中通用,方法完全一樣
3)requests簡單易用(python特性)
4)requests能夠幫助我們解壓響應內(nèi)容(自動解壓完善請求頭,自動獲取cookie)
2. 發(fā)送簡單的get請求、獲取響應
response = requests.get(url)

3. response響應對象常用的屬性
一般來說名詞,往往都是對象的屬性,對應的動詞是對象的方法
response.url
response.status_code 響應狀態(tài)碼
response.text 響應體 str類型
response.content 響應體 bytes類型
response.headers 響應對應的請求頭
response.request.headers 響應頭
response.cookies 響應的cookie (經(jīng)過了set-cookie動作)
response.request._cookies 響應對應請求的cookie

4. 解決響應內(nèi)容中文亂碼
response.text 是requests模塊基于chardet模塊對響應內(nèi)容的編碼格式做推測,進行轉(zhuǎn)換并返回str類型
response.content.decode(‘utf8’)
decode的參數(shù)要去嘗試 ascii gbk gb2312 iso-8859-1
5.獲取圖片保存到本地
找到圖片的url
發(fā)送請求獲取響應
保存圖片:
圖片url對應的響應內(nèi)容就是圖片本身!
圖片保存的格式
打開文件的方式 流媒體必須以二進制方式寫入!

6.發(fā)送帶header的請求
1)為什么請求需要帶上header:模擬瀏覽器,欺騙服務器,獲取和瀏覽器一致的內(nèi)容
2)header的形式:字典
headers = {“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36”}
3)模仿瀏覽器發(fā)送請求就需要帶上請求頭(瀏覽器在發(fā)送請求過程中會攜帶的請求頭)
4)用法:resp = requests.get(url, headers={})
5)完整代碼:

7.發(fā)送帶查詢字符串(帶參數(shù))的請求
1)什么是請求參數(shù):我們在使用百度搜索的時候經(jīng)常發(fā)現(xiàn)URL地址中會有一個?,那么該問號后邊就是請求參數(shù),又叫做查詢字符串
url = ‘https://www.baidu.com/s?wd=python’
其中查詢字符串是 “wd=python”
2)請求參數(shù)的形式:字典
a. url中直接攜帶查詢字符串發(fā)送請求
resp = requests.get(url, headers=headers)
b.利用發(fā)送請求的方法中params參數(shù)接收查詢字符串構(gòu)造的字典
params = {‘wd’: ‘python’}
resp = requests.get(url, headers=headers, params=params)

3)關于參數(shù)的注意點
在url地址中, 很多參數(shù)是沒有用的,比如百度搜索的url地址,其中參數(shù)只有一個字段有用,其他的都可以刪除 如何確定那些請求參數(shù)有用或者沒用:挨個嘗試! 對應的,在后續(xù)的爬蟲中,越到很多參數(shù)的url地址,都可以嘗試刪除參數(shù)