requests的基本用法

1.作用:發(fā)送請求獲取響應

為什么使用requesst?

1)requests底層實現(xiàn)的是urllib

2)requests在python2和python3中通用,方法完全一樣

3)requests簡單易用(python特性)

4)requests能夠幫助我們解壓響應內(nèi)容(自動解壓完善請求頭,自動獲取cookie)

2. 發(fā)送簡單的get請求、獲取響應

response = requests.get(url)



3. response響應對象常用的屬性

一般來說名詞,往往都是對象的屬性,對應的動詞是對象的方法

response.url

response.status_code 響應狀態(tài)碼

response.text 響應體 str類型

response.content 響應體 bytes類型

response.headers 響應對應的請求頭

response.request.headers 響應頭

response.cookies 響應的cookie (經(jīng)過了set-cookie動作)

response.request._cookies 響應對應請求的cookie



4. 解決響應內(nèi)容中文亂碼

response.text 是requests模塊基于chardet模塊對響應內(nèi)容的編碼格式做推測,進行轉(zhuǎn)換并返回str類型

response.content.decode(‘utf8’)

decode的參數(shù)要去嘗試 ascii gbk gb2312 iso-8859-1

5.獲取圖片保存到本地

找到圖片的url

發(fā)送請求獲取響應

保存圖片:

圖片url對應的響應內(nèi)容就是圖片本身!

圖片保存的格式

打開文件的方式 流媒體必須以二進制方式寫入!



6.發(fā)送帶header的請求

1)為什么請求需要帶上header:模擬瀏覽器,欺騙服務器,獲取和瀏覽器一致的內(nèi)容

2)header的形式:字典

headers = {“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36”}

3)模仿瀏覽器發(fā)送請求就需要帶上請求頭(瀏覽器在發(fā)送請求過程中會攜帶的請求頭)

4)用法:resp = requests.get(url, headers={})

5)完整代碼:


7.發(fā)送帶查詢字符串(帶參數(shù))的請求

1)什么是請求參數(shù):我們在使用百度搜索的時候經(jīng)常發(fā)現(xiàn)URL地址中會有一個?,那么該問號后邊就是請求參數(shù),又叫做查詢字符串

url = ‘https://www.baidu.com/s?wd=python’

其中查詢字符串是 “wd=python”

2)請求參數(shù)的形式:字典

a. url中直接攜帶查詢字符串發(fā)送請求

resp = requests.get(url, headers=headers)

b.利用發(fā)送請求的方法中params參數(shù)接收查詢字符串構(gòu)造的字典

params = {‘wd’: ‘python’}

resp = requests.get(url, headers=headers, params=params)


3)關于參數(shù)的注意點

在url地址中, 很多參數(shù)是沒有用的,比如百度搜索的url地址,其中參數(shù)只有一個字段有用,其他的都可以刪除 如何確定那些請求參數(shù)有用或者沒用:挨個嘗試! 對應的,在后續(xù)的爬蟲中,越到很多參數(shù)的url地址,都可以嘗試刪除參數(shù)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容