本文首發(fā)：aiohttp簡單教程
aiohttp庫的使用
什么是aiohttp？
Asynchronous HTTP Client/Server for asyncio and Python.
用于asyncio和Python的異步HTTP客戶端/服務(wù)器。
安裝與使用
install
pip install aiohttp
簡單實(shí)例使用
aiohttp的自我介紹中就包含了客戶端和服務(wù)器端，所以我們分別來看下客戶端和服務(wù)器端的簡單實(shí)例代碼。
客戶端：
import aiohttp
import asyncio
async def fetch(session, url):
async with session.get(url) as response:
return await response.text()
async def main():
async with aiohttp.ClientSession() as session:
html = await fetch(session, "http://httpbin.org/headers")
print(html)
asyncio.run(main())
"""輸出結(jié)果：
{
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Host": "httpbin.org",
"User-Agent": "Python/3.7 aiohttp/3.6.2"
}
}
"""
這個(gè)代碼是不是很簡單，一個(gè)函數(shù)用來發(fā)起請(qǐng)求，另外一個(gè)函數(shù)用來下載網(wǎng)頁。
服務(wù)器端
from aiohttp import web
async def handle(request):
name = request.match_info.get('name', "Anonymous")
text = "Hello, " + name
return web.Response(text=text)
app = web.Application()
app.add_routes([web.get('/', handle),
web.get('/{name}', handle)])
if __name__ == '__main__':
web.run_app(app)
運(yùn)行這個(gè)代碼，然后訪問http://127.0.0.1:8080就可以看到你的網(wǎng)站了，很 基礎(chǔ)的一個(gè)網(wǎng)頁，你可以在后面跟上你的名字。
這是兩個(gè)簡單的關(guān)于aiohttp的使用示例，下面快速開始。
入門
簡單示范
首先是學(xué)習(xí)客戶端，也就是用來發(fā)送http請(qǐng)求的用法。首先看一段代碼，會(huì)在代碼中講述需要注意的地方：
import aiohttp
import asyncio
async def main():
async with aiohttp.ClientSession() as session:
async with session.get('http://httpbin.org/get') as resp:
print(resp.status)
print(await resp.text())
asyncio.run(main())
代碼解釋：
在網(wǎng)絡(luò)請(qǐng)求中，一個(gè)請(qǐng)求就是一個(gè)會(huì)話，然后aiohttp使用的是ClientSession來管理會(huì)話，所以第一個(gè)重點(diǎn)，看一下ClientSession:
class ClientSession:
"""First-class interface for making HTTP requests."""
在源碼中，這個(gè)類的注釋是使用HTTP請(qǐng)求接口的第一個(gè)類。然后上面的代碼就是實(shí)例化一個(gè)ClientSession類然后命名為session，然后用session去發(fā)送請(qǐng)求。這里有一個(gè)坑，那就是ClientSession.get()協(xié)程的必需參數(shù)只能是str類和yarl.URL的實(shí)例。
當(dāng)然這只是get請(qǐng)求，其他的post、put都是支持的：
session.put('http://httpbin.org/put', data=b'data')
session.delete('http://httpbin.org/delete')
session.head('http://httpbin.org/get')
session.options('http://httpbin.org/get')
session.patch('http://httpbin.org/patch', data=b'data')
在URL中傳遞參數(shù)
有時(shí)候在發(fā)起網(wǎng)絡(luò)請(qǐng)求的時(shí)候需要附加一些參數(shù)到url中，這一點(diǎn)也是支持的。
params = {'key1': 'value1', 'key2': 'value2'}
async with session.get('http://httpbin.org/get',
params=params) as resp:
expect = 'http://httpbin.org/get?key2=value2&key1=value1'
assert str(resp.url) == expect
我們可以通過params參數(shù)來指定要傳遞的參數(shù)，
同時(shí)如果需要指定一個(gè)鍵對(duì)應(yīng)多個(gè)值的參數(shù)，那么MultiDict就在這個(gè)時(shí)候起作用了。你可以傳遞兩個(gè)元祖列表來作為參數(shù)：
params = [('key', 'value1'), ('key', 'value2')]
async with session.get('http://httpbin.org/get',
params=params) as r:
expect = 'http://httpbin.org/get?key=value2&key=value1'
assert str(r.url) == expect
當(dāng)然也可以之間傳遞一個(gè)str類型的數(shù)據(jù)到url中，但是這個(gè)時(shí)候需要注意的就是傳遞的字符串類型中最好是都可以被編碼的。
async with session.get('http://www.yznx.xyz', params='/index.php/2019/09/02/使用flask-mail和實(shí)現(xiàn)郵箱激活賬戶/') as resp:
我這里用了一個(gè)自己的博客文章做示例，aiohttp在發(fā)送請(qǐng)求的時(shí)候域名部分會(huì)用IDNA 編碼，路徑和查詢條件會(huì)重新編譯，編譯后的路徑大概是這樣：
http://www.yznx.xyz/?/index.php/2019/09/02/%E4%BD%BF%E7%94%A8flask-mail%E5%92%8C%E5%AE%9E%E7%8E%B0%E9%82%AE%E7%AE%B1%E6%BF%80%E6%B4%BB%E8%B4%A6%E6%88%B7/=
讀取響應(yīng)內(nèi)容
我們可以讀取到服務(wù)器的響應(yīng)狀態(tài)和響應(yīng)內(nèi)容，這也是使用請(qǐng)求的一個(gè)很重要的部分。通過status來獲取響應(yīng)狀態(tài)碼，text()來獲取到響應(yīng)內(nèi)容，當(dāng)然也可以之計(jì)指明編碼格式為你想要的編碼格式：
async def main():
async with aiohttp.ClientSession() as session:
async with session.get('http://httpbin.org/get') as resp:
print(resp.status)
print(await resp.text(encoding=utf-8))
"""輸出結(jié)果：
200
<!doctype html>
<html lang="zh-CN">
<head>
......
"""
非文本內(nèi)容格式
對(duì)于網(wǎng)絡(luò)請(qǐng)求，有時(shí)候是去訪問一張圖片，這種返回值是二進(jìn)制的也是可以讀取到的：
await resp.read()
將text()方法換成read()方法就好。
獲取請(qǐng)求信息
ClientResponse（客戶端響應(yīng)）對(duì)象含有request_info(請(qǐng)求信息)，主要是url和headers信息。 raise_for_status結(jié)構(gòu)體上的信息會(huì)被復(fù)制給ClientResponseError實(shí)例。
請(qǐng)求的自定義
自定義Headers
有時(shí)候做請(qǐng)求的時(shí)候需要自定義headers，主要是為了讓服務(wù)器認(rèn)為我們是一個(gè)瀏覽器。然后就需要我們自己來定義一個(gè)headers：
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko)"
" Chrome/78.0.3904.108 Safari/537.36"
}
await session.post(url, headers=headers)
自定義cookie
發(fā)送你自己的cookies給服務(wù)器，你可以為ClientSession對(duì)象指定cookies參數(shù):
url = 'http://httpbin.org/cookies'
cookies = {'cookies_are': 'working'}
async with ClientSession(cookies=cookies) as session:
async with session.get(url) as resp:
assert await resp.json() == {
"cookies": {"cookies_are": "working"}}
使用代理
有時(shí)候在寫爬蟲的時(shí)候需要使用到代理，所以aiohttp也是支持使用代理的，我們可以在發(fā)起請(qǐng)求的時(shí)候使用代理，只需要使用關(guān)鍵字proxy來指明就好，但是有一個(gè)很難受的地方就是它只支持http代理，不支持HTTPS代理。使用起來大概是這樣：
proxy = “http://127.0.0.1:10809”
async with aiohttp.ClientSession(headers=headers) as session:
async with session.get(url=login_url, proxy=proxy) as response:
resu = await response.text()
使用起來大概是這樣，然后代理記得改成自己的。
和asyncio結(jié)合使用
其實(shí)aiohttp最適合的伴侶就是asyncio，這兩個(gè)結(jié)合起來使用是最好不過的了。然后這里我就寫一個(gè)簡單的實(shí)例代碼來對(duì)比一下。同步和異步的差別。
示例代碼
示例就簡單的用豆瓣電影吧，這是我從開始學(xué)習(xí)爬蟲就一直練習(xí)的網(wǎng)站。然后寫一些基本需要使用到的庫：
- lxml
- requests
- datetime
- asyncio
- aiohttp
然后需要大家安裝好這些庫，然后提取網(wǎng)頁內(nèi)容使用的是xpath。
同步
其實(shí)同步寫了很多次了，然后把之前的代碼放上來就好：
from datetime import datetime
import requests
from lxml import etree
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit"
"/537.36 (KHTML, like Gecko) "
"Chrome/72.0.3626.121 Safari/537.36"}
def get_movie_url():
req_url = "https://movie.douban.com/chart"
response = requests.get(url=req_url, headers=headers)
html = etree.HTML(response.text)
movies_url = html.xpath(
"http://*[@id='content']/div/div[1]/div/div/table/tr/td/a/@href")
return movies_url
def get_movie_content(movie_url):
response = requests.get(movie_url, headers=headers)
result = etree.HTML(response.text)
movie = dict()
name = result.xpath('//*[@id="content"]/h1/span[1]//text()')
author = result.xpath('//*[@id="info"]/span[1]/span[2]//text()')
movie["name"] = name
movie["author"] = author
return movie
if __name__ == '__main__':
start = datetime.now()
movie_url_list = get_movie_url()
movies = dict()
for url in movie_url_list:
movies[url] = get_movie_content(url)
print(movies)
print("同步用時(shí)為：{}".format(datetime.now() - start))
看一下同步的結(jié)果：
E:\venv\spider\Scripts\python.exe E:/python_project/filetest/douban.py
[{'name': ['小丑 Joker'], 'author': ['托德·菲利普斯']}, {'name': ['好萊塢往事 Once Upon a Time... in Hollywood'], 'author': ['昆汀·塔倫蒂諾']}, {'name': ['愛爾蘭人 The Irishman'], 'author': ['馬丁·斯科塞斯']}, {'name': ['準(zhǔn)備好了沒 Ready or Not'], 'author': ['馬特·貝蒂內(nèi)利-奧爾平', ' / ', '泰勒·吉勒特']}, {'name': ['82年生的金智英 82?? ???'], 'author': ['金度英']}, {'name': ['克勞斯：圣誕節(jié)的秘密 Klaus'], 'author': ['塞爾希奧·巴勃羅斯', ' / ', '卡洛斯·馬丁內(nèi)斯·洛佩斯']}, {'name': ['寄生蟲 ???'], 'author': ['奉俊昊']}, {'name': ['騾子 The Mule'], 'author': ['克林特·伊斯特伍德']}, {'name': ['別告訴她 The Farewell'], 'author': ['王子逸']}, {'name': ['犯罪現(xiàn)場 犯罪現(xiàn)場'], 'author': ['馮志強(qiáng)']}]
同步用時(shí)為：0:00:08.765342
Process finished with exit code 0
異步
異步也很簡單，關(guān)于異步的文章我還在整理，因?yàn)樯婕暗教嗟臇|西了。先看這個(gè)爬蟲代碼：
import asyncio
from datetime import datetime
import aiohttp
from lxml import etree
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit"
"/537.36 (KHTML, like Gecko) "
"Chrome/72.0.3626.121 Safari/537.36"}
async def get_movie_url():
req_url = "https://movie.douban.com/chart"
async with aiohttp.ClientSession(headers=headers) as session:
async with session.get(url=req_url, headers=headers) as response:
result = await response.text()
result = etree.HTML(result)
return result.xpath("http://*[@id='content']/div/div[1]/div/div/table/tr/td/a/@href")
async def get_movie_content(movie_url):
async with aiohttp.ClientSession(headers=headers) as session:
async with session.get(url=movie_url, headers=headers) as response:
result = await response.text()
result = etree.HTML(result)
movie = dict()
name = result.xpath('//*[@id="content"]/h1/span[1]//text()')
author = result.xpath('//*[@id="info"]/span[1]/span[2]//text()')
movie["name"] = name
movie["author"] = author
return movie
if __name__ == '__main__':
start = datetime.now()
loop = asyncio.get_event_loop()
movie_url_list = loop.run_until_complete(get_movie_url())
tasks = [get_movie_content(url) for url in movie_url_list]
movies = loop.run_until_complete(asyncio.gather(*tasks))
print(movies)
print("異步用時(shí)為：{}".format(datetime.now() - start))
看一下結(jié)果，你就知道差距了：
E:\venv\spider\Scripts\python.exe E:/python_project/filetest/aio_douban.py
[{'name': ['小丑 Joker'], 'author': ['托德·菲利普斯']}, {'name': ['好萊塢往事 Once Upon a Time... in Hollywood'], 'author': ['昆汀·塔倫蒂諾']}, {'name': ['愛爾蘭人 The Irishman'], 'author': ['馬丁·斯科塞斯']}, {'name': ['準(zhǔn)備好了沒 Ready or Not'], 'author': ['馬特·貝蒂內(nèi)利-奧爾平', ' / ', '泰勒·吉勒特']}, {'name': ['82年生的金智英 82?? ???'], 'author': ['金度英']}, {'name': ['克勞斯：圣誕節(jié)的秘密 Klaus'], 'author': ['塞爾希奧·巴勃羅斯', ' / ', '卡洛斯·馬丁內(nèi)斯·洛佩斯']}, {'name': ['寄生蟲 ???'], 'author': ['奉俊昊']}, {'name': ['騾子 The Mule'], 'author': ['克林特·伊斯特伍德']}, {'name': ['別告訴她 The Farewell'], 'author': ['王子逸']}, {'name': ['犯罪現(xiàn)場 犯罪現(xiàn)場'], 'author': ['馮志強(qiáng)']}]
異步用時(shí)為：0:00:02.230956
Process finished with exit code 0
總結(jié)
異步是未來，這一點(diǎn)毋庸置疑。寫了一點(diǎn)aiohttp庫的基礎(chǔ)使用，關(guān)于更多高級(jí)用法建議拜讀參考文章中的文章。
