今天用一個(gè)有道翻譯的例子來講解如何用 python 來提交表單數(shù)據(jù)。
一、獲取請(qǐng)求信息
我使用的是谷歌瀏覽器，打開調(diào)式模式再輸入中文后提交請(qǐng)求
image.png
點(diǎn)擊 Network -> XHR -> POST提交方法 ->Headers
保存以下信息:
- 請(qǐng)求 Request URL
- User-Agent
- FormData 數(shù)據(jù)
其中 FormData 就是我們提交的表單內(nèi)容
二、python 模擬提交表單
- 將 formdata 構(gòu)造成字典
data['i'] = content
data['from'] = 'AUTO'
data['to'] = 'AUTO'
data['smartresult'] = ['dict']
data['client'] = ['fanyideskweb']
data['salt'] = '1529068716890'
data['sign'] = 'e352f557c7770386ab1a2ce3667fa09b'
data['doctype'] = 'json'
data['version'] = '2.1'
data['keyfrom'] = 'fanyi.web'
data['action'] = 'FY_BY_CLICKBUTTION'
data['typoResult'] = 'false'
- 添加請(qǐng)求頭信息
head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
這是為了防止服務(wù)器識(shí)別出是代碼模擬訪問進(jìn)行攔截
- 發(fā)送請(qǐng)求并獲取響應(yīng)信息
data = urllib.parse.urlencode(data).encode("UTF-8")#格式化表單內(nèi)容
req = urllib.request.Request(url,data,head)
response = urllib.request.urlopen(req)
html = response.read().decode("utf-8")
taget = json.loads(html)
res = taget['translateResult'][0][0]['tgt']
使用 urllib.request.Request(url,data,head) 為請(qǐng)求添加信息
-
測(cè)試結(jié)果
image.png
三、隱藏
隱藏是為了服務(wù)器識(shí)別出你是正常使用瀏覽器進(jìn)行預(yù)覽還是使用代碼進(jìn)行爬蟲，通常服務(wù)器會(huì)檢測(cè) User-Agent 的信息，所以這就是要加上 headers 的原因。
head['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
服務(wù)器會(huì)檢測(cè)你訪問的次數(shù)，如果你在短時(shí)間內(nèi)進(jìn)行 N 多次訪問，那么服務(wù)器可能會(huì)為了防止自己遭受攻擊而封你的 IP
可以通過加入定時(shí)器進(jìn)行解決。
while True:
#Code
time.sleep(3)
還有一種就是使用 ip 代理進(jìn)行訪問
ipList = {'138.255.111.240:8080','178.209.108.238:8080','115.223.196.1:9000'}
proxy_support = urllib.request.ProxyHandler({'http':random.choice(ipList)})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36')]
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
隨機(jī)使用一個(gè) ip 進(jìn)行訪問，在使用時(shí)為了提高效率可以開啟線程，進(jìn)行并發(fā)訪問。
