一 爬蟲為什么要設置代理？

寫爬蟲，大家都知道，抓的網(wǎng)站和數(shù)據(jù)多了，如果爬蟲抓取速度過快，免不了觸發(fā)網(wǎng)站的防爬機制，幾乎用的同一招就是封IP。解決方案有2個：

• 1 同一IP，放慢速度(爬取速度慢)
• 2 使用代理IP訪問(推薦)

第一種方案犧牲的就是時間和速度，那肯定是我們所不能忍受的。所以第二種方案是推薦的，那么從哪里能找到這么多代理IP呢？今天無意中發(fā)現(xiàn)了一個網(wǎng)站國內高匿代理IP，經測試，發(fā)現(xiàn)可用性蠻高的。

二 爬取代碼

我用的requests和Beautifulsoup爬的，最后寫入文本文件。代碼如下：

import requests
import os
from bs4 import BeautifulSoup
os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')
headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'http://www.xicidaili.com/nn/1'
s = requests.get(url,headers = headers)
soup = BeautifulSoup(s.text,'lxml')
ips = soup.select('#ip_list tr')
fp = open('host.txt','w')
for i in ips:
    try:
        ipp = i.select('td')
        ip = ipp[1].text
        host = ipp[2].text
        fp.write(ip)
        fp.write('\t')
        fp.write(host)
        fp.write('\n')
    except Exception as e :
        print ('no ip !')
fp.close()

最后類似這種

QQ截圖20170228180121.png

三 代理檢驗

有很多ip是不可用的，我們可以檢驗下，代碼如下：

import requests
import os
from bs4 import BeautifulSoup
os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')
# headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'https://www.baidu.com'
fp = open('host.txt','r')
ips = fp.readlines()
proxys = list()
for p in ips:
    ip =p.strip('\n').split('\t')
    proxy = 'http:\\' +  ip[0] + ':' + ip[1]
    proxies = {'proxy':proxy}
    proxys.append(proxies)
for pro in proxys:
    try :
        s = requests.get(url,proxies = pro)
        print (s)
    except Exception as e:
        print (e)

結果如下：

QQ截圖20170228180922.png

從結果看，可用的還是蠻多的。

爬蟲代理上手

養(yǎng)兵千日用兵一時，有了代理以后，終于可以派上用場了，我把代理加到了我的爬蟲中，代碼如下：

def get_detail(cols,book,sheet,proxys):
    index = 1
    headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
    for url in cols:
        print (url)
        print (random.choice(proxys))
        try:
            s = requests.get(url,headers = headers,proxies=random.choice(proxys))
           
            soup = BeautifulSoup(s.text,'lxml')
            details = soup.select('.con-txt > li')
            person = details[0].text.split('：')[1]
            phone = details[1].text.split('：')[1]
            name = details[2].text.split('：')[1]
            address = details[5].text.split('：')[1]
            write_excel(book,sheet,index,name,address,person,phone)
            index = index + 1
            print ('查詢成功！')
        except Exception as e:
            print ('爬取網(wǎng)頁失?。?)
    book.save('./2.xls')

之前爬取時因爬取速度過快被拒的情況，現(xiàn)在不會發(fā)生了

QQ截圖20170301094452.png

五 總結

以后爬蟲的時候，遇到服務器限制訪問次數(shù)的時候，就可以使用代理了，先從類似國內高匿代理IP等網(wǎng)站爬取最新的代理ip，保存到本地，當然要進行檢驗，把無效的ip刪掉，我們就可以在我們的代碼中使用代理了。