title: Go語(yǔ)言檢測(cè)代理IP
tags: go
author : Clown95

我們使用爬蟲(chóng)的時(shí)候需要大量代理，但是并不是所有的代理都是有效的。所以在使用代理前，我們應(yīng)該先檢測(cè)下代理是否可用。

我們可以使用http.Transport設(shè)置代理來(lái)訪問(wèn)某個(gè)測(cè)試地址，如果返回的狀態(tài)碼為200，說(shuō)明這個(gè)代理是可用的。

例如：https://icanhazip.com 和 https://httpbin.org/get

package main

import (
    "fmt"
    "log"
    "net/http"
    "net/url"
    "strings"
    "time"
)

func ProxyTest(proxy_addr string) (Speed int, Status int) {
    //檢測(cè)代理iP訪問(wèn)地址
    var testUrl string
    //判斷傳來(lái)的代理IP是否是https
    if strings.Contains(proxy_addr, "https") {
        testUrl = "https://icanhazip.com"
    } else {
        testUrl = "http://icanhazip.com"
    }
    // 解析代理地址
    proxy, err := url.Parse(proxy_addr)
    //設(shè)置網(wǎng)絡(luò)傳輸
    netTransport := &http.Transport{
        Proxy:                 http.ProxyURL(proxy),
        MaxIdleConnsPerHost:   10,
        ResponseHeaderTimeout: time.Second * time.Duration(5),
    }
    // 創(chuàng)建連接客戶端
    httpClient := &http.Client{
        Timeout:   time.Second * 10,
        Transport: netTransport,
    }
    begin := time.Now() //判斷代理訪問(wèn)時(shí)間
    // 使用代理IP訪問(wèn)測(cè)試地址
    res, err := httpClient.Get(testUrl)

    if err != nil {
        log.Println(err)
        return
    }
    defer res.Body.Close()
    speed := int(time.Now().Sub(begin).Nanoseconds() / 1000 / 1000) //ms
    //判斷是否成功訪問(wèn)，如果成功訪問(wèn)StatusCode應(yīng)該為200
    if res.StatusCode != http.StatusOK {
        log.Println(err)
        return
    }
    return speed, res.StatusCode
}

func main() {

    var speed, status = ProxyTest("http://124.205.155.151:9090")
    if status == 200 {
        fmt.Println(speed, status)
    } else {
        fmt.Println("代理不可用")
    }
}

我們也可以進(jìn)行一些拓展，爬取免費(fèi)代理IP并驗(yàn)證它們，構(gòu)建自己的免費(fèi)代理池。