什么是爬蟲？

爬蟲實(shí)際上就是采集網(wǎng)絡(luò)上數(shù)據(jù)的一段程序。
簡(jiǎn)單來說，爬蟲程序通過請(qǐng)求url地址，然后根據(jù)響應(yīng)的內(nèi)容進(jìn)行數(shù)據(jù)采集。如果響應(yīng)內(nèi)容是html，分析dom結(jié)構(gòu)，進(jìn)行dom解析或者正則匹配，如果響應(yīng)內(nèi)容是xml/json數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)對(duì)象，然后對(duì)數(shù)據(jù)進(jìn)行解析。

采集數(shù)據(jù)的用途

采集數(shù)據(jù)就是將別人的資源采集下來，然后加以利用，變?yōu)樽约旱馁Y源。我們可以從某些網(wǎng)站獲取需要的圖片、數(shù)據(jù)、文章放到自己的網(wǎng)站中，也可將網(wǎng)站中的熱點(diǎn)采集下來，進(jìn)行數(shù)據(jù)分析。

Beautiful Soup 是一個(gè)常用的網(wǎng)頁解析器，可以從HTML或XML文件中提取數(shù)據(jù)的Python庫。它能夠通過你喜歡的轉(zhuǎn)換器實(shí)現(xiàn)慣用的文檔導(dǎo)航,查找,修改文檔的方式。Beautiful Soup會(huì)幫你節(jié)省數(shù)小時(shí)甚至數(shù)天的工作時(shí)間。

Beautiful Soup文檔鏈接 https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#

爬蟲注意事項(xiàng)

在很多網(wǎng)站中，通常會(huì)存在反爬操作，來阻止網(wǎng)站數(shù)據(jù)被爬取。如果長時(shí)間頻繁的使用爬蟲爬取某些網(wǎng)站數(shù)據(jù)，容易造成IP被封情況。因此，為降低IP被封，而導(dǎo)致爬取數(shù)據(jù)失敗的幾率，可使用隨機(jī)user-agent，以及ip代理，和注意每次爬蟲的時(shí)間間隔。

一、requests

requests是python實(shí)現(xiàn)爬蟲功能中簡(jiǎn)單易用的HTTP庫，也是爬蟲過程中常用的一種工具庫，操作簡(jiǎn)單，通過pip install requests命令進(jìn)行安裝，即可使用。但同樣也存在某些不足之處，比如在爬取某些js動(dòng)態(tài)加載的網(wǎng)頁數(shù)據(jù)時(shí)，就容易爬取不到相關(guān)數(shù)據(jù)。此時(shí)，可以嘗試使用selenium進(jìn)行數(shù)據(jù)爬取工作。

# -*- coding: UTF-8 -*-
import requests,json
from bs4 import BeautifulSoup
# ip代理
proxies = {
  "http": "http://171.12.115.194:9999",
  "https": "http://171.12.115.194:9999",
}

class RequestsData():
    def __init__(self,url):
        self.url = url
        self.headers={
                'User-Agent':'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4)AppleWebKit/537.36(KHTML,like Gecko)Chrome/52.0.2743.116 Safari/537.36'
            }
        resp = requests.get(self.url, headers=self.headers,proxies=proxies,verify=False)
        if resp.status_code != 200:
            return
        self.soup = BeautifulSoup(resp.text, 'html.parser', from_encoding='utf-8')
    def getData(self):
        div = self.soup.find("div",class_="market-bd market-bd-6 course-list course-card-list-multi-wrap js-course-list")
        ul = div.find("ul",class_="course-card-list")
        lis = ul.select("li")
        return lis
    def getSideData(self):
        contents = json.loads(self.soup.contents[0])
        data = contents["result"]["bottom_list"]
        return data

if __name__ == '__main__':
    obj = RequestsData(url='https://ke.qq.com/cgi-bin/course/courseListOtherModule?mt=0&bkn=1372242365&r=0.6038976779720526')
    data = obj.getSideData()
    # obj=RequestsData(url='https://ke.qq.com/course/list/golang?page=1')
    # data = obj.getData()

二. selenium

selenium 是一個(gè)用于Web應(yīng)用程序測(cè)試的工具，通過調(diào)用相應(yīng)瀏覽器的驅(qū)動(dòng)程序，模擬用戶進(jìn)行操作。Selenium測(cè)試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣。支持的瀏覽器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。selenium 是一套完整的web應(yīng)用程序測(cè)試系統(tǒng)，包含了測(cè)試的錄制（selenium IDE）,編寫及運(yùn)行（Selenium Remote Control）和測(cè)試的并行處理（Selenium Grid）。
Selenium的核心Selenium Core基于JsUnit，完全由JavaScript編寫，因此可以用于任何支持JavaScript的瀏覽器上。
selenium可以模擬真實(shí)瀏覽器，自動(dòng)化測(cè)試工具，支持多種瀏覽器，爬蟲中主要用來解決JavaScript渲染問題。

Headless Chrome
Headless Chrome 是 Chrome 瀏覽器的無界面形態(tài)，可以在不打開瀏覽器的前提下，使用所有Chrome支持的特性，在命令行中運(yùn)行你的腳本。以前在爬蟲要使用Phantomjs來實(shí)現(xiàn)這些功能，但Phantomjs已經(jīng)暫停開發(fā)，現(xiàn)在可以使用Headless Chrome來代替。

同樣，selenium作為爬蟲的工具庫之一，雖然能夠模擬用戶打開瀏覽器進(jìn)行訪問，但也同樣存在不足的地方，比如爬蟲數(shù)據(jù)的時(shí)間比其他工具庫要長，并且使用也比較繁瑣，需要下載相應(yīng)瀏覽器版本的驅(qū)動(dòng)，否則，你可能會(huì)看到瀏覽器剛開啟，就關(guān)閉的場(chǎng)景。

selenium中文文檔鏈接：https://selenium-python-zh.readthedocs.io/en/latest/
查找chrome瀏覽器對(duì)應(yīng)版本的chromedriver，下載chromedriver 鏈接http://npm.taobao.org/mirrors/chromedriver/，查看chrome瀏覽器版本相關(guān)信息，在地址欄輸入chrome://version/即可

# -*- coding: UTF-8 -*-

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

from selenium import webdriver
from selenium.webdriver.common.by import By
from time import sleep
import random

class SeleniumData(object):
    def __init__(self,url='http://www.baidu.com/'):
        # 設(shè)置chrome為headless模式
        # chrome_options = webdriver.ChromeOptions()
        # chrome_options.add_argument('--headless')
        # self.browser = webdriver.Chrome(chrome_options=chrome_options)

        # 默認(rèn)可視化界面模式
        self.browser = webdriver.Chrome()
        self.url = url


    def getTengXunKeTang(self):
        self.browser.get(self.url)
        self.browser.find_element_by_id("js_keyword").send_keys("golang")
        sleep(1)
        self.browser.find_element_by_id("js_search").click()
        sleep(1)
        data = []
        courseCardList = self.browser.find_element_by_class_name("course-card-list")
        lis = courseCardList.find_elements_by_class_name("js-course-card-item")
        for li in lis:
            temp = {}
            a = li.find_element_by_tag_name("a")
            temp["url"] = a.get_attribute("href")
            title = li.find_element_by_class_name("item-tt").text
            temp["title"] = title
            temp["img"] = a.find_element_by_tag_name("img").get_attribute("src")
            data.append(temp)
            print temp
            sleep(1)
        print 1111111,len(data)

    def openBaiduLoginFrame(self):
        # 百度登錄爬蟲處理
        self.browser.get(self.url)
        self.browser.find_element_by_id("u1").find_element(By.NAME,"tj_login").click()
        sleep(1)
        self.browser.find_element(By.ID,"TANGRAM__PSP_11__footerULoginBtn").click()
        self.browser.find_element_by_id("TANGRAM__PSP_11__userName").send_keys("1805656666")
        sleep(1)
        self.browser.find_element_by_id("TANGRAM__PSP_11__password").send_keys("**********")
        sleep(1)
        self.browser.find_element_by_id("TANGRAM__PSP_11__submit").click()
        sleep(1)
        a = []
        i = 1
        while True:
            try:
                i = i + 1
                if i == 1000:
                    break
                b = random.choice([45,127,90,180,360])
                self.browser.execute_script("document.getElementByClassName('vcode-spin-button').style.transform=translateX("+str(b)+"px);")
                sleep(0.5)
            except Exception,e:
                continue
            a = a.append(b)
        print a

    def browserClose(self):
        self.browser.quit()

if __name__ == '__main__':
    obj = SeleniumData(url="https://ke.qq.com/")
    obj.getTengXunKeTang()
    obj.browserClose()
    # sleep(3)
    # baiduObj = SeleniumData()
    # baiduObj.openBaiduLoginFrame()
    # baiduObj.browserClose()

三、golang

通常爬蟲，我們首先想到的可能是用python進(jìn)行數(shù)據(jù)爬取，其實(shí)爬蟲并不局限于開發(fā)語言，golang也同樣可以爬取數(shù)據(jù)，原理和以上所述相同，都是獲取url地址的響應(yīng)內(nèi)容，進(jìn)行解析。
同樣，前端js也可以做爬蟲程序，去采集相關(guān)數(shù)據(jù)，如使用axios爬取數(shù)據(jù)，此處不做示例分析。
以下為通過golang做爬蟲程序的示例，僅供參考。

package main

import (
    "time"
    "math/rand"
    "strings"
    "net/http"
    "fmt"
    "github.com/go-xweb/log"
    "io/ioutil"
    "encoding/xml"
    "regexp"
)

var userAgent = [...]string{"Mozilla/5.0 (compatible, MSIE 10.0, Windows NT, DigExt)",
    "Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, 360SE)",
    "Mozilla/4.0 (compatible, MSIE 8.0, Windows NT 6.0, Trident/4.0)",
    "Mozilla/5.0 (compatible, MSIE 9.0, Windows NT 6.1, Trident/5.0,",
    "Opera/9.80 (Windows NT 6.1, U, en) Presto/2.8.131 Version/11.11",
    "Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, TencentTraveler 4.0)",
    "Mozilla/5.0 (Windows, U, Windows NT 6.1, en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Macintosh, Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh, U, Intel Mac OS X 10_6_8, en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Linux, U, Android 3.0, en-us, Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
    "Mozilla/5.0 (iPad, U, CPU OS 4_3_3 like Mac OS X, en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "Mozilla/4.0 (compatible, MSIE 7.0, Windows NT 5.1, Trident/4.0, SE 2.X MetaSr 1.0, SE 2.X MetaSr 1.0, .NET CLR 2.0.50727, SE 2.X MetaSr 1.0)",
    "Mozilla/5.0 (iPhone, U, CPU iPhone OS 4_3_3 like Mac OS X, en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
    "MQQBrowser/26 Mozilla/5.0 (Linux, U, Android 2.3.7, zh-cn, MB200 Build/GRJ22, CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1"}

var urlChannel = make(chan string, 200) //chan中存入string類型的href屬性,緩沖200
var atagRegExp = regexp.MustCompile(`<a[^>]+[(href)|(HREF)]\s*\t*\n*=\s*\t*\n*[(".+")|('.+')][^>]*>[^<]*</a>`) //以Must前綴的方法或函數(shù)都是必須保證一定能執(zhí)行成功的,否則將引發(fā)一次panic
var r = rand.New(rand.NewSource(time.Now().UnixNano()))
func GetRandomUserAgent() string {
    return userAgent[r.Intn(len(userAgent))]
}

func Spider(url string){
    defer func() {
        if r := recover(); r != nil {
            log.Println("[E]", r)
        }
    }()
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", GetRandomUserAgent())
    client := http.DefaultClient
    res, e := client.Do(req)
    if e != nil {
        fmt.Errorf("Get請(qǐng)求%s返回錯(cuò)誤:%s", url, e)
        return
    }

    if res.StatusCode == 200 {
        body := res.Body
        defer body.Close()
        bodyByte, _ := ioutil.ReadAll(body)
        resStr := string(bodyByte)
        atag := atagRegExp.FindAllString(resStr, -1)
        for _, a := range atag {
            href,_ := GetHref(a)
            if strings.Contains(href, "article/details/") {
                fmt.Println("☆", href)
            }else {
                fmt.Println("□", href)
            }
            urlChannel <- href
        }
    }
}

func GetHref(atag string) (href,content string) {
    inputReader := strings.NewReader(atag)
    decoder := xml.NewDecoder(inputReader)
    for t, err := decoder.Token(); err == nil; t, err = decoder.Token() {
        switch token := t.(type) {
        // 處理元素開始（標(biāo)簽）
        case xml.StartElement:
            for _, attr := range token.Attr {
                attrName := attr.Name.Local
                attrValue := attr.Value
                if(strings.EqualFold(attrName,"href") || strings.EqualFold(attrName,"HREF")){
                    href = attrValue
                }
            }
            // 處理元素結(jié)束（標(biāo)簽）
        case xml.EndElement:
            // 處理字符數(shù)據(jù)（這里就是元素的文本）
        case xml.CharData:
            content = string([]byte(token))
        default:
            href = ""
            content = ""
        }
    }
    return href, content
}

func main(){
    Spider("https://blog.csdn.net/")
}