咱們直接進入今天的主題---你真的會寫爬蟲嗎？為啥標題是這樣，因為我們?nèi)粘懶∨老x都是一個py文件加上幾個請求，但是如果你去寫一個正式的項目時，你必須考慮到很多種情況，所以我們需要把這些功能全部模塊化，這樣也使我們的爬蟲更加的健全。
首先，給大家來講講基礎(chǔ)爬蟲的架構(gòu)到底是啥樣子的？JAP君給大家畫了張粗糙的圖：
從圖上可以看到，整個基礎(chǔ)爬蟲架構(gòu)分為5大類：爬蟲調(diào)度器、URL管理器、HTML下載器、HTML解析器、數(shù)據(jù)存儲器。
下面給大家依次來介紹一下這5個大類的功能：
爬蟲調(diào)度器，主要是配合調(diào)用其他四個模塊，所謂調(diào)度就是取調(diào)用其他的模板
URL管理器，就是負責(zé)管理URL鏈接的，URL鏈接分為已經(jīng)爬取的和未爬取的，這就需要URL管理器來管理它們，同時它也為獲取新URL鏈接提供接口。
HTML下載器，就是將要爬取的頁面的HTML下載下來
HTML解析器，就是將要爬取的數(shù)據(jù)從HTML源碼中獲取出來，同時也將新的URL鏈接發(fā)送給URL管理器以及將處理后的數(shù)據(jù)發(fā)送給數(shù)據(jù)存儲器。
數(shù)據(jù)存儲器，就是將HTML下載器發(fā)送過來的數(shù)據(jù)存儲到本地??
3
實戰(zhàn)爬取菜鳥筆記信息? ? ? ?
差不多就介紹這么些東西，相信大家對整體的架構(gòu)有了初步的認識，下面我簡單找了個網(wǎng)站給大家演示一遍用爬蟲架構(gòu)來爬取信息：
（目標站點）
我們來獲取上面列表中的信息，這里我就省略了分析網(wǎng)站的一步，如果大家不會分析，可以去看我之前寫的爬蟲項目。
首先，我們來寫一下URL管理器（URLManage.py
在這里主要就是兩個集合，一個是已爬取URL的集合，另一個是未爬取URL的集合。這里我使用的是set類型，因為set自帶去重的功能。
接下來，HTML下載器（HTMLDownload.py）
可以看到這里我們只是簡單的獲取了，url中的html源碼
接著看HTML解析器（HTMLParser.py）
在這里，我們將HTML下載器的源碼進行了分析和解析，從而得到了我們想要拿到的數(shù)據(jù)，如果BeautifulSoup不懂的可以去看一下我之前寫的文章。
繼續(xù)看，數(shù)據(jù)存儲器（DataOutput.py）
大家可能發(fā)現(xiàn)我這里是將數(shù)據(jù)存儲到一個html的文件當中，在這里你當然也可以存在Mysql或者csv等文件當中，這個看自己的選擇，我這里只是為了演示所以就放在了html當中。
最后一個，爬蟲調(diào)度器（SpiderMan.py）
相信這里大家都能看懂，我就是將前面我們寫的四個模板在這里把它們調(diào)用了一下，我們運行后的結(jié)果：
總結(jié)? ? ? ? ? ?
我們這里簡單的講解了一下，爬蟲架構(gòu)的五個模板，無論是大型爬蟲項目還是小型的爬蟲項目都離不開這五個模板，希望大家能夠照著這些代碼寫一遍，這樣有利于大家的理解，大家以后寫爬蟲項目也要按照這種架構(gòu)去寫，這樣你的爬蟲看起來就會更加的規(guī)范、健全。
