爬蟲(chóng)前奏：
明確目的；
找到數(shù)據(jù)對(duì)應(yīng)的網(wǎng)頁(yè)；
分析網(wǎng)頁(yè)的結(jié)構(gòu)找到數(shù)據(jù)所在的標(biāo)簽位置
模擬HTTP請(qǐng)求，向服務(wù)器發(fā)送這個(gè)請(qǐng)求，獲取到服務(wù)器返回給我們的HTML
用正則表達(dá)式提取我們要的數(shù)據(jù)（名字，人氣）
import re
from urllib import request
class Spider():
? ? url = 'https://www.panda.tv/cate/lol'
? ? root_pattern = r'<div class="video-info">([\s\S]*?)</div>'
? ? name_pattern = r'</i>([\s\S]*?)</span>'
? ? # number_pattern = '<span class="video-number">([\s\S]*?)</span>'
? ? number_pattern = r'<i class="video-station-num">([\s\S]*?)</i>'
? ? #私有方法
? ? def __fetch_content(self):
? ? ? ? r = request.urlopen(Spider.url)
? ? ? ? htmls = r.read()
? ? ? ? htmls = str(htmls,encoding='utf-8')
? ? ? ? return htmls
? ? def __analysis(self, htmls):
? ? ? ? root_html = re.findall(Spider.root_pattern, htmls)
? ? ? ? anchors = []
? ? ? ? for html in root_html:
? ? ? ? ? ? name = re.findall(Spider.name_pattern,html)
? ? ? ? ? ? number = re.findall(Spider.number_pattern,html)
? ? ? ? ? ? anchor = {'name':name,'number':number}
? ? ? ? ? ? anchors.append(anchor)
? ? ? ? # print(anchors[0])? ?
? ? ? ? return anchors
? ? def __refine(self,anchors):
? ? ? ? l = lambda anchor : {
? ? ? ? ? ? 'name':anchor['name'][0].strip(),
? ? ? ? ? ? 'number':anchor['number'][0]
? ? ? ? ? ? }
? ? ? ? return map(l,anchors)
? ? def __sort(self,anchors):
? ? ? ? anchors = sorted(anchors,key=self.__sort_seed,reverse=True)
? ? ? ? return anchors
? ? def __sort_seed(self,anchor):
? ? ? ? r = re.findall(r'\d*',anchor['number'])
? ? ? ? number = float(r[0])
? ? ? ? if '萬(wàn)' in anchor['number']:
? ? ? ? ? ? number *= 10000
? ? ? ? return number
? ? def __show(self,anchors):
? ? ? ? for rank in range(0,len(anchors)):
? ? ? ? ? ? print('rank'+str(rank + 1)
? ? ? ? ? ? + ':' + anchors[rank]['name']
? ? ? ? ? ? + '? ? ? ' + anchors[rank]['number'])
? ? #入口方法
? ? def go(self):
? ? ? ? htmls = self.__fetch_content()
? ? ? ? anchors = self.__analysis(htmls)
? ? ? ? anchors = list(self.__refine(anchors))
? ? ? ? anchors = self.__sort(anchors)
? ? ? ? self.__show(anchors)
spider = Spider()
spider.go()
