爬蟲實(shí)戰(zhàn)3：如何從B站找到好的視頻

眾所周知B站是一個(gè)學(xué)習(xí)的地方。首先為大家推薦幾個(gè)B站學(xué)習(xí)的Up主，視頻主要是關(guān)于python、數(shù)據(jù)分析、MYSQL數(shù)據(jù)庫(kù)方面的，

視頻推薦

python篇

1、8天搞定Python爬蟲開發(fā) http://www.bilibili.com/video/av840116028
2、Python最好的IDE：VS Code http://www.bilibili.com/video/av370093054
3、【老男孩教育】Python全棧高級(jí) 就業(yè)班（3月最新開班）持續(xù)更新... http://www.bilibili.com/video/av795202093
4、Python高級(jí)核心技術(shù)講解 http://www.bilibili.com/video/av967503510
5、【LeeCode】Contest 183 http://www.bilibili.com/video/av497594624
6、為什么推薦你學(xué)python，而不是java、php、c++，堅(jiān)持完30秒你就懂了 http://www.bilibili.com/video/av625086082
7、復(fù)旦大學(xué)公開課：商務(wù)數(shù)據(jù)分析（機(jī)器學(xué)習(xí)篇） http://www.bilibili.com/video/av840238451
8、2020 黑馬Python全棧就業(yè)班全套 更新中... http://www.bilibili.com/video/av97113524
9、小迷糊的Python入門教程 （1）安裝開發(fā)環(huán)境 http://www.bilibili.com/video/av540280042
10、十分鐘！徹底弄懂Python深拷貝與淺拷貝機(jī)制 http://www.bilibili.com/video/av925198200

數(shù)據(jù)分析篇

1、第十八節(jié) 協(xié)方差分析ANCOVA，重復(fù)測(cè)量方差分析ANOVA，非參數(shù)方差分析 http://www.bilibili.com/video/av967560346
2、什么是統(tǒng)計(jì)學(xué) http://www.bilibili.com/video/av882726219
3、以新冠疫情分析為例，談?wù)剶?shù)學(xué)思維 http://www.bilibili.com/video/av967592795
4、第十九節(jié) R語(yǔ)言ggplot2繪圖系列教程之基本認(rèn)識(shí) http://www.bilibili.com/video/av882717944
5、跟著公司高管買他家股票能賺錢嗎(3):增持后股價(jià)怎么走【邢不行】80000條大數(shù)據(jù)、原始數(shù)據(jù)整理、python數(shù)據(jù)分析 http://www.bilibili.com/video/av100643102
6、樂學(xué)偶得|零基礎(chǔ)Python玩Fintech金融量化交易入門篇 http://www.bilibili.com/video/av200318507
7、國(guó)家精品公開課：商務(wù)數(shù)據(jù)分析與應(yīng)用 http://www.bilibili.com/video/av582635858
8、數(shù)據(jù)挖掘與python實(shí)踐 http://www.bilibili.com/video/av455210116
9、十五、尚硅谷 2019-2020 最新大數(shù)據(jù)課程 - Elasticsearch、Logstash、Kibana，ELK 技術(shù)棧 http://www.bilibili.com/video/av710017519
10、白月黑羽小班學(xué)員作品展示 http://www.bilibili.com/video/av667816828

mysql數(shù)據(jù)庫(kù)篇

1、MySQL優(yōu)化 http://www.bilibili.com/video/av795215852
2、數(shù)據(jù)庫(kù)建模 http://www.bilibili.com/video/av667696736
3、Java項(xiàng)目-互聯(lián)網(wǎng)大型電商項(xiàng)目實(shí)戰(zhàn)教程 http://www.bilibili.com/video/av710281771
4、馬士兵教育連老師：如果你能掌握這節(jié)mysql優(yōu)化，保你月薪漲5000 http://www.bilibili.com/video/av882530830
5、「MySQL」從零到刪庫(kù)精品課程 （2020） http://www.bilibili.com/video/av540222718
6、【MySQL】MySQL數(shù)據(jù)庫(kù)快速入門到實(shí)戰(zhàn) | 2020年 http://www.bilibili.com/video/av200009677
7、Redis從入門到精通 http://www.bilibili.com/video/av497625352
8、SQL注入基礎(chǔ)入門 - 黑馬程序員 http://www.bilibili.com/video/av667676123
9、阿里P8級(jí)Java面試題（首發(fā)，60道面試秘訣） http://www.bilibili.com/video/av795164178
10、兩小時(shí)拿下MySQL優(yōu)化 http://www.bilibili.com/video/av752581784

爬蟲解析

但是如何找到比較好的學(xué)習(xí)資源呢，現(xiàn)學(xué)現(xiàn)賣，本節(jié)將使用python爬蟲幫你找到好的學(xué)習(xí)資源。首先打開B站，依次找到學(xué)習(xí)標(biāo)簽下的視頻熱度排序。

image
image

找到的熱度學(xué)習(xí)視頻之后，接下來就是要解析網(wǎng)站，打開開發(fā)者工具，找到數(shù)據(jù)鏈接

image

通過點(diǎn)擊下一頁(yè)，對(duì)比數(shù)據(jù)發(fā)現(xiàn)，page參數(shù)是變化的。keyword是學(xué)習(xí)標(biāo)簽參數(shù)

https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}
https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}
https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}

構(gòu)造完成URL參數(shù)之后，我們將要爬取視頻的以下數(shù)據(jù)

'id', '排名', '標(biāo)簽', 'up主', '標(biāo)題','播放url','播放次數(shù)','收藏?cái)?shù)','投幣數(shù)','更新時(shí)間'

找到URL和需要爬取的數(shù)據(jù)之后，B站本身也沒有什么太難的反爬，現(xiàn)在直接提供完整代碼以供參考。

完整代碼


import requests
import csv
from urllib import parse
import json
import string

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
}


def get_parse(result):
    content=[]
    items=result['result']
    for item in items:
        id=item['id']
        rank=item['rank_offset']
        print(rank)
        tag=item['tag']
        author=item['author']
        title=item['title']
        url=item['arcurl']
        play=item['play']
        favorites=item['favorites']
        video_review=item['video_review']
        pubdate=item['pubdate']
        con=[id,rank,tag,author,title,url,play,favorites,video_review,pubdate]
        content.append(con)
    save(content)


def save(content):
    with open('./編程學(xué)習(xí)視頻.csv', 'a', encoding='gb18030',newline='')as file:
        write = csv.writer(file)
        write.writerows(content)


def main():
    header = ['id', '排名', '標(biāo)簽', 'up主', '標(biāo)題','播放url','播放次數(shù)','收藏?cái)?shù)','投幣數(shù)','更新時(shí)間']
    with open('./編程學(xué)習(xí)視頻.csv', 'a',encoding='gb18030',newline='')as f:
        write=csv.writer(f)
        write.writerow(header)
    type=['編程']
    types=['公開課','演講','TED','哲學(xué)','課程','可汗學(xué)院','哈佛大學(xué)','北京大學(xué)','耶魯大學(xué)','斯坦福大學(xué)','麻省理工','人工智能','百家講壇','高數(shù)','萬門大學(xué)','教育','學(xué)習(xí)','考試','英語(yǔ)','視頻教程','講座','線上課堂','編程','數(shù)學(xué)','語(yǔ)言','高考','高中','英語(yǔ)學(xué)習(xí)','物理','速成課','平面設(shè)計(jì)','設(shè)計(jì)','考研英語(yǔ)','PS教程','文化','歷史','機(jī)器學(xué)習(xí)']
    for j in type:
        cate = parse.quote(j, safe=string.printable)
        for i in range(100):
            url='https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page={}&pagesize=20&jsonp=jsonp&keyword={}'.format(i,cate)
            response = requests.get(url, headers=headers)
            result = json.loads(response.text)
            # print(result)
            get_parse(result)


if __name__=='__main__':
    main()

爬取數(shù)據(jù)展示

image

到此數(shù)據(jù)爬取完成，從這里就可以找到播放最多的視頻，收藏?cái)?shù)和投幣數(shù)最多的視頻，從而找到比較好一點(diǎn)的視頻。

如何想要獲取其他類型的熱度視頻，其他視頻獲取URL地址

演講.公開課
https://www.bilibili.com/v/technology/speech_course/?spm_id_from=333.6.b_7375626e6176.4#/
趣味科普中文
https://www.bilibili.com/v/technology/fun/?spm_id_from=333.6.b_7375626e6176.2#/
野生技術(shù)協(xié)會(huì)
https://www.bilibili.com/v/technology/wild/?spm_id_from=333.6.b_7375626e6176.3#/
image

然后這個(gè)視頻熱度是可以按照播放數(shù)、評(píng)論數(shù)、投幣數(shù)、收藏?cái)?shù)、彈幕數(shù)來排序的，也可以按照月份來排序

有了數(shù)據(jù)之后，你也可以查看一下那些類型的視頻最受歡迎，各類型的視頻TOP UP主都是誰，也可以給各類型視頻做個(gè)詞云圖，看看各類型視頻下的熱度標(biāo)簽都是那些，有了數(shù)據(jù)之后對(duì)于數(shù)據(jù)分析師來說可以做的東西特別多，這里就不一一介紹，隨后也會(huì)出一版這方面的文化文章。

隨著大數(shù)據(jù)的時(shí)代的到來，數(shù)據(jù)變得越來越重要，數(shù)據(jù)可以幫助我們來看清行業(yè)的本質(zhì)，也可以幫助我們更加快速的了解一個(gè)行業(yè)，關(guān)注公眾號(hào)——有趣的數(shù)據(jù)，走進(jìn)數(shù)據(jù)的時(shí)代。

image
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容