python爬蟲爬取豆瓣電影Top250之我小試

我的第一個爬蟲作品,一天完成,紀(jì)念一下!

代碼如下:

import requests

from bs4 import BeautifulSoup

urls =['https://movie.douban.com/top250?start={}&filter='.format(str(i*25)) for i in range(0,10)]

def get_movieinfo(urls,data = None):

web_data=requests.get(urls)

soup =BeautifulSoup(web_data.text,'lxml')

for data in soup.select('.item'):

rank = data.select('em')[0].text

name = data.select('.info')[0].select('a')[0].text.split('\n')[1]

score = data.select('.rating_num')[0].text

link = data.select('a')[0]['href']

director_actor = data.select('.bd')[0].text.split('\n')[2].lstrip('? ')

time_country = data.select('.bd')[0].text.split('\n')[3].lstrip('? ')

print(rank, name, score, link,director_actor, time_country)

for a in urls:

get_movieinfo(a)

結(jié)果如下截圖:


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容