課堂作業(yè)

• 要爬取的數(shù)據(jù)類(lèi)別

• 對(duì)應(yīng)的數(shù)據(jù)源網(wǎng)站

• 爬取數(shù)據(jù)的URL

• 數(shù)據(jù)篩選規(guī)則(選做)

要爬取的數(shù)據(jù)類(lèi)型

我對(duì)金融行業(yè)中股票的信息感興趣，想要依次作為決策的依據(jù)，因此想要爬取股票信息，主要獲取的股票信息有：季報(bào)、半年包、年報(bào)、公司重大公告、國(guó)家宏觀金融政策、股價(jià)、成交量、龍虎榜數(shù)據(jù)、實(shí)時(shí)熱點(diǎn)。

對(duì)應(yīng)的數(shù)據(jù)源網(wǎng)站

1. 三大證券報(bào)：
   • 中國(guó)證券報(bào)
   • 上海證券報(bào)
   • 證券時(shí)報(bào)
2. 兩大官方網(wǎng)站：
   • 上海證券交易所
   • [上海證券交易所]](http://www.szse.cn/)
3. 最大信息發(fā)布網(wǎng)站：
   • 巨潮咨詢網(wǎng)
4. 財(cái)經(jīng)新聞網(wǎng)站：
   • 東方財(cái)富網(wǎng)
5. 股票論壇：
   • 雪球網(wǎng)

爬取數(shù)據(jù)的URL

1. 三大證券報(bào)：
   • 中國(guó)證券報(bào) ： http://www.cs.com.cn/gppd/
   • 上海證券報(bào) ：http://ggjd.cnstock.com/gglist/search/ggkx、http://news.cnstock.com/bwsd/index.html
   • 證券時(shí)報(bào) ：http://data.stcn.com/
2. 兩大官方網(wǎng)站：
   • 上海證券交易所 ：http://www.sse.com.cn/disclosure/overview/
   • 深圳證券交易所 ：http://www.szse.cn/main/disclosure/
3. 最大信息發(fā)布網(wǎng)站：
   • 巨潮咨詢網(wǎng) ：http://www.cninfo.com.cn/cninfo-new/index
4. 財(cái)經(jīng)新聞網(wǎng)站：
   • 東方財(cái)富網(wǎng) ： http://stock.eastmoney.com/report.html、http://stock.eastmoney.com/bidu.html
5. 股票論壇：
   • 雪球網(wǎng) ： https://xueqiu.com/hq

數(shù)據(jù)篩選規(guī)則

股票消息分為：實(shí)時(shí)性和非實(shí)時(shí)性的消息，因此要分2種方式設(shè)定規(guī)則。

• 實(shí)時(shí)性消息： 每20分鐘刷新一次網(wǎng)站采集的數(shù)據(jù)，如果采集的數(shù)據(jù)中有自己設(shè)置的關(guān)鍵詞（例如：突發(fā)重大新聞，自己關(guān)心的股票，漲幅超過(guò)5%），提取相應(yīng)的信息。

• 非實(shí)時(shí)性消息：每年發(fā)布季報(bào)、半年報(bào)、年報(bào)的日期，爬取上海證券交易所、深圳證券交易所、巨潮咨詢網(wǎng)中每個(gè)公司發(fā)布的年報(bào)摘要，如果有自己設(shè)置的關(guān)鍵詞（營(yíng)業(yè)額年增長(zhǎng)率超過(guò)50%、營(yíng)業(yè)利潤(rùn)率超過(guò)20%），提取對(duì)應(yīng)的公司信息。每日爬取雪球網(wǎng)中行情排行榜、熱度排行榜、討論排行榜中上榜的股票，并通過(guò)每周上榜股票的次數(shù)。