發(fā)簡信
IP屬地：四川
-
爬豆瓣豆列目的：把精彩豆列頻道里的每個(gè)豆列里的內(nèi)容抓取出來。流程是抓取目錄頁精彩豆列頻道豆列的地址-對(duì)每個(gè)豆列所有頁數(shù)都抓取具體內(nèi)容、網(wǎng)址、時(shí)間。這就很標(biāo)...
-
驗(yàn)證碼去除干擾線在邦購登陸時(shí)，選擇了人工檢驗(yàn)驗(yàn)證碼，這次用機(jī)器檢測(cè)試試。先說基本邏輯：載入圖像，轉(zhuǎn)灰度，二值化，連通域檢測(cè)，去除連通域小的，根據(jù)各連通域的范圍切...
-
ng deep learning 學(xué)習(xí)筆記先快速搭建一個(gè)神經(jīng)網(wǎng)絡(luò)，看看訓(xùn)練集效果，調(diào)整，看dev集的cv效果，調(diào)整，看test集效果，調(diào)整，最后看實(shí)際數(shù)據(jù)的效果，再調(diào)整。
-
爬今日頭條，各種失敗經(jīng)驗(yàn)，之后成功了最近研究了一下js加密，發(fā)現(xiàn)今日頭條比較適合練手，在頭條獲取數(shù)據(jù)的XHR中request參數(shù)有一項(xiàng)_signature參數(shù)，這個(gè)是就是經(jīng)過js加...
-
scrapy 關(guān)于session
在requests用session登陸這篇講了怎么用同一個(gè)session控制cookies以達(dá)到登陸的需求，在scrapy里主要用的是FormR...
-
scrapy用proxy的零零總總
在scrapy框架及中間件中說到了中間件相關(guān)的數(shù)據(jù)流程，剛好在用proxy爬數(shù)據(jù)的時(shí)候會(huì)用到中間件的零零總總，這回可以一起說說了。我覺得寫中間件...
-
爬金融數(shù)據(jù)最喜歡的爬取的就是由前端數(shù)據(jù)，返回的json全是數(shù)據(jù)特別好弄，而且還可以根據(jù)需求構(gòu)造網(wǎng)址，一次取回所需數(shù)據(jù)。這次爬的是東方財(cái)富網(wǎng)的股東人數(shù)，地址...
-
python -裝飾器
裝飾器之前要先說說函數(shù)名（）和函數(shù)名的區(qū)別 test()是返回函數(shù)值，所以是可以賦值給變量的。比如a=test()。test是調(diào)用函數(shù)，在scr...
-
scrapy_redis分布式爬蟲
說到redis了，自然就要說到另一個(gè)爬蟲框架scrapy_redis，分布式爬蟲，scrapy與scrapy_redis最大的不同是schedu...