20180730·論昨天到今天上午都做了什么

昨天上午10點(diǎn)半,用采集器采集政府官網(wǎng)上需要的信息。
然后斷斷續(xù)續(xù)采集了一天。

工作時(shí)長(zhǎng):36h (算上為我通宵了一個(gè)晚上的電腦,雖然平常很嫌棄你但是還是愛你??

遇到了一系列問(wèn)題,然后一點(diǎn)點(diǎn)解決,也是一點(diǎn)點(diǎn)上手這個(gè)采集器,接下來(lái)我會(huì)記錄下這些問(wèn)題和解決方法,以供其他上手后裔采集器的小伙伴使用:
(先列個(gè)框架,陸續(xù)編輯完成ing。這樣下去可能還會(huì)再寫幾篇文章跟新。)

一、如果直接復(fù)制搜索結(jié)果的鏈接到采集器中,則顯示不出來(lái)搜索結(jié)果/利用智能采集構(gòu)建采集框架:
具體情況如下:


二、有的網(wǎng)頁(yè)搜索結(jié)果的鏈接和搜索界面的鏈接沒(méi)有變化:


三、有的網(wǎng)頁(yè)的搜索結(jié)果是滾動(dòng)加載的:


四、網(wǎng)頁(yè)“下一頁(yè)”(分頁(yè))位置改變,導(dǎo)致采集過(guò)程提前結(jié)束


五、打開網(wǎng)頁(yè)之后,需要登錄才能看到數(shù)據(jù)


六、打開網(wǎng)頁(yè)之后,需要操作幾個(gè)步驟才能看到數(shù)據(jù)


七、采集速度變慢了/卡殼了/重復(fù)采集同一個(gè)界面/網(wǎng)頁(yè)沒(méi)反應(yīng)


八、有些選項(xiàng)可以勾選一下

九、有些未解之謎:
在我已經(jīng)盡心盡力的完成了以上8個(gè)步驟之后,采集的時(shí)候仍然會(huì)出現(xiàn)數(shù)據(jù)沒(méi)有全采集完便顯示了“本次采集已經(jīng)完成”的情況。
還有就是,在今天早上,遇到了一個(gè)不知道是不是bug的東西,具體情況如下:

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1、通過(guò)CocoaPods安裝項(xiàng)目名稱項(xiàng)目信息 AFNetworking網(wǎng)絡(luò)請(qǐng)求組件 FMDB本地?cái)?shù)據(jù)庫(kù)組件 SD...
    陽(yáng)明AI閱讀 16,236評(píng)論 3 119
  • 通過(guò)手帳來(lái)“打卡”,可以幫助我們養(yǎng)成良好的生活習(xí)慣或達(dá)成目標(biāo),所以不少手帳達(dá)人都設(shè)置了打卡頁(yè)。 打卡本來(lái)就是一項(xiàng)比...
    一張葉小繪閱讀 4,853評(píng)論 3 11
  • 郁子小姐最常說(shuō)的一句是:這世上沒(méi)有偶然,只有必然,來(lái)了就擋不了。
    扒了你褲子閱讀 168評(píng)論 0 0
  • RealmJavaTest Realm is a mobile database that runs direct...
    方志朋閱讀 671評(píng)論 0 0

友情鏈接更多精彩內(nèi)容