1.安裝 2.mongodb 服務(wù)sudo service mongod/mongodb startsudo service mongod/mongodb stopsudo ...
發(fā)簡(jiǎn)信
IP屬地：青海
-
爬蟲(chóng)的步驟
爬蟲(chóng)代碼基本步驟 第一步： 分析網(wǎng)站，尋找目標(biāo)URL 第二步： 分析目標(biāo)URL參數(shù)（get,post） get和post請(qǐng)求的區(qū)別： get請(qǐng)求參數(shù)部分：把？后面的參數(shù)寫(xiě)在字...
-
爬蟲(chóng)總結(jié)
大數(shù)庫(kù)時(shí)代：數(shù)據(jù)如何產(chǎn)生？１. 打的公司打的企業(yè)：通過(guò)用戶產(chǎn)生的數(shù)據(jù)２．大的數(shù)據(jù)平臺(tái)：通過(guò)收集或者和其他企業(yè)或者公司合作３．國(guó)家政府／大的機(jī)構(gòu)：通過(guò)省縣鄉(xiāng)或者其他方式統(tǒng)計(jì)匯總...
-
urllib下的模塊
爬蟲(chóng)代碼基本步驟 第一步： 分析網(wǎng)站，尋找目標(biāo)URL 第二步： 分析目標(biāo)URL參數(shù)（get,post） get和post請(qǐng)求的區(qū)別： get請(qǐng)求參數(shù)部分：把？后面的參數(shù)寫(xiě)在字...
-
分布式爬蟲(chóng)
Scrapy_redis在scrapy的基礎(chǔ)上實(shí)現(xiàn)了更多，更強(qiáng)大的功能，具體體現(xiàn)在：reqeust去重，爬蟲(chóng)持久化，和輕松實(shí)現(xiàn)分布式,安裝命令如下： pip3 install...
-
-
根目錄下的文件夾的作用
/bin 二進(jìn)制可執(zhí)行命令/dev 設(shè)備特殊文件/etc 系統(tǒng)管理和配置文件/etc/rc.d 啟動(dòng)的配置文件和腳本/home 用戶主目錄的基點(diǎn)，比如用戶user的主目錄就是...
