一、數(shù)據(jù)庫(kù)系統(tǒng) 數(shù)據(jù)庫(kù)DataBase【DB】,指的是長(zhǎng)期保存到計(jì)算機(jī)上的數(shù)據(jù),按照一定順序組織,可以被各種用戶(hù)或者應(yīng)用共享的數(shù)據(jù)集合?!居糜诖?..
1、Scrapy 是一個(gè)爬蟲(chóng)框架,提取結(jié)構(gòu)性的數(shù)據(jù)。其可以應(yīng)用在數(shù)據(jù)挖掘,信息處理等方面。提供了許多的爬蟲(chóng)的基類(lèi),幫我們更簡(jiǎn)便使用爬蟲(chóng)?;赥w...
1.bs4 BeaufulSoup 和lxml一樣都是用于解析html的框架,對(duì)數(shù)據(jù)的分析和提取。 和lxml相比,效率略低,用起來(lái)比較方便 b...
1.反爬措施 1.你寫(xiě)爬蟲(chóng)的時(shí)候都遇到過(guò)什么反爬蟲(chóng)措施,你是怎么解決的?設(shè)置用戶(hù)代理 偽裝瀏覽器禁止IP 設(shè)置代理服務(wù)器(一般是收費(fèi)、測(cè)...
1.正則表達(dá)式 元字符【單字符】 . [and] \d \D \s \S 修飾符 .* + ? {m} {m,n} {m,} 邊界符 ^ ...
1.post 2.ajax ajax-get豆瓣電影排行榜1.分析請(qǐng)求字符串start=20&limit=20每頁(yè)10條 顯示第頁(yè)如何寫(xiě)?2.發(fā)...
1.爬蟲(chóng)引入 2.抓包工具 3.urllib簡(jiǎn)介 4. urllib.request模塊 5.構(gòu)建請(qǐng)求對(duì)象 6.HTTP協(xié)議 1、什么是HTTP...