白蓮花不能留著過年
簡(jiǎn)單樸素的愿望不知道現(xiàn)在該如何形容我的處境以及我所遇見的事情，我是一個(gè)嘴很笨的人。我遇見事情不知道怎么去描述。就像我們要做述職報(bào)告，在起筆寫的那一剎那，我發(fā)現(xiàn)我沒有什么可以寫。但是卻明明做...
發(fā)簡(jiǎn)信
IP屬地：寧夏
-
-
簡(jiǎn)單樸素的愿望
不知道現(xiàn)在該如何形容我的處境以及我所遇見的事情，我是一個(gè)嘴很笨的人。我遇見事情不知道怎么去描述。就像我們要做述職報(bào)告，在起筆寫的那一剎那，我發(fā)現(xiàn)我沒有什么可以寫。但是卻明明做...
-
SmartGit過期后破解方法
1.根據(jù)自己的操作系統(tǒng)，進(jìn)入相應(yīng)的文件夾 ，可能還有一個(gè)版本號(hào)的文件夾，再進(jìn)入 2.刪除settings.xml這個(gè)文件，比如 windows的在 3.重新進(jìn)入SmartGi...
-
ModuleNotFoundError: No module named '__main__.xxxxx'; '__main__' is not a package
問題： 原因: 不能簡(jiǎn)單的這樣執(zhí)行，這樣執(zhí)行的話，模塊的名字被變成了main 例子： logins.py login1.py里，調(diào)用run來執(zhí)行 所以使用from的話，還是建...
-
數(shù)據(jù)庫(kù)可視化工具——Navicat基本使用方法sql是操作數(shù)據(jù)庫(kù)中數(shù)據(jù)的語句，在不同的數(shù)據(jù)庫(kù)中會(huì)略有不同，如mysql，postgreSQL，oracle，sqlserver，sqlite等等，但是sql的基礎(chǔ)selec...
-
報(bào)bug工具——禪道的基本使用方法
禪道下載地址：http://www.zentao.net/download，有開源版和收費(fèi)版選擇。項(xiàng)目：項(xiàng)目經(jīng)理創(chuàng)建Build，選擇產(chǎn)品，輸入名稱編號(hào)，為測(cè)試每次換包的版本編...
-
(2019.9最新版)XMind for linux破解必備工具官網(wǎng)下載: 最新版XMind或網(wǎng)盤下載(提取碼: jcqq)替換腳本: XMind_amd64.tar.gz(提取碼: tnkb) -- 包含XMindCrack.j...
-
美食杰項(xiàng)目API接口文檔
1. 查詢指定項(xiàng)目屬性 接口功能 獲取美食杰項(xiàng)目的下的分類信息 URL https://m.meishij.net/caipudaquan/ 支持格式 JSON HTTP請(qǐng)求...
-
pyspider web爬蟲框架的使用一、為什么要使用pyspider？ 我們很好奇，我們明明有了Scrapy框架，為什么還要使用pyspider框架呢？我們說兩點(diǎn) pyspider的優(yōu)點(diǎn)，它有這么幾個(gè)優(yōu)點(diǎn)1.提...
-
scrapy分布式爬蟲部署本地部署 1.先安裝兩個(gè)庫(kù)： scrapyd： pip3 install scrapyd是運(yùn)行scrapy爬蟲的服務(wù)程序,它支持以http命令方式發(fā)布、刪除、啟動(dòng)、停止爬蟲程...
-
Scrapy-redis的源碼解析
Scrapy-redis的官方文檔寫的比較簡(jiǎn)潔，沒有提及其運(yùn)行原理，所以如果想全面的理解分布式爬蟲的運(yùn)行原理，還是得看scrapy-redis的源代碼才行，不過scrapy-...
-
Scrapy-redis的源碼解析
一、先來回顧一下這個(gè)問題： 原生的Scrapy框架為什么做不了分布式？1. Scrapy分布式爬蟲意味著幾臺(tái)機(jī)器通過某種方式共同執(zhí)行一套爬取任務(wù)，這就首先要求每臺(tái)機(jī)器都要有S...
-
Scrapy框架總結(jié)一、Scrapy框架的使用步驟： 創(chuàng)建項(xiàng)目：scrapy startproject project_name cd進(jìn)項(xiàng)目目錄：cd project_name 創(chuàng)建項(xiàng)目應(yīng)用程序...
-
Scrapy-redis的兩種分布式爬蟲思考：1. Scrapy分布式爬蟲意味著幾臺(tái)機(jī)器通過某種方式共同執(zhí)行一套爬取任務(wù)，這就首先要求每臺(tái)機(jī)器都要有Scrapy框架，一套Scrapy框架就有一套Scrapy五大核心...
-
噴泉之所以漂亮是因?yàn)樗辛藟毫?；瀑布之所以壯觀是因?yàn)樗龥]有了退路；水之所以能穿石是因?yàn)橛肋h(yuǎn)在堅(jiān)持。
-
Scrapy-redis的兩種分布式爬蟲的實(shí)現(xiàn)
前言：原生的Scrapy框架為什么做不了分布式？ 思考：1. Scrapy分布式爬蟲意味著幾臺(tái)機(jī)器通過某種方式共同執(zhí)行一套爬取任務(wù)，這就首先要求每臺(tái)機(jī)器都要有Scrapy框架...
-
Scrapy框架學(xué)習(xí)一、什么是Scrapy？ Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，非常出名，非常強(qiáng)悍。所謂的框架就是一個(gè)已經(jīng)被集成了各種功能（高性能異步下載，隊(duì)列...
-
pyquery基礎(chǔ)1.pyquery庫(kù)的了解 pyquery庫(kù)是jQuery的Python實(shí)現(xiàn)，能夠以jQuery的語法來操作解析 HTML 文檔，易用性和解析速度都很好。 1.1 pyque...
-
爬蟲基礎(chǔ)：Beautiful Soup
Beautiful Soup 是一個(gè)可以從HTML和XML文件中提取數(shù)據(jù)的Python。它可以實(shí)現(xiàn)文檔的增刪改查操作，我們側(cè)重點(diǎn)是它的查詢操作。 安裝 Beautiful S...
