scrapy 框架簡介：他是由c++語言編寫的底層代碼的框架、在開始爬蟲時我們可以創(chuàng)建我們的爬蟲項目。在scrapy框架里面，我們可以使用selenium,requests,js網(wǎng)頁分析，進行數(shù)據(jù)爬取，爬取完成后，我們可以直接調(diào)取管道模塊，對我們的數(shù)據(jù)進行存儲。

一：windows下安裝

首先檢測系統(tǒng)是否已安裝,編輯代碼：scrapy，顯示如圖一所示，證明已安裝

圖一

開始安裝scrapy

? ? 1.pip install scrapy

? ? 2.pip install pypiwin32 ??

二：linux 下安裝scrapy

pip install scrapy

三創(chuàng)建scrapy項目

1. scrapy startproject <project name>

2.scrapy genspider xx ?xx.com