1. 安裝配置

1. 下載對應(yīng)版本的tisted.whl 文件到本地https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
2. pip install Twisted-19.2.1-cp36-cp36m-win_amd64.whl 本地編譯安裝twisted
3. 安裝框架 pip install scrapy
4. 可能還需要安裝 pip install pypiwin32

2. 入門程序

1. 命令行下，創(chuàng)建scrapy項目 D:>scrapy startproject DouBan
2. 打開pycharm 打開項目，在命令行下輸入
   D:\DouBan>scrapy genspider douban_movie www.movie.douban.com
   會在spiders目錄下自動生成 douban_movie.py
3. 修改setting.py 里面有關(guān)headers、user-agent配置、robot =false
4. 在工程目錄下創(chuàng)建begin.py ,啟動項目時，就run這個文件

from scrapy import cmdline
# 使用cmd命令行 執(zhí)行 spiders/douban_movie.py
cmdline.execute('scrapy crawl douban_movie'.split())

5. 在douban_movie.py中 編寫解析代碼

# -*- coding: utf-8 -*-
import scrapy
from DouBan.items import DoubanItem

class DoubanMovieSpider(scrapy.Spider):
    name = 'douban_movie'
    allowed_domains = ['www.movie.douban.com']
    start_urls = ['https://movie.douban.com/subject/26100958/comments?sort=new_score&status=P']

    # parse方法是框架內(nèi)置的，start_urls 中的請求完成后
    # 返回的response會傳給parse方法
    # 我們在parse方法中，解析網(wǎng)頁源代碼
    # response 就是 start_urls 的網(wǎng)頁源代碼
    def parse(self, response):
        item = DoubanItem()
        comment = response.xpath('//span[@class="short"]/text()').extract()
        print(comment)