豆瓣电影图片爬取实例

一、先上效果

　　

二、安装Scrapy和使用

　　官方网址：。

　　安装命令： pip install Scrapy

　　安装完成，使用默认模板新建一个项目，命令： scrapy startproject xx

　　

　　上图很形象的说明了，scrapy的运行机制。具体各部分的含义和作用，可自行百度，这里不再赘述。我们一般，需要做的是以下步骤。

　　1）配置settings，其他配置可根据自己的要求查看文档配置。

DEFAULT_REQUEST_HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.10 Safari/537.36'}
DOWNLOAD_TIMEOUT = 30IMAGES_STORE = 'Images' 

查看更多关于豆瓣电影图片爬取实例的详细内容...

声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://www.haodehen.cn/did82031