pycharm怎么新建一个scrapy项目

 时间:2026-05-03 23:25:55

1、由于scrapy是使用python语言编写的爬虫系统,因此它很自然是可以通过pip安装的。

在bash或者cmd中输入:

                         pip install scrapy就可以安装scrapy了。

pycharm怎么新建一个scrapy项目

2、然后等待scrapy将所有依赖包安装完成。查看scrapy版本,目前最新的版本是v1.4.0版本

pycharm怎么新建一个scrapy项目

3、安装virtualenv(可选)这里我还安装了virtualenv。virtualenv是一个提供独立的python开发环境的工具。例如你某个scrapy工程依赖的是python2.7,而另一个依赖的是python 3.5,那么这个工具就非常有用了。

pycharm怎么新建一个scrapy项目

1、使用scrapy startproject创建工程。

安装scrapy后,就可以使用startproject指令创建你的scrapy工程了这里,我在终端输入了scrapy startproject quotes指令创建了一个quotes工程

pycharm怎么新建一个scrapy项目

2、创建工程后,你会发现工程下面已经创建了如下文件:

.

├── quotes

│   ├── __init__.py

│   ├── items.py

│   ├── middlewares.py

│   ├── pipelines.py

│   ├── settings.py

│   └── spiders

└── scrapy.cfg

下面你要做的就是创建spider类爬取目标网站。

pycharm怎么新建一个scrapy项目

3、使用pycharm打开scrapy工程。

pycharm怎么新建一个scrapy项目

4、在sprides包中创建你的sprider

这里我参照官方教程创建了一个简单quotes类

pycharm怎么新建一个scrapy项目

5、运行scrapy在pycharm中输入scrapy crawl quotes运行你得爬虫系统

pycharm怎么新建一个scrapy项目

  • VC++6.0 创建多行注释的小插件
  • android中透明按钮的设置
  • VS Code怎么隐藏界面左侧的活动栏
  • Visual Studio Code怎么设置任务错误显示错误
  • hbuilder怎么设置html代码块
  • 热门搜索
    什么手机好 肝火旺盛有什么症状 吃醋是什么意思 什么是三无产品 人生观是什么 1926年属什么生肖属相 qe是什么意思啊 receive是什么意思 1月26日是什么星座 七情六欲指的是什么