# designdb_main

**Repository Path**: mrbytes/designdb_main

## Basic Information

- **Project Name**: designdb_main
- **Description**: WIPO 爬虫 资源管理系统
- **Primary Language**: Python
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-10-22
- **Last Updated**: 2025-02-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# designdb_main
# WIPO 爬虫 资源管理系统 

#### 介绍
本项目使用 Django 4.2.5 版本 +LayUI+Scrapy+Scrapyd(1.5) 实现 爬虫数据可视化呈现 外加以图搜图功能

#### 项目结构介绍

```
|-- designdb_app                       # Django  主业务模块
|   |-- Views                          # Django  视图层
|   |-- admin.py
|   |-- apps.py
|   |-- management
|   |-- migrations
|   |-- models.py
|   |-- pagination.py
|   |-- serializer.py
|   |-- static
|   |-- tests.py
|   |-- urls.py
|   `-- views.py
|-- designdb_main                   # Django  主总配置模块
|   |-- __init__.py
|   |-- __pycache__
|   |-- asgi.py
|   |-- settings.py
|   |-- urls.py
|   `-- wsgi.py
|-- designdb_spider                   # 爬虫模块
|   |-- build                         # 爬虫编译文件
|   |-- designdb_spider               # 爬虫逻辑文件
|   |-- project.egg-info             
|   |-- scrapy.cfg                   # 爬虫发布配置
|   `-- setup.py                     # 爬虫发布自动生成
|-- designdb_units                   # 网站/爬虫发布通用 工具类
|   `-- imgePathUnit.py
|-- manage.py                        # Django  框架文件
|-- requirements.txt                 # 项目 依赖包 还原文件
|-- templates                        # Django  模板文件
|   `-- designdb_app                

```

#### 数据库迁移

```

# 创建迁移文件

python manage.py makemigrations

# 执行迁移

python manage.py migrate designdb_app


```



#### 项目启动

##### 1.本地调试

```shell
#Django 运行

python manage.py runserver


#爬虫本地 运行
cd /designdb_spider/designdb_spider/
python run.py



```

##### 2.Django 部署

本次部署用Docker部署：

```dockerfile
cd ./designdb_main

# 编译镜像

docker build -t designdb.web:v1.0 .

# 运行镜像

docker run -d -p 7012:7012 --name designdb.web --restart=always --privileged -e TZ="Asia/Shanghai" -v /data/download/:/data/download/ designdb.web:v1.0

```

##### 3.1.爬虫服务端部署

本案例使用 gerapy 和 scrapyd（1.5） 综合使用：并且使用Docker镜像部署

gerapy Docker 部署：相关的配置该镜像的/app目录下

```dockerfile
docker run -e TZ=Asia/Shanghai -d --name gerapy -v /opt/gerapy/projects/:/home/gerapy/projects/ -v /opt/gerapy/logs/:/home/gerapy/logs/ -v /opt/gerapy/dbs/:/home/gerapy/dbs/ -p 8000:8000 germey/gerapy
```

scrapyd Docker 部署：(PS:官方没给镜像，是用DockerHUb里面的easypi/scrapyd:latest，如果需要用到scrapyd 新版本的api 请换成其他镜像或者升级该镜像的scrapyd版本) 相关的配置该镜像的/app目录下

```shell
docker run -e TZ=Asia/Shanghai -d --name scrapyd -p 6800:6800 easypi/scrapyd:latest
```

##### 3.2.爬虫发布

先终端 到项目的 `designdb_spider` 目录下执行，以下命令：

```shell
# 发布项目到服务端

scrapyd-deploy designdb_spider -p designdb_spider 

# 运行爬虫 （PS：可以封装到Django Web页面）

>curl http://81.70.79.122:6800/schedule.json -d project=designdb_spider -d spider=wipoSpider

# 查看爬虫状态 （PS：可以封装到Django Web页面）

>curl http://81.70.79.122:6800/status.json?job={上一步返回的jobid}

```