# spider

**Repository Path**: gaoqian-yes/spider

## Basic Information

- **Project Name**: spider
- **Description**: 个人爬虫项目,理性使用
- **Primary Language**: Java
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2022-09-12
- **Last Updated**: 2025-08-29

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 自建项目

## README

# spider 蜘蛛,抓取一切

#### 介绍

个人用爬虫项目,不过到最后,变成很多工具demo的合集了

#### 软件架构

````
|-shell 启动,停止脚本相关,存放的winodws的脚本
|-logs 日志存放地址
|-src 
    |-main
        |-java  代码
            |-demo  所有样例
                |-authDemo  鉴权
                |-carDemo   停车场访问(AES+SHA256加密)
                |-chatgptDemo   爬虫了个gpt网站,不需要翻墙直接用
                |-dataxDemo datax数据同步的demo,还没做好
                |-jwtDemo   jwt的验证
                |-mathDemo  趋势图
                |-newsDemo  新闻爬虫
                |-proxyDemo 访问代理(自定义注解版本)
                |-webSocketDemo 聊天室(websocket,包括群聊,私聊,指令聊天)
            |-aop   切面
            |-LogStdOut 日志切面
            |-factory   工厂类
                |-NoRedirect    这个是禁止跳转访问的工厂类
            |-handler   处理器
                |-bean  全局通用的bean
                |-global    全局异常处理,全局返回封装处理    
            |-utils 工具类
            |-SpiderApplication 启动类(这里启动)
        |-resources 配置文件
        |-webapp jsp页面
| deploy_linux.sh,shut_down_linux.sh 是lexus相关的脚本,chmod 777 deploy_linux.sh授权直接启动

````

#### 安装教程

```
环境要求
1. jdk-1.8

boot版本 - 2.7.3

启动类
top.hlong.spider.WechatApplication```


#### 参与贡献

1. Fork 本仓库
2. 新建 Feat_xxx 分支
3. 提交代码
4. 新建 Pull Request