# Spider

**Repository Path**: wben107/Spider

## Basic Information

- **Project Name**: Spider
- **Description**: node-spider (acfun)聚合服务1 分布式爬取2 redis3 mongoose存储4 pm2管理进程5 logger日志管理
- **Primary Language**: JavaScript
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 1
- **Created**: 2020-06-11
- **Last Updated**: 2024-01-08

## Categories & Tags

**Categories**: spider

**Tags**: None

## README

# Spider

> demo 是关于acfun的最新爬虫 

#### 介绍
    node-spider 聚合服务
    1 分布式爬取
    2 redis
    3 mongoose存储
    4 pm2管理进程
    5 logger日志管理

#### 软件架构
软件架构说明
    bin     ---->启动目录
    utils   -----> 工具logger
    service    ----->数据库存储服务
    models   -----> 存储的model层模型
    routers  ---> 服务对外提供接口
    scripts  ----> 脚本运行文件 可以控制频率
#### 安装教程

1.  npm i 
2.  配置setting.js



#### 使用说明

1.  NODE_ARGV_2=*****  pm2 start ./scripts/spider.js -p 0 (NODE_ARGV_2=start_getting_articles pm2 start ./scripts/spider.js)

#### 参与贡献

author : wenbin
email :1070156025@qq.com