likes
comments
collection
share

教你如何用express+mysql+cheerio+swaggerUI开发爬虫项目API接口

作者站长头像
站长
· 阅读数 20
项目基于express+sequelize+mysql+express-validator基于node+express爬虫 API接口项目,包括全国高校信息、成语诗歌、星座运势、历史的今天、音乐数据接口、图片壁纸、搞笑视频、热点新闻资讯 详情接口数据

项目地址: https://github.com/ecitlm/Nod...

  • [x] express作为基础框架
  • [x] sequelize操作mysql
  • [x] mysql存储数据
  • [x] express-validator参数表单校验
  • [x] 使用cheerio解析爬虫页面
  • [x] 集成ejs模板
  • [x] 集成swaggerUI接口文档
  • [x] nodemon项目开发动态热更新
  • [x] dotenv管理配置系统参数
  • [x] 包含接口sign请求验证
  • [x] log4js 错误日志收集

环境要求

需要安装node环境,mysql数据库

部署运行

$ git clone https://github.com/ecitlm/Node-SpliderApi.git
$ npm install
#  start project dev
$ npm run dev
# starting prd
$ npm run prd
#localhost:3001

服务器部署

在服务器中使用 pm2node 服务进行进程守护
#启动进程/应用
pm2 start npm --watch --name tools -- run prd
pm2 restart tools
pm2 stop tools
pm2 delete tools

数据库

mysql中包含、唐诗300、成语、历史的今天、星座运势(聚合平台数据-需要申请自己的APPCODE)、用户表等数据项目目录bak-file文件夹可查看

接口文档

启动项目之后http://localhost:3001/api-docs/ 可查看接口文档页面,教你如何用express+mysql+cheerio+swaggerUI开发爬虫项目API接口 教你如何用express+mysql+cheerio+swaggerUI开发爬虫项目API接口

错误码说明

状态码含义备注
200响应正常
1001参数无效、如一个不存在的id
1002参数为空、验证不通过、参数类型错误
1003请求签名异常、非法
404请求不存在
405请求方式错误
9999第三方接口请求异常
500系统异常