js 逆向爬取报销发票(二)

puppeteer 介绍

Puppeteer 是一个由 Google Chrome 团队开发的 Node 库，它提供了一套高级 API 来通过 DevTools 协议控制无头 Chrome 或 Chromium。无头浏览器是没有图形界面的浏览器，它允许开发者在服务器上运行网页，进行自动化测试、抓取网页内容、生成页面截图或 PDF 等操作。

puppeteer 安装

npm i puppeteer

编写 downloadTicket 函数

遍历上文中生成的 data.json，解析出 receiptUrl 并使用 puppeteer 打开，等待页面加载完成后，可以使用 cheeroi 库来获取到发票对应的 dom 元素，然后拿到其 url，示例代码如下：

async function downloadTicket(url) {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  await page.goto(url, {
    waitUntil: 'networkidle0',
  });

  const content = await page.content();
  const $ = cheerio.load(content);
  const imgUrl = $('.my-gallery a').attr('href');

  console.log(imgUrl);

  await browser.close();
}

执行后我们就可以拿到这张发票对应的地址了

接下来，我们使用 request 结合 stream 来下载该发票

const filePath = './test.png';

var stream = fs.createWriteStream(filePath);

request(imgUrl)
	.pipe(stream)
	.on('close', function () {
	    console.log('done');
	});

把这段代码放入 downloadTicket 函数中执行后，就可以看到当前目录下多了一个 test.png 的发票文件了

结构化发票文件

按照科室对发票进行分类下载，首先第一步遍历 data.json 获取到所有的科室信息，然后根据科室名称创建对应的目录，将发票下载到相应的目录

async function main() {
  for (let record of recordList) {
    const {payTime, deptName, typeName, money, receiptUrl, receiNo} = record;    
    const dirName = category.includes(deptName) ? deptName : other;
    const filePath = `./${dirName}/${receiNo}.png`;

    if (!fs.existsSync(filePath)) {
      await downloadTicket(receiptUrl, filePath);
    } else {
      console.log('exist');
    }
  }
}

这样就大功告成了~等等，要是再有一个用于统计 excel 就更好了，也很简单

安装 node-xlsx

npm i node-xlsx -D

改造一下上面的 main 函数，把数据保存起来，最后一起写入到 excel 中，如下

async function run() {
  const data = [['时间', '科室', '类型', '费用']];

  for (let record of recordList) {
    const {payTime, deptName, typeName, money, receiptUrl, receiNo} = record;
    data.push([payTime, deptName, typeName, money, receiptUrl]);
    const dirName = category.includes(deptName) ? deptName : other;
    const filePath = `./${dirName}/${receiNo}.png`;

    if (!fs.existsSync(filePath)) {
      await downloadTicket(receiptUrl, filePath);
    } else {
      console.log('exist');
    }
  }

  var buffer = xlsx.build([{name: 'sheet', data: data}]);
  fs.writeFileSync('result.xlsx', buffer, {flag: 'w'});
}

执行后就生成了一个 result.xlsx 文件，打开后内容如下 搞定~