likes
comments
collection
share

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

作者站长头像
站长
· 阅读数 21

「这是我参与2022首次更文挑战的第26天,活动详情查看:2022首次更文挑战

上一篇博客 中,我们已经在电脑上安装了 fiddler,并且在手机端通过 VirtualXposed + JustTrustMe 实现了 APP 的数据抓取。

本篇博客,咱们继续切换一款常见的 APP,查看一下其对外提供了哪些数据接口。

很多接口都能用来练习爬虫滴。

打开小米应用商店,找到装机必备,在其中发现一款 “豆果美食” APP,这里肯定有很多菜谱,靠谱。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 在正式捕获接口前,先把 fiddler 已有的请求和响应清理干净。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

捕获请求

VirtualXposed 中加载 豆果美食,然后等待安装完毕,进入其首页,在APP中进行简单的拖动,此时眼睛一直看着 fiddler 请求窗口即可。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 上图已经出现了与域名 douguo.net 相关的请求,并且返回了对应的数据,有图片、有文本内容,这里可以重点关注 body 列,注意观察接口返回数据的大小,太小肯定就不是服务器响应的数据啦。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 抓包过程中,随时按下 F12 键,停止捕获请求,这样才能更好的分析页面,否则在部分手机中,会持续的刷新请求接口。 豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 继续选择一个选项卡,下拉页面,得到如下接口内容,查看详情后发现 【笔记】页的接口,我们已经捕获到。 豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口

模拟请求

在请求地址上右键,选择复制地址,这一步骤很重要,需要将该地址复制到电脑端的浏览器,查看接口是否存在加密,不过本案例得到的接口地址是 POST,这就比较麻烦了,需要通过 fiddler 中的请求构造器 composer 完成测试。 豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 切换到 composer 功能区,拖拽上文捕获到的地址,然后点击 execute(执行) 获取一个新的请求。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 新的请求也会被 fiddler 捕获到,在请求窗口中,下拉即可找到,重点注意该请求是否成功返回数据。

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 接下来的步骤就是对参数的分析与整理。

参数分析

下面就是本案例的核心环节了,分析请求的各个指标

最后当我们删除所有的请求参数时,发现该接口不需要传递特殊的参数,直接 POST 请求即可返回数据,所以该地址已经被解析出来。

第一个得到的接口是【笔记】频道的接口。

下面用同样的手法,切换到【视频】频道,得到如下接口:

这里就比较有趣了,得到了一些视频地址:vplay.douguo.com/lg_eSawHKSs…但是由于版权的关系,这些就不能去采集了,代码也不能公开啦

豆果美食APP,看一下都给[Python爬虫爱好者]提供了哪些接口 然后我又跑到了【商城】频道,看了一下(就看了一下),接口可用,担心风险,就不在放出接口啦,有需要的自行研究。

豆果美食 APP,不错滴。

收尾时间

今天是持续写作的第 263 / 200 天。 可以关注我,点赞我、评论我、收藏我啦。