如何快速查找动态网页里的内容?

作者站长头像
站长
· 阅读数 5

比如 我知道一个网页中 有"论文阅读.rar" 这个文件 是通过连串 ajax请求 (具体表现为 鼠标点击) 最后显示出来的 我只知道有这个文件 但是不知道 如何找到 怎么快速找到这个文件用python的selenium 可以吗 具体怎么使用

我并不是想要构造爬虫 举个例子 我们可以在静态页面中 通过ctr+f 这个功能找到某个文本 如果有的话 则会跳转到匹配处但是动态页面这样不行 所以我想要得是在动态页面达到类似的效果

回复
1个回答
avatar
test
2024-07-10

selenium可以,安装对应浏览器驱(Webdriver),之后具体就像你说的通过调用打开页面api->找到对应按钮api->点击按钮api,等到页面上出现你想要的元素了,再通过api获取即可;具体参考selenium官方文档:https://www.selenium.dev/zh-cn/documentation/webdriver/gettin...

而往往selenium 不是首选,动态内容往往是前端构造请求发出的,很容易捕获,捕获到你需要的api之后通过python来构造这个请求再发出,对响应进行解析即可获取到对应的内容。这里推荐大名鼎鼎的scrapy:https://scrapy.org/

本文参与了SegmentFault 思否面试闯关挑战赛,欢迎正在阅读的你也加入。
回复
likes
适合作为回答的
  • 经过验证的有效解决办法
  • 自己的经验指引,对解决问题有帮助
  • 遵循 Markdown 语法排版,代码语义正确
不该作为回答的
  • 询问内容细节或回复楼层
  • 与题目无关的内容
  • “赞”“顶”“同问”“看手册”“解决了没”等毫无意义的内容