likes
comments
collection

【爬虫】(一)fossies.org

作者站长头像
站长
· 阅读数 13

⭐ 爬虫系列文章旨在记录一些与网络爬虫相关的内容(在合法合规的情况下),并结合实战,让读者能够更快更深地理解与掌握。

🔥 本文已收录于爬虫系列专栏: 爬虫专栏 欢迎订阅,持续更新。

🎉 欢迎关注👀 点赞👍 收藏⭐ 留言📝

💬 代码成就万世基,积沙镇海;梦想永在凌云意,意气风发; 𝓼𝓲𝓭𝓲𝓸𝓽

前言

因为毕设是基于机器学习的,所以需要大量的样本来训练模型和检验成果,因此,通过爬虫,在合法合规的情况下,爬取自己所需要的资源,在此进行记录;

本次爬取的网站是 fossies.org/windows/mis…

总的代码都会在 运行 中贴出...

再次申明:本博文仅供学习使用,请勿他用!!!  

效果

【爬虫】(一)fossies.org

【爬虫】(一)fossies.org  

观察

进入网站,看到的是比较简洁的首页:

【爬虫】(一)fossies.org

随便点进去一个,进一步观察一下情况,发现点击之后可以直接下载,是相对比较简单的网站了

【爬虫】(一)fossies.org

那接下来就是开始动手写脚本了;  

分析

1、先请求一下,看看是否能行;

import requests

url = 'https://fossies.org/windows/misc/'
print(requests.get(url).status_code)

# 200

2、请求成功之后我们接着下一步,在浏览器中 F12 查看网页元素,观察规律;

【爬虫】(一)fossies.org

3、这里可以通过 DOM 进行查找,也可以通过 XPATH,也可以正则,全凭个人喜好,先筛选出每个 <tr>

import requests
from lxml import etree

url = 'https://fossies.org/windows/misc/'
html = etree.HTML(requests.get(url).text)
trs = html.xpath('//*[@id="archlist"]/table/tr')
[<Element tr at 0x7fa3663fcf40>, <Element tr at 0x7fa3663fc480>, ..., <Element tr at 0x7fa365d73180>]

注意,这里有个很坑爹的地方,浏览器上看到的网页内容有部分是通过 JS 动态渲染过的,因此 requests 时是没有的,比如说 tbody

4、接下来就是从单个 <tr> 里去获取到 <a> 标签的属性了,因为 href 和文件的名字是一样的,因此只要获取一个就行;

for tr in trs:
    href = tr.xpath('td/a')[0].get('href')
WinSCP-5.21.3-Portable.zip
WinSCP-5.21.3-Setup.exe
WinSCP-5.21.3-Source.zip
neo4j-community-4.4.11-windows.zip
WiresharkPortable64_3.6.8.paf.exe
Wireshark-win64-3.6.8.exe

...

pdftk_free-2.02-win-setup.exe
FreeMat-4.2-Setup.exe
md5.zip
dia-setup-0.97.2-2-unsigned.exe
unz600dn.zip
unz600xn.exe
zip300xn.zip
zip300xn-x64.zip

5、可以看到,文件的地址就是前缀加上刚刚获取到的 href,因此直接拼接 url 进行下载;

【爬虫】(一)fossies.org

down_urls = []

for tr in trs:
    href = tr.xpath('td/a')[0].get('href')
    down_urls.append(url+href)

 

运行

可以自行加上日志,进度条等,也可以使用协程,线程,进程来提升速度,以下是全部代码:

国外的网站,不用代理就挺慢的;

这板块现在有版权风险,不能贴全部的代码,点这里

 

后记

仅仅用来记录毕设期间所爬过的网站;

再次申明:本博文仅供学习使用,请勿他用!!!

📝 上篇精讲:# 【复】从0到1的 selenium 爬虫经历

💖 我是 𝓼𝓲𝓭𝓲𝓸𝓽,期待你的关注;

👍 创作不易,请多多支持;

🔥 系列专栏: 爬虫专栏