爬虫入门实战（标价400的单子-1）

站长

2022年12月04日 20:26 · 阅读数 19

写在前面

这里想做这个专栏很久了，不仅是想把自己在工作时接触到一些比较棘手的问题和解决方法记录下来，而且也想帮助初学者了解一个爬虫的完整流程。

我目前的想法是更新一个简单的表格爬虫（一个基本没有反扒手段的网站）来入门。然后搞个selinunm自动化爬一下淘宝的商品类目、价格等信息来帮助大家进阶爬虫之路。最后我会分享我的终极爬虫技巧，大巧不工。

其实，我的爬虫技术也是业余的，野路子。写这些文章只能帮助初学者进行爬虫一个了解，能接一些小点的单子。但是真正要应聘爬虫工程师是远远不够的。后面有时间的话我也会进行学习爬虫（如selinum伪装成正常请求，安卓模拟器app爬虫）

爬虫概览

其实我们或多或少都是听说过爬虫这个概念，这个东西的技术栈其实也比较成熟了。

其实在我的理解中，爬虫嘛，就是给自己伪装一下，装成是正常的访问请求，然后获取到网站或者APP中的数据资源的一种技术手段。

当然目前大部分爬虫都是python写的，毕竟python丰富的第三方库资源还有语言优势摆在这里。所以，我们这里也是通过python进行爬虫的编写。

一、项目需求

一个香港的老板应该是，他给个网址

里面大概是这样的

爬虫入门实战（标价400的单子-1）

点进去那个箭头的之后是个超链接，然后，要把这个信息爬下来。

爬虫入门实战（标价400的单子-1）

需求挺明确的，而且这个网站，连一些基础的反爬手段都没有,非常适合用来入门实战。

二、分析网页

搞到所有律师的信息的流程清晰的分为两个步骤：1.搞到所有律师的个人介绍的超链接；2.然后再对所有链接进行访问。

爬虫入门实战（标价400的单子-1）可以看到哈，这个记录还是有点多的，11339条，30个记录一页。要全部拿下来不是一件简单的事，

1.找到所有页面的链接：

这个是第一页。爬虫入门实战（标价400的单子-1）

这个是第二页。爬虫入门实战（标价400的单子-1）

让我们来看看他的链接：

第一页:www.hklawsoc.org.hk/zh-HK/Serve…

第二页:www.hklawsoc.org.hk/zh-HK/Serve…

找到不同了嘛.第二页多出了一个字段:&pageIndex=2#tips 可以把这个数字换成1和3,试一下.

&pageIndex=1#tips 爬虫入门实战（标价400的单子-1）

&pageIndex=3#tips 爬虫入门实战（标价400的单子-1）

所以所有页面的规律就找到了,用来访问的链接如下：

    for i in range(1, 11339//30):
        print(i/(11339//30),end=' ')
        url = "https://www.hklawsoc.org.hk/zh-HK/Serve-the-Public/The-Law-List/Members-with-Practising-Certificate?name=&jur=&sort=1&pageIndex="+str(i)+"#tips"

这个规律真的很简单,所以就用来爬虫的入门了.

2.找到所有律师的个人页面链接：

这个就是一个页面分析的任务了。

爬虫入门实战（标价400的单子-1）

还记得我们刚才是点这个链接访问的这个律师个人信息界面吧，这里面必然有着个人界面的超链接，我们需要的就是把它扒出来出来就可以了。下面我们在这个页面，按F12，查看，操作如下：

点击F12，进入下面的界面

爬虫入门实战（标价400的单子-1） 2. 点箭头指向的按钮

爬虫入门实战（标价400的单子-1）

然后点击你想扒出超链接的元素

爬虫入门实战（标价400的单子-1）

点击后：

爬虫入门实战（标价400的单子-1）

这个超链接很显眼了吧。点进去，正好是我们想要的链接。

爬虫入门实战（标价400的单子-1）

三、开始爬取

还记得我们开始说的嘛，爬虫是封装成正常的请求去访问页面然后下载我们想要的资源，对吧所以，这里细化为两个步骤请求页面资源和解析页面资源找到我们想要的数据**（这里我们想要的是律师个人页面的超链接）**

这里先进行第一步：请求页面资源

爬虫的技术获取网页的手段最基础的就是python的requests方法了。我们这里用的也是这个方法。

requests的请求在这里也比较简单，就是简单的get请求，其实也有post的请求，网络上有很多资料，我这里就不赘述了。

简单的requests的get请求代码如下：

import requests
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}

for i in range(1, 11339//30):
    print(i/(11339//30),end=' ')
    url = "https://www.hklawsoc.org.hk/zh-HK/Serve-the-Public/The-Law-List/Members-with-Practising-Certificate?name=&jur=&sort=1&pageIndex="+str(i)+"#tips"
    response = requests.get(url, headers=headers)
    html = response.content.decode('utf-8', 'ignore')