事情是这样子的，前几天和一位粉丝师弟聊天。他说问问我能不能教他爬一下qq空间。我和他沟通了一下，问清楚事情原委。原来是他追求的女神发了qq空间表白墙，他想知道自己女神喜欢的是什么样的人。但是由于发表白墙的人太多，不好找，所以想某一个时间段的全部爬下来，慢慢看。

本来有一定年纪的人，不太清楚原来qq还有表白墙。好家伙，我看了下，原来是像我们那时候读大学时的微博树洞。提起微博树洞估计也得是上了年纪的人才懂。

大概就是上面图那个样子的。由于帅哥太帅，以免大家嫉妒，我就挡了下。其实也就是爬空间说说而已。

如何登录

如果是爬qq空间，那么第一个问题来了，如果绕过登录？或者有什么方法可以登录呢？其实方法挺多，方法1，填上cookie,不过有的cookie经常变，也不太好用。所以第2个方法，使用浏览器驱动，模拟登录。

这里推荐使用chromedriver，这个驱动自行下载就好，网上有很多。

from selenium import webdriver selenium是web自动化工具，他可以使我们不用人工操作，也可以进行网站浏览，点击啥的。人可以做的事情，这库全部都可以完成。

driver的使用找控件

知道了使用webdriver可以解决上面的难点，那么我们就来操作一下。

 # 获取浏览器驱动
 driver = webdriver.Chrome(executable_path='chromedriver')
 # 浏览器窗口最大化
 driver.maximize_window()
 # 浏览器地址定向为 qq 登陆页面
 driver.get('网页链接')
 # 所以这里需要选中一下 frame，否则找不到下面需要的网页元素
 driver.switch_to.frame('login_frame')
 # 自动点击账号登陆方式
 driver.find_element_by_id('switcher_plogin').click()
 # 账号输入框输入已知 QQ 账号
 driver.find_element_by_id('u').send_keys(user)
 # 密码框输入已知密码
 driver.find_element_by_id('p').send_keys(pw)
 # 自动点击登陆按钮
 driver.find_element_by_id('login_button').click()

看上面的代码，我们可以看出webdriver.Chrome(executable_path='chromedriver')获取驱动，用driver.get来获取url返回内容，driver.find_element_by_id就是通过id来获取控件。整个过程就是模拟人工点击操作登录空间。

获取内容，并保存

 qq_name = div.xpath('./div[2]/a/text()')
 qq_content = div.xpath('./div[2]/pre/text()')
 qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
 qq_name = qq_name[0] if len(qq_name) > 0 else ''
 qq_content = qq_content[0] if len(qq_content) > 0 else ''
 qq_time = qq_time[0] if len(qq_time) > 0 else ''
 print(qq_name, qq_time, qq_content)
 f.write(qq_content+"\n")

这里获取内容使用了xpath，这个xpath有必要说一下。需要用到from lxml import etree。大家都知道前端网页是树形结构展示的。这里的lxml库需要自己去下载安装，直接用pip就行了。

xpath是可以直接在相应的元素右键轻松获取的。

f.write(qq_content+"\n")，最后我们保存一下内容就行

完整代码如下：

#coding: utf-8
from imp import reload
import time
from selenium import webdriver
from lxml import etree
def text(friend, user , pw):
 print(完整代码，请移步到公众号：诗一样的代码)
"""
 # 获取浏览器驱动
 driver = webdriver.Chrome(executable_path='chromedriver')
 # 浏览器窗口最大化
 driver.maximize_window()
 # 浏览器地址定向为 qq 登陆页面
 driver.get('网页链接')
 # 所以这里需要选中一下 frame，否则找不到下面需要的网页元素
 driver.switch_to.frame('login_frame')
 # 自动点击账号登陆方式
 driver.find_element_by_id('switcher_plogin').click()
 # 账号输入框输入已知 QQ 账号
 driver.find_element_by_id('u').send_keys(user)
 # 密码框输入已知密码
 driver.find_element_by_id('p').send_keys(pw)
 # 自动点击登陆按钮
 driver.find_element_by_id('login_button').click()
 time.sleep(10)
 # 让 webdriver 操纵当前页
 driver.switch_to.default_content()
 # 跳到说说的 url，friend 你可以任意改成你想访问的空间
 driver.get('网页链接 + friend + '/311')
 next_num = 0 # 初始“下一页”的 id
 while True:
 # 下拉滚动条，使浏览器加载出动态加载的内容
 # 我这里是从 1 开始到 6 结束分 5 次加载完每页数据
 for i in range(1, 6):
 height = 20000 * i# 每次滑动 20000 像素
 strWord = "window.scrollBy(0," + str(height) + ")"
 driver.execute_script(strWord)
 time.sleep(4)

 for div in divs:
 qq_name = div.xpath('./div[2]/a/text()')
 qq_content = div.xpath('./div[2]/pre/text()')
 qq_time = div.xpath('./div[4]/div[1]/span/a/text()')
 qq_name = qq_name[0] if len(qq_name) > 0 else ''
 qq_content = qq_content[0] if len(qq_content) > 0 else ''
 qq_time = qq_time[0] if len(qq_time) > 0 else ''
 print(qq_name, qq_time, qq_content)
 f.write(qq_content+"\n")
 if driver.page_source.find('pager_next_' + str(next_num)) == -1:
 break
 # 找到“下一页”的按钮，因为下一页的按钮是动态变化的，这里需要动态记录一下
 driver.find_element_by_id('pager_next_' + str(next_num)).click()
 # "下一页"的 id
 next_num += 1
 # 因为在下一个循环里首先还要把页面下拉，所以要跳到外层的 frame 上
 driver.switch_to.parent_frame()
if __name__ == '__main__':
 friend = '#########' # 墙的qq号
 user = '#######' # 你的qq号
 pw = '#########' # 你的qq密码

 text(friend, user, pw)

怎么样你学废了吗？觉得有点意思的小伙伴，点个赞再走呗。冲lv3...冲冲冲