Python爬虫实战(5) | 爬取知网文献信息

一位朋友临近毕业，需要在知网上检索大量文献来完成毕业论文，他询问是否可以编写一个爬虫来批量获取文献信息。作者回想起自己毕业论文时期的艰辛，理解这位朋友的需求。然而，知网拥有复杂的反爬虫机制，使得使用传统的请求模拟方法爬取难度较大。

初识 selenium

selenium 是一个自动化测试工具，它可以模拟浏览器操作，解决了无法执行JavaScript代码的问题。支持多种浏览器，可以通过驱动器（webdriver）来初始化浏览器对象。

声明浏览器对象

首先需要下载对应浏览器的webdriver，然后可以通过Selenium来初始化浏览器对象。

访问页面

使用get()方法可以请求一个网页，传入URL参数。

查找元素

提供了多种查找元素的方法，例如根据id、name、class name、tag name、链接文本、xpath和css选择器等。

等待页面加载完成

selenium提供了显式等待和隐式等待，显式等待等待特定条件成立，隐式等待则在设置时间内周期性检测元素是否存在。

常用浏览器操作

找到元素后可以进行点击、输入、获取文本等操作。

网页分析

针对知网，需要进入官网后点击高级搜索，输入文献信息后点击检索。通过浏览器开发者工具可以定位到高级搜索、输入框和检索图标的xpath。

代码实现

代码首先导入所需的包，创建浏览器对象。浏览器对象初始化时，可设置不加载图片等来提升速度。接着，传入关键词打开知网高级搜索页面，并执行搜索。根据搜索结果的页数进行循环，抓取指定数量的文献信息。每次点击进入文献详情页后，获取题目、作者、来源、摘要等信息，并切换回结果页继续下一个条目的获取。

结果展示

最终的结果是一个含有论文基本信息的制表符分隔的表格文件，可以用excel打开查看。