摘要 - 知网爬虫文章

博主咸鱼在之前的文章中分享了关于知网文献信息爬虫的内容，并收到了读者的积极反馈。尽管如此，咸鱼仍表达了一些关于读者使用爬虫代码时遇到的问题的困扰。读者常有未完全阅读或理解代码就提出问题的情况，例如对于爬取数量的限制，或是针对特定文献的爬取需求。咸鱼强调，使用他人代码时需要根据自己的环境进行调整，并理解代码背后的逻辑。

咸鱼提出，在阅读他人代码时，应当理解作者的思路、编写的原因和逻辑。在爬虫系列文章中，作者解释了为什么使用selenium来爬取内容、如何分析网页结构、定位元素以及如何模拟用户操作等关键问题。

本文的重点在于通过selenium使用知网的关键词搜索功能来爬取文献。文章首先对通过关键词搜索文献的需求进行了分析，然后对网页结构和元素定位进行了详细说明。咸鱼展示了如何直接访问知网的高级搜索，如何通过修改元素的style属性使下拉框显示，以及如何使用selenium模拟鼠标操作来解决下拉框加载问题。

最后，文章提供了完整的代码实现。代码中首先导入了必要的库，并创建了浏览器对象。接着，通过selenium进行模拟点击和输入操作，来完成关键词的搜索和文献条数的爬取。整个过程涉及到了等待页面加载、执行JavaScript脚本、使用ActionChains模拟鼠标操作等多个步骤。

测试开发之网络篇-常用命令

了解更多

想要了解更多内容？

查看原文：知网爬虫--根据【关键词】获取文献信息

文章来源：

咸鱼运维杂谈

扫码关注公众号