知网爬虫--根据【关键词】获取文献信息

164 2024-07-19

div 点击搜索关键词下拉框

我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。

查看原文：知网爬虫--根据【关键词】获取文献信息

文章来源：

咸鱼运维杂谈

扫码关注公众号

摘要 - 知网爬虫文章

博主咸鱼在之前的文章中分享了关于知网文献信息爬虫的内容，并收到了读者的积极反馈。尽管如此，咸鱼仍表达了一些关于读者使用爬虫代码时遇到的问题的困扰。读者常有未完全阅读或理解代码就提出问题的情况，例如对于爬取数量的限制，或是针对特定文献的爬取需求。咸鱼强调，使用他人代码时需要根据自己的环境进行调整，并理解代码背后的逻辑。

咸鱼提出，在阅读他人代码时，应当理解作者的思路、编写的原因和逻辑。在爬虫系列文章中，作者解释了为什么使用selenium来爬取内容、如何分析网页结构、定位元素以及如何模拟用户操作等关键问题。

本文的重点在于通过selenium使用知网的关键词搜索功能来爬取文献。文章首先对通过关键词搜索文献的需求进行了分析，然后对网页结构和元素定位进行了详细说明。咸鱼展示了如何直接访问知网的高级搜索，如何通过修改元素的style属性使下拉框显示，以及如何使用selenium模拟鼠标操作来解决下拉框加载问题。

最后，文章提供了完整的代码实现。代码中首先导入了必要的库，并创建了浏览器对象。接着，通过selenium进行模拟点击和输入操作，来完成关键词的搜索和文献条数的爬取。整个过程涉及到了等待页面加载、执行JavaScript脚本、使用ActionChains模拟鼠标操作等多个步骤。