实战+代码！Selenium + Phantom JS爬取天天基金数据

文章摘要

本文介绍了如何通过编写Python脚本来爬取天天基金网站的基金信息，并按收益率排序后写入Excel。文章分为几个步骤介绍整个过程，包括创建PhantomJS浏览器对象，获取基金列表页的数据，采用多进程访问基金详情页，最后将信息写入Excel。

爬取思路

• 实例化Tiantian_spider类创建PhantomJS浏览器对象。
• 访问天天基金排行页面，并获取页面源码。
• 从源码中提取基金的近一周收益率和详情链接。
• 使用多进程进入基金详情页面并获取详细信息。
• 将获取的信息根据近6月收益率倒序排列并保存至Excel。

代码实现

代码首先定义了Tiantian_spider类，用于浏览器的初始化和页面数据的解析。通过解析基金列表页源码，获取基金的收益率和详情页链接。使用多进程技术，同时获取多个基金详情页的详细信息。获取到的数据包括基金代码、名称、日期、净值、增长率、评级等。最后，整理的数据按基金近6月收益率进行倒序排序，并写入Excel文件中。

注意事项

本文强调，爬取的数据仅用于技术研究，不应对网站造成负担。同时，提醒大家在爬取数据时要遵守法律法规。文末还提到了光荣之路的Java和Python测试开发班招生信息，以及测试开发的学习资源和内推机会。

测试开发之单元测试-禅道结合ZTF驱动单元测试执行

了解更多

想要了解更多内容？

查看原文：实战+代码！Selenium + Phantom JS爬取天天基金数据

文章来源：

光荣之路

扫码关注公众号