实战+代码！Selenium + Phantom JS爬取天天基金数据

本文介绍了如何使用Python程序实现对天天基金网站上基金数据的爬取和整理，目标是获取指定页数内所有基金的近一周收益率和详细信息，最终将数据按近六月收益率倒序排列写入Excel表格。

实现的主要思路如下：

1. 实例化Tiantian_spider类创建PhantomJS浏览器对象。
2. 访问天天基金近六月排行页面并获取页面源码。
3. 解析源码获取指定页数内基金的近一周收益率和详情链接。
4. 使用多进程访问每支基金的详情页并获取详细信息。
5. 将获取的信息存入列表，并按近六月收益率倒序写入Excel表格。

具体实现中，使用了selenium和lxml库来解析网页，使用openpyxl库来操作Excel。进程池multiprocessing.Pool用于提高爬取效率。

脚本实现的关键功能包括：页面访问，数据解析，翻页控制，多进程爬取，数据排序和写入Excel。在爬取过程中注意合法合规，避免对网站造成负担。

文章末尾提供了吴老师微信，测试开发学习资源的链接，以及鼓励学习测试开发的话语和内推信息。

测试开发之自动化篇-禅道自动化测试集成

了解更多

想要了解更多内容？

查看原文：实战+代码！Selenium + Phantom JS爬取天天基金数据

文章来源：

光荣之路

扫码关注公众号