Python爬虫实战(4) | 爬取历年中国电影票房排行榜

摘要

文章介绍了一个获取1994至2022年中国大陆票房数据的爬虫实战。需求是爬取各年度票房排名、电影名称和票房总额，并将数据保存至对应年份的CSV文件中。

需求分析

目标是通过规律性URL获取年度票房数据，例如1994年数据的URL为http://www.boxofficecn.com/boxoffice1994。

网页分析

利用浏览器的开发者工具分析页面结构，找到存放电影信息的HTML标签。

代码实现

代码分为几个部分：导入库文件，获取并编码网页内容，解析HTML获取所需数据，处理信息并存储在列表和字典中，最后将数据保存到CSV文件。涉及到的库包括requests和bs4。

在数据保存阶段，作者遇到了因字符编码问题导致的错误，并通过替换特定Unicode字符解决了问题。

结果展示

作者展示了完整的爬虫代码，并且通过循环将每一年的数据爬取并保存到CSV文件中。