使用kimi大模型开发招投标爬虫程序（2）

文章摘要

本文讲述了作者在进行网页爬虫实践的过程中，遇到的一系列问题及解决办法，并且分享了对AI在编程中应用的看法。

实践优化与问题解决

作者继续优化先前的代码，将其转换为PDF格式，并向Kimi提交。在定时爬取功能的增加过程中，未能找到项目链接，引出了问题排查。通过检查搜索关键词、网络请求、编码等问题，作者排除了一些可能的错误来源。在此过程中，作者还增加了关键词匹配的判断逻辑，以便更准确地爬取信息。尽管过程中遇到报错和缩进问题，作者都一一解决了。

调试与爬取成功

由于初次尝试没有结果，作者继续寻求Kimi的帮助进行优化，并怀疑网站可能有反爬虫机制。最终决定换一个政府采购网站进行爬取，并成功爬取了一页中标项目信息。然而第二天，作者发现自己的电脑无法访问该网站，提示了爬虫活动可能带来的风险。

AI编程的思考

在分享了阿里云推行AI写代码的新闻后，作者对AI辅助编程作出了总结：首先，作者认为程序员不会因为AI编程而失业，程序员的核心作用仍然不可替代。其次，作者概述了使用大模型辅助编程的流程：提出问题、运行代码、修复错误，循环往复。作者还指出，大模型对于代码片段的效果更好，但前提是需要有一定的编程基础。最后，虽然AI暂时不会取代程序员，但对于有编程基础的开发者而言，AI确实能够提高工作效率。

提升系统管理：监控和可观察性在DevOps中的作用

了解更多

想要了解更多内容？

查看原文：使用kimi大模型开发招投标爬虫程序（2）

文章来源：

CC的个人笔记

扫码关注公众号