浅谈互联网搜索
发布于 2024-10-25


版权声明
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。


一个数据人的自留地
扫码关注公众号
扫码阅读
手机扫码阅读
数据人学习平台上线介绍
数据人学习平台已正式上线,网址为:www.shujurenclub.com。该平台创始人@花花是一位经验丰富的数据分析师,曾服务于美团、腾讯和今日头条,操盘过高达数百亿的资源评估,并是“数据人创作者联盟”的成员。
搜索在互联网行业的背景和重要性
搜索功能在互联网行业至关重要,用户通过输入查询词(query)来找到与其相关性最高的信息。与推荐系统不同,搜索需要用户有明确的查找目标。文章旨在为从事或即将从事搜索行业的人员提供关于搜索流程、发展和现状的启发。
搜索流程的五个维度
搜索系统可分为五个维度:离线数据建设、Query理解、召回、排序和展示。每个维度都至关重要,涉及不同团队的开发和维护工作。
- 离线数据建设:数据团队负责将非结构化数据处理成结构化数据,确保数据质量。
- Query理解:用户输入的查询词被分析和解析,为后续召回和排序提供信息。
- 召回:根据Query理解的信息,粗略筛选出候选集,减轻排序层的压力。
- 排序:涉及粗排、精排和重排三个阶段,直接影响用户体验。
- 展示:将数据以用户友好的方式呈现,前端同学负责开发和维护。
搜索技术应用:召回和排序
召回和排序是搜索引擎的核心。召回通常使用倒排索引和深度学习技术,如DSSM模型。排序从早期的人工规则演变到线性回归,再到树模型,最终演进为NN模型以提升性能。
总结与展望
文章概述了搜索的发展历程和流程,并指出搜索系统架构在业界较为稳定。然而,也指出了利用大数据训练大型模型(如Bert和Ernie)对搜索引擎进行端到端应用的新趋势。搜索领域仍有很多完善空间,需要业界共同努力。
附加信息
对数据知识感兴趣的读者可以参考《大数据实践之路:数据中台+数据分析+产品应用》一书,了解更多相关内容。
一个数据人的自留地


一个数据人的自留地
扫码关注公众号
一个数据人的自留地的其他文章
浅谈传统企业数字化转型的痛点与困难
在和一些传统行业的企业合作的过程中,笔者发现,这些企业共同的特点就是历史悠久,资金预算相对雄厚,但是由于各类原因在数字化转型的过程中困难重重,相对于一些互联网氛围浓厚的企业,这些传统企业的数字化进程更为缓慢和艰难。
哪些数据岗位会被ChatGPT们取代?
OpenAI时代,到底哪些数据工作将面临危机?数据从业者又该如何不被倾覆,而是乘风破浪?这篇文章给你解答!快来看看吧~
【数据人Talk】互联网人的“职业选择”、“能力转型”和“未来规划”
【数据人Talk】直播第二期
朴素产品法(下)
朴素产品,只做现阶段需要的内容,能少则省,只传达有效信息,不附带干扰。
产品视角下的数仓
本文从数仓面向人群、数仓解决的问题,建立数仓的注意事项三个方面分享了产品视角下的数仓
加入社区微信群
与行业大咖零距离交流学习


PMO实践白皮书
白皮书上线
白皮书上线