领英是如何利用机器学习解决内容相关威胁和滥用问题
![](/theme/default/default/images/main/eye-open.png)
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
![](/theme/default/default/images/main/icon-jing.png)
领英工程师Shubham Agarwal和Rishi Gupta介绍了领英如何使用自研的AutoML框架来发现并移除违反其标准政策的内容。这个框架可以并行训练分类器并试验多种模型架构,将模型训练时间从数月减少到数天,并减轻了开发新模型的负担。
内容审核的挑战包括持续执行和调整以应对规避审核的新手段,适应数据漂移、全球事件带来的变化,以及对抗性威胁如欺诈和欺瞒行为。AutoML,作为领英的自动化机器学习工具,通过在新数据上不断训练和微调模型以及参数来提升性能。
AutoML简化了以往复杂的流程,使领英工程师能够自动化数据准备和特征转换,包括降噪、降维和特征工程,创建高质量的训练数据集。此外,AutoML通过搜索一系列超参数和优化方法,对比不同分类器架构生成的模型性能。
最终,AutoML自动化地将新训练的模型部署到生产服务器。尽管这套工具在速度和效率方面尚需改进以便更广泛应用,Agarwal和Gupta认为使用生成式AI来减少标签噪声并生成合成数据是一个有前途的领域,以提高数据集质量。
尽管不是所有组织都有领英的资源,但Agarwal和Gupta指出,他们的方法可以在小规模上复制,减轻机器学习工程师的重复性工作。
原文链接:How LinkedIn Uses Machine Learning to Address Content-Related Threats and Abuse
声明:本文为 InfoQ 翻译,未经许可禁止转载。
想要了解更多内容?
![](/theme/default/default/images/main/icon-jing.png)
![](https://cdn.easycorp.cn/rongpm/upload/202312/f_39217d624bb2b42ce8f6322ebd7e573a.png)
![](https://cdn.easycorp.cn/rongpm/upload/202312/f_39217d624bb2b42ce8f6322ebd7e573a.png)