Uber案例|如何迈向更好的数据之旅 打造高效的数据生产力

Uber数据质量和数据科学的改革摘要

一、背景

Uber的服务包括数十亿次乘车和送货，连接着数百万的乘客和司机，以及企业和餐馆。这一切的核心是大数据和数据科学，确保了更好的定价、匹配、欺诈检测等。Uber每天处理数PB数据，帮助数千用户获得洞察力并做出决策，以构建和改进产品。

二、问题

Uber在扩展数据系统时，忽略了一些关键的数据问题，这些问题在规模化时显得尤为重要。问题包括数据重复、发现问题难、工具之间缺乏集成、日志记录不一致、缺乏流程、缺乏所有权和服务水平协议（SLA）。这些问题不仅仅存在于Uber，也是快速发展公司的普遍问题。解决这些问题至关重要，尤其是数据在产品功能和创新中扮演关键角色时。

三、解决方法

Uber采取了整体方法，将涉及端到端数据流的团队聚集在一起，修改了20多个系统。这包括重组数据记录系统、工具和流程，以实现数据质量的阶梯式变化。

四、从第一原则处理数据

Uber提出了一些指导原则，如数据即代码、数据有明确所有者、数据质量是众所周知的、提高数据生产力、组织级数据管理。这些原则旨在改善数据工具和流程，以及涉及数据的人员方面的问题。

五、经验

Uber在数据质量管理方面的实践包括标准数据质量检查和数据集层的定义。通过整合多个数据质量工具，创建了一个元数据目录，以及应用程序日志框架的开发，Uber简化了数据管理流程并提高了数据质量。

六、展望

Uber相信，全面思考数据、跨人员和系统的端到端数据流可以带来更高的整体数据质量。正在进行的工作包括工具的基础性改进、应用程序日志框架的增强、生产者和消费者间的协作改善，以及在工程师和数据科学家的日常工作中进一步采用原则。

想要了解更多内容？

查看原文：Uber案例|如何迈向更好的数据之旅 打造高效的数据生产力

文章来源：

数据驱动智能

扫码关注公众号