扫码阅读
手机扫码阅读
【数据治理】数据质量评估维度及方法
157 2024-07-27
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
查看原文:【数据治理】数据质量评估维度及方法
文章来源:
零竖质量
扫码关注公众号
在当今数据密集型企业环境中,“数据=金钱”一说凸显了数据质量对于决策和业务价值的重要性。数据质量管理是提高数据在创建、加工、使用和迁移过程中的质量的一系列管理活动,包括定义、过程控制、监测、问题分析与整改、评估与考核等,以确保数据满足业务要求。
一、数据质量关注点
- 一致性:系统内外的数据是否保持一致,如命名、存储、精确度和加工逻辑。
- 完整性:数据是否完整、无遗漏,包括时效性。
- 可靠性:数据的稳定性和准确性。
- 准确性:数据源头和处理过程中的精确性。
- 可理解性:数据的可读性和可分析性。
- 有效性:数据的可用性和安全性。
二、数据质量评估维度
- 数据完整性:数据项信息的全面性和完整性。
- 监控覆盖率:数据遵循统一标准的程度。
- 任务准确性:数据是否符合质量要求。
- 告警响应度:对问题的管理和应急响应能力。
- 任务性能:任务执行效率和健康度。
- 任务稳定性:任务运行的稳定性。
- 任务时效性:数据信息获取和使用的及时性。
三、数据质量校验方法
- 完整性:通过数据量和字段空值率进行校验。
- 准确性:通过记录错误、异常值、数据类型和长度,以及分布情况进行校验。
- 一致性:通过编码规则、枚举映射和逻辑规则验证一致性。
四、常见可配置的监控规则
- 表级非空记录、表环比监控、目标表原表校验。
- 表主键唯一性、非空校验、字符长度。
- 枚举值校验、字段环比监控、数据类型校验。
- 字段数字极值监控、字段字符非法校验、字段空置占比告警。
- 产出时间监控。
想要了解更多内容?
查看原文:【数据治理】数据质量评估维度及方法
文章来源:
零竖质量
扫码关注公众号
专注数智化转型升级,致力于研究各行业数智化建设、大数据与数据治理、信息安全、人工智能与元宇宙等业务顶层设计咨询+落地解决方案、干货信息分享及生态合作....前沿科技资讯分享,打造专业数字化解决方案知识交流平台。
123 篇文章
浏览 15.7K
零竖质量的其他文章
【数据治理】大模型时代的数据治理之道:高效、智能与合规并行
【关注零竖质量公众号,获更多精品资料下载】【加博主私人微信:441059732,限量邀请入内部群,享更多权益】
【数据资产】构建一体化全流程的数据资产管理新纪元(附35页PPT下载)
【关注零竖质量公众号】:获更多精品资料下载!【加私人微信】:441059732,限量邀请入内部微信群,享更多权益,请备注“入内部群”。
从0~1质量内建五个阶段(二)
(三)自动化目的:开展开发阶段质量内建活动,提供专项质量服务,自动化、工具化。 这个时候基础性
由效能度量联想到的管道管理
最近在思考敏捷项目管理中效能度量模型的建立,效能度量经常会采用需求管道中流动效率等效能指标,因此不
如何撑起大象跳舞-IPD管理体系(2)
IPD集成产品开发是华为核心体系之一,也是华为走向成功的关键变革路径,华为98年引进IPD,已成为国内企业纷纷效仿的对象。2018年华为更是提出质量可信的理念,是对IPD理论的丰富和升华。本号后续逐渐给大家揭开这些体系是如何撑起大象跳舞的。
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线