中物联大数据分会

您当前的位置: 中物联大数据分会 > 行业资讯 > 详情

数据质量管理的6个维度

发布时间:2025年10月23日16:01 中物联大数据分会

在大数据分析领域,有一个原则是“Garbage in garbage out”垃圾进,垃圾出。说的是如果开始没有控制好数据质量,那数据量越大,对生成的结果影响越大,输出的结果也越不可信。
在企业数字化转型中,企业数据来源于多个不同的业务系统,数据生成、流转和处理的环节多,如何保障数据质量,并且能够持续的对数据质量进行改进,已经成为企业是否可以进行高效数字化转型的共识。
ISO9000标准中对质量的定义为“产品固有特性满足要求的程度”,强调满足“要求”,即数据应该是“适合使用”,满足特定用户期望的程度。数据质量不是追求百分百的准确和精度,而是从数据使用者的角度来看,满足业务、用户需要的数据即为“好”数据。这里涉及一个数据过度治理的问题,后边再展开讨论。
如何来评判一个数据是否为“好”数据,一般从以下6个维度来对数据质量进行评判和描述。
1、完整性
完整性是指数据在产生、流转和应用的过程中没有缺失和遗漏。包括实体完整、属性完整、记录完整和字段值完整四个方面。例如员工信息数据,员工工号不能为空;客户数据中客户名称不能为空等。
2、及时性
及时性是指数据要被及时记录和传递,满足业务对信息获取的时间要求。数据产生时要及时记录,使用时能及时被调用,应用侧能按时呈现给使用者。
数据的及时性不是要求每项数据都实时记录,不同数据的时效性是有区别的,比如监控高炉温度的数据要求以分钟为维度来记录,延迟半个小时或更长的时间,那监控数据就失去了意义;一个城市的常住人口数据则不需要按照天、月来更新,一般以年度为单位来记录。如果实时记录,一是没有现实意义;二是会增加获取数据的成本。
3、准确性
准确性指真实、准确的记录原始数据,无虚假数据及信息。数据要能准确的反应其所建模的“真实世界”实体。如员工的身份信息应与身份证上的信息保持一致;对于业务交易数据,要准确地记录交易参与方、交易内容、交易时间、交易金额等,任何一个数据出现问题,都可能给企业业务带来不可估量的损失。
4、一致性
一致性指遵循统一的数据标准,记录、传递数据和信息。主要体现在数据记录是否规范、数据是否符合逻辑。例如同一个客户编码对应的客户名称在不同的交易系统中应该保持一致。
5、唯一性
唯一性指每一条数据都应该有一个唯一的标识。比如客户编码,一个客户编码只能对应唯一的一个客户。
6、有效性
有效性指数据的值、格式和展现形式符合数据定义和业务定义的要求。比如员工的性别只能是男或女,不能是任何其它的值。对于此类数据,在设计的时候,按照基础数据的设计标准,固定特定的枚举值,从源头上杜绝出错的可能。
数据质量的6个维度是数据质量管理的基础,后续在质量规则设计、质量检查和质量执行中都会以此为依据。如何设计数据质量规则,质量规则都有哪些类型,如何全面监控企业业务异常数据?明天我们继续。

参考内容:
1、《华为数据之道》

来源:江湖小蜗牛

责任编辑:中物联大数据分会

Baidu
map