Skip to content
数据交易质量评估
解决方案

方案概述

数字时代带来了前所未有的数据爆炸,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理评估体系,为信息系统提供高质量的数据支持。

业务挑战

数据质量评估标准如何量化
规则模型包括完整性、准确性、唯一性、一致性、时效性以及有效性虽然有明确定义,但是数据质量评估时如何进行量化衡量。
质量评估主要依赖手写规则
质量评估依赖规则和字段标准,目前规则和字段标准的创建主要依赖业务人员手写沉淀。
执行速度慢效率低
传统的规则和字段标准的执行效率较低,无法满足对大量数据下的规则和字段标准的执行。

方案架构

方案优势

规则和规则模型的绑定
对于自动发现和人工输入的规则,能够自动识别规则模型类型从而进行规则模型的绑定,并且可以自定义权重。通过规则和规则模型的绑定以及权重的配置,可以对数据质量在规则模型维度进行量化评估,得出一个直观的分数。
自动规则发现
基于原创的REE理论,结合行业先验知识,能实现规则和字段标准的自动发现,从而取代大量人工手写规则,提高了效率。
高准确性和高效性
基于自研发的的分布式规则执行引擎,大大提高了规则和字段标准的执行速度,经信通院权威测试,规则执行速度比原生SparkSQL快了32倍以上。