Skip to content
行业数据规范整理
解决方案

方案概述

各行各业均存在由于数据分散的存储在不同的组织或者机构中,从而导致无法进行有效的整合和共享。即使同一组织内部也存在不同的部门、团队或业务单元,每个部门可能有自己的数据管理方式和系统,导致数据被分散存储在不同的地方,形成数据孤岛,且多源数据之间使用不同的数据格式、命名规则等,导致数据的互操作性较差,同时数据往往存在着重复、冗余、不一致等问题,需要进行清洗和整合。然而高质量的数据分析应用却需要准确、丰富且实时的训练数据,如何提供这一数据,迫切需要一款能融合行业多源数据,保证数据含义的一致性,且持续更新的解决方案。
基于采石矶系统的“行业数据规范整理解决方案”支持自动分析数据特征,对相同含义字段进行匹配识别,统一管理字段标准,制定行业通用的数据规范,实体消歧,实体融合,自动识别关联数据,有助于提高数据质量和管理效率,促进数据的分享和使用,释放数据潜在价值。

业务挑战

多源异构数据整合难。相同的数据在不同系统中字段名称、长度、定义都不完全相同,增加了字段映射和统一管理、使用的难度。
维护融合数据,既是准确的,又能具备对行业知识的高覆盖度,还能保证数据的新鲜度是非常困难的。
由于不同标准的数据接口,且不同细分领域的数据导入需要人工标准和校验,导致数据持续更新的代价很高。

方案架构

方案优势

数据标准化
通过数据特征自动发现和预置的外部业务知识,制定针对数据角色的适应数据标准,高效自动做到数据标准化。
流程自动化
通过基于原创理论REE规则强推理能力结合NLP模型的强表达能力,实现从数据采集,数据管理,数据融合一整套自动流程。
支持流批一体
通过增量计算支持混合流批一体的知识融合构建计算场景。