数据标准就是通过制定一套由管理制度、管控流程、技术工具共同组成的体系,来对数据定义、分类、格式、编码等标准化管理。通俗地讲,对企业来说,数据标准就是对数据类型、长度、归属部门等定义一套统一的规范,以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。
01—什么是数据标准?
数据标准根据不同的数据域分为基础、分析类和专有类三类,其中:
基础类数标是企业日常业务开展过程中所产生的具有共同业务特征的基础性数据,如客户、产品、财务等。
分析类数标是为满足公司内部管理需要及外部监管要求,在基础性数据基础上按一定统计、分析规则加工后的数据。
专有类数标是公司架构下子公司在业务经营及管理分析中所涉及的特有数据。
其中,针对基础类数标,可以看一下金融行业经常用的数据标准十大主题模型。该模型是以主题组织数据,包括客户、资产、机构、产品等主题。
一般数据标准会包括:主题定义、信息项、标准代码三个文档,其中:
标准主题定义文档:主要是记录数据标准的定义、分类,用于规范和识别数据的主题归属。
标准信息项文档:记录数据主题的信息项业务属性(分类、业务含义、业务逻辑)和技术属性(类型、长度、默认规则)。
标准代码文档:记录信息项固定码值的编码、分类、使用规则等。
信息项文档是数据标准的核心。内容包括分类、业务描述和技术描述,一般由信息大类、信息小类、信息项、信息项描述、信息类别、长度共6项组成。当然这些内容也可以调整,例如信息大类、小类,可以合并,或者拆除更多层级。
信息大、小类是对信息项的常规分类,例如:例如客户信息大类包括基本信息、联系信息、关联信息、财务信息、风险信息、评价信息、往来信息七大类;信息小类,包括:客户编号、名称、证件、地址、评级信息、模型评分、等级、开办业务等。
信息项是用来描述一个事物的最基本元素。表示一个事物的识别、限制、数量、分类、状态,或者事物间的关系,例如客户信息的名称、年龄、性别等。
信息项描述是描写或者规范信息项的具体业务描述及界定。
信息类别是根据业务需求,定义相应的信息项在数据库中所需要的技术格式。例如:编号、标志、代码、金额、日期、数值、文本等。
长度是信息项的数据长度,供各系统建设参考使用。
02 —为什么需要数据标准?
大部分企业的系统建设都是依据业务需求来的,没有一个整体的规划,没有考虑是否与其它系统的功能或数据存在重复的问题,而且各个系统由不同的厂商和产品搭建,所以不同系统之间数据的不一致性难以避免,也造成多种数据问题:
1.数据共享难以实现
数据存储结构不一致,调用多系统的数据时,由于某些数据在不同系统中数据存储结构不同,导致数据无法直接关联,影响不同系统之间的数据共享。
2.数据同名不同义导致错误
数据定义不一致,不同系统对数据的命名、业务含义、取值范围等定义不同,比如同名不同义、同义不同名等。
3.沟通成本增加
数据理解不一致,不同人员对数据的理解不一致,导致在数据使用时浪费很多时间来进行沟通。
4.数据来源不明
数据来源不一致,数据存在多个来源,在使用数据时,不清楚应该取哪个系统的数据。
简单来说,企业下分支各自都有自己的信息管理系统,分别管理自己的业务形态,当总公司要进行数据整合的时候,几个系统的信息都会进行存在一张信息表中,其实这个就是在建立数据标准。
那么要建立一个数据管理平台,统一存储各个分支全部的交换信息时,信息表该如何创建?这就需要创建信息标准来整合企业内部不同部门业务系统产生的信息。
数据标准化的过程其实就是在数据管理平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。
所以,数据治理的第一步就是要梳理清楚企业拥有哪些数据,并整合数据。而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。
03—数据标准分类
一般可从三个维度去对数据标准进行分类:数据结构、数据内容来源、技术业务。
1.从数据结构角度进行的数据标准分类
结构化数据标准是针对结构化数据制定的标准,通常包括:信息项分类、类型、长度、定义、值域等。
非结构化数据标准是针对非结构化数据制定的标准,通常包括:文件名称、格式、分辨率等。
2.从数据内容来源进行的数据标准分类
基础类数据标准是指业务系统直接产生的明细数据和相关代码数据,保障业务活动相关数据的一致性和准确性。
派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据,例如:统计指标、实体标签等。
3.从技术业务角度进行的数据标准分类
业务数据标准是指为实现业务沟通而制定的标准,通常包括:业务定义和管理部门,业务主题等。
技术数据标准是指从信息技术的角度对数据标准的统一规范和定义,通常包括:数据类型、字段长度、精度、数据格式等。
04 —数据标准建设方法和流程
数据标准实施过程包括数据标准规划、数据标准现状调研、标准设计、标准的实施映射、标准执行以及在使用过程中维护增强等过程。
主要内容包括:数据标准的范围有哪些,数据标准目前状况是怎样的,数据标准如何进行设计,数据标准实施映射应该如何去做,数据标准执行应该如何开展,如何对数据标准进行维护并完善等。
本文标签: