简单来说数据全生命周期管理主要包括了从源头数据抽取——数据清洗转换——数据分发的全生命周期,从而形成数据生态闭环。通过对采集到的数据进行处理分析,再应用到运营中去,这样才会发挥数据更大的价值。主数据项目实施要点如下:
1.数据采集同步
ESB企业服务总线将多个业务系统中最核心的、需要共享的数据采集到云MDM中,集中进行主数据的清洗和丰富,将分散、零乱、标准不统一的数据整合到一起创建主数据标准体系;合并来自多个来源的数据,构建复杂的连接和聚合。
数据的同步是从数据源头系统获取组织、人员、岗位、客户、供应商等基础数据信息,通过ESB企业服务总线将数据同步至MDM主数据管理平台中,在主数据管理平台进行数据模型的创建、数据编码的定制以及数据质量的管理等,最后将干净的数据分发至有需求的各业务系统中。以人员主数据为例,在MDM主数据管理平台实现对人员主数据的管理首先需要清楚该类主数据的源头系统,之后根据源头系统的数据创建数据模型、功能模型,实现对人员主数据的管理、维护。
2.主数据的分发
主数据管理将源业务系统同步过来的一条或者多条数据打包成数据任务并生成任务ID,各数据接收业务系统提供数据接收接口,该接口请求参数为任务ID,主数据管理平台提供任务ID解析接口、接口说明资料,各系统接收接口根据任务ID解析出任务内全部数据信息并将数据同步至各系统中(也可以直接推送Json数据),同时将数据同步状态信息回写至主数据管理平台。
将治理后的主数据通过标准对接方式或者企业服务/数据总线分发到所需的各个业务系统中,支撑业务系统、业务流程和决策。统一标准的主数据会大大降低集成过程中的难度,同时还能保证各个业务系统基础数据的准确性、完整性、一致性。
3.基础数据清洗
通过数据清洗功能下载主数据导入模板,源头业务系统把数据填写模板中,通过数据清洗导入功能进行导入清洗,检测出数据中欠缺的、重复的、不符合规则的数据,通过导出功能把失败的数据导出到Excel中进行数据处理后,再重新导入重新检测直到所有数据成功为止,然后把所有成功的数据导出Excel中,返回给业务源头系统进行源头系统的数据清洗(源头系统添加主数据编码映射),通过主数据任务分发把标准的数据分发给业务,这样就把源头、主数据、下发至业务系统的数据保持一致。
4.基础数据巡检
数据巡检主要是用来保证数据的唯一性,通过巡检功能来对数据进行查重处理来保证分发到下游业务系统的数据唯一。目前云MDM中相似度巡检运算方式是根据多个字段的组合通过相似算法算出他们的相似百分比,然后查看是否超过配置的百分比数字,如果超过就判定为相似数据,然后记录到数据表中,还需添加新的质量校验算法,通过结果值乘以不同字段的阀值再除以阀值的相加和得出的数字进行数据巡检,巡检支持结果Excel输出,帮助客户提升主数据质量。
5.基础数据校验
数据质量是数据为产生业务价值和实现业务目标的基石。校验规则主要是针对不同的属性配置校验方式,如非空、数字、唯一、长度等,主要是为了保证主数据的规范性、完整性,降低人工维护时产生的异常数据,从而提高数据质量,加快业务系统对接、业务流程再造速度,提高业务响应速度。
——节选自@数通畅联《MDM主数据项目实施要点及价值分析》
