数据分布规范实践总结

type

status

date

slug

summary

1 范围

略

2 规范性引用文件

《XXXX集团数据资产目录管理规范》

3 术语和定义

3.1 数据

以文本、数字、图形、图像、声音和视频等格式对事实进行表现。（随着时代发展，“数据”定义也在扩展，目前主要指“以电子化格式对业务事实的表现”。）

3.2 数据分布

数据分布用来描绘数据流转的全景视图和可信源，在华为数据治理体系中，数据分布包含信息链、数据流和数据源三个组件。其中：信息链表达数据在业务流上的流转；数据流表达数据在IT系统中的流转；数据源则定义数据产生的源头。

3.3 信息链

信息链是指数据在业务流程和IT系统中产生、流动、使用和存储的一系列环节和路径。设计信息链的目的是确保数据在整个生命周期内的准确性、完整性、及时性和可追溯性，支持企业的业务决策和运营。

3.4 数据流

数据流指在数据生命周期内，数据从源头、处理到消费这一过程中所产生的流动。

3.5 数据源

指某项业务数据首次产生并正式发布的应用系统，即数据产生的源头。

3.6 数据源认证

指数据治理与架构管控小组对数据源进行认证，并指定其作为唯一数据源头被周边系统调用的过程。

4 管理职责与分工

4.1 数据治理与架构管控小组

负责组织集团数据分布规划设计，从数据架构角度对数据分布设计方案进行评审，存在分歧或异议时，作为主审人执行决策，输出决策意见。

4.2 数据架构师

负责数据源认证的需求受理和审核，信息链、数据流的开发和变更申请，牵头数据分布设计方案制定，组织相关业务、流程、IT的专家进行讨论并输出数据源认证方案，提交至数据治理与架构管控小组评审，并最终跟踪数据源的审批和发布，参与评审数据源调用，确保数据源遵从数据架构管控。

4.3 数据库管理员

数字信息中心数据库管理员负责在数据开发治理平台完成数据源配置、维护和刷新工作。

4.4 领域业务系统负责人

数据源认证申请由各领域业务系统负责人作为申请人，根据业务及IT需求提出申请。

5 设计原则

5.1 总体原则

为保障数据分布设计工作高效开展，应遵循以下基本原则：

（一）信息链与业务流程一致性

信息链的设计依据和设计结果必须符合业务实际开展流程，覆盖全部业务链条并体现业务数据实际流向。

（二）数据流与业务系统一致性

数据流设计依据和设计结果必须基于IT系统中的数据流向，数据架构师设计数据流时，对于没有IT系统的业务流程不纳入设计范围。

（三）信息链和数据流一致性

数据流的设计应与信息链设计成果保持一致，确保数据在不同系统、模块和流程之间的数据信息与业务信息一致性和可理解性。

6 信息链设计规范

6.1 信息链要素

数据架构师使用信息链来描述数据在业务流程中的流动情况，包括数据的创建（Create）、读取（Read）、更新（Update）和删除（Delete）操作。

6.2 设计要求

信息链应清晰展示业务数据的流动路径、处理节点和存储位置，便于数据管理和监控。

6.3 信息链安全设计

在信息链中设置适当的数据安全控制措施，如访问控制、加密传输、数据脱敏等，确保数据在流动过程中的安全性。

6.4 数据项

为业务流程中每个关键数据项建立唯一的标识和元数据，记录数据的来源、时间、修改历史等信息。

6.5 可追溯性

通过数据追溯工具和方法，支持对业务数据的来源、流向和使用情况进行跟踪和审计。

7 数据流设计规范

7.1 数据流设计步骤

（一）分析业务流程

数据架构师深入分析业务流程，明确各个环节的数据需求和传递路径，包括识别关键概念实体、数据流转节点以及数据处理的逻辑关系。

（二）确定数据在系统中的传递关系

数据架构师基于对业务流程和业务系统的分析，确定数据在系统间的传递关系。这包括数据流的方向、起点和终点，以及数据流在不同系统间的集成方式。

（三）绘制数据流图

数据架构师根据数据传递关系，绘制数据流图。数据流图应清晰展示数据在系统间的流动路径和集成关系。同时，应遵循数据流图的绘制规范，如合理分层、避免交叉使用多种符号集等。

（四）验证数据流图

数据架构师须对绘制的数据流图进行验证，以确保数据流的准确性和完整性。具体验证内容包括以下方面：

1、命名规范性：检查数据流的命名是否符合数据流图绘制规范，确保命名清晰、一致且具有业务含义。

2、流向准确性：验证流程图中数据流的传递路径是否与数据在系统间的实际流向一致，确保逻辑正确。

3、数据存储读写平衡性：检查数据流图中与数据存储相关的所有数据流，确定哪些数据流代表读操作，哪些代表写操作，比较每个数据存储组件的读操作次数与写操作次数，判断是否存在显著的不平衡，并结合系统的业务逻辑，分析读写操作的合理性。

（五）更新和优化

根据验证结果，对数据流图进行更新和优化，包括修正错误的数据流路径、调整数据流的命名、优化数据存储等。

7.2 数据流设计标准

（一）数据格式标准

明确数据流的格式标准，包括数据的编码、数据类型、数据长度等。

（二）数据接口标准

制定数据接口的标准，包括接口协议、数据格式、传输方式等。

（三）数据处理标准

明确数据处理的标准，包括数据转换、数据校验等。

（四）数据安全标准

制定数据安全的标准，包括数据加密、数据访问控制、数据备份和恢复等。

7.3 数据流设计要求

（一）数据流命名

数据流的命名应具有描述性，能够清晰反映数据流的含义和用途。

（二）数据流的路径

数据流的路径应简洁明了，避免不必要的环节和冗余。

（三）数据流的节点

数据流的节点应明确标识，包括数据的来源、目标和处理节点。

（四）数据流的监控

建立数据流的监控机制，实时跟踪数据流的运行状态和异常情况。

（五）数据流的文档

为数据流提供详细的文档，包括设计说明、流程图、接口文档等，以便于后续的开发、测试和维护。

8 数据源设计规范

8.1 数据源认证设计要求

（一）数据源应符合集团的数据标准要求，以保证数据源的质量、准确性和一致性。

（二）在信息链上第一个正式发布数据的应用系统作为数据源。

（三）在业务场景已经有相应基础数据定义的情况下，可以按业务场景认证数据源。

（四）数据源认证、变更、失效申请需提供不同场景的信息链/数据流分析，不能覆盖全场景的情况下，要按场景认证。

（五）出现数据多源头的场景，按不通过处理。

（六）原则上按业务对象认证数据源，对于同一个业务对象的属性分散在不同系统创建的场景，则需在属性层认证数据源。

（七）数据源认证结果应及时公示。未经公示发布的认证结果，按未生效处理。

8.2 数据源认证

（一）数据源认证需求

各领域业务系统负责人在数据源发生认证、变更、失效时提交认证申请给数字信息中心数据架构师。

（二）数据源认证方案设计

数字信息中心数据架构师收到数据源认证申请后对认证需求进行分析评估，如确认需要进行数据源认证，则牵头组织相关技术及业务人员进行数据源认证、变更、失效的方案设计。

（三）数据源认证方案评审

数据架构设计与管控小组负责对数据源认证、变更、失效方案进行评审。评审内容包括：数据源方案涉及到的业务场景、主要领域或范围是否清晰，是否能满足或匹配当前及未来的流程活动和流程架构；数据源方案是否遵从数据架构相关规范和要求，能够满足或匹配当前及未来的应用架构或IT系统。

（四）数据源发布

评审通过后，由数字信息中心数据库管理员负责在数据开发治理平台刷新数据架构中数据源设置，数字信息中心负责数据源发布与公示。

8.3 数据源变更

数据源的标识名称以数字信息中心发布并维护的应用系统正式名称为准。

数字信息中心应及时更新并发布集团应用系统信息如名称、定位、使用状态、负责人等，以确保数据源认证信息准确。

承载数据源的应用系统出现合并、分拆、命名变更及下线情况时，需对数据源进行变更。

8.4 数据源调用

数据需求方只能从数据源或者通过数据服务的方式获取数据。

8.5 数据源失效

当业务部门变更数据录入系统时，应及时对数据源进行失效评审，启动新数据源认证。