数据模子与数据治理（二）｜在企业级数据建模中治理数据

随着越来越多的企业熟悉到数据作为生产要素的价值，加速了企业数字化转型，把完善企业级的数据治理系统作为企业数字化转型的一个目的。AG电投厅科技在大数据领域始终坚持足够的手艺敏锐度，并积累了富厚的履历与资产。为此，我们组织了一个系列专文，分期揭晓，与您一起探索更适合当下行业生长的数据观，接待各人一连关注。

作者｜AG电投厅科技大数据研究院

内容｜本篇共4010字，预计阅读时间15分钟

建设企业数据模子的历程与最终效果同样主要。正是由于数据建模的缺失，更迫切需要治理数据。纵然一个小的营业处置惩罚系统的关系数据建模，也可以阻止或镌汰数据质量问题的爆发，有用降低未来数据治理和运营的本钱和危害。一些企业的数据治理仅仅是为了知足羁系要求而举行的被动行为，在IT建设历程中，没有通过企业级数据建模举行顶层设计和统筹妄想，随着羁系科技的生长，羁系日益细腻化，处分力度一直增强，仅仅完成“划定行动”而没有通过系统化设计、未能获得基础解决的种种数据问题逐渐袒露出来并带来了越来越多的负面影响。反之，借助数字化转型，在内部推动企业级数据模子妄想和落地，并通过数据治理有用整理积弊，提升数据资产质量的企业，则在数据资产化、要素化的浪潮中获得了领先的竞争优势。

关系数据建模要领

仍是企业级数据建模的唯一选择

DAMA-DMBOK2总结了用于体现数据的六个最常见的模式是：关系、维度、面向工具、基于事实、基于时间和NoSQL，其中最常用的是关系、维度、面向工具的UML，每种建模模式都使用特定的体现法-图表符号举行表达，优异的设计模式提供富厚的可扩展建模语言，便于提炼专家知识的原型，降低建模难度。

关系数据库治理系统的强盛能力与Peter Chen的原始ER实体关系模子的看法密不可分，即逻辑数据模子。将数据与流程（与营业流程和辖档枉程）脱离的焦点头脑，突破了面向流程的系统开发模式，同时实现更新（操作运营）和会见（决议支持）的目的，逻辑数据模子从营业角度实现了这种疏散，而物理数据模子从数据库角度实现了这种疏散。关系数据模子的实体完整性、参照完整性、用户界说的完整性约束为高质量数据的实现提供了包管，四十多年来，关系数据建模一直是明确重大营业与数据，设计和安排具有高质量数据的关系数据库与支持应用开发的迅速的、准确的、可靠的最佳要领。银行营业生意系统数据仍以关系数据为主，并适度降范，可以与企业关系数据模子便捷映射。

工具建模与面向工具的程序设计要领配合主要用于生意系统数据模子设计，工具中可以包括工具，冗余设计不可阻止地造成数据的纷歧致，很难提供一个准确的界说来说明目的建设的数据，数据可移植性差，维护难题。维度建模是应用需求驱动的设计，纵然设计企业一致的维度（也必需履历范式与笼统的头脑逻辑历程），也保存数据冗余。工具建模与维度建模这两种要领的初志都不是为了用一种稳固而客观的方法形貌事实，以提供高质量数据并包管数据的一连性，因而这两种方法的建模历程不但无助于发明数据问题，反而可能爆发更多的问题，不适适用于企业级的数据建模。

数据质量的怀抱治理与评价系统焦点仍是基于关系数据模子建设的。DAMA-DMBOK2归纳了8个具有普遍一致性的数据质量维度：准确性、完整性、一致性、参考完整性、合理性、实时性、唯一性、有用性。ISO/IEC 25012数据质量模子把数据质量特征分为不排它的固有的数据质量与依赖系统的数据质量，扫除依赖系统的数据质量特征后，固有的数据质量特征都可以用关系数据库治理系统来治理。

一表通羁系数据收罗接口标准把明细类数据划分为机构、客户、关系、财务、产品、协议、生意、状态、资源、参数等10个主题，把关系、状态单列主题，划分治理关系与历史转变，关系模子设计模式的羁系要求比已往越发模子化，可以越发完整、系统化评价数据，对数据质量的要求越来越高。一表通接口标准保存一定的冗余，需要在支持一表通的底层实现上提供一致的数据。

企业级数据建模

怎样有用资助治理数据？

数据是营业与信息的最后载体，企业级数据建模应自上而下参考企业营业架构与应用架构，自下而上团结数据需求和数据现状。从数据现状出发，整体上可以划分为信息探索、模子设计两个大的阶段。

1.信息探索阶段

相识企业数据现状及其元数据是企业级数据建模实质行为必不可少的一步。信息探索是对企业现有数据与文档举行调研剖析，识别其数据结构、营业寄义、数据关系、数据流，从源数据中探索出信息的历程�？梢运敌畔⑻剿鞯拿恳徊�，都可能发明需要治理的问题，数据模子师作为数据考古学家必需泯灭大宗时间深入穿透庞杂重大的数据表象，重复提出假设，验证或推翻。

剖析、剖析数据，明确现状数据结构，探索、揭破差别数据元素的寄义及其之间的联系。数据生产者很少能提供文档来诠释自己设计的数据寄义与关系，缺少营业元数据，需要数据治理部分的支持并借助领域专家的履历。对每张表深度剖析，可能发明大宗主键、外键、值域等数据完整性问题，以及违反营业规则的数据。

可视化营业源数据模子。由于营业系统很少提供源模子，反向工程还原源数据模子是企业数据建模职员应该实验完成的一项事情，通过与数据生产者以及营业职员的交互，更好地明确与验证数据，确认营业规则，更容易发明与确认数据质量问题。源数据建�Ｉ杏兄诮萦胝媸涤堤煜卤咎寰傩薪狭�，发明差别。

探索跨营业系统的数据关系与数据流。理想情形下，企业应具备应用架构、数据架构来说明差别营业源系统之间的数据交互关系，营业系统应提供详细的设计说明。把数据集中到一起举行跨系统深入探索验证，还可以进一步发明差别系统之间的营业纷歧致、账务纷歧致以及营业与账务纷歧致问题，使种种问题充分袒露。

形成企业数据CRUD漫衍图，识别出有用的要害数据，进一步确定黄金数据源。发明与确定什么是以及为什么是要害数据，数据治理的主要目的之一是�；ぁ⒅卫碛牍蚕碇赜谜庑┮κ�。若是不知道要治理的数据是什么、数据的寄义以及为什么对组织主要，就不可能很好地�；ず椭卫硎�。识别出冗余数据，区别垃圾数据，确定企业数据漫衍与集成的问题。许大都据问题是由于不科学的CRUD造成的，企业建模头脑很容易发明应用架构、数据架构在主数据、数据交互与集成等方面保存的问题，犹如一主数据多个系统建设与修改。

提倡数据资产评估，盘货数据资产现状是数据治理早期要害运动。企业级数据建模历程中的信息探索，从数据到信息，找到有价值数据，发明需要治理的问题，应是数据治理实质事情的重点内容。

2.模子设计阶段

数据模子是本体模子，数据建模是一项专业设计使命，在数据建模历程中融入数据治理头脑，经由专业认真的深图远虑与验证，精准设计与界说模子本体——每个看法营业实体、逻辑数据实体及其固有属性。模子设计包括主题模子设计、看法数据模子设计与逻辑数据模子设计，企业级数据客栈模子是企业级的剖析数据模子，还包括物理数据模子的设计。在界说数据模子本体历程中，可以发明更大都据问题。

建设数据标准。提倡数据标准是数据治理前期高优先级事情之一，数据标准从何而来？除了国家标准、行业标准之外，信息探索阶段的产出应该作为界说数据标准的主要输入参考。若是制订的数据标准脱离本企业现实现状，落标时将爆发大宗不须要的刷新事情。

对企业要害看法营业实体与逻辑数据实体举行界说与分类，建设关系，构建可治理的、稳固的数据架构。设计企业级数据模子，纵然有成熟的行业数据模子可以参考，也不应该忽略看法模子的设计，各关连人对企业要害看法的明确告竣一致共识，是相同、治理与使用数据的条件。

接纳范式与适度笼统设计头脑与通用数据模子设计模式，设计稳固的数据模子，使模子收敛而不发散，改善营业一致性。严酷凭证第3范式要求设计逻辑模子，一定会发明源系统许多因冗余设计造成的纷歧致性问题（虽然营业系统一样平常接纳范式设计模式，但没有抵达第3范式要求），在物理模子设计中思量适度降范。

数据模子师与营业领域专家、数据管家等一起界说数据模子。捕获营业怎样形貌和使用数据，建设和集成统一、共享的营业元数据。在界说历程中实时纪录种种数据问题，加速数据治理事情。

可视化数据模子，为营业与手艺提供交互的接口，为数据使用提供元数据，验证与提升数据模子设计的准确性、一致性与完整性。

安排准确的高质量数据源。凭证信息探索的效果，确定准确权威的数据源映射模子，执行完整的数据模子设计使命，确保数据完整性。在集成的数据情形中，基于数据模子举行全维度质量检查，把问题提交给治理团队安排治理，推动上游营业系统治理，在源头爆发高质量的数据。

控制整个企业中数据的设计和安排使用，治理数据生命周期�？刂撇⑷繁Ｈㄍ菰谙掠位竦弥苋褂�，确保从清静、合规到商务智能应用可回溯到源数据。

优异的数据治理，

提升数据建模效率

数据建模和数据治理都是数据全生命周期治理的要害职能领域，二者相辅相成，对提升数据的可用性、施展数据价值具有主要的意义。

数据治理是对数据资产治理行使权威与控制，数据治理组织提倡企业数据建模，可以将数据建模视为对数据界说的权威与控制的执行和实验。企业数据建模的原则（在“准确的”时间，由“准确的”职员为组织界说“准确的”数据，确保唯一准确的数据放在唯一准确的地方），必需要有规范或准则来确保数据设计切合需要，这些规范由数据治理委员会委托相关职能团队设计并批准宣布。

数据治理职责形貌数据治理岗位治理数据和流程的职责和责任, 确保有用控制和使用数据资产。数据治理专员职责的主要运动包括建设和治理焦点元数据、纪录规则和标准、治理数据质量问题、执行数据治理运营运动，需要把这些治理职责与运动嵌入到企业数据建�Ｔ硕�，在整个数据生态系统中的职员、流程和系统中界说和开发“准确的”数据行为。

企业数据建模各阶段一定会遇到许多问题，需要营业职能领域和 IT 组织协同，与数据建模职员一起事情，协助数据建模，需要数据治理组织为数据的集成与整合提供推动与决议支持。在正式的数据治理组织建设之前，企业级数据客栈的模子建设主要由IT部分提倡，营业仅是作为数据应用的需求方加入，项目中发明的数据问题没有响应的“司法”解决途径。

END

仅治理数据而不建模数据，治理效果得不到牢靠，不可应用于新的设计中阻止或镌汰类似问题的爆发，种种问题循环重复。与单独举行差别的事情相比，企业数据治理与数据建模团结起来更好，嵌入数据治理可以更有用开发和维护企业数据模子，企业数据建模使数据治理事情更有用，周全提升数据生产质量，给数据消耗者提供高质量数据。

AG电投厅科技“星云”数智一体化平台，重磅来袭！

AG电投厅动态

2024.04.02

数据专题 | 企业级的数据治理需要企业级的数据模子

AG电投厅动态

2023.11.23