数据专题 | 数据架构是治理数据的基础

随着数字化转型、数据要素市场化、高质量生长等宏观导向，数据价值愈发获得重视。从最基础的数据架构到上层的数据应用，无论是金融机构照旧金融科技厂商，都有着各自的明确与实践。AG电投厅科技在大数据领域始终坚持足够的手艺敏锐度，将以本篇关于“数据架构”的探讨为始，后续推出系列文章，与您一起探索更适合当下行业生长的数据观，接待各人一连关注。

作者｜AG电投厅科技大数据研究院

内容｜本篇共3170字，预计阅读时间10分钟

良久以来，数据架构一词的影响一直局限于很狭窄的专业领域规模之内，海内的数据治理事情基本都围绕着数据标准开展。2021年2月9日人民银行宣布《金融业数据能力建设指引》，对数据架构的熟悉正式提升到了行业高度，而把数据标准改为数据规范，也算是各归其位了。

数据架构是什么

凭证ISO/IEC/IEEE 42010:2011的架构界说：系统的基本组织，体现在其组件、它们之间的关系和情形，以及治理其设计和演变的原则。

架构一词泉源于修建行业。若是说杜甫昔时盖茅屋不需要设计，那么制作现代广厦不可能没有设计图就开工了。

治理数据也需要架构。数据架构界说治理数据资产的蓝图，形貌应该怎样组织与治理数据，内容包括数据模子、数据界说、数据映射规范、数据流、结构化数据应用接口规范（DAMA DMBOK2）。数据架构需要一连动态地维护，并不比修建架构设计简朴。

国家标准GB/T36073—2018《DCMM数据治理能力成熟度评估模子》关于数据架构的形貌为：通过组织级数据模子界说数据需求，指导对数据资产的漫衍控制和整合，安排数据的共享和应用情形，以及元数据治理的规范。

那么怎样解读数据架构？有哪些组件？组件之间的关系是什么？与哪些情形有关系？

数据架构有哪些组件

企业数据架构设计包括企业数据模子设计以及数据流设计（DAMA DMBOK2），这也是数据架构较量经典的内容。从零最先设计企业数据架构需要很长的时间、很大的资金投入，并保存潜在的失败危害。在企业数据架构实践中，业界已有一些成熟的行业数据模子可以参考，因此，一样平常情形下，最详细的数据架构设计文件是一个正式的企业数据模子。物理数据模子也是数据架构文件，但物理数据模子是数据建模和设计的产品，而不是数据架构。

DCMM的数据架构能力域包括数据模子、数据漫衍、元数据治理、数据集成与共享能力项，DCMM把在DAMA数据治理知识系统中自力的元数据治理、数据集成两个领域也包括进去了。DCMM标准已被普遍认可，一些领先的机构获得了数据治理能力成熟度四级或五级认证。

怎样明确DCMM界说的数据架构组件关系

数据架构的焦点组件是数据模子，指导数据漫衍与数据集成。

数据漫衍也是数据集成的须要输入。为提升数据集成与交互的效率，数据集成反过来对数据漫衍提出要求。

企业的数据模子、数据漫衍以及数据集成的设计文档都是元数据，若是没有这些元数据，组件之间的关系无法展现，用户就无法使用数据。

数据架构与应用架构、手艺架构的关系

数据架构不可自力保存，站在企业架构的高度，与企业应用架构、手艺架构有细密的情形关系。

应用架构是数据架构的输入。数据的漫衍是数据在营业应用与数据应用系统中的漫衍，这些系统的营业功效决议了将爆发哪些数据以及需要哪些数据，因此，应用架构设计决议了数据的漫衍，指导数据架构中数据界说、数据集成与交互等妄想和管控事情。数据架构设计对应用架构的输入不应照单全收，应用系统中的数据模子设计应遵照企业数据架构，数据漫衍与集成的原则要求影响应用系统的功效漫衍。

数据架构是手艺架构的输入。数据的集成交互与存储妄想的需求是敌手艺架构提出的要求。手艺架构是数据架构的落实基础支持，基于可靠性、性能·、实验的重大性、本钱等思量的数据库软件、数据存储等手艺选型可能反过来制约应用架构与数据架构。

数据治理领域的反思

自金标委建设三十多年以来，在推动金融数据标准化方面取得了重大成绩，金融行业的数据治理水平一直处于领先职位�；厥资葜卫砹煊蛳晗甘导�，仍有一些问题值得反思。

数据架构治理简朴粗放

由于有自制的存储装备可以选择，太过强调应采尽采（甚至有些企业主张实时收罗全域数据，数据收罗无差别“大而全” ），太过强调非结构化数据的价值，没有对数据举行细腻化区别治理，没思量过其中大部分数据可能没有任何价值，没有思量TCO与ROI，放任数据的膨胀。

数据治理与治理没有建设在企业数据架构基础之上

有些企业数据架构的治理不包括数据模子，仅限于数据剖析平台（数据客栈或数据中台）的漫衍流转，数据集成仅限于从数据收罗最先到数据应用。

在数据模子设计与数据集成历程中，忽视了企业数据漫衍（应用架构）的输入，可能导致所用数据并非权威数据源，甚至可能使用了过失的数据，无法包管数据质量。

数据治理系统化与深度有待提升

有些企业数据的治理停留在建章立制方面，有些企业建设了数据标准但没有落地，意识到“同义差别名、同名差别义”，要统一术语看法，但没有上升到数据架构系统层面，很难取得实质性希望。

许多企业花鼎实力买通数据应用“最后一公里”，而不关注数据生产“最前十公里”。若是忽视数据问题爆发的源头，事倍功半，最后一公里的应用很难有高质量的数据基础。

强调可用性，质量被忽略

有些金融企业在引入互联网解决计划时忽视了行业差别，为了提高可用性，一直提高数据纷歧致性等质量问题容错率�；チ幸敌矶嘤党【岸允葜柿康囊蟛桓�，从统计角度只要知足一定水平的相似性。而金融行业财务报表、合规羁系等需求对数据质量的要求远高于互联网行业。

应该怎么做：

以企业级的架构视角来治理与使用数据

许多企业有数据，无数据架构。数据架构处于无感的被动职位，手艺选型后才谈数据架构，应用系统不思量数据架构基本要求。当手艺平台穷于应付，不可给客户带来好的体验时，不从数据架构、应用架构方面举行反思。

架构设计的实质是企业级顶层视角与系统化设计

清晰明确企业数据架构的实质，无论是数据治理或数据资产治理，照旧数据客栈、数据中台或数字化转型，都应该站在企业级顶层视角，举行架构层面的系统化设计。

数据生命周期每个阶段的生产者、加工者都应该对自己设计的数据产品认真，对自己的用户认真。设计者的眼光不但要向前看，还要注重到左右的应用架构与手艺架构，还要向后看，熟悉到自己的设计事情是很是主要的环节。

稳固的架构来自笼统头脑

架构应该是稳固的。解决“同义差别名、同名差别义”的问题只是数据架构治理万里长征的第一步。纵然数据模子的设计遵照数据标准，仍解决不了本诘责题，只有接纳笼统的头脑，剥离数据的噪声，笼统出营业的本体，才华爆发稳固的框架，并以结构化、系统化来表达或展现。

与数据治理协同

数据治理是数据架构的另一要害情形因素。数据架构的目的最终需要通过与数据治理的协调一致才华实现，数据架构认真准确地做事，数据治理确保（凭证数据架构）做准确的事。

把企业数据模子作为数据治理事情的产出物

从建设企业看法数据模子入手，让各关连人熟悉到企业数据模子的主要性，在数据建模中系统化治理数据，在数据治理中逐步完善形成企业数据模子，指导数据在企业各系统的漫衍与集成，支持应用系统的数据重用与迅速开发。

治理数据资产的全生命周期

建设数据即资产的数据资产观，在一样平常事情中建设本钱与收益意识，从数据的爆发最先治理，使数据的设计者、生产者、加工者与治理者都熟悉到在数据的全生命周期中都投入了本钱，优化数据治理生态，实现企业级的数据集成，驱动数据资产价值的最大化。

建设数据剖析生态系统

结构化与非结构化数据有差别的价值密度，需要差别的处置惩罚手艺与流程。数据差别的生命周期，价值密度也纷歧样。需要建设完善的数据剖析生态系统，有用治理州差别形态、差别生命周期的数据，为差别用户提供高质量的数据以及友好的体验。

结语

企业数据的治理是一项一连的事情，不可能毕其功于一役。营业在生长转变中，数据架构也要同步更新。许多企业实验数据中台并没有带来数据治理能力的提升，也没能给用户提供高质量的数据，若是不站在企业的架构视角，数据治理与数据架构脱钩，各自进行，再换个马甲也无用。

数据专题 | 企业级的数据治理需要企业级的数据模子

AG电投厅动态

2023.11.23

手艺专栏｜AG电投厅科技漫衍式定位效劳的探索与实践

金融科技

2023.03.01