浅析数据治理在企业中的实施过程
- 来源:互联网周刊 smarty:if $article.tag?>
- 关键字:数据治理,数据质量,数据资产 smarty:/if?>
- 发布时间:2024-05-26 16:52
文/项姣姣 中征(北京)征信有限责任公司
摘要:数据治理已经逐渐成为企业的主要战略焦点。通过有效运用数据获取竞争优势,以及深度开发大量数据的可能性,已成为推动企业发展的核心动力。本文阐述了企业面临的数据现状和主流数据治理概念及定义,结合数据治理体系框架的内容,提出了企业开展数据治理实践应用的具体步骤,总结了国内企业在数据治理工作中的研究案例,以此为现代企业提升数据治理水平提供一定的借鉴与实践依据。
关键词:数据治理;数据质量;数据资产
引言
在当今数字经济蓬勃发展的大环境下,企业内部的数据规模和复杂度均呈现急剧增长趋势。目前,大数据管理技术正逐渐作为公司的一个关键产品要素,为公司科学决策、提高市场竞争力、智能创新等方面提供丰富的科学依据。人们日益意识到数据资产的重要性、无治理数据带来的挑战、数据潜在的经济效益以及有效应用时可以提供的竞争优势,这使得数据治理已经成为企业的核心战略关注点。然而,现今国内公司的数据管理常常会出现大量的劣质数据,比如数据不一致、数据缺失不可用等情况,如若不进行整治,不但会严重干扰数据的使用价值,还可能导致数据流动、信息资源共享、公司管理层判断失败的后果。因此,数据治理的重要性越来越突出,也越来越成为现代企业战略方面的一个复杂且富有挑战性的任务。数据治理被公认为是改善数据资产管理和应用、简化业务流程、加强跨部门协作和增加信息系统效益的关键措施。
1. 企业面临的数据现状
企业在数据应用和管理上普遍面临的主要问题可以概括为以下几个方面:(1)企业内部不同部门之间管理流程和规范混乱,造成数据和应用孤立现象;(2)没有统一的数据标准,统计口径不一致,计算过程因选择众多无法判断如何选择指标,数据定义不清晰导致产生歧义,为业务开展增加阻力;(3)数据质量较差,而且在发现数据质量问题后,很难定位到具体责任方,低质量的数据资产已成为影响信息业务开展的关键制约因素;(4)数据缺乏共享集成环境,系统存在重复建设和资源浪费的情况,沟通成本高,企业面临整合系统的挑战;(5)数据因为得不到安全保障遭遇遗失、泄密和篡改的风险,同时由于数据的来源众多,造成了数据安全管理困难,为企业的生产经营带来一系列财产损失。
2. 数据治理的概念
目前,行业范围内对于数据治理概念有许多不同的观点,尚未形成一个统一的定义标准,结合一些主流权威的组织机构如DAMA、IBM数据治理委员会等的观点,我们可以将数据治理定义为使用组织人员、流程和技术来控制和利用数据作为企业的核心资产。数据治理的目标是为企业创造更多利益,是一个实现数据价值的过程。简单来说,就是让企业的数据从不好用到方便易用且对业务开展有促进作用的过程。
3. 数据治理体系框架
数据治理是一个漫长而复杂的系统工程,企业必须深入分析当前自身的数据治理水平,厘清痛点难点问题,并根据各自行业特色与资源优势,确定数据治理现状,在必要时也可引进专业信息咨询服务企业或参考行业内其他公司的实践经验,以正确制定当前数据治理的发展方向和框架。
经过综合考虑数据治理的概念、实施目标、覆盖范围和数据标准化的需求,并以《数据治理标准化白皮书》中提出的数据治理标准体系作为参考依据[1],本文为企业构建出一个数据治理体系框架,如图1所示。具体来说主要包括以下五个方面的任务:
一是综合保障,包括做好数据治理工作所需要的组织架构规划、制度流程建设、人才队伍建设、基础设施平台建设和数据治理水平评估等。
二是数据安全,包括对企业数据进行分类定级、个人隐私信息的保护、加密传输和存储等。在数据传输、存储和使用的各个环节实施安全访问控制,对数据的增删改查行为进行安全审计。
三是数据应用,主要是对企业数据资产化、价值化的过程,包括数据产品、数据服务和数据分析、数据交易等,体现数据治理应用的实际成效。
四是数据生命周期,主要是对数据采集、存储、处理、传输、应用、归档和销毁各个环节进行规范化管理,避免因系统故障、数据丢失泄露给企业带来灾难性后果。
五是数据标准化治理,主要是对企业全范围内的数据资产进行系统梳理,并利用信息化技术手段,推进数据治理逐层落地,内容包括数据资源目录、数据标准、数据质量、数据模型、元数据、主业务数据等。
4. 数据治理具体实施过程
结合上述数据治理体系框架的内容,企业可以通过以下具体实施步骤切实可行地开展数据治理工作。
4.1 开展企业内部调研,估算数据治理成本效益
在数据治理的准备阶段,首先应该对企业开展数据治理的相关调查与调研,收集企业现有的信息化水平信息,盘点企业所有数据资产,厘清各类数据之间的关系和数据流转过程,同时需要了解企业内部部门以及外部关联方的数据业务需求和范围,完成企业数据治理评估工作。此外,还需要获取企业对于数据治理所期望达到的质量要求,然后根据需求估算出数据治理成本和效益。
4.2 制定企业数据治理战略规划
完成对企业的初步调研之后,必须确定企业数据治理目标,围绕企业业务发展战略,规划制定出符合企业实际情况的数据治理战略,实现对数据的科学化管理,提高数据质量,提升数据运用水平,提高数据应用场景指标,推动企业精细化管理和业务创新,增强核心竞争力和可持续发展。
下一步需要针对企业设计整体的数据治理体系架构。具体内容包括数据质量、数据生命周期、数据标准、数据安全、元数据、数据模型的管理,以及组织人员、制度流程和基础设施平台建设的保障支持。
4.3 确认企业组织架构,明确管理职责
数据治理具体实施的第一步,就是确认自上而下、协调一致的企业组织体系,建立一支角色明确、职责明确的专业数据治理团队,进行有效的数据治理实施和协调。
从职责分配角度看,数据治理的组织架构主要由三个层面组成,分别是决策层、协调管理层和执行层。决策层主要负责制定数据治理的发展战略和重大事项决策,可以成立专门的数据治理委员会;协调管理层指企业中的技术部门或者专门的数据管理部门,主要负责数据治理的统筹规划,制定数据标准、制度规范等;执行层主要负责实施具体的各项数据治理工作,需要企业内部各部门人员共同参与。此外,还可以在各组织层级上再划分出次一级执行单位。这种结构化方法可确保协调数据治理工作,明确定义职责,并促进不同角色之间的沟通和协作,以实现组织内有效的数据治理。
4.4 数据治理政策和规范流程的制定
对应于企业组织架构的划分,可以将数据的政策与制度分为三个层面,主要内容涵盖数据分类分级、用户权限访问控制、数据安全等方面。数据治理的制度政策用来明确基本架构和范围,描述数据管理应用的总体目标,基本由数据决策层审核通过并公开发布,是企业在制度层面的顶层设计;数据治理管理办法由协调管理层制定,用来确定详细的流程规范和管理规则,保障数据治理工作在企业内部顺利开展;数据治理细则是对数据治理办法的进一步细化,以保障各类数据方法实施落实到位。
4.5 数据标准梳理和衡量,对业务流程重组和优化
数据标准是数据管理的基础。对企业内部的数据标准进行梳理,具体包括管理标准、业务标准和技术标准。在管理上需要确定标准的使用者、所有部门和相关管理人员等内容,以明确管理维护标准的责任主体,方便后续进一步改进和更新;在业务上主要是确定业务主题划分和标准的业务概念,如业务的定义和使用规则等;在技术上需要描述清楚数据项的类型、统一数据长度、明确数据来源等技术属性,从而能够为数据校验提供指标参考依据。
4.6 企业元数据梳理,掌握数据来源和流转情况
开展企业元数据梳理,具体就是要清楚企业目前有什么样的数据、数据的来源是什么,以及数据是如何在企业各个系统之间流转的。对应于数据标准划分,可以从管理、业务和技术三个角度对元数据进行划分,建立元数据标准。管理元数据主要提供数据系统中数据管理的概念、管理规范和关联关系等信息,涵盖管理人员权限和角色、岗位职责、管理流程等的信息;业务元数据主要提供数据系统中业务术语的概念、交互标准和规则等信息,包括信息分类、指标规定、统计口径等;技术元数据主要是对技术领域中相关的概念、规则以及相关关系进行定义,包括数据平台内对象和数据结构的定义、源数据到目的数据的映射、数据转换加工过程的描述等。
4.7 数据质量管理和监测
完成对企业元数据梳理之后,对数据的质量管理也是数据治理过程中的一个重要环节,是数据运用过程中准确性、一致性、完整性、及时性、唯一性、有效性的重要保障,是数据业务价值创造的重要前提。按照设定的数据标准,由数据管理部门制定数据质量管控目标,并遵循企业数据治理要求进行数据质量度量,检查业务校验规则和监控业务指标。数据质量要求企业内部各业务部门对相应数据领域的数据质量全权负责。因此,当监测到数据指标偏离质量管控标准时,须立即启动协查整改流程,督促数据拥有者作出数据质量相关的改进,以实现持续对企业数据质量的优化和管控。
4.8 数据治理自动化管理平台建设
建设数据治理自动化管理平台,有利于消除企业内部数据孤岛,改善各系统资源分散和应用孤立的缺点,帮助企业实现数据标准的统一,构建全域的大数据资产,加快数据变现,实现企业数字化转型。
数据治理平台是企业数据治理与服务工作的有效载体,我们可以通过系统化、可视化的方式更加高效地对数据质量问题进行定位和纠正,以线上流程化支撑保障相应制度规范落实。数据治理平台的建设重点包含两个层面:首先是对平台的基础功能化建设,包括标准、质量、元数据、生命周期、安全、模型等流程管理,实现线上化流程化管理企业的数据资产;其次是在实现健全功能的情况下,进一步开展企业数据治理平台的智能化建设工作,可以通过在产品服务中融入各类模型算法以及运用人工智能、区块链等技术,来提供数据预测分析、机器学习、深度学习、可视化等数据服务,为企业的经营管理、风险控制、业绩考评、产品服务管理等各个方面提供智能决策。
4.9 企业范围的培训与推广
数据治理的阶段性成果需要在企业内部广泛推广,并且在长效治理机制的建立上达成普遍共识,即数据治理是一个长期资源投入的过程,须对基础设施治理平台不断进行改造升级,对管理制度流程、组织结构等进行深入的探索研究和实践创新,以确保企业在管理数据资产方面获得持续成功。此外,还需要在企业范围内开展培训,做好数据治理政策、数据规范和标准等的解读工作。
4.10 企业数据治理水平评估和优化
可以依据国家制定发布的《数据管理能力成熟度评估模型》(简称DCMM)中所提供的成熟度、估算指标对企业的数据治理水平进行评估[2]。首先了解企业数据治理的现状在各维度上的表现,然后制定具有合理可操作性的治理目标,进一步分析目标与现状之间的差距,最后确定切实可行的改善实施计划,迭代优化数据治理成果,纠正企业存在的数据质量问题,提升数据资产价值。
5. 企业数据治理的应用实践研究
基于不同行业自身的特性以及企业存在的实际数据问题,工业界在数据治理的应用实践方面开展了大量的研究性工作,具有非常大的参考价值。
华为的数据治理在行业内始终保持领先地位,其在数据上的探索实践经历了两个阶段:第一阶段是实现数据全流程贯通和数据清洁,提升业务效率;第二阶段是打造统一的数据底座,驱动企业数字化转型。阿里巴巴基于自主研发的大数据计算平台,将多年积累沉淀的数据治理的经验方法论、数据管理的流程融合其中,全新升级打造了全链路数据治理开发平台DataWorks,现在已经成为许多大型企业和机构的优选解决方案。
李欢等探讨了数据治理在石化行业的实践应用,并且搭建了石化工业大数据平台的整体架构,包括数据采集、数据融合和数据资源,实现了石化企业数据的价值释放[3]。张立申等从加快供热行业转型、促进北京供热行业战略目标出发,借鉴大数据理论和实践经验,构建了热力数据治理体系的整体方案,提高了数据质量和安全性以及整个企业的数据集成[4]。刘雯针对航天制造企业的业务特点,开展业务流程梳理,形成一种以主数据为中心的数据治理方法,紧密结合自身业务目标实施数据治理过程,建立统一的数据管理平台,支撑企业数字化转型[5]。
结语
在数字化转型浪潮的推动下,数据资产已经逐渐成为现代企业最关键的价值来源之一,支持企业的战略发展。数据治理可以帮助企业作出理性分析和决策,创造价值,提高业务效率和整体竞争力。本文清晰阐述了数据治理的概念,从企业面临的数据现状和挑战出发,通过结合数据治理体系框架的内容,提出企业开展数据治理实践应用的具体步骤,并且总结了国内企业在数据治理工作中的几项研究和实践案例,可以为现代企业提升数据治理水平提供一定经验借鉴和方法。
总之,我们仍然需要对数据治理进行深入研究与探索,以满足时代进步与发展的需求,并将数据治理的实践经验在各个行业内进行广泛推广和跨行业跨企业融合应用,使数据资产的价值得到最大程度发挥,促进企业不断向前发展。
参考文献:
[1]中国通信标准化协会.数据治理标准化白皮书(2021年)[EB/OL].(2021-12-20)[2024-03-20].https://www.ccsa.org.cn/detail/?id=4690&title=%E6%95%B0%E6%8D%AE%E6%B2%BB%E7%90%86%E6%A0%87%E5%87%86%E5%8C%96%E7%99%BD%E7%9A%AE%E4%B9%A6%EF%BC%882021%E5%B9%B4%EF%BC%89,2021-12-20.
[2]全国信息与文献标准化技术委员会.数据管理能力成熟度评估模型:GB/T 36073-2018[S].北京:中国标准出版社,2018.
[3]李欢,于韶飞,陈勇,等.一种基于数据治理的石化企业工业大数据应用方法[J].信息技术与标准化,2024(Z1):104-108.
[4]张立申,荀志国,李仲博,等.大型供热企业数据治理体系建设与实践[J].国企管理,2021(16):20-31.
[5]刘雯.以业务为驱动的航天企业数据治理方法[J].信息技术与信息化,2019(5):62-64,68.
作者简介:项姣姣,本科,研究方向:数据挖掘。
