正文开始
本文有9000字，预计阅读20分钟，可以先收藏
这是一篇关于数据治理的综述，希望通过这篇文章让大家对数据治理有全新的认识，后面列出了所有的参考文献，方便拓展学习。
注：文末有《数据治理规范》及《银行业金融机构数据治理指引》PDF下载阶段早期探索，早在1988年由麻省理工学院的两位教授启动了全面数据质量管理计划（TDQM），可以认为是数据治理初的雏形，同年，DAMA（国际数据管理组织协会）成立。时间一直走到2002年，数据治理概念出现在学术界，美国两位学者发表题为《数据仓库治理》的研究探讨了Blue Cross和Blue Shield of North Carolina两家公司的佳实践，由此拉开了“数据治理”在企业管理中的大幕。第二阶段理论研究，在美国学者发表《数据仓库治理》的第二年，2003年DGI(国际数据治理研究所)成立，研究数据治理理论框架，与ISO国际标准化组织对数据管理与数据治理进行定义。直到2009年，DAMA国际发布DMBOK《数据管理知识体系指南》[15]（以下简称《DAMA指南》），至此数据治理的理论框架基本固定。2020年DAMA国际发布DMBOK《数据管理知识体系指南原书第二版》[16]（以下简称《DAMA指南第二版》）。第三阶段广泛接受与应用，伴随着数据仓库的建设，主数据管理与BI的实施，国内也逐步开始接受并利用数据治理的概念进行推广实践。我国数据治理之路在DMBOK基础上不断延伸和扩展，里程碑事件为在2015年提出了《数据治理白皮书》[14]国际标准研究报告。2018年6月7日，国家市场监督管理总局和国家标准化管理委员会发布《中华人民共和国国家标准公告（2018年第9号）》，批准《信息技术服务治理第5部分：数据治理规范》[18]（以下简称《数据治理规范》）国家标准发布实施，标准号为GB/T 34960.5-2018，实施日期为2019年1月1日。《数据治理规范》是我国信息技术服务标准（ITSS）体系中的“服务管控”领域标准，属于《信息技术服务治理》的第5部分。金融等行业也在实践的过程中形成了自己的治理体系，比如银行在2018年发布了《银行业金融机构数据治理指引》[19](以下简称《银行数据治理指引》)，标志着数据治理在我国银行金融机构中全面实践时代的到来，华为2020年出了本书《华为数据之道》，可以看到数据治理在企业中也开始发挥出越来越重要的作用。数据治理（Data Governance）是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统，这些过程按照达成共识的模型来执行，该模型描述了谁（Who）能根据什么信息，在什么时间（When）和情况（Where）下，用什么方法（How），采取什么行动（What）。数据治理是对数据资产管理行使权力和控制的活动集合（规划、监控和执行）。数据治理职能指导其他数据管理职能如何执行。数据治理是在高层次上执行数据管理制度。数据治理是通过连续性的计划和持续改进的过程来完成的。除了持续性的改进，数据治理的另外一个标志就是共同决策。有效的数据管理工作需要跨组织边界和系统边界。数据治理是指通过建立组织架构，明确董事会、管理层、部门等职责要求，制定和实施系统化的制度、流程和方法，确保数据统一管理、高效运行，并在经营管理中充分发挥价值的动态过程。大家有时表示难以理解数据治理是什么，治理本身是一个通用概念，与其发明新的概念，还不如将其他治理的概念和原则应用于数据治理，比如公司管理和公司治理。公司治理与公司管理的区别起源于公司治理理论中的法律模型。这一模型认为，股东由于向公司提供资本，而成为所有者，拥有法定的权力，其中基本的权力就是选举董事会作为其受托人来进行公司的重大决策，再由董事会来选择和监督经理，进行日常的经营管理。这样公司治理与公司管理的区别在公司法关于董事会与经理之间的权责关系的界定上得到反映，即董事会从事治理，经理层从事管理。从目的上来看，公司治理的目的是为了降低代理成本，降低因代理人违背委托人意志而给委托人带来的损失和成本，而管理的目的是正确选择经营目标和高效率地实现经营目标，提高企业资源的利用效率;公司治理的主体是股东以及各利益相关者，而公司管理的主体是公司的经理层;公司治理涉及公司战略方针的制定、控制和监督，以及公司与外部的社会、经济和文化的联系;管理则是运用一定的方式来知道或监督某一活动，以达到特定的目的;公司治理的焦点在外部，公司管理的焦点在内部，公司治理假定一个开放的系统，而公司管理相对假定一个封闭的系统;公司治理基于战略考虑，公司管理基于任务考虑;公司治理考虑公司往哪个地方去，公司管理考虑怎样使公司到达那里。从程序和手段来看，公司治理强调的是董事会借以监督和激励经理的程序、方式和手段，重点强调利益关系的调整，公司管理关注的是为了达到公司的目标，经理应该做什么、怎么做，重点强调为达到特定目标应选择的手段、方法和管理技术，也就是说，公司治理是董事会的工作，而公司管理则是经理的事情。总结一下就是，公司治理是指高管理层（董事会）利用它来监督管理层在实现战略目标的过程中，处于治理层既定的规则内（风险可控、绩效可见）。公司管理就是在既定的治理模式下，管理层为实现组织战略目标而采取的行动。 管理是在治理既定的“约束和激励”的规则下，对组织资源进行整合与配置，确定目标以及实现此目标所采取的行动。数据管理是指通过规划、控制与提供数据和信息资产职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，以获取、控制、保护、交付和提高数据和信息资产价值。数据治理是对数据资产管理行使权力和控制的活动集合（规划、监控和执行），指导其他数据管理职能如何执行，在高层次上执行数据管理制度。组织为实现数据资产价值大化所开展的一系列持续工作过程，明确数据相关方的责权、协调数据相关方达成数据利益一致、促进数据相关方采取联合数据行动，下图示例了一个区别。
数据治理的全过程：从范围来讲，数据治理涵盖了从前端事务处理系统、后段业务数据库到终端的数据分析，从源头到终端再回到源头形成一个闭环负反馈系统（控制理论中趋稳的系统），从目的来讲，数据治理就是对数据的获取、处理、使用进行监督（监管就是我们在执行层面对信息系统的负反馈），而监管的职能主要通过五个方面的执行力来保证——发现、监督、控制、沟通、整合。可以将审计、会计与数据治理放在一起比较，审计员和财务主管设置管理财务资产的规则，数据治理专家制定管理数据资产的规则，然后其它领域执行这些规则。财务审计人员实际上并不执行财务管理，数据治理确保数据被恰当的管理而不是直接管理数据，数据治理相当于将监督和执行的职责分离。如果你在一个基层单位做具体的数据安全工作，但总是被上级组织检查，你就是在做数据安全管理工作，而制定检查规范、总是来检查你的上级组织就是在做安全治理的工作，你可能觉得这些人真是吃饱了没事做，但站在全局的视角看，他们做的工作可能比你还更重要，因为他们要确保你在做正确的事。如果将数据治理类比于国家治理，数据治理相当于承担立法职能（策略和标准）和司法职能（问题管理），数据管理则承担行政职能（管理、服务和合规）。搞懂了数据治理和数据管理的区别，就能理解将数据治理的职责甩给IT部门是多么荒谬的事情，因此DAMA一直强调，数据治理应该是业务部门与IT部门共同的职责。《DAMA指南第二版》给出了数据治理的主要内容，包括规划组织的数据治理、制定数据治理战略、实施数据治理和嵌入数据治理，如下图所示：
以之可类比的是《数据治理规范》给出的数据治理框架，包括四大块：顶层设计、数据治理环境、数据治理域及数据治理过程，下面主要介绍这个框架。
战略规划：数据战略规划应保持与业务规划、信息技术规划一致，并明确战略规划实施的策略，至少应：b)制定数据战略规划，包括愿景、目标、任务、内容、边界、环境和蓝图等c)指导数据治理方案的建立，包括但不限于实施主体、责权利、技术方案、实施策略和路线等d)明确风险偏好、符合性、绩效和审计等要求、监控和评估数据治理的实施并持续改进以下是《华为数据之道》一书给出的华为数据工作的愿景和目标：华为数据工作的愿景：实现业务感知、互联、只能和ROADS体验，支撑华为数字化转型。华为数据工作的目标：清洁、透明、智慧数据，使能卓越运营和有效增长。
组织构建：组织构建应聚焦责任主体及责权利，通过完善组织机制，获得利益相关方的理解和支持，制定数据管理的流程和制度，以支撑数据治理的实施：a)建立支撑数据战略的组织机构和组织机制，明确相关的实施原则和策略b)明确决策合适实施机构，设立岗位并明确角色，确保责权利的一致c)建立相关的授权、决策和沟通机制，保证利益相关方理解、接受相应的职责和权利d)实施决策、执行、控制和监督等职能，评估运行绩效并持续改进和优化以下是《DAMA指南》[15]给出的一个组织范例：
架构设计：架构设计应关注技术架构、应用架构和架构管理体系等，通过持续的评估、改进和优化，以支撑数据的应用和服务：a)建立与战略一致的数据架构，明确技术方向、管理策略和支撑体系，以满足数据管理、数据流通、数据服务和数据洞察的应用需求b)评估数据架构设计的合理性和先进性，监督数据架构的管理和应用c)评估数据架构的管理价值和有效性，并持续改进和优化内外部环境：组织应分析业务、市场和利益相关方的需求，适应内外部环境变化，支撑数据治理的实施a)遵循法律法规、行业监管和内部管控，满足数据风险控制、数据安全和隐私的要求；b)遵从组织的业务战略和数据战略，满足利益相关方需求；c)识别并评估市场发展、竞争地位和技术变革等变化；d)规划并满足数据治理对各类资源的需求，包括人员、经费和基础设施等。促成因素：组织应识别数据治理的促成因素，保障数据治理的实施。b)明确人员的业务技能及职业发展路径，开展培训和能力提升；c)关注技术发展趋势和技术体系建设，开展技术研发和创新；d)制定数据治理实施流程和制度，并持续改进和优化；e)营造数据驱动的创新文化，构建数据管理体系和数据价值体系；f)评估数据资源的管理水平和数据资产的运营能力，不断提升数据应用能力。数据管理体系：组织应围绕数据标准、数据质量、数据安全、元数据管理和数据生存周期，开展数据管理体系的治理，至少应：a)评估数据管理的现状和能力，分析和评估数据管理的成熟度；b)指导数据管理体系治理方案的实施，满足数据战略和管理要求；c)监督数据管理的绩效和符合性，并持续改进和优化。数据价值体系：组织应围绕数据流通、数据服务和数据洞察等，开展数据资产运营和应用的治理，至少应：a)评估数据资产的运营和应用能力，支撑数据价值转化和实现；b)指导数据价值体系治理方案的实施，满足数据资产的运营和应用要求；c)监督数据价值实现的绩效和符合性，并持续改进和优化。可以看到，《数据治理规范》共包括数据标准、数据质量、数据安全、元数据管理、数据生存周期、数据流通、数据服务和数据洞察等八项数据治理内容，而在《DAMA指南》中则包括十项，分别为数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理和数据质量管理等，如下图所示。
《数据治理规范》相对于《DAMA指南》突出了数据价值体系的治理内容。统筹和规划：明确数据治理目标和任务，营造必要的治理环境，做好数据治理实施的准备，包括：a)评估数据治理的资源、环境和人员能力等现状，分析与法律法规、行业监管、业务发展以及利益相关方需求等方面的差距，为数据治理方案的制定提供依据；b)指导数据治理方案的制定，包括组织机构和责权利的规划、治理范围和任务的明确以及实施策略和流程的设计；c)监督数据治理的统筹和规划过程，保证现状评估的客观、组织机构设计的合理以及数据治理方案的可行。构建和运行：构建数据治理实施的机制和路径，确保数据治理实施的有序运行，包括：a)评估数据治理方案与现有资源、环境和能力的匹配程度，为数据治理的实施提供指导；b)制定数据治理实施的方案、包括组织结构和团队的构建，责权利的划分、实施路线图的制定、实施方案的选择以及管理制定的建立和运行等；c)监督数据治理的构建和运行过程，保证数据治理实施过程与方案的符合、治理资源的可用和治理活动的可持续。监控和评价：监督数据治理的过程，评价数据治理的绩效、风险与合规，保障数据治理目标的实现，包括：a)构建必要的绩效评估体系、内容体系或审计体系，制定评价机制、流程和制度；b)评价数据治理成效与目标的符合性，必要时刻聘请外部机构进行评估，为数据治理方案的改进和优化提供参考；c)定期评价数据治理实施的有效性、合规性，确保数据及其应用符合法律法规和行业监管要求。改进和优化：改进数据治理方案，优化数据治理实施策略、方法和流程，促进数据治理体系的完善，包括：a)持续评估数据治理相关的资源、环境、能力、实施和绩效等，支撑数据治理体系的建设；b)指导数据治理方案的改进，优化数据治理的实施策略、方法、流程和制度，促进数据管理体系和数据价值体系的完善；c)监督数据治理的改进和优化过程，为数据资源的管理和数据价值的实现提供保障。2018年5月21日中国银保监会正式发布的《银行业金融机构数据治理指引》全文共7章55条，强调了数据治理架构的建立，明确了数据管理和数据质量控制的要求，还明确了全面实现数据价值的要求，要求加强监管监督，与银行的监管评级挂钩，这里以顶层设计的战略规划、组织构建和数据治理域的数据标准体系构建为例来说明治理过程[10][11][12][13]。《银行数据治理指引》中的第九、第十七条明确提出了制定数据战略的观点。数据资产如何变现、如何创造收益已成为了银行的共同话题，数据战略主要涉及现有业务管理的数字化、创造新的数字化业务等内容。a)现有业务管理的数字化，比如告别纸质、线下等一切非数据化、系统化的业务形式，控制前置提升审批效率，绩效可视化；又比如通过对网点运营、市场营销、费用成本、绩效管理等方面的数据分析，帮助银行识别低效的流程环节，进行资源配置优化，提高运营效率、降低成本。b)创造新的数字化业务，比如管理层借助高质量的数据进行挖掘、分析，实现以客户为中心的业务转型，对银行未来战略方向进行更准确的前瞻性预测，提升银行竞争力；又比如成立金融服务和科技子公司，开发机器人流程自动化应用（RPA）、金融云服务等产品，进行能力输出。《银行数据治理指引》中的第八至第十四条提出了组织架构的要求，比如第八点，银行业金融机构应当建立组织架构健全、职责边界清晰的数据治理架构，明确董事会、监事会、管理层和相关部门的职责分工，建立多层次、相互衔接的运行机制。银行根据数据战略、自身组织架构特征，构建数据治理组织架构，其的分散和集中程度各有不同。组织管理分散且数据需求较少或复杂程度较低的银行，一般采用“分散模式”，各部门负责本领域的数据管理和应用；数据需求较多且复杂程度较高的银行，可采用“归口管理模式”、“集中+派驻模式”、“全集中模式”，具体选择哪种方式，在银行数据发展的阶段中同时也取决于归口管理部门的人力投入与专业能力，专业能力主要涉及组织沟通、业务理解、技术开发等方面。
目前监管明确要求银行设置数据治理归口管理部门，下图以“归口管理模式”为例进行了示例：
《银行数据治理指引》中的第二十条、二十三条给出了建设数据标准的要求，比如第二十条，银行业金融机构应当建立覆盖全部数据的标准化规划，遵循统一的业务规范和技术标准。数据标准应当符合国家标准化政策及监管规定，并确保被有效执行。根据中国人民银行定义的银行业标准体系，将数据标准归入银行的通用基础标准。作为银行通用性、全局性、基础性的规范，指导银行业务的开展和系统建设。
在实践过程中，数据标准可分为基础类数据标准以及指标类数据标准。基础数据标准是针对业务开展过程中直接产生的数据制定的标准化规范；指标数据标准是针对为满足内部分析管理需要以及外部监管需求对基础类数据加工产生的数据制定的标准化规范。从银行层面来说，全行层级统一的数据标准是必须要做的，而且是要做到能够长期有效和可落地执行的。由谁来牵头、谁来管理、谁来执行？——各个银行均有不同实践，但是实践效果来看，建议在数据标准制定过程中，将角色划分为三类：
对于数据标准管理工作而言，数据治理归口管理部门是作为牵头者的角色，需要做到组织数据治理小组，将技术管理与业务管理的相关人员协同起来，完成数据标准制定工作。为数据标准制定提供资源协调、统筹安排等便利。业务管理部门在数据标准制定中承担着业务规范者的角色。这些部门在数据标准制定过程中承担着提供权威业务定义和数据标准业务含义管理的多重职责。如果银行将数据治理归口管理部门确定在某一业务管理部门，则该部门需要同时承担起工作牵头和规范定义双重责任。业务管理部门不仅能够提出业务规范的要求，同时对技术属性，也可以提出初步的建议方案，与信息技术部门协同商榷。信息技术部门包括信息技术管理部门及部分银行已成立的专门的数据管理部门。信息技术部门作为数据标准的技术规范执行者，其职责不仅在于制定过程中确认技术属性具有可落地性，符合已建信息系统现状，还在于将确认后的数据标准实际落实在信息系统中，确保数据标准能够得到有效落地执行。在大量实践经验中，银行已然总结出一套数据标准编制的有效方法：a)制度保障先行：构建层次分明的制度体系，形成从章程、专项管理办法到工作细则三个梯次的制度层级。
在数据标准管理中，针对数据标准的专项管理办法和具体工作细则必须首先予以明确。在制度中明确各个角色以及定义相应的分工界面，通过工作细则和相关的模板细化管理方式，固化管理流程，为制定数据标准、管理数据标准提供指导性意见。比如工作细则需要打通数据治理在执行操作层面的“后一公里”，指导一线工作人员按照规范化流程开展数据治理工作，为全行数据治理和提升奠定基础。
b)归口部门发挥牵头作用：归口管理部门需要积极发挥带头作用，推动和监督流程执行，为数据标准制定工作，提供人力、技术、资金等关键资源，并获得管理层的行政支持和充分授权，通过激励和问责考核体系，推进数据标准工作的制定与执行落地。c)自下而上归纳与由上而下演绎相结合：数据标准梳理需要首先梳理内外部需求，细化形成对业务属性、技术属性的要求；一方面需要自下而上整理信息系统中的数据情况，同时也需要自上而下定义数据主题、细化分类，两者结合才能够实现全面整体的数据视图，形成有效的数据规范要求。
从银行数据标准的治理可以看到，组织应明确数据标准的内涵和范围，建立数据标准体系及其管理机制，以支撑数据的标准化建设，保障数据在应用过程中的一致性，至少应：a)明确数据标准的内涵和范围，制定通用的数据规范，包括但不限于数据分类、数据类型、数据格式和编码规则等，保障数据应用的过程中的一致性；b)建立数据标准的实施方案和计划，推进数据标准化实施的落地；c)建立数据标准化管理机构和机制，明确责权利和流程，开展数据标准化的实施；d)制定数据标准管理制度，保障数据标准化的实施和落地；e)保障数据标准的先进性、前瞻性和技术层面的可执行性，满足数据应用发展需要，持续开展数据标准的更新。基本就讲这么多，文末列出了本文引用的所有参考文献，方便你拓展阅读，希望对你有所启示。以上文章来源于大鱼的数据人生 ，作者讨厌的大鱼先生
