新闻动态> 直播回顾|浅谈数字化转型与数据治理

直播回顾|浅谈数字化转型与数据治理

数澜科技2022-05-18 数澜科技数澜科技 数澜科技数字化转型,数字化,数据中台

讲师介绍

数澜科技

讲师介绍:蒋梦琴(点神), 数澜科技华中交付部门负责人,10余年行业数据经验,兼任大数据资深架构师,擅长数据建模、数据治理、数据仓库、数据技术架构等领域,完成10余个数据中台建设项目。曾在万科集团、恒大人寿等大型项目中主导大数据架构实践,包括集群架构,数仓规划建设,实时架构与开发等实践和落地。在数据中台项目实施中技术架构、难点攻坚、性能优化有很丰富的大数据经验。

以下内容为点神分享内容整理而成】

大家好,我是数澜科技华中交付中心负责人蒋梦琴,花名点神,很高兴本节课与大家共同探讨数据治理相关内容,我在大数据领域已经破爬滚打十余年。很喜欢一句话“原来机器吃的是电,未来机器吃的是数据”,可想而知,数据就是未来!

现在正流行一句话:数字转型,治理现行。我们看到,不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商都在说数据治理,“BATJ”等互联网公司,大型国企、央企也都在谈数据治理,很多企业都将数据治理作为数智化战略的一项必要举措,列入企业的战略行动计划。

在众多谈论数据治理的企业或个人中,我发现大家对数据治理有着这样一个普遍的共识,那就是“数据治理说起来容易,做起来难”!真的是这样的吗?那下面就让我们一起探讨数澜科技在数据治理是如何落地的!

今天分享的内容分为以下四个章节:

数澜科技

▌数据治理全链路方法论

01  什么是数据治理?

数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行, 关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。这里可以看到,数据治理涉及到数据使用、管理行为、组织、流程制度等

02 为什么要做数据治理?

当前涉及数据治理涉及数字化转型政策频出,在《十四五年规划和2035远景目标》最高级别的文件中,国家明确提出加快发展数字化,建设数字中国。在国家数字化指导背景下,企业也逐步迈开了数字化步伐。

目前在数字化建设中政府和企业内部在数字化转型进程中经常面临以下问题:

  • 数据多样化,缺少统一标准,统一取数口径;

  • 数据质量低下,统计分析不准确;

  • 数据孤岛情况严重,数据无法溯源,出了问题找不到原因;

  • 缺乏数据管理组织,缺乏相应的制度、流程,数据问题没有认责和追责;

  • 数据在哪里,有多少,哪些是高价值数据;

  • 数据安全和用户隐私得不到保障,数据风险隐患大;

03 数据治理能解决哪些问题?

1)制定统一标准:帮助政府和企业建设数据标准,制定统一标准
2)挖掘数据价值:帮助企业和政府梳理资源,形成数据资产,丰富分析应用全面掌控数据来龙去脉,以获得更多的数据洞察力,进而挖掘资源中的隐藏价值。
3)管控数据质量:帮助企业和政府建立数据质量管理体系,对数据质量实时监控,及时整改, 全面提升政府和企业数据的完整性、准确性、及时性,减少因数据不可靠导致的决策偏差及损失。
4)提升信息服务水准:帮助政府和企业制定相关流程、政策、 标准,保证信息的可用性、可获取性、 优质性、一致性以及安全性,提升信息服务水准。
5)降低数据安全风险:提升政府和企业数据资产安全性, 并帮助建立相关安全规范和响应机制,全面保障其数据安全。

04 数据治理的主要价值?

面对来源丰富、特征多元的数据,数据汇聚管理正逐渐成为企业信息化建设和管理的重要内容和要求,数据治理是实现数字化运营的重要基石,数据治理能够

  1. 促进开放共享:

    数据治理能够消除数据的不一致性,建立规范的数据应用标准,实现数据广泛共享。

  2. 提升数据质量:

    增效降本运营通过数据治理,能够及时发现,解决及监控数据问题,从根本上改善和解决系统的数据问题,保障数据的可用性、数据质量等。

  3. 提升风控水平:严密的数据安全机制,降低数据风险。

  4. 促进管理创新:增强业务流程和资源配置的优化,提供业务管理能力。

  5. 优化流程管控:

    大多数据治理的各模块都是独立地执行其功能,通过数据治理可以将数据管理各环节大通,实现完整的数据管控流程。

05  数据治理体系框架如何搭建?

数据治理整体框架围绕“115N”进行开展。即以1套平台为支撑,构建5大治理体系,承载N个业务场景,实现1个目标。

数澜科技

06  数据治理体系框架具体说明?

  • 战略层:

    建立以业务价值驱动的数据治理体系,以数据的可见、可用、可运营为目标;

    坚持基于规则的质量管控,基于成本的价值运营,基于场景的数据生产三大原则。

  • 战果层:

    以业务场景价值为驱动,智慧审计、数字孪生、精准营销等等,紧密围绕数据治理过程进行建设;大规划、小试点,数据治理体系逐步建立;

  • 战术层

    构建数据治理的五大治理,管控体系、标准体系、质量体系、安全体系、资产体系。

  • 战法层(工具层)

    搭建数据平台,按照总体规划,分步拉通全域数据;

    支撑数据治理体系的落地,确保数据治理成果的可持续。

07  五大治理体系介绍

对于战术层的5大体系进行初步认识后,下面我就每个体系进行详细拆解:

1、管控体系

1)管控体系·组织保障

组织是数据治理工作开展的前提。数据管理组织由决策层、管理层和执行层构成,涵盖了从数据生产、采集、加工、处理、消费的各项环节。
下面图例就是我们通常在组织建立的这三个层级,有数据管理委员会、数据管理中心,另外还有底层的外部用户、数据使用部门、数据业务部门和数据支撑部门。

数澜科技

2)管控体系·制度制定

制度是数据治理工作的保障。制度包含了政策、制度与指引、细则与规范,通过规则、办法、流程、规范的约束,相关责任部门及人员可以更清晰、更有力的配合数据管理工作的推进。

数澜科技

3)管控体系·流程保障

流程是数据治理工作的关键。不仅包括数据的生命周期管理流程,还包括支撑数据生命周期顺利开展的相关过程领域的流程,它是解决数据治理工作协同的关键保障。
流程梳理的框架,分为数据标准体系的流程,数据质量体系的流程、等7个流程,每个流程关键点与主要步骤如列表所示。

数澜科技

4)标准体系·数据标准

在流程机制的保障下,接下来要考虑标准体系的建设,最重要的就是数据标准的建立,建立标准化的目的是为了降低沟通成本
数据标准是保障数据内外部使用和交换的一致性和准确性的规范性约束,这种约束不仅是系统间的,也是业务间的。标准的特性包括业务属性,技术属性,管理属性等,那么具体如何制定?
标准的制定流程:现状评估——分析诊断——形成标准化定义初稿并讲解,修正并形成数据标准——确定映射的系统范围、制定映射的规则、并根据数据验证映射规则——提出标准在未来落地可能带来的各种影响,就标准与现状的实际差异给出具体的执行建议,执行验证和执行推广。

数澜科技

5)标准体系·数据标准

在学习标准体系建设流程后,我们继续分析建设过程中它是如何运作的;

数据标准通常可分为基础数据标准指标数据标准数据标准不仅指数据本身的标准,也包括影响数据过程的标准,如开发标准。右图是数据开发规范,通过标准的开发规范,能够规避指标加工因流程不统一,而产生数据源头情况不明,开发效率低的问题。

数澜科技

2、质量体系·数据质量

数据质量是指数据满足应用的可信程度,质量管控的目的是保证数据的应用效果。

数据质量管理可以聚焦于影响“财报”和“业务运营”的关键数据,对准数据质量六性进行评估,如主数据、核心事务数据等。

数据质量梳理过程:发起数据质量需求——结合被评估的数据集和数据质量评估指标——产生针对评估对象、评估指标、权重、期望值等数据质量评估规则——通过数据质量任务进行校验落地,产生数据质量评估结果——形成质量处理的闭环。

3、安全体系·数据安全

数据分类分级是数据安全管理的基础。数据的收集、存储、处理、共享等一系列活动都应在数据分类分级的基础上进行,安全管控的目的是保障数据的充分共享。

从业务线出发,结合数据资产进行业务的细分,主要考虑管理范围管理对象,形成数据分类结果,基于数据分类结果做级别的判定,采取对应的数据防护措施,包含数据脱敏数据权限两个方面的措施,最终落实数据分类分级结果及数据管控方案,监控执行情况。

数据分类分级结果需与数据存储、权限、脱敏、开发等措施挂钩,才能确保安全体系的落地;

数澜科技

数据的安全级别并不是一成不变的,在数据流转、传递、使用过程中,可能会因业务需求、数据处理、数据生命周期的不同而不同。如:进行了数据汇聚,数据泄露所造成的危害必然会增大,此时数据安全等级应该上升,而数据进行脱敏后使用、传输和存储,其安全等级则相应下降。

4、资产体系·数据资产

构建资产体系过程就如做菜的过程,资产体系的过程,即是对原料进行加工,形成可以对外提供服务的产品的过程。

数据好比做菜的原材料,不同的搭配加工形成了数据资产,通过不同的业务场景驱动,形成不同的对外的资产服务,不同业务线去使用不同的数据。

构建资产体系的目的是为了让数据好找、好用。构建数据资产体系的过程是从业务数据化、数据资产化、资产服务化到服务业务化的过程;

通过数据的汇聚、整合、治理、编目并对外提供服务,是目前实践出的一条最有效的资产化的路径。

5、数据体系·数据分布

数据技术能力驱动(与具体应用场景无关)划分了数据域,通过数据业务能力驱动(与具体应用场景相关),形成不同对象的数据资产,应用到业务中去。

  1. 资产类目:资产目录是以元数据管理为基础,以数据搜索为核心,面向数据的最终消费用户,针对数据“找得到”“读得懂”需求而设计的。

  2. 标签类目:标签是面向业务的数据资产组织方式,其在数据资产中处于核心位置,是目前实践出的一种最有效数据资产化方法。

  3. 数据服务:以API的形式,构建敏捷交付的服务能力,满足数据服务需求;数据服务是基于用户需求产生的,而业务需求是动态变化的,为保证消费者总能拿到“最好的”数据服务,所以数据服务也是有生命周期的,如根据运营度量策略而做出的下架。

  4. 管控平台:保障治理成果的可持续。

08  数据中台工具平台建设优势:

数据中台建设与数据治理息息相关,相互促进与补充。只有构建和落地了完整的数据治理体系与机制,才能保障数据中台有效、快速解决数据类问题。

同样数据中台的建设与应用,也会促进企业关注数据价值,注重积累高质量的数据,并通过数据应用驱动数据治理体系的健壮与完善。

而拥有一套数据中台建设的工具平台,能有以下好处:

  1. 可以快速的构建企业级数据模型,指引业务系统建设;

  2. 可以将数据治理融入到数据中台开发团队中;

  3. 可以构建闭环的数据问题反馈机制,持续监控数据问题;

▌数据治理建设思路

01  数据治理实施建议

通过轻咨询+项目实施+软件平台,实现数据治理的落地。

数澜科技

02 数据治理咨询方法 

通过四步走,现状调研、分析评估、顶层设计、路径规划。总结八个字“博观远虑,顺势谋局”。

数澜科技

03 数据治理实施步骤

数澜科技

▌数澜数据治理的特点及优势

1、数澜具备咨询和落地的能力,一切以落地为导向

数澜科技聚焦行业客户的数据治理和数据资产建设的属性,依托“数据中台方法论”和众多行业实践,为客户提供融合数据、业务、应用和技术架构的建议和咨询,助力企业数据治理和数据资产建设。已形成5项管理规范、5项管理办法,7项工作指引以及完善的实施规划路线。

2、数澜数据治理产品的整体优势

拥有贯穿数据治理过程从事前、事中、事后等各个环境的产品落地。

3、数澜数据治理特点 

1)丰富的客户案例:为数百家客户提供数据中台服务,客户满意度极高,多个客户与数澜有二期甚至多期合作(万科、方太、温州检察院、中信集团、时尚集团等);

2)无缝对接各类大数据平台:无论是数澜科技自身的大数据平台,还是第三方大数据平台,数澜科技的数据治理都可以无缝对接,保持对已有大数据平台的最小影响。

3)本地化实施和运维:数澜科技提倡为客户提供本地化的实施和运维服务,更快响应,更好服务。公司在全国五个城市设有分公司,保持对客户的敏捷响应。

讲解到这里,相信大家对数据治理已经有了深入的了解。最后一段话送给大家,共勉。

“我们很容易忘记自己仍身处数字化转型漫长征程的早期阶段。这种变革的推动力量非常明确:数据呈指数级增长,国家将数据提升为生产要素,数据中台走向规模化。

疫情加速了部分场景的数字化进程,但是,许多最为困难、最为复杂的业务场景仍有待我们去完成。如何从视频、声频、图像和文本等海量的数据,来自政府、社会、产业链等数据源里的数据,交换汇集在一起,构建数据资产体系,开发数据应用,向各行业提供管理、决策、预测等权威数据信息还有待完成。

只有让数据用起来,才能激发构建出生生不息的强有力竞争优势。数据科技与社会新纪元已经开启,让我们携手推进数据理念、认知与方法论的迭代升级。”

数澜科技

上一篇:直播回顾|数据资产管理平台如何建设?

下一篇:技术派+ | 一文读懂数据安全分类分级

返回列表

从这里开始 让数据用起来
联系我们