讲师介绍
讲师介绍:蒋梦琴(点神), 数澜科技华中交付部门负责人,10余年行业数据经验,兼任大数据资深架构师,擅长数据建模、数据治理、数据仓库、数据技术架构等领域,完成10余个数据中台建设项目。曾在万科集团、恒大人寿等大型项目中主导大数据架构实践,包括集群架构,数仓规划建设,实时架构与开发等实践和落地。在数据中台项目实施中技术架构、难点攻坚、性能优化有很丰富的大数据经验。
【以下内容为点神分享内容整理而成】
大家好,我是数澜科技华中交付中心负责人蒋梦琴,花名点神,很高兴本节课与大家共同探讨数据治理相关内容,我在大数据领域已经破爬滚打十余年。很喜欢一句话“原来机器吃的是电,未来机器吃的是数据”,可想而知,数据就是未来!
现在正流行一句话:“数字转型,治理现行”。我们看到,不仅是传统提供数据仓库、BI、主数据管理、元数据管理、数据集成等数据服务的软件供应商都在说数据治理,“BATJ”等互联网公司,大型国企、央企也都在谈数据治理,很多企业都将数据治理作为数智化战略的一项必要举措,列入企业的战略行动计划。
在众多谈论数据治理的企业或个人中,我发现大家对数据治理有着这样一个普遍的共识,那就是“数据治理说起来容易,做起来难”!真的是这样的吗?那下面就让我们一起探讨数澜科技在数据治理是如何落地的!
今天分享的内容分为以下四个章节:
▌数据治理全链路方法论
01 什么是数据治理?
数据治理是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行, 关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。这里可以看到,数据治理涉及到数据使用、管理行为、组织、流程制度等;
02 为什么要做数据治理?
当前涉及数据治理涉及数字化转型政策频出,在《十四五年规划和2035远景目标》最高级别的文件中,国家明确提出加快发展数字化,建设数字中国。在国家数字化指导背景下,企业也逐步迈开了数字化步伐。
目前在数字化建设中政府和企业内部在数字化转型进程中经常面临以下问题:
数据多样化,缺少统一标准,统一取数口径;
数据质量低下,统计分析不准确;
数据孤岛情况严重,数据无法溯源,出了问题找不到原因;
缺乏数据管理组织,缺乏相应的制度、流程,数据问题没有认责和追责;
数据在哪里,有多少,哪些是高价值数据;
数据安全和用户隐私得不到保障,数据风险隐患大;
03 数据治理能解决哪些问题?
04 数据治理的主要价值?
面对来源丰富、特征多元的数据,数据汇聚管理正逐渐成为企业信息化建设和管理的重要内容和要求,数据治理是实现数字化运营的重要基石,数据治理能够
促进开放共享:
数据治理能够消除数据的不一致性,建立规范的数据应用标准,实现数据广泛共享。
提升数据质量:
增效降本运营通过数据治理,能够及时发现,解决及监控数据问题,从根本上改善和解决系统的数据问题,保障数据的可用性、数据质量等。
提升风控水平:严密的数据安全机制,降低数据风险。
促进管理创新:增强业务流程和资源配置的优化,提供业务管理能力。
优化流程管控:
大多数据治理的各模块都是独立地执行其功能,通过数据治理可以将数据管理各环节大通,实现完整的数据管控流程。
05 数据治理体系框架如何搭建?
数据治理整体框架围绕“115N”进行开展。即以1套平台为支撑,构建5大治理体系,承载N个业务场景,实现1个目标。
06 数据治理体系框架具体说明?
战略层:
建立以业务价值驱动的数据治理体系,以数据的可见、可用、可运营为目标;
坚持基于规则的质量管控,基于成本的价值运营,基于场景的数据生产三大原则。
战果层:
以业务场景价值为驱动,智慧审计、数字孪生、精准营销等等,紧密围绕数据治理过程进行建设;大规划、小试点,数据治理体系逐步建立;
战术层
构建数据治理的五大治理,管控体系、标准体系、质量体系、安全体系、资产体系。
战法层(工具层)
搭建数据平台,按照总体规划,分步拉通全域数据;
支撑数据治理体系的落地,确保数据治理成果的可持续。
07 五大治理体系介绍
对于战术层的5大体系进行初步认识后,下面我就每个体系进行详细拆解:
1、管控体系
1)管控体系·组织保障
2)管控体系·制度制定
3)管控体系·流程保障
4)标准体系·数据标准
5)标准体系·数据标准
在学习标准体系建设流程后,我们继续分析建设过程中它是如何运作的;
2、质量体系·数据质量
数据质量是指数据满足应用的可信程度,质量管控的目的是保证数据的应用效果。
数据质量管理可以聚焦于影响“财报”和“业务运营”的关键数据,对准数据质量六性进行评估,如主数据、核心事务数据等。
数据质量梳理过程:发起数据质量需求——结合被评估的数据集和数据质量评估指标——产生针对评估对象、评估指标、权重、期望值等数据质量评估规则——通过数据质量任务进行校验落地,产生数据质量评估结果——形成质量处理的闭环。
3、安全体系·数据安全
数据分类分级是数据安全管理的基础。数据的收集、存储、处理、共享等一系列活动都应在数据分类分级的基础上进行,安全管控的目的是保障数据的充分共享。
从业务线出发,结合数据资产进行业务的细分,主要考虑管理范围和管理对象,形成数据分类结果,基于数据分类结果做级别的判定,采取对应的数据防护措施,包含数据脱敏和数据权限两个方面的措施,最终落实数据分类分级结果及数据管控方案,监控执行情况。
数据分类分级结果需与数据存储、权限、脱敏、开发等措施挂钩,才能确保安全体系的落地;
数据的安全级别并不是一成不变的,在数据流转、传递、使用过程中,可能会因业务需求、数据处理、数据生命周期的不同而不同。如:进行了数据汇聚,数据泄露所造成的危害必然会增大,此时数据安全等级应该上升,而数据进行脱敏后使用、传输和存储,其安全等级则相应下降。
4、资产体系·数据资产
构建资产体系过程就如做菜的过程,资产体系的过程,即是对原料进行加工,形成可以对外提供服务的产品的过程。
数据好比做菜的原材料,不同的搭配加工形成了数据资产,通过不同的业务场景驱动,形成不同的对外的资产服务,不同业务线去使用不同的数据。
构建资产体系的目的是为了让数据好找、好用。构建数据资产体系的过程是从业务数据化、数据资产化、资产服务化到服务业务化的过程;
通过数据的汇聚、整合、治理、编目并对外提供服务,是目前实践出的一条最有效的资产化的路径。
5、数据体系·数据分布
数据技术能力驱动(与具体应用场景无关)划分了数据域,通过数据业务能力驱动(与具体应用场景相关),形成不同对象的数据资产,应用到业务中去。
资产类目:资产目录是以元数据管理为基础,以数据搜索为核心,面向数据的最终消费用户,针对数据“找得到”“读得懂”需求而设计的。
标签类目:标签是面向业务的数据资产组织方式,其在数据资产中处于核心位置,是目前实践出的一种最有效数据资产化方法。
数据服务:以API的形式,构建敏捷交付的服务能力,满足数据服务需求;数据服务是基于用户需求产生的,而业务需求是动态变化的,为保证消费者总能拿到“最好的”数据服务,所以数据服务也是有生命周期的,如根据运营度量策略而做出的下架。
管控平台:保障治理成果的可持续。
08 数据中台工具平台建设优势:
数据中台建设与数据治理息息相关,相互促进与补充。只有构建和落地了完整的数据治理体系与机制,才能保障数据中台有效、快速解决数据类问题。
同样数据中台的建设与应用,也会促进企业关注数据价值,注重积累高质量的数据,并通过数据应用驱动数据治理体系的健壮与完善。
而拥有一套数据中台建设的工具平台,能有以下好处:
可以快速的构建企业级数据模型,指引业务系统建设;
可以将数据治理融入到数据中台开发团队中;
可以构建闭环的数据问题反馈机制,持续监控数据问题;
▌数据治理建设思路
01 数据治理实施建议
通过轻咨询+项目实施+软件平台,实现数据治理的落地。
02 数据治理咨询方法
通过四步走,现状调研、分析评估、顶层设计、路径规划。总结八个字“博观远虑,顺势谋局”。
03 数据治理实施步骤
▌数澜数据治理的特点及优势
1、数澜具备咨询和落地的能力,一切以落地为导向
数澜科技聚焦行业客户的数据治理和数据资产建设的属性,依托“数据中台方法论”和众多行业实践,为客户提供融合数据、业务、应用和技术架构的建议和咨询,助力企业数据治理和数据资产建设。已形成5项管理规范、5项管理办法,7项工作指引以及完善的实施规划路线。
2、数澜数据治理产品的整体优势
拥有贯穿数据治理过程从事前、事中、事后等各个环境的产品落地。
3、数澜数据治理特点
1)丰富的客户案例:为数百家客户提供数据中台服务,客户满意度极高,多个客户与数澜有二期甚至多期合作(万科、方太、温州检察院、中信集团、时尚集团等);
2)无缝对接各类大数据平台:无论是数澜科技自身的大数据平台,还是第三方大数据平台,数澜科技的数据治理都可以无缝对接,保持对已有大数据平台的最小影响。
3)本地化实施和运维:数澜科技提倡为客户提供本地化的实施和运维服务,更快响应,更好服务。公司在全国五个城市设有分公司,保持对客户的敏捷响应。
讲解到这里,相信大家对数据治理已经有了深入的了解。最后一段话送给大家,共勉。
“我们很容易忘记自己仍身处数字化转型漫长征程的早期阶段。这种变革的推动力量非常明确:数据呈指数级增长,国家将数据提升为生产要素,数据中台走向规模化。
疫情加速了部分场景的数字化进程,但是,许多最为困难、最为复杂的业务场景仍有待我们去完成。如何从视频、声频、图像和文本等海量的数据,来自政府、社会、产业链等数据源里的数据,交换汇集在一起,构建数据资产体系,开发数据应用,向各行业提供管理、决策、预测等权威数据信息还有待完成。
只有让数据用起来,才能激发构建出生生不息的强有力竞争优势。数据科技与社会新纪元已经开启,让我们携手推进数据理念、认知与方法论的迭代升级。”