新闻动态> 姚秀清:数据中台工程化体系建设指南

姚秀清:数据中台工程化体系建设指南

数澜科技2023-04-04 数澜科技数澜科技 数澜科技数据中台

数据中台交付能力概述

一、数据中台参考服务框架

基于我们在项目中对数据中台交付服务的总结和沉淀,提出了基于如图的数据中台交付服务参考框架。

  • 一个目标:以“客户成功”作为数据中台交付服务的最终愿景
  • 两个驱动:聚焦业务价值和客户体验,驱动交付服务不断优化和创新
  • 三个体系:实现数据中台技术服务的工程体系化、评估体系化和赋能体系化
  • 四个能力:通过对交付方法、交付流程、交付工具以及组织架构的迭代优化和沉淀,筑牢数据中台交付的基础能力
  • 五个平台:在一系列项目中沉淀出来的五个平台,帮助客户快速搭建数据中台基础技术体系,降低数据中台交付服务的门槛

数澜科技

图:数据中台交付服务参考框架

二、数据中台交付服务目标
数据中台交付服务应该始终把“客户成功”作为交付服务的目标。其核心是时刻为客户创造价值,满足客户的需求。“客户成功”是以客户需求为导向,在交付过程中要引导客户的潜在需求,同时还要不断地挖掘客户新需求来创新,加速客户的数字化转型。

三、数据中台交付服务驱动因素

通过业务价值和客户体验两个核心要素的驱动,持续驱动交付服务的优化和创新。

1. 业务价值驱动
树立价值驱动服务导向,通过设定价值目标,进行事实结果对比,从中洞察分析并总结规律,然后持续监控,发现问题并改进机会点,完成闭环价值管理。
2. 客户体验驱动
对交付服务客户进行精细化管理,对准业务场景,加强线上/线下用户连接,快速闭环,提升用户体验。
四、数据中台交付服务体系
交付服务体系建设参考了《大数据服务能力成熟度模型第三部分:数据工程》(由中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)组织行业专家共同编制的团体标准,以下简称“成熟度模型”)
该模型覆盖大数据服务能力的全生命周期,包括需求管理、资源评估、实施保障、方案设计、方案实施、成果交付和数据运维等七大能力域,二十八个能力项。
1. 数据工程体系
交付服务过程中,数据工程体系的建设主要围绕着需求管理、资源评估、实施保障、方案设计、方案实施、成果交付和数据运维等方面。
2. 绩效评估体系
对客户工程体系的成熟度进行评估,成熟度分为五个等级:
  • 初始级:建立初步的数据工程流程,可被动地根据需求及问题作出反应,能够完成数据工程建设目标,但是有一定的偶然性。
  • 可重复级:具备一定的数据工程项目实施经验,形成数据工程的组织内通用流程,通过一定的流通和经验保障目标达成的成功率。
  • 定义级:将较为丰富的数据工程经验形成知识库,制定专门的数据工程实施流程,有基本的技术支撑流程的开展,有基本的制度支撑流程的执行,保障目标达成的成功率不依赖于有经验的专家人员。
  • 量化管理级:完善已有数据工程的流程制度,建立交付物质量和服务管理体系的评估指标,有适用的技术支撑流程的开展,保障数据工程的执行、监控和量化分析。
  • 优化级:结合环境的变化,主动优化已有流程制度,提升人员专业水平,不断引入新的技术和理念,超预期达成目标。
依据“成熟度模型”中七大能力域(需求管理、资源评估、实施保障、方案设计、方案实施、成果交付、数据运维),二十八个能力项,数澜设计出交付绩效评估指标体系,量化交付成果,在交付服务的每个关键节点,通过复盘总结,制定提升方案,切实帮助客户提高数据工程的能力。
数澜科技
图:绩效评估维度
3. 知识赋能体系
赋能体系包括知识转移和培训体系的建设。
五、数据中台交付服务能力
交付能力的建设主要集中在交付方法、交付流程、交付工具、组织架构能力的建设。
1. 交付方法
  交付服务的原则:
要求交付团队知道在做任何一件事都必须知道此原则,即做什么、怎么做、何时做以及谁来做。
  交付服务的过程:
1)基于客户成功与项目管控的底线执行:识别关键用户诉求以及兑现关键用户需求,重视客户满意度,避免出现重大事故。同时交付团队根据实际情况,结合共享知识库案例以及方法论,达到工作效率与项目质量的平衡。
2)满足关键角色诉求为导向:在项目规划环节明确关键用户并识别关键用户痛点与需求,根据关键用户痛点设计业务方案及上线落地,并基于客户成功的上线保障并持续服务。
3)加强前后台和用户的协同:项目规划阶段协同解决方案专家和研发介入,用户需求确认前置,严格执行系统集成测试与用户验收测试,验收环节以测试结果作为输入资料。
2. 交付流程
包括启动、需求管理、资源评估、实施保障、方案设计、方案实施、成果交付和数据运维等八个阶段。
  交付流程阶段的介绍:
  • 启动阶段:确定团队成员、建立项目组织、指定项目经理、明确职责和分工、制订项目进度、成本基线,签署项目目标责任书。
  • 需求管理阶段:收集和分析客户的业务现状、信息化现状,并完成业务调研、数据调研和系统调研。
  • 资源评估阶段:完成项目交付阶段所需的基础设施资源、人力资源和实物资源的评估。
  • 实施保障阶段:完成工作任务的划分、项目风险的识别以及客户侧的领导支撑。
  • 方案设计阶段:汇报方案设计阶段工作成果、流程改进点、定制化开发需求,并确定方案作为项目交付的标准。
  • 方案实施阶段:根据方案来完成数据开发相关工作。
  • 成果交付阶段:完成过程的交付件,客户评审并验收。
  • 数据运维阶段:完成项目交付后,解决客户在项目中碰到的实际问题。
  交付流程的规范沉淀了二十八个交付活动的四十一个交付规范。
数澜科技
图:交付规范
 交付流程的交付物:沉淀了二十八个交付活动的六十九份标准交付件。
数澜科技

图:标准交付物

3.  交付工具
在方案实施阶段,交付服务主要聚焦在数据生命周期各阶段。包括数据治理、数据集成、数据开发、数据服务、数据测试、发布上线和数据运维。主要使用了数栖平台的离线模块、实时模块、算法模块、算法服务和数据资产管理等平台工具来完成交付过程。
4.  组织架构

在实际项目中,中台交付组织架构主要分为决策层,管理层和执行层。

决策:项目指导委员会(PMO),对与项目相关的治理过程进行标准化,并促进资源、方法论、工具和技术的共享。

管理:由客户用户组、项目经理(PM)、业务专家(BA)和解决方案技术专家(SA)组成。完成交付服务过程中客户需求的讨论,并转化为业务需求和技术需求,并针对具体的业务场景输出能落地的业务和技术解决方案。

执行:由技术经理(TM),产品经理(PD),数据开发组,后端开发组,前端开发组和测试组组成。落地业务和技术解决方案,并保证交付过程中的质量。

在项目交付过程中,由铁三角负责整体的项目交付质量和效率,铁三角是指:项目经理(PM),技术经理(TM)和产品经理(PD)

六、数据中台交付服务平台
数澜在一系列项目中沉淀出一站式开发平台数栖平台、分布式大数据存储与计算系统EMR,数据可视化创作工具澜图、知识图谱、数据智能系列产品。
交付服务项目案例
一、概述
随着物联网、云计算和大数据等智能信息技术的迅猛发展,信息化发展正酝酿着重大变革和新的突破,国内某水业集团包含智慧生产、智慧管网、智慧客服以及智慧管控在内的智慧水务发展迎来了高峰期,因此拥有了大量的核心业务数据。
通过技术手段搭建大数据平台,可完善现有的公司运营管理指标体系,并依据其将各核心业务数据进行自动化、智能化提纯加工、汇聚整合,实现数据资产化,打造水业集团特有的数字空间和业务空间,进一步挖掘数据的潜在核心价值,为运营及管理人员对片区及水司的生产、安全、经营、客服、绩效等管理提供决策支持,并为其它业务场景和系统统一提供标准化数据服务支撑。
二、交付内容
数据是水业集团的核心资产。基于集团生产、运营、管理等各个环节的数据分析是帮助水业集团实现科学管理、正确决策的基础。而将集团基础数据转换为更有价值的信息和知识,则是集团提高核心竞争力的重要策略。
本期项目的目标是搭建大数据平台,进行数据盘点、治理及标准化,并围绕“运营部报表”和“营销客服”以及“生产运营”三个方向开展业务数据分析和挖掘。
三、交付流程
该项目的总体设计和价值目标是提升数据质量,促进数据共享,挖掘数据价值,为集团三大应用平台(智慧管控平台、智慧运营平台、智慧服务平台)提供基础能力支撑。
项目交付内容核心聚焦在四个方面:
1. 大数据中心平台搭建
包含基础数据平台、数据转换平台、数据资产管理平台、大数据应用分析平台、数据存储及仓库、报表中心(含报表大屏展现)等系统建设:打破数据孤岛,实现全域数据整合。
2. 数据盘点和数据存储
盘点全域数据资源,并汇聚存储到大数据平台。
3. 数据治理(数据规范和数据标准化)
通过制定系统数据采集规范和实施,完成源系统数据采集、清洗和数据标准化工作,完成数据资源的资产化。同时编写《水业集团数据标准》,建立水业数据资产管理体系、数据标准管理体系(含数据标准目录与清单)。
4.  大数据分析和应用
初步建成大数据应用分析平台。进行“报表中心”、“客户画像”、“可视化大屏”三个业务应用场景数据分析。
项目启动后,快速构建起由客户、数澜和外部专家组成的项目交付团队,明确权责、分工界面和合作方式,结合工作需求、说明书及标准流程动作,形成如图的项目交付的里程碑节点。
数澜科技
图:项目里程碑节点
在铁三角(项目经理PM、技术经理TM和产品经理PD)的统筹下,基于项目交付里程碑节点要求、完成项目执行计划及项目管理章程等交付物,高质量高效率推进项目交付。
在该项目中,各角色负责项目如下:
  • 业务专家(BA)负责项目的业务需求及业务架构设计
  • 解决方案技术专家(SA)负责项目的方案设计
  • 项目经理(PM)负责对项目可交付性进行评审以及对项目启动规划及最终项目验收
  • 技术经理(TM)对数据和技术架构及其落地方案负责
  • 产品经理(PD)对数据应用及数据产品设计负责
  • 开发组(数据、前端和后端)对方案的落地负责
  • 测试组对项目的质量负责,运维组负责数据运维工作
各角色在铁三角(PM、TM和PD)的统筹下进行协作,共同对该项目交付的质量和效率负责。如图是按照经典的RACI矩阵对项目中各角色的权责做了一个列举:
数澜科技
图:交付流程与权责矩阵
在明确了交付角色的权责后,也讨论了甲乙方的工作边界,如图所示:
数澜科技
图:甲乙方工作界面
同时为提升客户的数据工程能力,在该项目中我们还建立了完整的知识专业和赋能体系,如图所示:
数澜科技
图:知识转移
四、业务价值
项目主要达成以下五个方面的业务价值:
  • 开展数据盘点,帮助集团了解数据资源现状,对存量数据进行系统化梳理,与数据标准匹配,推动数据资源转化为数据资产的过程;
  • 实现集团数据资源的统一管理,提升公司数据管理效率和效果,降低数据管理成本;
  • 承载集团业务数据的沉淀和贯通,实现核心数据的共享共用,为集团业务协同提供数据基础,满足跨业务的数据整合应用;
  • 实现集团内部数据管理的统一规范,解决因数据标准不统一导致的数据质量低等问题,实现基于数据驱动的决策分析,保障分析结果的准确性;
  • 实现集团数据资源的有效利用,为集团各级管理人员提供数据展示、数据分析等技术手段,及时全面掌握公司动态,了解业务间的关联。

数澜科技

图:业务价值呈现

结束语

现阶段,随着数据中台在各个业务场景中落地,产品技术和实施方案也日渐成熟,需求端对于数据中台的理解和信任逐渐增加,看法也趋于冷静。

交付实践过程中,企业自身资源配置能力、管理经验、组织变革等成为高质量建设数据中台的关键要素,中台服务商和生态伙伴除在行业认知层、工具产品层、解决方案层投入精力外,更应注重提升规模化和标准化交付能力,不断将其沉淀为行业通用能力。

 作者简介:姚秀清 

高级技术专家、数据资产管理专家、DAMA数据治理工程师、项目管理专家

16余年行业数据经验,擅长为企业数字化转型提供专业的技术方案和实施服务,帮助企业高效地建立数据中台,提高企业数据资产的使用效率。

上一篇: 数澜科技荣获梦想小镇8周年“筑梦奖”

下一篇:中台问道|30+实战意见领袖观点集锦

返回列表

搜索

从这里开始 让数据用起来
联系我们