数澜科技亮相Apache CommunityOverCode Asia 2023，共赴开源技术盛宴！

2023-08-23

数澜科技

数字化转型,数据中台

2023年8月18日-20日，由Apache软件基金会举办的官方全球系列大会 CommunityOverCode Asia（原 ApacheCon Asia）首次中国线下峰会于北京顺利举行。数澜科技联合创始人、研发中心副总经理白松出席本次大会流处理专题分论坛，并发表了《FlinkSQL的字段血缘及数据权限解决方案》的主题演讲。

流处理专题分论坛嘉宾合照右二为数澜科技联合创始人、研发中心副总经理白松

CommunityOverCode Asia是 Apache 软件基金会（ASF）的官方全球系列大会，作为久负盛名的开源盛宴，是开源界最具期待的大会之一。本次CommunityOverCode Asia首次从线上走到北京线下，设有 15 个专题，与来自全球各地的参与者共同探讨数据存储与计算、数据湖与数据仓库、流处理等技术的前沿趋势和应用到其生产环境中的实际经验，分享Apache项目生态的最新发展和流计算技术未来的发展方向。

在流处理专题分享中，数澜科技联合创始人、研发中心副总经理白松详细介绍了FlinkSQL的字段血缘和数据权限相关解决方案，为企业打造Flink实时数仓领域的 Atlas+Ranger提供实践分享。

白松认为，数据血缘和数据安全是搭建企业级数据仓库不可或缺的能力。近年来随着各行各业对大数据实时化的需求越来越强烈，以Flink为代表的实时数仓快速兴起，但由于发展时间相对较短，离线数仓领域基于Apache Ranger 和 Apache Atlas 相对成熟的数据血缘和安全解决方案尚未支持 Flink SQL，且依赖 Ranger 和 Atlas 会导致系统部署和运维过重。因此，如何在对 Flink 和 Calcite 源码零侵入的前提下实现 FlinkSQL 的字段血缘及数据权限管理，就显得尤为重要。

数澜科技联合创始人、研发中心副总经理白松大会分享现场

随着时代发展，企业业务数据呈几何式飞速增长，传统离线数仓已经不足以满足业务诉求，企业开始着手构建实时数仓。在实时数仓建设过程中，保证处理过程与结果的一致性的“流批一体”技术理念被业界广泛认可，并在多个业务场景中成功验证和落地。

数澜科技旗下数据中台构建套件数栖平台，提供一站式流批一体计算平台，通过集群管理、元数据管理、数据开发、运维发布、可视化监控告警等核心功能模块，帮助企业快速搭建实时数仓平台。目前，数栖平台采用Flink+Iceberg的技术方案，表的元数据统一存储在HiveMeta中，数据文件统一存储在HDFS上，并通过全托管的方式让用户不用关心底层存储计算集群的架构原理，只需要聚焦于自身的业务逻辑，降低数据开发门槛，使数据开发过程更便捷高效。

当前，流式数据处理是大数据领域的趋势，越来越多的公司，无论大小，都在重新思考技术架构时把实时性作为第一考量，并开始用强大的开源引擎如Apache Flink, Apache Spark, Apache Kafka, Apache Pulsar等构建自己的实时计算平台。未来，数澜科技将在流批一体实时数仓建设路径上不断探索，以数据智能技术与产业融合创新为导向，期望能够减少企业大数据建设中的痛点，更好地赋能业务增长。

个人简介——白松

杭州数澜科技有限公司联合创始人、研发中心副总经理。9年大数据平台研发经验，专注于大数据、实时计算、数据权限等领域的研究，负责公司核心产品数栖平台和数栖EMR的研发工作。

返回列表

数澜科技亮相Apache CommunityOverCode Asia 2023，共赴开源技术盛宴！

数据中台

数字化转型

生态合作

数据资产

数栖大会

白皮书

云栖大会

数字化