产品架构
数栖平台
第三方大数据开发套件
数栖EMR
计算引擎
Hive
Spark
Flink
Phoenix
ClickHouse
Tensorflow
Notebook
YARN
Presto
Hudi
Iceberg
Hbase
数据存储
HDFS
Ozone
Kudu
数据集成
Flume
Datax
Sqoop
Kafka
Debezium
基础设施
私有服务器、云服务器(阿里云、腾讯云、华为云、AWS等)
认证权限
LDAP
Ranger
Kerberos
集群管理
集群部署
服务管理
监控告警
资源管理
配置管理
主机管理
租户管理
产品优势
易于使用
可以快速安装并启动集群及智能化集群配置调优,让数据工程师更专注于业务开发
开源生态
提供稳定的Hadoop、Hive、Spark、Flink、Hbase、Iceberg等大数据组件,可根据场景搭配安装
安全可靠
拥有企业级的多租户权限管理能力,支持Kerberos身份认证和按表/按列控制访问权限
高效运维
提供可视化集群管理平台,实时监控集群服务状态,使得运维工作变得更简单高效
国产适配
支持飞腾和鲲鹏等Arm架构的平台,以及银河麒麟、中标麒麟、Openeuler、UOS等操作系统
集群迁移
支持开源Hadoop、CDH、HDP等集群的数据平滑迁移到数栖EMR,可做到"代码0修改,业务0中断"
核心功能
数据集成
提供数据接入到集群的能力,包括Flume、Datax、Sqoop、Kafka、Debezium等,支持各种数据源导入数据到大数据集群中。
数据存储
支持结构化和非结构化数据在集群中的存储,例如分布式文件系统HDFS、对象存储Ozone。
数据计算
提供多种主流计算引擎,例如Hive、Spark、Flink、Phoenix、Kylin、Presto,还提供深度学习框架Tensorflow、Jupyter Notebook,并且支持自定义扩展其他服务。
认证权限
提供完善的认证机制和数据权限功能,已支持LDAP、Kerberos和Ranger。
集群管理
提供统一的运维管理平台,支持在不中断业务条件下进行扩缩容,并提供监控、告警、配置等一站式运维能力。
数据管理
提供统一的HDFS、Hive、Kafka、Hbase等元数据管理平台,还增强HDFS文件配额管理。
应用场景
-
流式数据处理
-
基于数据湖构建数据平台
客户案例
浙江省交通投资集团
背景说明
集团内部缺少大数据存储计算平台以及大数据开发套件,也缺乏专业大数据平台运维人员。数澜科技提供数栖平台+数栖EMR整套解决方案,解决大数据的存储、计算、开发、服务、资产管理等问题,能一体化帮助客户搭建大数据实验室进行数据中台的建设和业务探索,让工程师更专注于业务开发。
价值说明
交通投资集团大数据技术团队与数澜技术团队共同成立交通大数据联合实验室,作为后续对整个交投集团大数据平台培训、人员赋能及行业应用科研验证的主体。
长沙水业集团
背景说明
企业内部数据孤岛现象严重,共有多个服务商的多个业务系统;数据质量差,系统间的业务边界和字段取值未加限制,导致部分字段空值和异常值;缺乏建设数据中台的体系化工具。
价值说明
建成大数据应用分析平台,进行“运营报表与智能报表”、“营销客服”以及“生产运营”三个应用场景的深度挖掘和分析应用。
面向企业各个业务板块的整体运行的关键信息实施大屏应用展示和管理驾驶舱,便于企业领导层进行运营管理决策。
重庆普健医药
背景说明
企业经过多年信息化积累,有了一定的信息化基础,随着企业提出基于数字化驱动经营决策的战略要求,对数据的处理、分析和应用提出了较高的要求,但数据集成及运营分析成本很高,难以支撑当前业务的持续发展。同时缺乏统一化的数据支撑平台,数据加工、处理、服务能力差强人意,影响数据赋能于业务。
价值说明
通过数据中台汇聚业务数据,梳理并构建客户经营分析的指标体系,改变原有人工收集、人工处理的方式,提升了企业经营分析的效率。
同时通过数据分析为业务决策提供数据支撑,改变原有基于人员经验进行决策的方式。
产品动态
从这里开始 让数据用起来