产品架构

数栖平台

第三方大数据开发套件

数栖EMR

计算引擎

Hive

Spark

Flink

Phoenix

ClickHouse

Tensorflow

Notebook

YARN

Presto

Hudi

Iceberg

Hbase

数据存储

HDFS

Ozone

Kudu

数据集成

Flume

Datax

Sqoop

Kafka

Debezium

基础设施
私有服务器、云服务器(阿里云、腾讯云、华为云、AWS等)
认证权限
LDAP
Ranger
Kerberos

集群管理

集群部署

服务管理

监控告警

资源管理

配置管理

主机管理

租户管理

产品优势

数据中台

易于使用

可以快速安装并启动集群及智能化集群配置调优,让数据工程师更专注于业务开发
数据中台

开源生态

提供稳定的Hadoop、Hive、Spark、Flink、Hbase、Iceberg等大数据组件,可根据场景搭配安装
数据中台

安全可靠

拥有企业级的多租户权限管理能力,支持Kerberos身份认证和按表/按列控制访问权限
数据中台

高效运维

提供可视化集群管理平台,实时监控集群服务状态,使得运维工作变得更简单高效
数据中台

国产适配

支持飞腾和鲲鹏等Arm架构的平台,以及银河麒麟、中标麒麟、Openeuler、UOS等操作系统
数据中台

集群迁移

支持开源Hadoop、CDH、HDP等集群的数据平滑迁移到数栖EMR,可做到"代码0修改,业务0中断"
核心功能
数据中台

数据集成

提供数据接入到集群的能力,包括Flume、Datax、Sqoop、Kafka、Debezium等,支持各种数据源导入数据到大数据集群中。
数据中台

数据存储

支持结构化和非结构化数据在集群中的存储,例如分布式文件系统HDFS、对象存储Ozone。
数据中台

数据计算

提供多种主流计算引擎,例如Hive、Spark、Flink、Phoenix、Kylin、Presto,还提供深度学习框架Tensorflow、Jupyter Notebook,并且支持自定义扩展其他服务。
数据中台

认证权限

提供完善的认证机制和数据权限功能,已支持LDAP、Kerberos和Ranger。
数据中台

集群管理

提供统一的运维管理平台,支持在不中断业务条件下进行扩缩容,并提供监控、告警、配置等一站式运维能力。
数据中台

数据管理

提供统一的HDFS、Hive、Kafka、Hbase等元数据管理平台,还增强HDFS文件配额管理。

应用场景

  • 流式数据处理
  • 基于数据湖构建数据平台
数据中台

流式数据处理

当前大数据应用日益增多,比如个性化推荐系统。但在实践之初受技术所限,可能要一分钟,一小时,甚至更久对用户进行推荐,这远远不能满足需求,我们需要更快的完成对数据的处理。

联系我们
解决方案
数据中台
企业服务器通过Kafka或者Flume等中间件将流数据提交到数栖EMR集群进行流式计算。
数据中台
取得数据分析结果,再将结果数据存储到Hbase、MongoDB等存储层,供业务层的PC。
关联产品
数据中台

基于数据湖构建数据平台

随着企业数据规模快速膨胀,由于多种数据分析场景,如离线计算、实时计算、OLAP分析、机器学习等,传统的Lambda架构和Kappa架构都存在较多问题,例如Lambda架构需要维护两套代码、Kappa架构仍需要在多计算引擎间频繁的移动数据,难以保障数据的一致性,且成本较高。

联系我们
解决方案
数据中台
数栖EMR采用Iceberg+HDFS的数据湖方案,可以把数据库、消息、文档等数据快速入湖,然后基于此数据湖用Spark/Hive、Flink、Presto分别进行批处理、流处理和在线分析。
数据中台
实现存储层的流批统一、中间层支持OLAP分析以及高效回溯,极大降低存储成本。

客户案例

浙江省交通投资集团

数据中台
背景说明
集团内部缺少大数据存储计算平台以及大数据开发套件,也缺乏专业大数据平台运维人员。数澜科技提供数栖平台+数栖EMR整套解决方案,解决大数据的存储、计算、开发、服务、资产管理等问题,能一体化帮助客户搭建大数据实验室进行数据中台的建设和业务探索,让工程师更专注于业务开发。
数据中台
价值说明
交通投资集团大数据技术团队与数澜技术团队共同成立交通大数据联合实验室,作为后续对整个交投集团大数据平台培训、人员赋能及行业应用科研验证的主体。

长沙水业集团

数据中台
背景说明
企业内部数据孤岛现象严重,共有多个服务商的多个业务系统;数据质量差,系统间的业务边界和字段取值未加限制,导致部分字段空值和异常值;缺乏建设数据中台的体系化工具。
数据中台
价值说明
建成大数据应用分析平台,进行“运营报表与智能报表”、“营销客服”以及“生产运营”三个应用场景的深度挖掘和分析应用。
面向企业各个业务板块的整体运行的关键信息实施大屏应用展示和管理驾驶舱,便于企业领导层进行运营管理决策。

重庆普健医药

数据中台
背景说明
企业经过多年信息化积累,有了一定的信息化基础,随着企业提出基于数字化驱动经营决策的战略要求,对数据的处理、分析和应用提出了较高的要求,但数据集成及运营分析成本很高,难以支撑当前业务的持续发展。同时缺乏统一化的数据支撑平台,数据加工、处理、服务能力差强人意,影响数据赋能于业务。
数据中台
价值说明
通过数据中台汇聚业务数据,梳理并构建客户经营分析的指标体系,改变原有人工收集、人工处理的方式,提升了企业经营分析的效率。
同时通过数据分析为业务决策提供数据支撑,改变原有基于人员经验进行决策的方式。
产品动态
  • 2020年12月
    新增组件Apache Ozone、Tensorflow、Notebook
  • 打通数栖EMR和数栖平台的账号体系

    2021年1月
  • 2021年3月
    支持Arm架构芯片部署
  • 获得飞腾的兼容性认证证书

    2021年4月
  • 2021年5月
    获得华为鲲鹏的兼容性认证证书
  • 集成Apache Hudi和Apache Iceberg

    2021年6月
  • 2021年7月
    升级Flink、Kafka、Spark等组件
从这里开始 让数据用起来
联系我们