大模型
产品
解决方案
权益
定价
AI 应用市场
伙伴
服务
了解阿里云
查看 "" 全部搜索结果
AI 助理
文档
备案
控制台
数据湖构建 Data Lake Formation
产品概述
产品功能
选型与定价
入门与试用
技术解决方案
相关资源
文档
数据湖构建 Data Lake Formation控制台
技术解决方案
一套与计算引擎无关的统一数据湖表存储服务,开源开放平权支持计算、分析、AI等多种范式
立即购买
立即购买
数据湖构建 Data Lake Formation
一套与计算引擎无关的统一数据湖表存储服务,开源开放平权支持计算、分析、AI等多种范式
免费试用
数据湖构建 Data Lake Formation
流批一体 LakeHouse 架构实践
流批一体 LakeHouse 架构实践
方案介绍
企业面临数据孤岛、流批分离致运维复杂与口径不一。阿里云数据湖构建(DLF)提供统一元数据与存储管理,Paimon 实现湖上流批一体,通过 DLF + Paimon + 计算引擎集成,构建统一存储、口径一致、生态开放的云原生 Lakehouse,加速数据价值释放。
本方案基于 ECS 实例下载 GitHub Events 公开数据集,处理后写入 Kafka。通过实时计算 Flink 消费 Kafka 数据,流式写入 DLF 的 Paimon 表,形成实时 ODS 层。再使用 Flink 批处理对 ODS 层数据进行清洗、聚合与建模,构建离线 DWD 明细层。最后,利用 StarRocks 创建外部 Catalog 直连 DLF 中的 Paimon 表,实现对湖内数据的高效探查与分析,例如 GitHub 活跃项目、开发者及高星项目等场景的快速查询洞察。
部署时长:90 分钟
预估费用:20 元(假设您配置的所有云产品资源与方案中的示例规格或配置一致。实际费用可能会因资源规格、版本及配置的不同而有所变化,请以控制台显示的费用为准。)
适用客户:
需要统一管理多源异构数据的企业需要构建开放 Lakehouse 架构的企业需要流批一体处理与实时分析效能的企业
相关产品
数据湖构建
开源大数据平台 E-MapReduce
实时计算 Flink版
云消息队列 Kafka 版
云服务器 ECS