Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
1. 测试过程环境版本说明 Flink1.13.1 Scala2.11 CDH6.2.0 Hadoop3.0.0 Hive2.1.1 Hudi0.10(master) PrestoDB0.256 Mysql5.7 2. 集群服务器基础环境 2.1 Maven和JDK环境版本 ...
使用 Apache Flink 和 Apache Hudi 创建低延迟数据湖管道
近年来出现了从单体架构向微服务架构的转变。微服务架构使应用程序更容易扩展和更快地开发，支持创新并加快新功能上线时间。但是这种方法会导致数据存在于不同的孤岛中，这使得执行分析变得困难。为了获得更深入和更丰富的见解，企业应该将来自不同孤岛的所有数据集中到一个地方。AWS 提供复制工具，例如 AWS Da...
飞书深诺基于Flink+Hudi+Hologres的实时数据湖建设实践
01 背景介绍 飞书深诺集团致力于在出海数字营销领域提供全链路服务产品，满足不同企业的全球化营销需求。在广告效果监控和游戏运营业务场景中，为了及时响应广告投放成效与消耗方面的问题和快速监测运营动作效果，实时或准实时数据处理提供了至关重要的技术支撑。 通过对各个业务线实时需求的调研了解到，当前实时数据...
[帮助文档] Paimon连接器_实时计算 Flink版(Flink)
流式数据湖仓Paimon连接器推荐配合Paimon Catalog使用，本文为您介绍如何使用流式数据湖仓Paimon连接器。
有人搞过hudi on flink么？hudi做数据湖，flink做计算
有人搞过hudi on flink么？hudi做数据湖，flink做计算
SmartNews 基于 Flink 的 Iceberg 实时数据湖实践
摘要：本文整理自 SmartNews 数据平台架构师 Apache Iceberg Contributor 戢清雨，在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为五个部分： SmartNews 数据湖介绍 基于 Icebergv1 格式的数据湖实践 基于 F...
大数据技术解析：Hadoop、Spark、Flink和数据湖的对比
随着数字化时代的到来，数据已经成为企业和组织的重要资产之一。为了更好地处理、分析和挖掘海量数据，大数据技术逐渐崭露头角。在本文中，我们将深入探讨大数据处理领域中的一些关键技术，包括 Hadoop、Spark、Flink 和数据湖，分析它们的优势、劣势以及适用场景。 Hadoop Hadoop 是一个...
谁能指点一下 Flink CDC数据湖与传统数仓的区别与联系呢？
问题1:谁能指点一下 Flink CDC数据湖与传统数仓的区别与联系呢？ 问题2:您说的部分功能 指的是存储吗？
[帮助文档] 如何实现Flink+DLF数据入湖与分析_数据湖构建(DLF)
数据湖构建（DLF）可以结合阿里云实时计算Flink版（Flink VVP），以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案具体步骤。
使用 Flink Hudi 构建流式数据湖平台
摘要：本文整理自阿里巴巴技术专家陈玉兆 (玉兆)、阿里巴巴开发工程师刘大龙 (风离) 在 Flink Forward Asia 2021 的分享。主要内容包括：Apache Hudi 101Flink Hudi IntegrationFlink Hudi Use CaseApache Hudi Ro...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
