OnZoom基于Apache Hudi的流批一体架构实践
1. 背景 OnZoom是Zoom新产品，是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。 .....
Apache Hudi在信息服务行业构建流批一体的实践
个人介绍 李昂 高级数据研发工程师 Apache Doris & Hudi Contributor 业务背景 部门成立早期, 为了应对业务的快速增长, 数仓架构采用了最直接的Lambda架构 1. 对数据新鲜度要求不高的数据, 采用离线数仓做维度建模, 采用每小时调度binlog+每日主键归...
《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践
作者：金风 用户背景 小米科技有限责任公司成立于2010年3月3日，是一家专注于智能硬件和电子产品研发的全球化移动互联网企业，同时也是一家专注于智能手机、互联网电视及智能家居生态链建设的创新型科技企业。 小米公司创造了用互联网模式开发手机操作系统、发烧友参与开发改进的模式。 业务...
《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践（2）
《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践（1） https://developer.aliyun.com/article/12284723、作业调度 小米在作业调度方面也做了一些尝试。如上图左边这段 SQL，在离线调度模式...
《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践（3）
《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践（2） https://developer.aliyun.com/article/12284702. 实时数据集成 主要分为两个部分： 第一部分是实时数据的收集，小米内...
《Apache Flink 案例集（2022版）》——1.数据集成——小米-Flink 流批一体在小米的实践（3）
2. 实时数据集成 主要分为两个部分： 第一部分是实时数据的收集，小米内部主要分为两大类， 分别是日志数据和 DB 的 Binlog 数据。这里主要介绍 DB 系统的 Binlog 数据收集。最初小米使用自研的 LCS Binlog 服务来进行统一的 Binlog 收集，类似...
尘锋信息基于 Apache Paimon 的流批一体湖仓实践
尘锋信息基于 Apache Paimon 构建流批一体湖仓，主要分享：整库入湖，TB 级数据近实时入湖基于 Flink + Paimon 的数仓 批 ETL 建设基于 Flink + Paimon 的数仓 流 ETL 建设数仓 OLAP 与数据地图点击进入 Apache Paimon 官网一、尘锋信...
OnZoom 基于Apache Hudi的流批一体架构实践
1. 背景OnZoom是Zoom新产品，是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZ...
触宝科技基于Apache Hudi的流批一体架构实践
1. 前言当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过Binlog Query的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储。2. 模型特征架构的演进2.1 第一代架构广告业务发展初期，为了提升策...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
Apache实践相关内容
- 离线Apache实践
- Apache场景实践
- 查询内核Apache实践
- 实践Apache
- Apache hudi构建实践
- Apache构建实践
- Apache hudi实践
- Apache生产实践
- Apache构建数据湖实践
- 快手Apache实践
- 字节跳动Apache实践
- Apache平台实践
- Apache湖仓实践
- Apache hudi湖仓一体实践
- Apache湖仓一体实践
- selectdb Apache实践
- 实践Apache平台
- Apache olap实践
- Apache实践应用
- Apache数据分析实践
- Apache flink sql实践
- Apache汽车实践
- Apache实践优化
- Apache数字化转型实践
- Apache实践学习笔记