云原生大数据计算服务 MaxCompute全域的相关内容

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——1. 背景信息

四、离线同步至 MaxCompute 实践概述：DataWorks 数据集成是阿里云数据上云的核心枢纽，提供了功能丰富强大的一站式离线&实时数据同步能力，满足数据入仓入湖的需求。本文将以 MySQL 离线同步写入离线数仓 MaxCompute 场景为例，为您介绍数据集成离线同步最佳实践。 ...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——2. 使用限制

2. 使用限制为保证同步资源能够独占稳定使用，对于生产级别同步任务建议使用数据集成独享资源组。

阿里云大数据工程师ACA认证（2023版）

21 课时 |

807 人已学 |

加入学习

基于MaxCompute的热门话题分析

8 课时 |

329 人已学 |

加入学习

独家揭秘当下大数据体系

4 课时 |

331 人已学 |

加入学习

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——3. 准备工作：添加数据源

3. 准备工作：添加数据源1) 新建 MySQL 数据源新建 MySQL 数据源，支持阿里云实例模式和连接串模式。 l 阿里云实例模式：适用于阿里云 RDS For MySQL。 l 连接串模式：适用于自建、公网或本地 IDC 机房 MySQL。本文以阿里云 RDS For MySQL 为例，新建...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——4. 配置任务

4. 配置任务1) 创建同步任务l 新建业务流程：进入 DataWorks DataStudio（数据开发）页面，选中已存在业务流程或新建业务流程。 l 创建离线同步节点：选中离线任务所属的业务流程，单击右键，新建“离线同步”节点。l 设置数据来源：设置数据源类型、数据源名称、待同步源...

《全链路数据治理-全域数据集成》——四、离线同步至 MaxCompute 实践——5. 提交执行任务

5. 提交执行任务1) 提交任务任务配置已经完成，此时可以依次点击保存和提交按钮将同步任务发不到生产环境运行。 2) 版本管理点击右侧版本按钮可以进行版本查看、对比、回滚等操作。 3) 任务运维进入 DataWorks 运维中心(工作流)->周期任务运维->周期任务页面可以找到刚才提交发...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——1. 背景信息

六、分库分表至 MaxCompute 实践1. 背景信息1) 业务诉求MySQL 分库分表的场景下，上游的表和库非常多，都需要同时写入一张MaxCompute 表，如果要同时配置多个任务则会导致配置非常复杂且运维困难。针对上诉痛点，阿里云 DataWorks 数据集成分库分表同步解决方案提供了面向...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——2. 使用限制

2. 使用限制1) 同步资源组：分库分表同步至 MaxCompute 需要使用 DataWorks 独享数据集成资源组2) 表数量上限：l 单数据源，源库支持的数量上限为 50。l 单数据源，源表支持的数量上限为 5000。l 单同步任务逻辑表数量上限为 3000。3) 跨时区同步限制：同步解决方案...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——3. 准备工作：添加数据源

3. 准备工作：添加数据源1) 新建 MySQL 数据源新建 MySQL 数据源，支持阿里云实例模式和连接串模式。 l 阿里云实例模式：适用于阿里云 RDS For MySQL。l 连接串模式：适用于自建、公网或本地 IDC 机房 MySQL。本文以阿里云 RDS for MySQL 为例，新建数据...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置（上）

4. 任务配置 1) 创建同步任务在 DataWorks 管控台进入数据集成主站，点击同步任务，新建任务。选择分库分表实时同步至 MaxCompute 解决方案。 2) 配置同步网络连接在数据来源中选择多个数据源，作为分库分表解决方案的数据来源，点击各个数据来源可以收缩、展开。其中多个数据源必须保...

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置（中）

《全链路数据治理-全域数据集成》——六、分库表至 MaxCompute 实践——4.任务配置（上）： https://developer.aliyun.com/article/12229396) 手动配置逻辑表在“自动生成逻辑表”与期望的匹配结果不符时，可以编辑逻辑表匹配规则，也可以通过“添加逻辑表...