T+1多库合并建仓
上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成了多张表，由于没有类似TDDL中间件来屏蔽物理表的拆分，进行数据分析时变得十分复杂。解决方案 T+1多库合并建仓是指通过DLA控制...
配置MySQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置MySQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
配置TiDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置TiDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置KingbaseES输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
配置Impala输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置OpenGauss输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置KingbaseES输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置GoldenDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置GBase 8a输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置StarRocks输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置StarRocks输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置GBase 8a输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置OpenGauss输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补集。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 ...
配置PostgreSQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行以下操作，添加表：...
配置Impala输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置PostgreSQL输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
配置GoldenDB输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集、并集和补。表 选择来源表：如果 来源表量 选择了 单表，则直接选择输入的表。如果 来源表量 选择...
配置DM（达梦）输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 ...
配置DM（达梦）输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则单击 ...
配置Microsoft SQL Server输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择来源表：如果 来源表量 选择了 单表，则...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。对于表级别的数据同步，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致...
配置Microsoft SQL Server输入组件
多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择来源表：如果 来源表量 选择了 单表，则单击 图标，选择输入的 表。如果 来源表 选择了 多表，则执行以下操作，添加表：...
入湖基础操作
关系数据库全量入湖：可以实现RDS MySQL或PolarDB数据库表数据全量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据全量同步到OSS中，如果待同步表中数据量大，则所消耗的资源也会比较大，建议在业务...
应用场景
步骤如下：实时摄入：屏蔽了底层数据源的细节，支持异构数据源数据联合分析，同时支持实时和离线数据的联合分析。查询加速：采用了就近计算策略，例如表达式下推和聚合下推，以及分部署读取/数据源针对性优化策略。支持向量化解释ORC、...
配置逻辑表数据延迟
开启数据延迟后，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据,该功能将消耗更多的计算资源,可能造成产出延迟。延迟数据处理只能自动重跑所设置的周期内的事实逻辑表，下游无法自动重跑。单击 确定。后续步骤 完成逻辑表数据...
配置逻辑表数据延迟
开启数据延迟后，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据,该功能将消耗更多的计算资源,可能造成产出延迟。延迟数据处理只能自动重跑所设置的周期内的事实逻辑表，下游无法自动重跑。单击 确定。后续步骤 完成逻辑表数据...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
创建多物理表服务单元
后续您可以基于该多物理表服务单元开发可以同时访问多物理表数据的API，以实现联合数据查询。本文为您介绍如何创建多物理表服务单元。前提条件 已完成服务单元分组的创建。具体操作，请参见 创建服务项目分组。当数据源类型为Hbase 0.9.4/1...
实现开发生产等多套环境隔离
使用DataWorks进行大数据开发时，支持对开发、测试、生产等环境进行隔离，当您联合使用了其他阿里云产品时，也可根据环境隔离诉求进行对应业务的环境设置与隔离，本文以DataWorks联合EMR、OSS等产品为例，为您介绍如何实现开发生产等多套...
功能发布记录（2023年）
所有DataWorks用户 MySQL数据源 2023-04 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据分析结果直接保存为MaxCompute表 数据分析结果无需通过代码创建表，可以直接保存为MaxCompute表，进行后续查询或联合分析。2023.4.20 ...
产品架构
其基于数据自动分区+分区多副本+LSM的架构思想，具备全局二级索引、多维检索、动态列、TTL等查询处理能力，支持单表百万亿行规模、高并发、毫秒级响应、跨机房强一致容灾，高效满足业务大规模数据的在线存储与查询需求。面向海量半结构化、...
二级索引
在已有数据的表中添加新的索引时，CREATE_INDEX 命令会同时将主表的历史数据同步到索引表中，如果主表很大时，CREATE_INDEX 会非常耗时间（数据同步任务是在服务端执行的，即使删除Lindorm Shell进程也不会影响数据同步任务）。查看二级...
应用场景
该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB、Oracle、SQL Server等），大数据（Flink、Hadoop、EMR、MaxCompute）、OSS、日志数据（Kafka、SLS等）以及本地数据导入。支持一键建仓 通过简单几步配置...
- 产品推荐
- 这些文档可能帮助您