配置AnalyticDB for MySQL 3.0输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致...
配置AnalyticDB for PostgreSQL输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致...
配置ClickHouse输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致...
基础使用
向表中插入数据。INSERT INTO newData VALUES 0,1,2,3,4,5,6,7,8,9;使用newData作为Source Merge进delta_table表，如果匹配到相同 id 的记录，id 加100，没有匹配直接插入；MERGE INTO delta_table AS target USING newData AS source ON ...
配置AnalyticDB for PostgreSQL输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致...
配置AnalyticDB for MySQL 3.0输入组件
如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式，连续多个表的格式如 table[A-Z]、table_[01-05]；不连续多个表使用半角分号;间隔。重要 选中的多个表必须 具有相同结构的表，否则会导致...
访问宽表引擎数据
返回内容如下：+-+|CREATE TABLE default.test(|`id` INT,`name` STRING)|+-+向Lindorm宽表引擎中的表插入数据。INSERT INTO test VALUES(0,'Jay');查询Lindorm宽表引擎中的表数据。SELECT*FROM test;更多SQL语法请参见 DML。
逻辑库
背景信息 分库分表场景下，业务数据按照路由算法分散到多个物理库的若干张表中，通常存在以下问题：对数据进行查询、分析比较困难，通常需要遍历查询所有的表才能找到想要的数据。在分库分表中，增加、减少一个字段的工作量很大。DMS提供的...
企业版产品系列
多主集群（库表）在一个集群中通过多个主节点来实现从一写多读架构到多写多读架构的升级。集群中所有的数据文件都存放在共享存储（PolarStore）中，各个主节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据...
添加数据集
说明 如果 选择数据源类型 下拉列表内没有任何数据源类型可选，您可以单击下拉列表右侧的 添加数据源，进入数据源面板后添加所需类型的数据源。添加适配数据内容的方法请参见 添加适配数据源。本地上传：选择 本地上传 创建方式，可选择...
实时同步能力说明
支持一次性配置一个实例下多个库的多个表，一个任务中最多支持3000个目标表。说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块...
资源角色
表Owner 默认继承数据库Owner，每个表最多可以有三个表Owner。DBA角色、管理员角色用户或原表Owner可对表Owner角色进行编辑调整（转交、释放、新增）。可通过流程主动申请。可对表的权限进行管理，如授予、回收表授权。可直接查询名下表中...
调试实时任务
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
添加 MySQL 数据源的白名单
该白名单 IP 地址为 数据传输>添加数据源 对话框中显示的 OceanBase 数据传输服务器的 IP 地址。重要 多个 IP 地址使用英文逗号（,）分隔，且逗号前后不允许有空格。单个实例最多添加 1000 个 IP 地址或 IP 段。如果 IP 地址较多，建议将...
MySQL整库实时同步至OSS数据湖
如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件。如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤...
回收站列表
在 回收站列表 页面，选择多个表后单击页面下方的 清除。在 批量清除 对话框中，单击 批量清除。当 状态 列下均显示 成功，则多个表清除成功。恢复表 您可以通过恢复表的方式，将误删除的表或期望恢复的数据表，恢复到原存储位置。在 回收...
回收站列表
在 回收站列表 页面，选择多个表后单击页面下方的 清除。在 批量清除 对话框中，单击 批量清除。当 状态 列下均显示 成功，则多个表清除成功。恢复表 您可以通过恢复表的方式，将误删除的表或期望恢复的数据表，恢复到原存储位置。在 回收...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
自定义RDBMS数据库及同步数据
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件。如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤...
使用SQL管理外部项目
向表中插入数据。向非分区表插入数据。进入关联的MaxCompute项目（非外部项目）。use doc_test_prod;向非分区表中插入数据。insert into table ext_mcdlf_ddl.ddl_test values(1,"ddl_test_1");向分区表中插入数据。进入关联的MaxCompute...
名词解释
在时序表中，主键必须由一个时间戳列和一个或多个标签列组成。重要 在宽表引擎中使用主键列时，需要注意以下限制：单个主键列的最大长度为2 KB。所有主键列的长度之和不能超过30 KB。单个非主键列的最大长度不能超过2 MB。TTL 〇 〇 TTL...
开启多表归并
该功能支持将源库中结构相同的多个表进行整合，一键合并到目标库的单个数据表之中，实现更高效、便捷的数据迁移和整合操作。前提条件 已创建目标库为 云原生数据仓库AnalyticDB MySQL版 3.0、云原生数据仓库AnalyticDB PostgreSQL版 或表格...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
例如，单条SQL语句中添加多个列的DDL操作或者单条SQL语句中同时包含DDL和DML的操作，都可能导致数据丢失。不支持Online DDL操作。数据库账号的权限要求 数据库 结构迁移 全量迁移 增量迁移 RDS SQL Server 实例 读写权限 读写权限 所有者...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
管理数据库资产
在进行数据库审计前，您必须在数据库审计系统中添加要审计的数据库。本文介绍了在数据库审计系统中添加、编辑、删除数据库的具体操作。背景信息 关于数据库审计服务支持审计的数据库类型，请参见 支持的数据库类型。重要 数据库审计仅支持...
手动添加数据源
您可以通过 数据库备份DBS 的手动添加数据源功能，将不同环境的数据库添加至 数据库备份DBS 中，便于后续对数据源进行管理与备份。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才会产生费用。如何开启备份，请参见 ...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
从ECS上的自建SQL Server同步至云原生数据仓库...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
从ECS上的自建SQL Server同步至云原生数据仓库...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
PolarDB-X 1.0迁移至云原生数据仓库 AnalyticDB ...
主键列 可以是选择多个列组成联合主键，且需要从 主键列 中选择1个或者多个列作为 分布键。更多信息，请参见 数据表管理 和 表分布定义。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
主键列 可以是选择多个列组成联合主键，且需要从 主键列 中选择1个或者多个列作为 分布键。更多信息，请参见 数据表管理 和 表分布定义。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB ...
主键列 可以是选择多个列组成联合主键，且需要从 主键列 中选择1个或者多个列作为 分布键。更多信息，请参见 数据表管理 和 表分布定义。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步...
基本概念
数据源 用户可以在项目中添加数据表，这些数据表可以从已经连接的数据库中选择添加。表类型 项目中支持多种表格类型，每种表格的显示图标都不相同，包括但不限于矢量、栅格、矢量快显 和非空间表。图层 经过对数据源进行分析后，可以生成多...
多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
将自建ClickHouse向企业版迁移
ClickHouse 企业版，以及 云数据库 ClickHouse 企业版 集群之间迁移操作的示意图如下：从自建ClickHouse向企业版迁移 说明 在 云数据库 ClickHouse 企业版 中，无论您的源表是否存在分片或副本，您只需创建对应的目标表即可（在该表中，您...
批量创建质量规则
异常数据归档表：可以将异常数据存储到表中，后续可以直接读表进行数据分析或数据下载。自定义存储的大小和生命周期可以由您进行统一管理，有更高的灵活性，一个规则单次最多归档10000条。说明 在归档表中针对本次校验的异常数据进行下载，...
批量创建质量规则
异常数据归档表：可以将异常数据存储到表中，后续可以直接读表进行数据分析或数据下载。自定义存储的大小和生命周期可以由您进行统一管理，有更高的灵活性，一个规则单次最多归档10000条。说明 在归档表中针对本次校验的异常数据进行下载，...
- 产品推荐
- 这些文档可能帮助您