数据管理DMS中重新加载库表结构的元数据说明
概述 本文主要介绍数据管理DMS中，为什么需要重新加载库表结构的元数据。详细信息 通过数据管理DMS登录某个数据库实例时，DMS会加载该实例当前的数据库、表等元数据的结构信息。例如，数据库的名称列表、表的名称列表、当前表的结构字段、...
新建Elastic Service在线类型的节点并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
新建Elastic Service在线类型的节点并运行
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
计算节点配置说明
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
查询结果不符合预期的常见原因
在使用Lindorm宽表引擎的过程中，如果使用方法不当，可能会出现查询结果与预期不符的情况。本文列举了导致此类问题产生的几种常见原因，请您根据原因进行排查，优化查询条件。问题描述 Lindorm宽表引擎是兼容HBase的NoSQL数据引擎，其存储...
计算节点配置说明
当输出数据结构为具体的模型结构且数据资源类型为MaxCompute、Hive、AnalyticDB PostgreSQL、PostgreSQL时，系统会自动生成节点的输出物理表，当需要修改时，可打开自定义开关以后修改。生产环境 物理表所在资源 生产环境中节点输出使用的...
逻辑表
生成逻辑表的规则 逻辑库中多张表结构相同且表名前缀相同的物理表，会被划分为一张逻辑表。说明 如果物理表的表结构在逻辑库里是唯一的，将不会生成逻辑表。生成的逻辑表名默认为物理表名前缀字符串。例如，物理表名分别为test_0、test_1、...
分析MaxCompute外部表数据
由于MaxCompute外部表的目录结构比较特殊，需要在建表时先指定 directory.odps 属性为 true，DLA才会按照MaxCompute外部表的目录结构来读取数据文件。关于如何创建外部表并写入测试数据，请参见 将数据输出到OSS。操作步骤 创建OSS Schema...
我是安全管理员
结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而保证环境...
影子表同步
背景信息 ODC 的影子表同步功能支持根据源表的表结构自动在当前库中创建影子表（表名是在源表名上增加前缀或后缀的方式生成），适用于全链路压测等场景。本文档旨在介绍如何在 ODC 上新建和查看影子表同步。说明 ODC V4.0.0 及之后版本的...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
若使用列映射时为非全表同步或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、HIERACHYID、SQL_VARIANT、SPATIAL GEOMETRY、SPATIAL GEOGRAPHY、TABLE的数据。费用...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
若使用列映射时为非全表同步或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、HIERACHYID、SQL_VARIANT、SPATIAL GEOMETRY、SPATIAL GEOGRAPHY、TABLE的数据。费用...
从RDS同步至MaxCompute
警告 在选择附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。映射名称更改 如需更改同步对象在目标实例中的名称，请...
PolarDB-X间的数据实时同步
准备工作 由于 PolarDB-X 间的数据同步不支持 结构初始化，所以您需要根据源 PolarDB-X 中待同步对象的数据结构，在目标 PolarDB-X 中创建相应的数据库和数据表，详情请参见 创建数据库 和 SQL基本操作。说明 结构初始化：将源库中待同步...
从RDS同步至MaxCompute
警告 在选择附加列规则前，您需要评估附加列和目标表中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。映射名称更改 如需更改同步对象在目标实例中的名称，请...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中。表结构不一致的情况...
从RDS同步到云原生数据仓库AnalyticDB MySQL
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中。表结构不一致的情况...
我是DBA
数据库开发 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而...
如何对JSON类型进行高效分析
设计关系型数据库表结构时一般尽量避免使用大宽表，因为过多的列往往加重IO和内存负担而影响性能，例如即使只需要少部分列数据时仍然要读取整个行而导致大量无效IO，一般会考虑通过拆分表或使用关联表等方式来优化表结构。对于列存来说大宽...
我是管理员
数据库开发 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而...
从ECS上的自建SQL Server同步至云原生数据仓库...
若使用列映射时为非全表同步或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。为保障数据同步的正常运行，请勿对源库频繁执行备份，同时建议日志保留3天以上，避免日志截断后无法获取日志。为保证数据同步延迟显示的准确...
从ECS上的自建SQL Server同步至云原生数据仓库...
若使用列映射时为非全表同步或者源与目标表结构不一致，则目标端比源端缺少的列的数据将会丢失。为保障数据同步的正常运行，请勿对源库频繁执行备份，同时建议日志保留3天以上，避免日志截断后无法获取日志。为保证数据同步延迟显示的准确...
我是普通用户
库表结构 结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作,此时可以使用DMS的结构设计功能。库表同步 库表同步功能可以在多套不同环境之间（如测试环境、生产环境）进行表结构的对比，从而...
PolarDB-X 1.0迁移至PolarDB-X 2.0
类型 说明 源库限制 待迁移的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构迁移，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单...
22.8版本新特性概览
其他特性 22.8版本除了以上的重要的特性发布之外，还带来一些其他特性，例如：Projection：源表数据的一致性增强。同时基于“空间换效率”的逻辑，创建基于不同排序索引维度的物理表，数十倍地提高了非排序键数据的查询效率。用户自定义...
创建Hologres外部表
该结构将用于创建最终的Hologres外部表，会自动读取MaxCompute源表数据，不可编辑。说明 基于MaxCompute创建Hologres外部表时存在字段类型映射，外部表字段类型必须与MaxCompute源表字段类型一一对应。MaxCompute与Hologres的数据类型映射...
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中。表结构不一致的情况...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中。表结构不一致的情况...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：DTS将在每个表中增加_dts_data_source 列来存储数据来源。选择为 否：默认选项。说明 多表归并功能基于任务级别，即不支持基于表...
数据归档概述
同时，该功能还支持删除源表数据、表空间整理等，降低在线存储成本。使用场景示例 在电子商务平台中，每天会产生大量的订单数据，这些订单数据随着时间的推移，其访问需求逐渐减少。为了提高数据库的性能和减少存储空间的占用，可以使用DMS...
数据归档概述
同时，该功能还支持删除源表数据、表空间整理等，降低在线存储成本。使用场景示例 在电子商务平台中，每天会产生大量的订单数据，这些订单数据随着时间的推移，其访问需求逐渐减少。为了提高数据库的性能和减少存储空间的占用，可以使用DMS...
从RDS MySQL同步至Tablestore
表结构不一致的情况下，可能会导致无法初始化数据、只能同步部分列的数据或同步失败。多表归并 选择为 是：通常在OLTP场景中，为提高业务表响应速度，通常会做分库分表处理。此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
创建同步ADS
即 REPLACE INTO 写入 同步示例 创建ADS实例和表结构在ADS管控台中创建ADS实例和数据表 建立DataHub Topic在DataHub中建立Topic，示例中为TUPLE类型topic，schema如下图所示：3 建立同步任务这里写入模式选择IGNORE，导入所有字段 4 向...
PolarDB-X 1.0同步至DataHub
警告 在选择附加列规则前，您需要评估附加列和目标Topic中已有的列是否会出现名称冲突，否则可能会导致任务失败或数据丢失。关于附加列的规则和定义说明，请参见 附加列名称和定义说明。目标库对象名称大小写策略 您可以配置目标实例中同步...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中。表结构不一致的情况...
配置ClickHouse输入组件
前提条件 在开始执行操作前，请确认您已完成ClickHouse数据源及数据表的创建：创建数据源的操作，请参见 创建ClickHouse数据源。阿里云数据库ClickHouse创建数据表的操作，请参见 创建表；非阿里云数据库ClickHouse创建数据表的操作，请...
管理问题数据
问题数据表分区结构：分区级别 分区字段名 描述 一级分区 dqc_task_run_dt 当前问题数据的采集时间，即数据质量规则运行时间（格式为yyyymmdd）。二级分区 dqc_task_id 当前问题数据采集对应的DQC规则实例ID。说明 DQC规则执行将产生DQC...
不同库名间的数据同步或迁移
您可以通过该功能将数据同步或迁移到目标库中指定的数据库、数据表或字段（列），或在目标库实例中创建一个与任务对象结构相同但名称不同的对象。适用场景 场景 说明 在目标库实例中创建一个新对象并接收任务数据。迁移任务：迁移类型 需...
- 产品推荐
- 这些文档可能帮助您