RDS PostgreSQL同步至PolarDB PostgreSQL版
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
账号权限详情
手动调用 VACUUM 相关命令，支持清理任何表。说明 Vacuum是用于回收已删除行所占用的磁盘空间，并更新统计信息的过程。更多信息，请参见 VACUUM。SQL示例 执行 VACUUM 操作，清理当前数据库中的所有表。在执行 VACUUM 命令时，会使用默认的...
CREATE DATABASE
超过有效期的数据会被自动清理。默认值为0，设置为0或不设置该参数时表示数据永久保存。说明 如果同时设置了 ttl 和 cold_boundary，ttl 的设置时长必须大于 cold_boundary 的时间。示例 创建数据库 CREATE DATABASE DB1;结果验证 您可以...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象...自建Redis数据库：使用redis-full-check做校验，检验的过程中执行SCAN 等命令触发过期数据清理动作。
使用DTS创建数据订阅
配置 说明 需要订阅的数据类型 需要订阅的数据类型 默认已勾选，且不支持修改。数据更新 订阅已选择对象的增量数据更新，包含数据的INSERT、DELETE和UPDATE操作。结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅...
创建RDS PostgreSQL数据订阅任务
配置 说明 需要订阅的数据类型 需要订阅的数据类型 默认已勾选，且不支持修改。数据更新 订阅已选择对象的增量数据更新，包含数据的INSERT、DELETE和UPDATE操作。结构更新 订阅整个实例所有对象的结构创建、删除及修改，您需要使用数据订阅...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据归档至RDS MySQL
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
垃圾回收机制
PolarDB PostgreSQL版（兼容Oracle）通过多版本来实现MVCC机制，当执行UPDATE和DELETE操作时会产生一个新的数据行版本，老的数据行版本会变成无效版本，这些无效版本数据会占用数据块的空间，需要及时进行清理，否则会导致数据的膨胀。...
数据归档至PolarDB MySQL版
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
数据归档至AnalyticDB PostgreSQL版
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
GetDataCorrectOrderDetail-获取数据变更工单详细信息
FAST_MODE CronExtConfig object 当且仅当 DetailType 为 CRON_CLEAR_DATA，即为历史数据清理工单时，此处提供历史数据清理额外配置信息。OptimizeTableAfterEveryClearTimes integer 是否启用自动 Optimize table，取值：0：不启用。大于 ...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
数据归档至AnalyticDB MySQL 3.0
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。运行...
数据归档至DBS内置OSS
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。
我是安全管理员
数据库开发 数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。结构设计 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表等结构的变更操作，此时可以使用DMS的结构设计功能。库表...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
数据归档至Lindorm
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。若您...
数据归档至Lindorm
清理源表数据：通过新建普通数据变更工单清理数据库中已归档的数据。新建普通数据变更工单，请参见 普通数据变更。源表空间优化：通过新建无锁变更工单完成源表空间优化。新建无锁变更工单，请参见 通过无锁变更工单实现无锁结构变更。若您...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
迁移时源库为MongoDB的注意事项及限制
由于该迁移任务不支持增量数据迁移，为保障数据一致性，全量数据迁移期间请勿在源MongoDB数据库中写入新的数据。暂不支持迁移包含TTL（Time To Live）索引的集合。若待迁移的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
功能特性
无锁结构变更概览 开启无锁结构变更 通过无锁变更工单实现无锁结构变更 数据变更 普通数据变更 支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句，可以对数据库中的数据进行变更操作，用于数据初始化、历史数据清理、问题修复...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB ...将SelectDB数据库中的数据表或自定义的SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
Purge Large File Asynchronously
当执行DROP TABLE时，对应的数据文件会被重命名为临时文件，然后通过文件清理线程异步、平缓地清理。使用方法 使用如下命令查看实例全局变量设置：SHOW GLOBAL VARIABLES LIKE '%data_file_purge%';返回结果如下：+-+-+|Variable_name|...
用户价值
数据运营更高效：遵循应用先行、以用带存、由存而通、因通促用的理念，实现城市数据运营，驱动客户业务创新。用户角色 功能 能力 详述 数据生产方 数据开发 设计数据模型 开发数据加工逻辑 设计标准、稳定的数据模型：通过数据标准和数据...
API概览
ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...
我是DBA
数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等...
适配组件数据
背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。...
云数据库MongoDB版日志清理策略
本文主要介绍云数据库MongoDB版日志清理的策略。使用说明 注意 当oplog日志占用磁盘空间过高时（上限比例默认是10%），会触发自动清理策略。如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果...
创建元数据
后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源，基于这三种数据源创建服务单元时无法直接...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
新建 Oracle 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移或数据同步项目仅支持选择指定 Schema Name 下的迁移或同步...
新建 MySQL 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅支持选择指定 Database Name 下的迁移对象。备注 数据源的...
数据扫描和识别
数据扫描会影响我的数据库性能吗？DSC支持扫描的数据源有哪些？数据源授权完成后需要多长时间完成扫描？DSC对于非结构化数据源（OSS）的扫描机制是怎样的？是否支持对已扫描过的OSS文件重新扫描？DSC对结构化数据（例如MaxCompute）的扫描...
- 产品推荐
- 这些文档可能帮助您