如何异步删除大表
背景信息 PolarDB-X 底层存储节点默认使用InnoDB引擎时，直接删除大表后会触发数据文件的删除，导致POSIX文件系统出现严重的稳定性问题，因此InnoDB会启动一个后台线程来异步清理数据文件。当删除单个表空间时，会将对应的数据文件先重命名...
表数据管理
ODC 中用颜色标识您对表中数据的操作，新增的数据用绿色标识，删除的数据用红色标识，修改后的数据用橙色标识。编辑态下，导航栏提供了以下操作键功能编辑表中的数据：功能 说明 添加行 单击该功能键将在表中指定位置插入一个空行。双击...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
产品功能
数据清理 您可以在控制台上根据度量（Metric）进行数据清理，或者通过 API 进行更灵活的数据清理。高效压缩存储 TSDB 使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的...
历史数据清理
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
OSS-HDFS数据源
{"column":[{"name":"userName","type":"string"},{"name":"age","type":"long"}]} 是（如果fileFormat为parquet，此项无需填写）无 writeMode OSS-HDFS Writer写入前数据清理处理模式：append：写入前不做任何处理，数据集成OSS-HDFS ...
PolarDB PostgreSQL版间的同步
数据传输服务DTS（Data Transmission Service）支持 PolarDB PostgreSQL版 间的同步。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB PostgreSQL版 实例...
GetDataCronClearTaskDetailList-获取历史数据清理工...
获取历史数据清理工单任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
PolarDB PostgreSQL版同步至云原生数据仓库AnalyticDB...
数据传输服务DTS（Data Transmission Service）支持将 PolarDB PostgreSQL版 同步至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 已创建目标 AnalyticDB PostgreSQL版 实例，如未创建请参见 创建实例。已将源 PolarDB PostgreSQL版 ...
EMR Kafka磁盘写满运维
kafka-topics.sh-bootstrap-server core-1-1:9092-topic test-topic-describe 数据清理方式恢复 方案描述 数据清理是指当磁盘被写满时，将业务日志数据（非Kafka内部Topic数据）按照从旧到新的方式删除，直到释放出足够的空间。适用场景 写...
ANALYZE
在默认的配置中，自动清理守护进程会在表第一次载入数据或者用常规操作改变时负责表的自动分析。当启用自动清理时，定期运行 ANALYZE 是个好主意，或者可以在表内容做了大的修改后运行 ANALYZE。准确的统计信息将帮助规划器选择最合适的...
2023-12-08
数据服务上线新加坡地域 中国站和国际站的企业版实例数据服务上线新加坡地域，支持多数据源接入、...自定义存储表支持数据清理 自定义存储表支持数据清理，事务表支持按全表或主键清理，分区表支持按分区或主键清理，时序表支持按全表清理。
CreateDataCronClearOrder-创建历史数据清理工单
创建历史数据清理工单。接口说明 目前仅支持安全协同管控模式的 MySQL 实例调用该接口。关于该功能的更多说明，请参见 历史数据清理。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
数据方案概览
历史数据清理 支持历史数据清理，可以根据设定的规则定期清理历史数据。可编程对象 支持存储过程、触发器、函数、视图等对象的变更提交与执行。数据导入 支持大批量数据快速导入至数据库。数据导出 SQL结果集导出 支持数据的SQL结果集导出...
同步Redis后出现数据不一致
本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务（DTS）同步Redis后，出现了源端和目标端数据不一致的现象...自建Redis数据库：使用redis-full-check做校验，检验的过程中执行SCAN 等命令触发过期数据清理动作。
PluginType参数说明
结构设计 NDDL 结构同步 TABLE_SYNC 普通数据变更 DC_COMMON 无锁变更 DC_CHUNK 历史数据清理 DC_CRON_CLEAR 可编程对象 DC_PROC 批量数据导入 DC_BIG_FILE 数据导出 DATA_EXPORT 数据库导出 DB_EXPORT SQL审核 SQLReview 数据库克隆 ...
数据库迁移
可选：一致性校验完成后，单击 下一步数据清理，进行源数据清理。完成：数据库迁移工单完成。立即清理：立即执行会实时删除已迁移的表，请谨慎操作。延时清理：在 延时清理 对话框中，指定延时清理时间间隔，可输入时间间隔为1~30天。在...
调度设计文档
Null ods_raw_log_d 日 320170261 ods_log_info_d 原始数据脏数据清理 ods_raw_log_d ods_log_info_d320170259 日 320170262 dw_user_info_all_d 轻度汇总数据 ods_log_info_d dw_user_info_all_d 日 320170263 rpt_user_info_d 统计汇总...
GetDataCorrectOrderDetail-获取数据变更工单详细信息
FAST_MODE CronExtConfig object 当且仅当 DetailType 为 CRON_CLEAR_DATA，即为历史数据清理工单时，此处提供历史数据清理额外配置信息。OptimizeTableAfterEveryClearTimes integer 是否启用自动 Optimize table，取值：0：不启用。大于 ...
常见问题
建议您通过以下方式加速数据的清理过程，待数据清理完成之后重新添加同名列。假设执行了删除列操作的表名为 dt：执行FLUSH操作，强制将内存中残留的数据刷到存储媒介上 ALTER TABLE dt FLUSH;执行COMPACTION操作，执行数据的合并和删除 ...
功能特性
普通数据变更 无锁数据变更 可以将单个SQL拆分成多个批次执行，能更好地满足业务方变更大量表数据且不锁表的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。无锁数据变更概览 无锁变更 ...
我是普通用户
数据方案 数据变更 对数据进行变更，以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于...
新建数据元
用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工...
新建数据元
用“教育水平”这个数据元来统一描述人的受教育程度或者文化水平等类似的概念。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。说明 若您已在 资产加工 ...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。...具体操作，请参见 普通数据变更、无锁数据变更、历史数据清理、数据导入、可编程对象。
API概览
GetDataCronClearTaskDetailList 获取历史数据清理工单任务详情 获取历史数据清理工单任务详情。GetDataCorrectRollbackFile 获取数据变更工单提交的回滚附件下载地址 调用GetDataCorrectRollbackFile接口，获取数据变更工单提交的回滚附件...
GetDataCronClearConfig-查询历史数据清理工单的定时...
查询历史数据清理工单的定时配置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 ...
发现并处理大Key和热Key
使用阿里云的Tair服务避开失效数据的清理工作 若HASH Key过多，存在大量的成员失效需要被清理的问题，又由于大量Key与大量失效数据叠加，无法通过定时任务对无效数据进行及时地清理，您可以通过阿里云Tair服务高效地解决此类问题。...
发现并处理Redis的大Key和热Key
使用阿里云的Tair服务（Redis企业版）避开失效数据的清理工作 若HASH Key过多，存在大量的成员失效需要被清理的问题，又由于大量Key与大量失效数据叠加，无法通过定时任务对无效数据进行及时地清理，您可以通过阿里云Tair服务高效地解决...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含...相关文档 数据清理
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
Delta Lake概述
如果需要删除或更新数据，则需要把原始数据清理掉，然后把更新后的数据写入存储。而Delta支持数据的删除或更新。数据实时同步，CDC（Change Data Capture）：使用Delta merge功能，启动流作业，实时将上游的数据通过merge更新到Delta Lake...
概述
事实上，鉴于数据库研究在数据发现、数据管理、版本控制、数据清理和数据集成方面积累的专业知识，PolarDB for AI 可以为数据驱动的智能应用提供一站式的数据（包括：数据、特征和模型）服务来解决这种割裂状态，大大减少数据驱动的智能...
表回收站
Recycle Bin原理介绍 回收和清理机制 回收机制 当执行 DROP TABLE 语句来删除数据表，或执行 DROP DATABASE 语句来删除数据库时，PolarDB 只会保留相关的表对象，并将表对象移动到专门的Recycle Bin目录中。其它对象的删除策略如下：与表...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理系统，具有广泛的应用和强大的社区支持。每个...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
管控模式
结构变更 结构设计 N N Y 结构同步 Y Y Y 影子表同步 Y Y Y DDL无锁变更 N Y Y 数据变更 普通数据变更 N Y Y DML无锁变更 N Y Y 历史数据清理 N Y Y 可编程对象 Y Y Y 数据导入 Y Y Y 变更前风险识别 N Y Y 变更后风险管控 N Y Y 数据库...
- 产品推荐
- 这些文档可能帮助您