数据清理

本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 前置条件:OceanBase 数据源必须通过 OBproxy 连接(暂不支持对直连的 OceanBase 进行归档操作)。OceanBase 数据源目前仅支持...

产品功能

数据清理 您可以在控制台上根据度量(Metric)进行数据清理,或者通过 API 进行更灵活的数据清理。高效压缩存储 TSDB 使用高效的数据压缩技术,将单个数据点的平均使用存储空间降为1~2个字节,可以降低90%存储使用空间,同时加快数据写入的...

数据清理白名单

为应对可能发生的连续启动崩溃的情况,mPaaS 建立了数据清理的机制。当 mPaaS 框架启动完成前应用出现卡死或重要线程(例如主线程、multidex.init 线程、ApplicationAgent.init 线程等)发生闪退时,框架可能触发数据清理。该数据清理机制...

历史数据清理

当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时,您可以使用数据管理DMS提供的历史数据清理功能,定期清理历史数据,以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...

2023-12-08

数据服务上线新加坡地域 中国站和国际站的企业版实例数据服务上线新加坡地域,支持多数据源接入、...自定义存储表支持数据清理 自定义存储表支持数据清理,事务表支持按全表或主键清理,分区表支持按分区或主键清理,时序表支持按全表清理。

CreateDataCronClearOrder-创建历史数据清理工单

创建历史数据清理工单。接口说明 目前仅支持安全协同管控模式的 MySQL 实例调用该接口。关于该功能的更多说明,请参见 历史数据清理。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer...

数据方案概览

历史数据清理 支持历史数据清理,可以根据设定的规则定期清理历史数据。可编程对象 支持存储过程、触发器、函数、视图等对象的变更提交与执行。数据导入 支持大批量数据快速导入至数据库。数据导出 SQL结果集导出 支持数据的SQL结果集导出...

PluginType参数说明

结构设计 NDDL 结构同步 TABLE_SYNC 普通数据变更 DC_COMMON 无锁变更 DC_CHUNK 历史数据清理 DC_CRON_CLEAR 可编程对象 DC_PROC 批量数据导入 DC_BIG_FILE 数据导出 DATA_EXPORT 数据库导出 DB_EXPORT SQL审核 SQLReview 数据库克隆 ...

DML无锁变更概览

DML无锁数据变更可以将单个SQL拆分成多个批次执行,能更好地满足业务方对大量数据变更的需求,例如历史数据清理、全表更新字段等,保证执行效率,减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时,需要定期清除表...

升级告用户书

数据清理和数据归档功能:为了帮助您优化数据库的存储和管理,我们提供了数据清理和数据归档的功能,您可以根据数据的使用频率和重要性,将数据进行分离和清理,以提高数据库的性能和效率。产品交互优化:我们优化了SQL控制台的布局,以...

调度设计文档

Null ods_raw_log_d 日 320170261 ods_log_info_d 原始数据脏数据清理 ods_raw_log_d ods_log_info_d320170259 日 320170262 dw_user_info_all_d 轻度汇总数据 ods_log_info_d dw_user_info_all_d 日 320170263 rpt_user_info_d 统计汇总...

EMR Kafka磁盘写满运维

kafka-topics.sh-bootstrap-server core-1-1:9092-topic test-topic-describe 数据清理方式恢复 方案描述 数据清理是指当磁盘被写满时,将业务日志数据(非Kafka内部Topic数据)按照从旧到新的方式删除,直到释放出足够的空间。适用场景 写...

GetDataCronClearTaskDetailList-获取历史数据清理工...

获取历史数据清理工单任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action ...

释放引擎

在进行数据清理前,请确保您的重要数据已进行备份。使用限制 仅支持释放LTS服务和搜索引擎,其他引擎暂不支持释放。注意事项 释放引擎功能目前处于公测阶段,如需使用,请联系Lindorm技术支持(钉钉号:s0s3eg3)为您添加使用权限。引擎...

同步Redis后出现数据不一致

本文介绍判断或排查同步Redis出现数据不一致的方法。问题描述 使用数据传输服务(DTS)同步Redis后,出现了源端和目标端数据不一致的现象...自建Redis数据库:使用redis-full-check做校验,检验的过程中执行SCAN 等命令触发过期数据清理动作。

数据库管理

无论是冷数据归档还是数据到期清理工作,都是通过时序引擎的异步compaction任务执行的,因此,冷数据归档和TTL数据清理可能存在滞后的情况。对Database既设置了冷热分界线,又设置了TTL的情况下,已归档的冷数据的时间戳如果超过了TTL定义...

我是普通用户

数据方案 数据变更 对数据进行变更,以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于...

API概览

GetDataCronClearTaskDetailList 获取历史数据清理工单任务详情 获取历史数据清理工单任务详情。GetDataCorrectRollbackFile 获取数据变更工单提交的回滚附件下载地址 调用GetDataCorrectRollbackFile接口,获取数据变更工单提交的回滚附件...

GetDataCronClearConfig-查询历史数据清理工单的定时...

查询历史数据清理工单的定时配置。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 ...

数据库分组

若您需要在SQL变更或结构设计中快速载入多个数据库,可以创建一个数据库分组,将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。...具体操作,请参见 普通数据变更、无锁数据变更、历史数据清理、数据导入、可编程对象。

功能概览

DML无锁变更概览 历史数据清理 基于无锁数据变更的分批执行能力,历史数据清理可以定期清理历史数据,防止历史数据堆积对生产环境的稳定性产生影响。历史数据清理 可编程对象 支持变更存储程序,并且提供了规范化的管理流程来管控变更操作...

数据归档

背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中,以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含...相关文档 数据清理

我是安全管理员

数据库开发 数据变更 对数据进行变更,以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。结构设计 在新项目、新需求或者优化等业务场景中,一般会涉及到新建表、修改表等结构的变更操作,此时可以使用DMS的结构设计功能。库表...

功能特性

普通数据变更 无锁数据变更 可以将单个SQL拆分成多个批次执行,能更好地满足业务方变更大量表数据且不锁表的需求,例如历史数据清理、全表更新字段等,保证执行效率,减小对数据库性能、数据库空间等的影响。无锁数据变更概览 无锁变更 ...

Delta Lake概述

如果需要删除或更新数据,则需要把原始数据清理掉,然后把更新后的数据写入存储。而Delta支持数据的删除或更新。数据实时同步,CDC(Change Data Capture):使用Delta merge功能,启动流作业,实时将上游的数据通过merge更新到Delta Lake...

功能特性

DBS内置存储 备份数据清理 支持TTL过期系统自动删除备份数据、用户手动删除备份数据。DBS备份集生命周期 删除或减少RDS备份 PolarDB备份集生命周期 MongoDB备份集生命周期 Redis备份集生命周期 本地日志清理 删除数据库中本地存储的日志。...

我是DBA

数据变更 对数据进行变更,以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等...

我是管理员

数据变更 对数据进行变更,以满足上线数据初始化、历史数据清理、问题修复、测试等诉求。数据导入 通过数据导入功能可以批量将数据导入至数据库。数据导出 进行大量数据分析或提取相关数据时可以使用数据导出功能。数据追踪 由于误操作等...

生命周期管理

多元索引每天会自动清理已过期的数据,过期数据清理粒度为“天”,因此您仍然可以查询到某一时刻已过期但是还未及时清理数据,多元索引会在下一次清理过期数据时自动清理这些过期数据数据表和多元索引的TTL更新后,系统会在下一次...

PolarDB-X适用场景

同时 PolarDB-X 提供历史数据清理和归档能力,使庞大的数据存储成本得到有效控制。数据集中存储 场景描述 该场景也称“数据大集中”或“数据归集”,属于企业数据架构中的ODS层,具有承担各垂直业务数据源的数据汇总功能。高并发写入、大...

实例状态显示“锁定中”时如何解决?

清理后需要耐心等待一段时间(5分钟左右),RDS实例才会解锁。PostgreSQL 通过DMS连接实例,详情请参见 通过DMS登录RDS数据库。执行以下SQL语句,查看数据库的表大小,确认其中可以删除的历史数据或无用数据。SELECT table_schema|'.'|...

实例状态显示“锁定中”时如何解决?

清理后需要耐心等待一段时间(5分钟左右),RDS实例才会解锁。PostgreSQL 通过DMS连接实例,详情请参见 通过DMS登录RDS数据库。执行以下SQL语句,查看数据库的表大小,确认其中可以删除的历史数据或无用数据。SELECT table_schema|'.'|...

实例状态显示“锁定中”时如何解决?

清理后需要耐心等待一段时间(5分钟左右),RDS实例才会解锁。PostgreSQL 通过DMS连接实例,详情请参见 通过DMS登录RDS数据库。执行以下SQL语句,查看数据库的表大小,确认其中可以删除的历史数据或无用数据。SELECT table_schema|'.'|...

实例状态显示“锁定中”时如何解决?

清理后需要耐心等待一段时间(5分钟左右),RDS实例才会解锁。PostgreSQL 通过DMS连接实例,详情请参见 通过DMS登录RDS数据库。执行以下SQL语句,查看数据库的表大小,确认其中可以删除的历史数据或无用数据。SELECT table_schema|'.'|...

实例状态显示“锁定中”时如何解决?

清理后需要耐心等待一段时间(5分钟左右),RDS实例才会解锁。PostgreSQL 通过DMS连接实例,详情请参见 通过DMS登录RDS数据库。执行以下SQL语句,查看数据库的表大小,确认其中可以删除的历史数据或无用数据。SELECT table_schema|'.'|...

生命周期管理

多元索引每天会自动清理已过期的数据,过期数据清理粒度为“天”,因此您仍然可以查询到某一时刻已过期但是还未及时清理数据,多元索引会在下一次清理过期数据时自动清理这些过期数据数据表和多元索引的TTL更新后,系统会在下一次...

用户角色权限图谱

支持(基于权限)支持(基于权限)支持(基于权限)支持(基于权限)支持(基于权限)历史数据清理 支持(基于权限)支持(基于权限)支持(基于权限)支持(基于权限)支持(基于权限)数据导入 支持(基于权限)支持(基于权限)支持...

管控模式

结构变更 结构设计 N N Y 结构同步 Y Y Y 影子表同步 Y Y Y DDL无锁变更 N Y Y 数据变更 普通数据变更 N Y Y DML无锁变更 N Y Y 历史数据清理 N Y Y 可编程对象 Y Y Y 数据导入 Y Y Y 变更前风险识别 N Y Y 变更后风险管控 N Y Y 数据库...

普通数据变更

数据管理DMS的普通数据变更功能支持INSERT、UPDATE、DELETE、TRUNCATE、CREATE TABLE等SQL语句,可以对数据库中的数据进行变更操作,用于数据初始化、历史数据清理、问题修复、功能测试等场景。本文介绍在DMS中进行普通数据变更的方法。...

生命周期管理

多元索引每天会自动清理已过期的数据,过期数据清理粒度为“天”,因此您仍然可以查询到某一时刻已过期但是还未及时清理数据,多元索引会在下一次清理过期数据时自动清理这些过期数据数据表和多元索引的TTL更新后,系统会在下一次...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据传输服务 云数据库 Redis 版 云数据库 RDS 数据库备份 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用