数据清理干什么用的-数据清理干什么用的文档介绍内容-阿里云

数据清理

查看数据清理任务任务信息在任务中心 的数据清理列表中，单击操作列中的查看按钮。在弹出的任务详情面板中，单击任务信息页签查看任务类型、源数据库、目标数据库、变量配置、归档范围和执行方式等信息。任务流程在任务详情面板中...

离线同步常见问题

文档概述问题分类相关文档离线同步任务运维常见问题为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步传输数据时，脏数据超出限制，是否...

产品功能

数据清理您可以在控制台上根据度量（Metric）进行数据清理，或者通过 API 进行更灵活的数据清理。高效压缩存储 TSDB 使用高效的数据压缩技术，将单个数据点的平均使用存储空间降为1~2个字节，可以降低90%存储使用空间，同时加快数据写入的...

CreateDataCronClearOrder-创建历史数据清理工单

创建历史数据清理工单。接口说明目前仅支持安全协同管控模式的 MySQL 实例调用该接口。关于该功能的更多说明，请参见历史数据清理。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...

引擎功能

数据库内机器学习 Lindorm时序引擎提供开箱即用的数据库内机器学习服务。您可以通过SQL语句直接在数据库内完成整个机器学习流程，挖掘更深的数据价值。使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的...

RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...

问题描述云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，从而导致实例的运行状态为锁定中。问题原因 RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间满，为避免数据丢失，RDS MySQL会对实例进行自动锁定...

RDS MySQL数据文件占满磁盘空间导致出现“锁定中”...

问题描述云数据库RDS MySQL实例由于写入的数据太多，导致数据文件占满磁盘空间，从而导致实例的运行状态为锁定中。问题原因 RDS MySQL实例可能会由于数据文件长时间未整理导致实例空间满，为避免数据丢失，RDS MySQL会对实例进行自动锁定...

技术原理

全量迁移系统选择当前时间之前的一个时间点，将这个时间点之前的数据进行全量的数据复制迁移。增量数据同步完成全量迁移后，基于全量迁移开始之前时间点的增量变更日志进行增量同步，最终原分库和目标分库数据实时同步。数据校验增量...

表数据管理

ODC 中用颜色标识您对表中数据的操作，新增的数据用绿色标识，删除的数据用红色标识，修改后的数据用橙色标识。编辑态下，导航栏提供了以下操作键功能编辑表中的数据：功能说明添加行单击该功能键将在表中指定位置插入一个空行。双击...

数据归档至用户OSS

清理：归档完成后，自动用无锁的方式清理源表数据。选择是否校验归档数据：不校验：不校验归档后的数据。校验：归档数据与原库数据进行比对，展示差异信息与归档信息。校验时间随数据量增长。运行方式选择运行方式，当前支持：单次执行：...

历史数据清理

当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...

数据库迁移

可选：一致性校验完成后，单击下一步数据清理，进行源数据清理。完成：数据库迁移工单完成。立即清理：立即执行会实时删除已迁移的表，请谨慎操作。延时清理：在延时清理对话框中，指定延时清理时间间隔，可输入时间间隔为1~30天。在...

ANALYZE

如果 ANALYZE 认为这些东西无趣（例如在一个唯一键列中，没有共同值）或者该列的数据类型不支持合适的操作符，以上工作都会被省略。对于大型的表，ANALYZE 会对表内容做随机采样而不是检查每一行。这允许在很少的时间内完成对大型表的分析...

自建数据库MongoDB版（分片集群架构）迁移至云数据库...

请根据业务需求，在目标云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见设置数据分片以充分利用Shard性能和如何处理分片集群架构的MongoDB数据分布不...

自建数据库MongoDB版（分片集群架构）迁移至云数据库...

请根据业务需求，在目标云数据库MongoDB版（分片集群架构）实例中创建需要分片的数据库和集合、配置数据分片、开启Balancer并进行预分片。更多信息，请参见设置数据分片以充分利用Shard性能和如何处理分片集群架构的MongoDB数据分布不...

在GDB控制台清除实例数据

清除数据大约耗时5s（数据量越多，耗时时间越长），在清除数据过程中建议您不要执行数据更新操作（执行数据更新操作，可能会导致更新的数据被清理）。操作步骤登录图数据库控制台。在页面左上角，选择实例所在地域。单击目标实例ID或目标...

表回收站

本文介绍了表回收站的相关操作。...如果您需要清理指定的数据表，在数据表列表中，找到需要清理的表，单击删除。如果您需要清理回收站中的所有数据表，单击清空回收站。关闭表回收站进入表回收站页面，单击目标数据库页签。单击关闭。

通过HTTP接口清除实例数据

清除数据大约耗时5s（数据量越多，耗时时间越长），在清除数据过程中建议您不要执行数据更新操作（执行数据更新操作，可能会导致更新的数据被清理）。准备工作如果客户端为ECS实例，您需要确保图数据库GDB实例和ECS实例满足以下条件，以...

数据迁移流程

数据传输提供数据迁移功能，帮助您实现同构或异构数据源之间的数据迁移。适用于数据库升级、跨实例数据...确认数据迁移项目成功，并不再需要同步源库和目标库的数据后，您可以清理当前的数据迁移项目。详情请参见结束和释放数据迁移项目。

常见问题

为什么数据同步的价格要高于数据迁移的价格？因为数据同步具有更多的高级特性，例如支持在线调整同步对象、支持配置MySQL数据库之间的双向数据同步；且数据同步基于内网传输，可以保证更低的网络延时。账户欠费有什么影响？账户欠费的影响...

Kafka实时入湖建仓分析

注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，如果Topic数据过期，同时入湖任务失败，再重新启动时读取不到被清理掉的数据，会有丢失数据的风险。授予RAM子账号创建库表的权限如果您使用RAM子账号登录，在开始Kafka实时入...

离线同步并发和限流之间的关系

问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...

表回收站

回收站表命名规则 Recycle Bin会从不同的数据库中回收表对象到_recycle_bin_数据库中。因此需要定义如下的表名格式，用来保证目标表名的唯一性："_"+<Storage Engine>+参数说明如下：参数说明 Storage Engine 存储引擎名称。SE private id ...

通过数据同步功能同步Kafka至湖仓版（推荐）

注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，如果Topic数据过期，同时数据同步任务失败，重新启动同步任务时读取不到被清理掉的数据，会有丢失数据的风险。因此请适当调大Topic数据的生命周期，并在数据同步任务失败时...

导入与导出

为什么使用INSERT OVERWRITE语句将AnalyticDB MySQL集群中的数据导出至MaxCompute外表时，数据没有被覆盖？为什么MaxCompute导入数据的量与AnalyticDB MySQL集群不一致?DTS同步数据至AnalyticDB MySQL集群时，若源库中存在AnalyticDB MySQL...

同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明数据同步在某些...

迁移方案概览

数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。说明数据迁移在某些场景...

支持的数据库

数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等数据源间的数据交互。本文详细介绍DTS支持的数据库、迁移类型、同步初始化类型、同步拓扑和支持订阅的数据类型。说明关于文中涉及的迁移类型、同步类型、订阅的数据...

升级告用户书

数据清理和数据归档功能：为了帮助您优化数据库的存储和管理，我们提供了数据清理和数据归档的功能，您可以根据数据的使用频率和重要性，将数据进行分离和清理，以提高数据库的性能和效率。产品交互优化：我们优化了SQL控制台的布局，以...

文档修订记录

QueryPublicModelEngine 2023.10.20 新增功能上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...

常见问题

为什么数据写入后不可见？为什么optimize任务很慢？为什么optimize后数据仍未主键合并？为什么optimize后数据TTL仍未生效？为什么optimize后更新删除操作没有生效？如何进行DDL增加列、删除列、修改列操作？为什么DDL执行慢，经常卡住？...

RDS SQL Server同步至DataHub

DTS是用fn_log函数获取源库日志，而该函数有一定的性能瓶颈，请不要过早清理源库日志，否则可能会导致任务失败。数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量同步任务，DTS要求源数据库的数据日志保存24...