历史数据回放
历史数据回放：对指定时间段内的组态画面随着数据源数据的变化进行回放，可用于定位历史问题，最大时间跨度为七天。使用步骤 1、快速入门视频 2、步骤详解 步骤一：设置页面历史回放，进入页面时的右侧面板最下方是历史回放的选择框（第一...
开启SQL日志审计
默认情况下，只对开启SQL日志审计功能之后产生的日志数据进行审计分析，您也可以导入部分历史数据。前提条件 登录 日志服务控制台，根据提示，开通阿里云日志服务。已购买 PolarDB-X 1.0 专享实例，并创建了数据库。默认情况下，只有主账号...
数据导入与迁移
数据导入（历史数据迁移）开通 LTS服务。添加历史数据迁移任务。增量数据同步 开通 LTS服务。在BDS中添加HBase集群和HBase增强版集群，具体操作方法参见 添加HBase增强版数据。添加实时数据同步任务。HBase增强版迁移至HBase 使用阿里云BDS...
使用AWR
自动负载信息库AWR（Automatic Workload ...PolarDB除了提供 查看视图 中的实时视图和函数外，还提供对这些实时视图采集后保存的历史数据，通过这些数据可以生成类似Oracle的AWR报告，关于历史数据及AWR报告的详细说明请参见 AWR使用说明。
高压缩引擎（X-Engine）介绍
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
用量查询
不同时间粒度对应的单次查询的最大时间跨度、可查询的历史数据时间范围和数据延迟关系如下：通过控制台查询：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5分钟 3天 近6个月 15分钟 1小时 31天 近6个月 4小时 1天 31...
全量数据索引构建
对于HBase表中的存量历史数据，需要手工执行一次全量构建才可以完成数据同步。全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL...
迁移或同步指定时间段内的数据
如果您想要将源HBase集群或源Lindorm实例中某个时间段的历史数据迁移至新的Lindorm实例，或想要同步实时数据到新Lindorm实例，可以在创建任务时添加相关时间参数，修改任务配置。本文介绍通过LTS控制台创建任务时配置迁移或同步时间范围的...
ALTER INDEX
语法 alter_index_statement:=ALTER INDEX[index_name]ON table_name index_state 创建索引后，如果数据库中有存量历史数据需要执行 BUILD INDEX 操作，具体操作请参见 BUILD INDEX。参数 参数说明如下表：参数 说明 index_name 索引表名。...
历史数据清理
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时，您可以使用数据管理DMS提供的历史数据清理功能，定期清理历史数据，以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
实时监控
不同时间粒度对应的单次查询的最大时间跨度、数据延迟和可查询的历史数据时间范围关系如下：通过控制台查询：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 1分钟 1小时 7天 3~5分钟 5分钟 3天 7天 15分钟 调用相关API...
获取数据
数据是可视化的原材料，本文档为您介绍获取春节期间全国的空气质量数据的方法。您可以从空气检测官网上，自行获取全国空气质量历史数据。本示例中，采用了2017年1月1日至2017年2月2日，全国1497个监测点的数据。
资源监控
不同时间粒度对应的单次查询的最大时间跨度、可查询的历史数据时间范围和数据延迟关系如下：通过控制台查询：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5分钟 3天 30天 15分钟 1小时 30天 30天 4小时 1天 30天 30...
数据方案概览
历史数据清理 支持历史数据清理，可以根据设定的规则定期清理历史数据。可编程对象 支持存储过程、触发器、函数、视图等对象的变更提交与执行。数据导入 支持大批量数据快速导入至数据库。数据导出 SQL结果集导出 支持数据的SQL结果集导出...
DML无锁变更概览
DML无锁数据变更可以将单个SQL拆分成多个批次执行，能更好地满足业务方对大量数据变更的需求，例如历史数据清理、全表更新字段等，保证执行效率，减小对数据库性能、数据库空间等的影响。背景信息 当业务累积了大量数据时，需要定期清除表...
实时监控
时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 1分钟 1小时 7天 5分钟 5分钟 3天 93天 15分钟 1小时 31天 186天 4小时 监控项和监控指标 实时监控功能包含了下表中的三个监控项，您可以选择需要监控的域名、区域、运营...
DBS沙箱功能概览
历史数据即席分析（Ad Hoc Analysis）：许多数据分析场景，需要根据当前需求临时AdHoc查询历史数据，DBS沙箱功能可以快速提供历史全量数据副本用于查询。相比现有基于大数据平台的历史数据离线分析方案，DBS沙箱功能提供原始数据库SQL接口...
用量查询
不同时间粒度对应的单次查询的最大时间跨度、可查询的历史数据时间范围和数据延迟关系如下：通过控制台查询：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5分钟 3天 近6个月 15分钟 1小时 31天 近6个月 4小时 1天 31...
电子合同：深圳法大大网络科技有限公司
法大大通过数据传输服务DTS（Data Transmission Service）将存储在MySQL数据库中的相关数据迁移至 PolarDB，并通过ETL工具定期地将历史数据同步至 PolarDB。使用 PolarDB 存储超过6亿份电子合同数据，这些数据可以安全地存储在 PolarDB，...
RDS增量数据同步至MaxCompute
上述的两条数据作为历史数据，需要先进行一次全量数据同步，将历史数据同步至昨天的分区。在 数据开发 页面，右键单击业务流程下的 表，选择 新建表。在 新建表 对话框中，输入 表名（ods_oplog），单击 提交。双击ods_oplog表，在右侧的...
RDS增量数据同步至MaxCompute
上述的两条数据作为历史数据，需要先进行一次全量数据同步，将历史数据同步至昨天的分区。在 数据开发 页面，右键单击业务流程下的 表，选择 新建表。在 新建表 对话框中，输入 表名（ods_oplog），单击 提交。双击ods_oplog表，在右侧的...
配置PolarDB-X输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句...
资源监控
不同时间粒度对应的单次查询的最大时间跨度、可查询的历史数据时间范围和数据延迟关系如下：通过控制台查询：时间粒度 单次查询的最大时间跨度 可查询历史数据时间范围 数据延迟 5分钟 3天 90天 15分钟 1小时 31天 90天 4小时 1天 90天 90...
CreateDataCronClearOrder-创建历史数据清理工单
创建历史数据清理工单。接口说明 目前仅支持安全协同管控模式的 MySQL 实例调用该接口。关于该功能的更多说明，请参见 历史数据清理。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
AUTO模式核心特性及典型场景
此时如果数据一直存储在 PolarDB-X 中，既会占用存储空间，也会降低正常业务查询的效率，此种场景很多业务会选择将历史数据归档后在 PolarDB-X 中删除，能快速的删除历史数据而不影响到现有业务，一直是客户所追求的。如果 PolarDB-X 能...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
产品计费
重要 取消经济版后会关闭DAS经济版提供的所有增值功能和新功能，并清除相关历史数据。相关文档 DAS经济版介绍 DAS企业版介绍 管理DAS经济版和企业版 取消使用DAS经济版和企业版 DAS企业版间支持数据迁移，详情请参见 DAS企业版间数据如何...
低成本RDS历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量呈大幅增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战：...
应用场景：低成本历史库
背景信息 在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。挑战 存储...
配置ElasticSearch输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为...
数据恢复方案概览
场景四：通过备份文件恢复到云上或本地 迁移/恢复到云上 迁移最新数据 从自建MySQL迁移至RDS MySQL实例 迁移历史数据 自建数据库的备份文件：自建数据库备份恢复上云 也可以先把备份在本地恢复，再 从本地迁移到RDS。也可以用DBS进行逻辑...
云原生多模数据库Lindorm助力蚂蚁链IoT数据降本
客户价值 通过引入Lindorm作为历史数据存储后，MySQL内仅保留较短时间周期内的热数据，数据量大幅度下降，使得性能瓶颈问题得到缓解。通过引入Lindorm作为历史数据存储，进行技术上储备。未来可以使用Lindorm作为在线存储，利用其良好的...
配置ElasticSearch输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。字段分隔符 非必填项，填写字段之间分隔符。如果您没有填写，则系统自动添加英文逗号（,）作为...
配置PolarDB-X输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必选项，选择输出数据前后的一些操作。解析方案 包括 填写准备语句 和 填写完成语句...
RDS全增量同步
说明 RDS全增量同步先进行全量历史数据迁移，迁移完成后在进行增量数据迁移。导入CQL默认生成配置同RDS表字段和类型对应，需要更改可以手动编辑修改字段名和对应关系，详见 配置说明。导入HBase/Lindorm默认生成列簇f，RDS中的字段和f列...
场景：调度参数在数据集成的典型应用场景
场景四：同步历史数据 基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史一段时间的数据或者未来一段时间的数据，调度参数将在任务调度时...
配置OpenGauss输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 ...
配置OpenGauss输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。copy 用于表与文件之间的相互复制。并且在遇到冲突时会根据 冲突解决策略 进行 冲突时报错 或 ...
PluginType参数说明
结构设计 NDDL 结构同步 TABLE_SYNC 普通数据变更 DC_COMMON 无锁变更 DC_CHUNK 历史数据清理 DC_CRON_CLEAR 可编程对象 DC_PROC 批量数据导入 DC_BIG_FILE 数据导出 DATA_EXPORT 数据库导出 DB_EXPORT SQL审核 SQLReview 数据库克隆 ...
配置TiDB输出组件
加载策略 包括：覆盖数据 即以当前来源表为准，覆盖目标表中的历史数据。追加数据 即在目标表的已有的数据基础上追加数据，且不修改历史数据。解析方案 非必填项，可选择输出数据前后的语句准备。是指数据输出前和输出完成的一些特殊处理...
- 产品推荐
- 这些文档可能帮助您