自动增量排序
AnalyticDB PostgreSQL版 提供了自动增量排序功能，本文为您介绍如何使用自动增量排序功能。功能简介 自动增量排序（AutoMerge）是 AnalyticDB PostgreSQL版 在后台运行的数据自动排序进程。自动增量排序会定期巡检表的数据状态，对新增...
DLA Lakehouse实时入湖
校正过程会重新进行部分存量数据的全量同步，请慎重填写库表筛选表达式，建议使用精确匹配表达式筛选，避免校正一些不必要的数据。如果未填写需要校正的库表，则校正失败。工作负载任务启动成功后，在 湖仓列表 页签单击 存储路径 下的OSS...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
增量数据迁移期间，DTS会在源库中创建前缀为 dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以获取源库15分钟内的增量日志。说明 DTS释放实例后会主动删除该replication slot，如果您在迁移期间修改了数据库密码...
PolarDB PostgreSQL版间的迁移
双向同步：建立源库到目标库的双向同步链路，同时进行源库到目标库的增量同步，以及目标库到源库的反向回流。说明 反向回流只支持数据同步，不支持DDL操作。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。...
从RDS原生实时同步
注意 在创建同步任务时，如果同时勾选了 全量迁移 和 增量同步，系统执行时会自动以先全量后增量的方式进行同步。查看任务状态。可在 DataSync 的 DataSync Jobs 页签查看任务状态。如果，任务状态正常，请跳过该步骤。如任务无法正常执行...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
RDS SQL Server提供了增量备份上云的解决方案。您需要先将全量备份文件上传至阿里云的对象存储服务（OSS），并通过RDS控制台将全量备份数据恢复至指定的RDS SQL Server数据库中。然后通过RDS控制台将差异备份或日志备份文件导入该RDS SQL ...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
从RDS MySQL同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 同步至DataHub，帮助您快速实现使用流计算等大数据产品对数据实时分析。前提条件 DataHub实例的地域为华东1、华东2、华北2或华南1。DataHub...
从RDS MySQL同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 同步至DataHub，帮助您快速实现使用流计算等大数据产品对数据实时分析。前提条件 DataHub实例的地域为华东1、华东2、华北2或华南1。DataHub...
从PolarDB MySQL版同步至Datahub
通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB MySQL版 同步至DataHub，帮助您快速实现使用流计算等大数据产品对数据实时分析。前提条件 DataHub实例的地域为华东1、华东2、华北2或华南1。DataHub实例中，已...
从自建Oracle同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松分析和使用流式数据。您可以通过DTS将自建Oracle同步至DataHub，帮助您快速实现使用流计算等大数据产品对数据实时...
PolarDB-X 2.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步。前提条件 已开通 DataHub，并且已创建用作接收同步数据的Project。具体操作请参见 快速入门...
RDS MySQL同步至DataHub
是否限制增量同步速率 您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置 每秒增量同步的行数RPS 和 每秒增量同步的数据量(MB)BPS），以缓解目标库的压力。环境标签 您可以根据实际情况，选择用于标识实例的环境标签。本...
区域图（v4.0以下版本）
千分位分隔符：选中后，当数据位数大于4时，系统会使用您设置的分割符进行分隔显示。千分位分割符符号：千分位分割符的符号，仅当 千分位分隔符 配置项为true时有效，不支持数字作为分割符。小数分割符符号：小数分割符的符号，仅当 数据四...
从PolarDB MySQL版同步至Datahub
通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB MySQL版 同步至DataHub，帮助您快速实现使用流计算等大数据产品对数据实时分析。前提条件 DataHub实例的地域为华东1、华东2、华北2或华南1。DataHub实例中，已...
CreateConfiguration
当ID前缀为如下值时，ACM会自动使用KMS服务对此配置进行加密存储：前缀为 cipher-调用 KMS 服务对配置进行加解密，加解密数据的大小不超过 4 KB，最大不超过 6 KB，对特殊符号如and（&会解密错误，不推荐使用。前缀为 cipher-kms-aes-...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
RDS增量数据同步至MaxCompute
本文以同步业务RDS数据库的数据至MaxCompute为例，为您介绍如何对不同场景的数据进行增量同步。背景信息 根据需要同步的数据在写入后是否发生变化，分为恒定的存量数据（通常是日志数据）和持续更新的数据（例如人员表中，人员的状态会发生...
恢复SAP HANA
说明 如果不使用Catalog，需要指定一个备份前缀，云备份服务会根据备份前缀进行恢复。日志位置 将数据库还原到指定日志位置 使用差异备份：如果您需要使用差异备份或增量备份执行恢复，请选择此选项。如果选择在不使用差异备份或增量备份的...
CreateHanaRestore-创建SAP HANA恢复任务
如果不使用 Catalog，需要指定一个备份前缀，混合云备份服务会根据备份前缀进行恢复。false BackupPrefix string 是 备份前缀。COMPLETE_DATA_BACKUP_2022_05_02_15_39 SystemCopy boolean 否 是否是跨实例恢复。false Source string 否 源...
创建前缀列表
前缀列表是一些网络前缀（即CIDR地址块）的集合，您可以在配置其他资源的网络规则时引用前缀列表，以避免为不同的CIDR地址块重复添加多条规则，提升运维效率。本文主要介绍如何通过ECS控制台新建一个前缀列表。前提条件 如果您使用RAM用户...
数据集成侧同步任务能力说明
而“一键实时同步至MaxCompute”功能实现了数据库全增量实时同步到MaxCompute以及在MaxCompute上进行自动的全增量合并，可以使整个同步场景化繁为简。全增量同步任务具有如下优势：全量数据初始化。增量数据实时写入。增量数据和全量数据...
触发器
说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 触发器将对满足条件的所有文件生成对应数据处理任务，请使用文件较少的前缀进行测试并验证数据处理效果。暂停触发器将立即停止生成新的数据处理任务，但...
代码备份
另外，Codeup提供的备份能力同时支持针对历史备份进行自动归档的能力，如有需要，企业用户可以随时在OSS上轻松的管理仓库历史备份，清理不必要的悠久的归档备份内容，进一步节约成本。如何使用备份功能 设置代码备份 企业管理员角色可以...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
MySQL整库离线同步到OSS
前缀冲突：在进行数据写入时，若目标对象与待写入对象名称具有相同前缀，可以进行以下操作：替换原有文件：删除前缀相同的文件，重建新的文件替换原有文件。退出报错：同步任务停止执行。更多参数：若文件类型是 text 和 csv 格式，支持...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
虚拟服务（Virtual Service）CRD说明
Headers 当Envoy转发请求到达目标服务或从目标服务返回响应时，可以对消息的头部进行一些修改操作。Headers 可以为特定路由目标或所有目标指定消息头的操纵规则。字段 类型 是否必选 说明 request HeaderOperations 否 在将请求转发到目标...
CreateFileCompressionTask-创建文件压缩任务
└─test-dir├─file1.txt├─file2.doc├─file3.png└─my-file.json 对指定前缀进行打包 打包前缀为 test-dir1/file 下的所有文件打包到指定目录 test-dir 中，打包规则：[{"URI":"oss:/bucket/test-dir1/file","Alias":"/test-dir/"}]...
各源环境迁移至阿里云
如果需要保证源服务器和数据完全同步，可以先将源服务器中的数据迁移至阿里云，然后使用增量迁移，在自定义的时间段内将源服务器系统产生的增量数据同步至阿里云。具体操作，请参见 增量迁移源服务器。在迁移前，您需要在源服务器中完成...
通道服务概述
通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景...
索引加速
本文主要介绍 云数据库 SelectDB 版 中内建的智能索引以及使用时的...这对于使用其他不能命中前缀索引的列作为条件进行的查询来说，效率上可能无法满足需求。因此，可以通过创建物化视图来调整列顺序进而调整前缀索引，详情请参见 物化视图。
一键实时同步至Hologres
一键实时同步至Hologres方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。同时，还支持单独进行实时增量数据同步，适用于已经通过其他方式将全量数据同步至Hologres的场景，本文为您介绍如何创建一键实时...
定时检测OSS增量图片和音视频数据
建议在通用基线检测的基础上根据治理需求进行使用。音视频检测服务 视频文件检测（推荐）：检测视频文件中是否存在违规或不宜传播的内容。建议对涉及开放公网访问的视频文件均进行该项检测。根据业务需要，指定检测任务的范围。然后单击 下...
迁移时源库为PolarDB-X 2.0的注意事项及限制
如需进行增量迁移，Binlog日志：需开启，并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据迁移任务。如为增量迁移任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源...
物化视图增量刷新（预览版）
增量刷新会通过特定算法，只计算变更部分的数据，然后定向更新物化视图中的数据，且增量刷新相较于全量刷新开销更低，可以更高频地更新。如果您仅需要刷新变更的数据，可以选择增量刷新物化视图。本文介绍如何在创建物化视图时指定增量刷新...
迁移时源库为PolarDB MySQL版的注意事项及限制
如需进行增量迁移，需开启Binlog日志，并且需要将loose_polar_log_bin参数设置为on。否则预检查阶段提示报错，且无法成功启动数据迁移任务。开启Binlog日志和修改参数的方法，请参见 开启Binlog 和 修改参数值。说明 PolarDB MySQL版 开启...
使用OSS清单功能备份大数据量OSS文件
使用已有清单：使用已有的OSS清单文件进行备份，提升OSS增量备份性能。OSS清单名称 仅当 是否使用OSS清单 配置为 使用已有清单 时，需要配置该参数。从 OSS清单名称 列表中，选择已创建的OSS清单。如何创建OSS清单，请参见 设置存储空间...
MySQL一键实时同步至MaxCompute
本文为您介绍如何通过DataWorks数据集成将MySQL全增量数据一体化同步至MaxCompute表中。前提条件 已完成MaxCompute和MySql数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入...
数据脱敏
说明 开启通配后，您可以通过使用星号（*）的方式指定一批源文件进行批量脱敏，目前仅支持对文件名前缀进行匹配，例如 test*.xls。设置批量脱敏后，系统会采用相同的规则进行脱敏，请务必保证这批文件有相同的列结构。源文件描述 否 输入对...
- 产品推荐
- 这些文档可能帮助您