源为PolarDB-X的功能规范和约束说明
源端执行大量DDL操作、网络、目的库性能等问题，可能会导致DTS任务存在延迟，此时如刚好遇到机房故障，且同步或迁移至目标库的最后一条数据的时间戳与故障发生时的时间戳之差大于RPO（如5分钟），那么切流需要非常谨慎，建议您暂时不要执行...
源为PolarDB-X的功能规范和约束说明
源端执行大量DDL操作、网络、目的库性能等问题，可能会导致DTS任务存在延迟，此时如刚好遇到机房故障，且同步或迁移至目标库的最后一条数据的时间戳与故障发生时的时间戳之差大于RPO（如5分钟），那么切流需要非常谨慎，建议您暂时不要执行...
RDS PostgreSQL间的单向同步
说明 针对同源或者同目标的多个DTS实例，如DTS实例A和DTS实例B，设置网络重试时间时A设置30分钟，B设置60分钟，则重试时间以低的30分钟为准。由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标...
参数调优建议
loose_innodb_rds_faster_ddl 适用版本：8.0、5.7、5.6（内核小版本均为20200630或以上）修改完后是否需要重启：否 作用：该参数开启后，能够对部分DDL操作进行加速，降低DDL操作带来的性能影响。修改建议：如果用户担心DDL操作对业务产生...
云数据库MongoDB版（副本集架构）
说明 针对同源或者同目标的多个DTS实例，如DTS实例A和DTS实例B，设置网络重试时间时A设置30分钟，B设置60分钟，则重试时间以低的30分钟为准。由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
增量同步 的使用限制如下：如果您选择了 DDL 同步，当源端数据库发生数据传输不支持的同步 DDL 操作时，会存在数据迁移中断的风险。如果 DDL 操作为新增列，建议您设置该列的属性为 Null，否则会存在数据迁移中断的风险。全量校验 在全量...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果数据同步项目运行报错（通常由于网络不通或进程启动过慢导致），您可以在数据同步项目的列表或详情页面，单击 恢复。相关文档 新建 PostgreSQL 数据源 新建 OceanBase 数据源 批量操作数据同步项目 查看数据同步项目的详情
云数据库MongoDB版（副本集架构）同步至函数计算FC
说明 针对同源或者同目标的多个DTS实例，如DTS实例A和DTS实例B，设置网络重试时间时A设置30分钟，B设置60分钟，则重试时间以低的30分钟为准。由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
增量同步 的使用限制如下：如果您选择了 DDL 同步，当源端数据库发生数据传输未支持的同步 DDL 操作时，会存在数据迁移中断的风险。如果 DDL 操作为新增列，建议您设置该列的属性为 Null，否则会存在数据迁移中断的风险。全量校验 在全量...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果待迁移的表需要进行 DDL，请先手动在目标端执行该 DDL 语句，再在源端 RDS PostgreSQL 实例中执行。为确保执行 DDL 语句后的增量 DML 能够正确解析，您需要创建对应的触发器和记录 DDL 语句的表。详情请参见 创建触发器。勾选增量同步...
接口说明
} 重要 不管查询是否成功，在查询结束时，都需显式调用ResultSet的close方法，以释放IO资源，否则会造成网络连接泄露。另外，Lindorm TSDB SDK也提供了几个查询接口重载实现，如下所示，业务上可以根据实际情况选择使用不同实现。SQL查询...
PolarDB MySQL版迁移至Kafka
说明 针对同源或者同目标的多个DTS实例，如DTS实例A和DTS实例B，设置网络重试时间时A设置30分钟，B设置60分钟，则重试时间以低的30分钟为准。由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
如果数据同步项目运行报错（通常由于网络不通或进程启动过慢导致），您可以在数据同步项目的列表或详情页面，单击 恢复。相关文档 新建 OceanBase 数据源 新建 ADB 数据源 批量操作数据同步项目 查看数据同步项目的详情
使用Prometheus监控E-MapReduce
HOST指标 提供ECS节点CPU、内存、磁盘、Load、网络、Socket等监控指标。HDFS指标 HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，适用于大规模数据的分布式读写，特别是读多写少的场景。HDFS指标包括HOME、NameNodes...
使用Prometheus监控E-MapReduce
HOST指标 提供ECS节点CPU、内存、磁盘、Load、网络、Socket等监控指标。HDFS指标 HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，适用于大规模数据的分布式读写，特别是读多写少的场景。HDFS指标包括HOME、NameNodes...
从通过专线、VPN网关或智能接入网关接入的自建Redis...
对端专有网络 选择自建数据库接入的VPC ID。数据库类型 固定为 Redis。实例模式 根据源Redis数据库的架构选择 单机版 或 集群版。IP地址 填入源Redis数据库的IP地址。说明 当源Redis数据库为集群架构时，填入任一节点的Master所属服务器的...
Kafka实时ETL同步至Hologres
准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。说明 Kafka与Hologres支持的网络类型如下：Kafka:指定VPC网络、公网。Hologres:指定VPC网络、...
查看任务日志
DDL：正在同步DDL操作。queries 目标库的大查询SQL数（执行时间超过60 s）。exceptions 当前异常错误数。connects：连接失败的次数。replicates：同步线程写入目标库时失败的次数。infos 当前正在同步的DDL或者正在同步的表。切换 任务时间...
版本发布说明
修复在网络抖动场景下，DDL执行结果偶发返回错误的问题。修复高频执行DDL时，偶发系统表死锁报错的问题。修复因大小写问题可能导致的InformationSchema的table_details查询报NPE的问题。修复部分场景下子查询转semi-join的优化，可能导致...
如何解决增量迁移延迟或同步延迟
以源实例为RDS MySQL为例，您可以通过 SQL洞察和审计 页面查看源实例中DDL的执行情况，判断是否存在大量DDL操作。查看方式，请参见 SQL洞察和审计。原因9：远距离传输导致的网络延迟。您可以在任务列表页面查看源库和目标库实例所属地域。...
查询一个DTS任务详情
Reserved String {\"srcHostPorts\":\"\",\"whitelist.dms.online.ddl.enable\":false,\"filterDDL\":false,\"sqlparser.dms.original.ddl\":true,\"srcOracleType\":\"sid\",\"maxRetryTime\":43200,\"destSSL\":\"0\",\"destOracleType\...
视频专区
本文档汇总了 云原生数据库PolarDB 的介绍和操作视频。Serverless集群 全球数据库网络GDN 高压缩引擎（X-Engine）Instant DDL和Parallel DDL 快速恢复 并行查询和Hash Join的并行执行 客户案例
将自建ClickHouse数据迁移到云ClickHouse中
步骤一：元数据（建表的DDL）的迁移 ClickHouse元数据的迁移，主要指进行建表DDL迁移。如需安装clickhouse-client工具，请安装与目标实例云数据库ClickHouse版本一致的clickhouse-client工具。下载链接，请参见 clickhouse-client。查看自...
PolarDB-X 1.0实例可用区升级迁移方案
迁移经典网络类型实例至目标可用区 注意事项 切换期间无法执行DDL、CREATE、GRANT USER等操作。切换过程中会有分钟级的长链接闪断，请在业务低峰期操作。前提条件 共享实例不支持切换，需要先从共享实例切换到专享实例，具体方法请 联系...
AliSQL内核小版本发布记录
双向循环复制优化，备实例向主实例发送binlog时跳过属于主实例的事务，减少循环复制的网络流量。加快实例崩溃后重新拉起的速度。Bug修复 修复MySQL 5.7到MySQL 8.0大版本升级过程中mysql.events表迁移失败的问题。修复MySQL 5.6实例逐级...
同步时源库为PolarDB MySQL版的注意事项及限制
若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见 查询任务日志。其他注意事项 PolarDB MySQL版 间的双向同步 目前DTS仅支持两个 PolarDB MySQL版 之间的双向同步，暂不支持多...
一键实时同步至AnalyticDB for MySQL 3.0
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
迁移时源库为PolarDB-X 2.0的注意事项及限制
迁移期间如需切换 PolarDB分布式版 的网络类型，切换成功后，请调整迁移链路的网络连接信息。如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和...
同步时源库为PolarDB-X 2.0的注意事项及限制
若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，...
一键实时同步至Elasticsearch
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标索引 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
同步时源库为MySQL的注意事项及限制
若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，...
Reserve参数说明
复制源表Online DDL变更产生的临时表数据：{"whitelist.dms.online.ddl.enable":"true","sqlparser.dms.original.ddl":"false","whitelist.ghost.online.ddl.enable":"true","sqlparser.ghost.original.ddl":"false"} 不复制源表Online DDL...
MySQL一键实时同步至MaxCompute
来源数据源会包含许多DDL操作，数据集成体提供默认处理策略，您也可以根据业务需求，对不同的DDL消息设置同步至目标端的处理策略。不同DDL消息处理策略请参见：DDL消息处理规则。本方案使用默认处理规则。设置任务运行资源。当前方案创建后...
MySQL一键实时同步至MaxCompute
来源数据源会包含许多DDL操作，数据集成体提供默认处理策略，您也可以根据业务需求，对不同的DDL消息设置同步至目标端的处理策略。不同DDL消息处理策略请参见：DDL消息处理规则。本方案使用默认处理规则。设置任务运行资源。当前方案创建后...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
实时同步任务告警设置最佳实践
指标5：DDL不支持（即将下线）报警监控原理与适用场景 配置建议 数据集成实时同步支持部分源端DDL事件，对于不支持的DDL事件可以在DDL配置页面设置Ignore、Warning、Critical等DDL处理策略。当发生Warning、Critical级别DDL事件时，可以...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
网络连通性
本文为您介绍网络连通性有关的常见问题。Flink全托管集群如何访问公网？如何访问跨VPC的其他服务？如何设置白名单？如何排除网络问题？如何查看公网带宽情况？Flink全托管集群如何访问公网？背景说明 Flink全托管集群默认不具备访问公网的...
- 产品推荐
- 这些文档可能帮助您