GetDISyncTask
获取数据集成实时同步任务和同步解决方案的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
短信发送状态回执错误码
解决方案：如果使用SDK调用接口，请注意AccessKey ID和AccessKey Secret字符串赋值正确。如果自行加密签名（Signature），请参见 请求签名 检查加密逻辑。InvalidTimeStamp.Expired 时间戳或日期已过期 原因：一般由于时区差异造成时间戳...
OTSStreamReader常见问题
解决方案 同步脚本中配置的startTime必须大于 任务启动时间-日志过期时长+10分钟。请登录 表格存储控制台 后，在目标数据表的 表管理 页面中 基本详情 页签，查看日志过期时长。OTSStreamReader运行时出现“To avoid timing error between ...
业务数据推送
截止到2021.2.5，支持以下数据推送 人脸状态变更 设备同步错误 设备上报数据 模型ID：BizDataPushModel 模型版本：1.1 属性名称 属性标识符 类型 长度 非空 数据描述 记录标示 eventId String 256 是 记录标示 事件时间 eventTime Date 是 ...
容灾大屏
异地双活容灾 异地应用双活容灾 服务同步错误数 注册中心同步服务的同步错误次数/分钟。消息层 消费者调用总QPM 消费者用户请求的次数/分钟，即QPM=（并发数/平均响应时间）×60。同城多活容灾 异地双活容灾 异地应用双活容灾 提供者调用总...
应用节点
服务同步错误数/分钟 注册中心同步服务的同步错误次数/分钟。服务同步平均RT（ms）/分钟 注册中心同步服务的同步任务的平均响应时间/分钟。消息层 消息Pub用户调用次数 提供者用户请求的次数/分钟，即（并发数/平均响应时间）×60。消息Pub...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
PostgreSQL数据源
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其它数据写入方，保证当前数据为静态数据，例如锁表、关闭备库同步等。缺点是可能影响在线业务。数据库编码问题 PostgreSQL在服务器端仅支持EUC_CN和...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
Oracle数据源
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其它数据写入方，保证当前数据为静态数据。例如，锁表、关闭备库同步等。缺点是可能影响在线业务。数据库编码问题 Oracle Reader底层使用JDBC进行数据...
GetDIJob
结构同步错误信息 FullMigrationTotalTables：全量同步表总数 FullMigrationSuccessTables：全量同步表成功数 FullMigrationFailedTables：全量同步表失败数 FullMigrationStatus：全量同步状态 FullMigrationErrorMessage：全量同步错误...
MySQL分库分表同步至MaxCompute
步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务...
MySQL分库分表同步至MaxCompute
步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
一键实时同步至AnalyticDB for MySQL 3.0
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
使用MaxCompute独享Tunnel进行数据同步
为满足业务增长对传输资源的更高要求，数据集成的同步任务默认使用独享资源组，可为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何使用MaxCompute独享数据传输资源进行数据同步。注意事项 若在配置MaxCompute数据源时配置了 ...
实时同步能力说明
说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块，将源端库持续不停地同步到目标端中，实现目标端对于源端的镜像效果。...
支持的数据源及同步方案
具体任务配置与实现您可进入 离线同步、实时同步、同步解决方案 模块进行操作。数据源 离线同步 实时同步 全增量同步任务 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/...
一键实时同步至Elasticsearch
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标索引 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
MySQL分库分表同步至Hologres（方案1.0）
步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：运行资源设置 步骤一：选择同步方案 创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源Hologres，并选择 一键实时同步至Hologres 方案。步骤二：配置网络...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
一键实时同步至DataHub
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标Topic 步骤五：运行资源设置 步骤六：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要同步的源端数据源和...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
一键实时同步至Hologres
步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案...
数据集成
数据集成模块与同步解决方案的更多介绍，详情请参见 支持的数据源及同步方案。使用限制 您需要拥有 开发 角色权限，才可以在数据开发（DataStudio）界面创建同步任务。授权详情，请参见 添加空间成员并管理成员角色权限。离线同步任务 场景...
如何PrivateZone同步至自建DNS
本文主要介绍企业在混合云网络场景下，如何通过PrivateZone实现内网DNS记录的配置，并同步至自建DNS。业务场景 自建IDC与阿里云VPC通过专线或者VPN进行网络连通。部署在自建IDC和阿里云VPC内的业务均需要通过DNS查询进行业务间调用。因此...
将内网解析记录同步至自建DNS
本文主要介绍企业在混合云网络场景下，如何通过内网DNS解析配置内网DNS解析记录，并同步至自建DNS。业务场景 自建IDC与阿里云VPC通过专线或者VPN进行网络连通。部署在自建IDC和阿里云VPC内的业务均需要通过DNS查询进行业务间调用。因此需要...
MySQL整库实时同步至OSS数据湖
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源OSS，并选择 整库实时入湖 方案。配置网络连通。源端选择已创建的MySQL数据源，目标数据源为已创建的OSS数据源，同步资源组选择已创建的独享数据集成资源组，单击 测试...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
QueryDISyncTaskConfigProcessResult
调用QueryDISyncTaskConfigProcessResult接口，通过异步线程ID，获取异步生成创建或更新数据集成同步任务需要的参数。DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据...
PolarDB MySQL版8.0.1版本发布日志
修复执行库表恢复的新流程时，因磁盘满载导致线程无法退出的问题。修复使用Prepare Statement处理大量并发请求或执行复杂查询时，占用大量内存的问题。修复使用列存索引（IMCI）查询包含BIT类型数据的视图时，查询结果不正确的问题。修复对...
DB2数据源
工程化的方式存在取舍，在此提供以下解决思路，您可根据自身情况进行选择：使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其他数据写入方，保证当前数据为静态数据，例如锁表、关闭备库同步等。缺点...
SQL Server数据源
使用单线程同步，即不再进行数据切片。缺点是速度比较慢，但是能够很好保证一致性。关闭其他数据写入方，保证当前数据为静态数据，例如锁表、关闭备库同步等。缺点是可能影响在线业务。数据库编码问题 SQL Server Reader底层使用JDBC进行...
消息发送重试和流控机制
同步发送：调用线程会一直阻塞，直到某次重试成功或最终重试失败，抛出错误码和异常。异步发送：调用线程不会阻塞，但调用结果会通过异常事件或者成功事件返回。重试间隔 除服务端返回系统流控错误场景，其他触发条件触发重试后，均会立即...
Windows系统同步时间报错
问题描述 W indows系统同步时间报错，时间同步服务无法启动，提示找不到文件。问题原因 注册表错误导致系统同步时间报错。解决方案 查看系统日志中相关的错误信息，可以看到有注册表相关的错误信息。根据日志检查注册表中如下项是否有错误...
Logstash数据写入问题排查方案
在使用阿里云Logstash将数据写入阿里云Elasticsearch（output指定为阿里云Elasticsearch）时，您可能会遇到网络不通、管道配置错误、负载高、管道正常启动但无数据写入目标端以及服务正常但缺少数据等问题...网络不通 排查方案 常见错误案例 ...
- 产品推荐
- 这些文档可能帮助您