GetDISyncTask
获取数据集成实时同步任务和同步解决方案的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
OTSStreamReader常见问题
解决方案 同步脚本中配置的startTime必须大于 任务启动时间-日志过期时长+10分钟。请登录 表格存储控制台 后，在目标数据表的 表管理 页面中 基本详情 页签，查看日志过期时长。OTSStreamReader运行时出现“To avoid timing error between ...
业务数据推送
截止到2021.2.5，支持以下数据推送 人脸状态变更 设备同步错误 设备上报数据 模型ID：BizDataPushModel 模型版本：1.1 属性名称 属性标识符 类型 长度 非空 数据描述 记录标示 eventId String 256 是 记录标示 事件时间 eventTime Date 是 ...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
MySQL分库分表同步至MaxCompute
步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务...
MySQL分库分表同步至MaxCompute
步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务...
支持的数据源及同步方案
具体任务配置与实现您可进入 离线同步、实时同步、同步解决方案 模块进行操作。数据源 离线同步 实时同步 全增量同步任务 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
容灾大屏
同城多活容灾 异地双活容灾 异地应用双活容灾 SDK&Agent切面错误率 SDK切面执行错误的比例，错误率=切面执行错误数/切面执行总数。SDK&Agent调用错误率 使用SDK的用户调用执行错误的比例，错误率=切面执行错误数/切面执行总数。服务层 消费...
时序引擎版本说明
修复/api/mquery接口查询多值降采样错误。修复历史文件的存储容量没有达到最大上限时无法迁移至冷存储的问题。修复查询操作可能出现的栈溢出问题。修复string类型的field会导致compaction异常的问题。3.4.4 2021年12月14日 新特性 SQL支持...
应用节点
本文介绍接入SDK后，如何在MSHA控制台实时监控应用的运行情况。前提条件 已创建多活实例。具体操作，请参见 多活实例。已为Java应用手动安装探针。具体操作，请参见 Java应用接...错误率（%）实例的请求错误率，错误率=请求错误数/请求总数。
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
一键实时同步至AnalyticDB for MySQL 3.0
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
一键实时同步至Elasticsearch
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标索引 步骤五：DDL消息处理规则 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
一键实时同步至DataHub
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标Topic 步骤五：运行资源设置 步骤六：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要同步的源端数据源和...
实时同步能力说明
说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块，将源端库持续不停地同步到目标端中，实现目标端对于源端的镜像效果。...
GetDIJob
结构同步错误信息 FullMigrationTotalTables：全量同步表总数 FullMigrationSuccessTables：全量同步表成功数 FullMigrationFailedTables：全量同步表失败数 FullMigrationStatus：全量同步状态 FullMigrationErrorMessage：全量同步错误...
MySQL分库分表同步至Hologres（方案1.0）
步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：运行资源设置 步骤一：选择同步方案 创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源Hologres，并选择 一键实时同步至Hologres 方案。步骤二：配置网络...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
使用MaxCompute独享Tunnel进行数据同步
为满足业务增长对传输资源的更高要求，数据集成的同步任务默认使用独享资源组，可为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何使用MaxCompute独享数据传输资源进行数据同步。注意事项 若在配置MaxCompute数据源时配置了 ...
一键实时同步至Hologres
步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案...
实时同步任务延迟解决方案
本文为您介绍实时同步任务延迟时的自助解决方案。确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。...
独享数据集成资源组
提供一系列同步解决方案。例如，整库离线数据同步，单表或整库全增量实时数据同步。详情请参见 同步解决方案能力说明。说明 独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量，而非可以同时运行的数据同步实例本身。如果您...
MySQL整库实时同步至OSS数据湖
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源OSS，并选择 整库实时入湖 方案。配置网络连通。源端选择已创建的MySQL数据源，目标数据源为已创建的OSS数据源，同步资源组选择已创建的独享数据集成资源组，单击 测试...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
数据集成
数据集成模块与同步解决方案的更多介绍，详情请参见 支持的数据源及同步方案。使用限制 您需要拥有 开发 角色权限，才可以在数据开发（DataStudio）界面创建同步任务。授权详情，请参见 添加空间成员并管理成员角色权限。离线同步任务 场景...
将内网解析记录同步至自建DNS
本文主要介绍企业在混合云网络场景下，如何通过内网DNS解析配置内网DNS解析记录，并同步至自建DNS。业务场景 自建IDC与阿里云VPC通过专线或者VPN进行网络连通。部署在自建IDC和阿里云VPC内的业务均需要通过DNS查询进行业务间调用。因此需要...
如何PrivateZone同步至自建DNS
本文主要介绍企业在混合云网络场景下，如何通过PrivateZone实现内网DNS记录的配置，并同步至自建DNS。业务场景 自建IDC与阿里云VPC通过专线或者VPN进行网络连通。部署在自建IDC和阿里云VPC内的业务均需要通过DNS查询进行业务间调用。因此...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
ClickHouse整库数据离线同步至Hologres
创建同步解决方案任务，选择需要同步的源端数据源ClickHouse，目标端数据源Hologres，并选择 整库离线同步 方案。配置网络连通。源端选择已创建的ClickHouse数据源，目标数据源为已创建的Hologres数据源，同步资源组选择已创建的独享数据...
短信发送状态回执错误码
解决方案：如果使用SDK调用接口，请注意AccessKey ID和AccessKey Secret字符串赋值正确。如果自行加密签名（Signature），请参见 请求签名 检查加密逻辑。InvalidTimeStamp.Expired 时间戳或日期已过期 原因：一般由于时区差异造成时间戳...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
MySQL整库离线同步到OSS
以下表格列举了本同步解决方案所支持的高级参数。高级参数名称 说明 离线任务源端最大连接数 离线任务源端最大连接数。数据源维度，同一数据源，同时运行的离线任务并发度不允许超过此值 离线同步任务并发度 并发数是指数据同步任务中，...
QueryDISyncTaskConfigProcessResult
调用...DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用 GenerateDISyncTaskConfigForCreating、...
Windows系统同步时间报错
问题描述 W indows系统同步时间报错，时间同步服务无法启动，提示找不到文件。问题原因 注册表错误导致系统同步时间报错。解决方案 查看系统日志中相关的错误信息，可以看到有注册表相关的错误信息。根据日志检查注册表中如下项是否有错误...
错误码
错误码 识别成功 错误码 错误信息 描述 0 SUCCESS 成功 配置或参数错误 错误码 错误消息 描述 解决方案 240999 DEFAULT_ERROR 内部默认错误。内部错误，请重试。240001 NUI_CONFIG_INVALID 配置文件错误。配置文件错误，请确认传入的资源...
- 产品推荐
- 这些文档可能帮助您