DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
数据集成
数据集成模块与同步解决方案的更多介绍，详情请参见 支持的数据源及同步方案。使用限制 您需要拥有 开发 角色权限，才可以在数据开发（DataStudio）界面创建同步任务。授权详情，请参见 添加空间成员并管理成员角色权限。离线同步任务 场景...
支持的数据源及同步方案
具体任务配置与实现您可进入 离线同步、实时同步、同步解决方案 模块进行操作。数据源 离线同步 实时同步 全增量同步任务 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/...
实时同步能力说明
说明 实时同步模块仅进行增量数据实时同步，若您希望全增量数据实时同步，即一次性将全量数据至目标端，然后增量数据进行实时同步，您可选择 同步解决方案 模块，将源端库持续不停地同步到目标端中，实现目标端对于源端的镜像效果。...
GetDISyncTask
获取数据集成实时同步任务和同步解决方案的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
巡检配置
各巡检模块对应的事件类型如下：巡检模块 事件类型 错误率突增巡检模块 Top N接口错误率突增 应用服务整体错误率突增 平均响应时间突增巡检模块 Top N接口平均响应时间突增 应用服务整体平均响应时间突增 流量突增巡检模块 应用服务整体...
常见报错
解决方法：开通跨境同步权限后重新购买，详情请参见 申请跨境数据同步权限。DTS.Msg.InvalidParameter.KafkaHostInvalid 报错场景：配置目标库实例的接入方式为 专线/VPN网关/智能网关 的Kafka同步或迁移任务。可能原因：IP地址一栏输入为...
OTSStreamReader常见问题
解决方案 同步脚本中配置的startTime必须大于 任务启动时间-日志过期时长+10分钟。请登录 表格存储控制台 后，在目标数据表的 表管理 页面中 基本详情 页签，查看日志过期时长。OTSStreamReader运行时出现“To avoid timing error between ...
ALB Ingress异常问题排查
kubectl-n<your-namespace>describe ingress<your-ingress-name>在输出结果中查找以 Events 开头的模块，该模块包含与Ingress相关的事件信息。Scheduled for sync：表明事件开始。Successfully reconciled：表明事件成功结束。步骤二：分析...
ALB Ingress异常问题排查
kubectl-n<your-namespace>describe ingress<your-ingress-name>在输出结果中查找以 Events 开头的模块，该模块包含与Ingress相关的事件信息。Scheduled for sync：表明事件开始。Successfully reconciled：表明事件成功结束。步骤二：分析...
使用云数据库Redis版实现即时通信场景中的多端同步
消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息同步模块、通知模块。这三个模块的作用如下：消息管理模块主要负责接收和存储消息。消息同步模块主要负责存储和推送下行消息数据及其状态。通知模块主要负责维护第三...
业务数据推送
截止到2021.2.5，支持以下数据推送 人脸状态变更 设备同步错误 设备上报数据 模型ID：BizDataPushModel 模型版本：1.1 属性名称 属性标识符 类型 长度 非空 数据描述 记录标示 eventId String 256 是 记录标示 事件时间 eventTime Date 是 ...
Windows系统同步时间报错
问题描述 W indows系统同步时间报错，时间同步服务无法启动，提示找不到文件。问题原因 注册表错误导致系统同步时间报错。解决方案 查看系统日志中相关的错误信息，可以看到有注册表相关的错误信息。根据日志检查注册表中如下项是否有错误...
Dataphin集成任务同步失败报“Record columns has no ...
概述 通过修改输入端的字段大小写来解决同步失败问题。问题描述 集成任务从 AS400->odps 同步失败报错 Record columns has no sourceColName[n5mont]。问题原因 Dataphin集成任务同步过程中存在字段大小写敏感校验。从源端数据库（AS400）...
QueryDISyncTaskConfigProcessResult
调用...DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用 GenerateDISyncTaskConfigForCreating、...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
修改实例参数
前提条件 已创建同步或迁移实例，详情请参见 同步方案概览 或 迁移方案概览 中的相关配置文档。注意事项 实例参数只能在模块运行期间修改，模块运行状态可以在控制台 任务管理 页签中的 实例进展 查看。为保证实例的稳定，仅支持修改控制台...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
MySQL分库分表同步至MaxCompute
步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务...
MySQL分库分表同步至MaxCompute
步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
一键实时同步至AnalyticDB for MySQL 3.0
一键实时同步至 AnalyticDB for MySQL 3.0方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至 AnalyticDB for MySQL 3.0任务。前提条件 已完成数据源配置。您需要在数据...
常见问题
同步解决方案常见问题 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错...
短信发送状态回执错误码
解决方案：如果使用SDK调用接口，请注意AccessKey ID和AccessKey Secret字符串赋值正确。如果自行加密签名（Signature），请参见 请求签名 检查加密逻辑。InvalidTimeStamp.Expired 时间戳或日期已过期 原因：一般由于时区差异造成时间戳...
管控模式
研发流程审批 N N Y：支持按需自定义 配置逻辑库 N N Y 批量操作表 Y Y Y 数据开发周期任务调度 N N Y SQL窗口 查询与变更表结构 Y-Y 超级SQL模式 N N Y 管理表结构版本 Y Y Y 调整字段敏感等级 Y Y Y 监测数据质量 N N Y 跨库查询 N N Y：...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
实时同步任务延迟解决方案
本文为您介绍实时同步任务延迟时的自助解决方案。确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
独享数据集成资源组
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
注册中心同步集群
新增Nacos-Nacos同步任务 在 新增同步任务 页面，填写同步任务相关配置信息：参数 说明 同步集群 选择已新建的同步集群。具体操作，请参见 步骤二：配置注册中心同步集群。源注册中心 根据需要，选择已新建的注册中心作为源注册中心。具体...
复制和删除模块
删除应用主模块同步删除应用后不可恢复，请谨慎操作 删除自定义模块 说明 仅能删除未发布的自定义模块。登录 魔笔。在平台首页，选择 模块管理，进入 模块列表 页面。在指定模块的卡片右上角，单击，在弹出的对话框中进行二次确认，删除...
一键实时同步至Hologres
一键实时同步至Hologres方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。同时，还支持单独进行实时增量数据同步，适用于已经通过其他方式将全量数据同步至Hologres的场景，本文为您介绍如何创建一键实时...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
错误码
解决方案：请提交 工单，或联系Dataphin的支持人员协助处理。DPN.Bbox.MetaCenterServiceError 错误原因：元数据服务不可用。解决方案：请提交 工单，或联系Dataphin的支持人员协助处理。DPN.Bbox.ModelNotFound 错误原因：根据模型ID查询...
- 产品推荐
- 这些文档可能帮助您