DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
DataWorks On MaxCompute使用说明
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至MaxCompute数据源，或将MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、全增量同步任务...
功能概览
包括两种类型，计划（planned failover）和非计划（unplanned failover），区别在于切换时生产站点ECS是否已经宕机。故障恢复 Failback 当生产站点故障恢复时，将业务从容灾站点切回到生产站点的过程。正向保护 Forward 用于保护组和ECS的...
功能概览
包括两种类型，计划（planned failover）和非计划（unplanned failover），区别在于切换时生产站点ECS是否已经宕机。故障恢复 Failback 当生产站点故障恢复时，将业务从容灾站点切回到生产站点的过程。正向保护 Forward 用于保护组和ECS的...
PolarDB PostgreSQL版间的迁移
若DTS正向和反向同步任务均同步了某张表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以...
购买DTS实例
关于支持的源库和目标库对应情况，请参见支持的 数据库、同步初始化类型和同步拓扑,支持的数据库和迁移类型。本参数或 JobId 必须传入其中之一。DestinationEndpointEngineName String 否 MySQL 目标数据库引擎类型。MySQL：MySQL数据库...
成员管理模块"，点击“账号系统同步”报"DPN.IDE....
问题描述 Dataphin"管理中中心-成员...解决方案 1.联系后端技术同学查看dataphin后台日志报如下错误，通过错误判断客户的同步账号AK有变动：2、联系Dataphin技术支持和答疑的同学，协调后台技术人员修改更新配置文件AK信息。适用于 Dataphin
物模型开发
获取默认模块（非用户自定义模块）的服务列表 LinkKit.getInstance().getDeviceThing().getServices()设备的服务调用支持同步和异步两种方式。设备属性的设置和获取也是通过该服务调用的监听方式，实现物联网平台服务的下发。异步调用 设置...
配置工作空间
产品模块 权限名称 超级管理员 管理员 开发者 运营者 工作空间管理 工作空间增删 Y N N N 查看工作空间 Y Y N N 修改成员角色 Y Y N N 添加删除成员 Y Y N N 工作空间切换列表 Y Y，可查看自己被添加为成员的工作空间 孪生搭建 应用编辑&...
RDS MySQL同步至云数据库SelectDB版
是否限制增量同步速率 您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置 每秒增量同步的行数RPS 和 每秒增量同步的数据量(MB)BPS），以缓解目标库的压力。环境标签 您可以根据实际情况，选择用于标识实例的环境标签。本...
Kafka数据源
Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本 支持阿里云Kafka，以及=0.10.2且的自建Kafka版本。说明 对于版本Kafka，由于Kafka不支持检索分区数据offset，并且Kafka...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
场景1：包含离线同步节点的业务流程，如何配置调度...
DataWorks的离线同步节点不支持通过自动解析自动添加调度依赖，包含离线同步节点的业务流程，如果下游节点依赖离线同步节点产生的表，您需手动添加产出表到离线同步节点的输出中，下游节点查询离线同步节点数据时，自动解析可以通过表快速...
离线同步并发和限流之间的关系
本文可以帮助您理解和配置任务通道控制参数，降低误配的数量和答疑。本文将为您介绍离线同步并发和限流之间的关系。实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据...
数据接入物联网平台-N对1
本文档说明如何手动同步物联网平台与物联网络管理平台之间的节点，可将N个数据分组接入到1个物联网平台所创建的产品。此方式提供用户在配置后，自由切换数据出口，可以把多个节点分组数据传送到同一个产品，实现N对1流转的功能，适合数据...
体验实例规格升级
创建方法，请参见 同步方案概览 或 迁移方案概览 中的相关配置文档。实例当前规格不能为最大，即当前同步实例的规格不能为 large，迁移实例的规格不能为 2xlarge。更多关于规格的信息，请参见 数据同步链路规格说明 和 数据迁移链路规格...
使用IntelliJ IDEA部署ECS应用到EDAS
部署多模块工程 实际工作中，大部分Maven工程都为多模块工程，各个项目模块可以独立开发，其中某些模块也可能会使用到其他模块的功能，这样的项目工程就是多模块工程。如果您的工程项目为Maven多模块工程，并且需要部署工程中的某个子模块...
MySQL整库实时同步至OSS数据湖
已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源...
PolarDB-X 2.0同步至DataHub
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 级联单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN 操作步骤 ...
跨阿里云账号同步RDS MySQL实例
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE、REPLACE DDL ALTER TABLE...
RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 ...
使用云数据库Redis版实现即时通信场景中的多端同步
随着即时通信（Instant Messaging）场景和客户端种类的不断丰富，多端通信已经成为普遍趋势。本文为您介绍一种使用云数据库Redis版在IM场景中实现多端同步的方案。消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息...
查看热点表信息
数据同步和迁移任务中数据频繁变更的表（热点表），可能会导致任务延迟超过1000毫秒。您可以通过控制台查看热点表信息，判断延迟是否由于热点表所导致，并根据实际情况开启热点合并功能以降低任务延迟。前提条件 已创建同步或迁移实例。若...
配置工作空间
不能修改所有者的到期时间，可以修改自己及其他管理员、开发者和运营者的到期时间 N N 删除工作空间 Y N N N 分配工作空间内的项目配额（即数据看板配额）Y N N N 删除工作空间内的数据看板 Y Y N N 删除工作空间内的收藏 Y Y N N 删除工作...
Java SDK 接入
本文介绍如何以 Java SDK 的方式在服务端接入数据同步服务。引入 Jar 包 完成 Maven 配置后，在主控 pom.xml 文件中引入如下依赖：<dependency><groupId>...
CreateGadInstanceMember-创建Gad实例成员
vpc-bp19ame5m1r3o*VSwitchID string 是 新建单元节点的虚拟交换机（vSwitch）ID。N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。vsw-bp1tg609m5j85*SecurityIPList string 否 新建...
CreateGadInstanceMember-创建Gad实例成员
vpc-bp19ame5m1r3o*VSwitchID string 是 新建单元节点的虚拟交换机（vSwitch）ID。N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。vsw-bp1tg609m5j85*SecurityIPList string 否 新建...
使用NimoShake将Amazon DynamoDB迁移至阿里云
NimoShake（又名DynamoShake）是阿里云研发的数据同步工具，您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例，详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 本文档主要介绍...
什么是物模型
例如，电暖扇产品的功能属性有 电源开关、档位（高、中、低）和 室内温度，您可以在一个模块添加前2个属性，在另一个模块添加3个属性，然后分别在不同设备端，针对不同物模型模块功能进行开发。此时，该产品下不同设备就可以实现不同功能。...
CreateGADInstance-创建GAD实例
10.10.10.10 VSwitchID string 否 新建单元节点的虚拟交换机（vSwitch）ID。N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。vsw-bp1tg609m5j85*ZoneIDSlave1 string 否 新建单元节点的...
Quick BI如何同步MaxCompute新增的表
问题原因 1.由于MaxCompute类型的数据源采用异步加载和更新的策略，如果您是第一次创建该数据源，需要等待1~5分钟让数据进行同步，如果是新增表，需要等10~20分钟。2.QBI数据源填写AK信息对生产项目无权限查看。解决方案 1.点击MaxCompute...
CreateGADInstance-创建GAD实例
10.10.10.10 VSwitchID string 否 新建单元节点的虚拟交换机（vSwitch）ID。N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。vsw-bp1tg609m5j85*ZoneIDSlave1 string 否 新建单元节点的...
IVR模块介绍
IVR流程由多个IVR模块经过连线后组成，具有非常高的可定制性。IVR模块都是需要您将鼠标放置在对应模块上，然后拉进右侧的画布中。下面将依次介绍开始-放音-收号-分支-转人工-转外线-设置变量-语言信箱-挂机原因-函数-子流程-结束各个模块的...
概述
策略中心模块提供将常见交通场景事件及其应对措施编排为规则引擎的能力。在高速场景中，存在大量不确定事件（如交通事故、恶劣天气、突发交通拥堵、临时施工等），且由于事件发生时间、地点、类型等的不确定性，在事件发生后再根据经验进行...
组件检查项错误修复
组件检查项常见错误说明及其修复方法。错误及其修复方法 错误消息示例：[镜像检查结果]chart中使用的 docker.io/library/nginx 镜像,未包含在component.yaml中[helm lint结果][INFO]Chart.yaml:icon is recommended[helm template结果]...
DataWorks模块使用说明
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
查看数据迁移项目的详情
启动数据迁移项目后，您可以在数据迁移项目的详情页面查看相应项目的基本信息、项目执行的进度和状态等信息。进入详情页面 您可以在数据迁移项目的详情页面，查看计划的迁移环节、各个环节的进度和状态，帮助您了解数据库迁移的整体进度，...
DataWorks数据集成常见问题
本文将会为您介绍通过DataWorks同步数据至Hologres时，常见的问题以及对应的排查手段，以帮助您能在同步遇见问题时能快速的解决。开源DataX如何将数据同步至Hologres？报错：Holohub does not binary type of Hologres for now?报错：...
配置工作空间
权限名称 主账号管理员 工作空间成员-管理员 工作空间成员-开发者 进入工作空间管理页 Y Y N 创建工作空间 Y N N 删除工作空间 Y N N 分配工作空间内的项目配额（即可视化应用配额）Y N N 管理工作空间内的人员 Y Y N 删除工作空间内的可视...
库表同步
库表同步 中的模板如下所示：检测点 模板 结构同步校验「结构同步」设置测试库同步免批「结构同步」关闭SQL执行能力「结构同步」关闭线上库的SQL执行能力「结构同步」设置线上库同步的审批流程 影子表同步校验「影子表同步」设置测试库同步...
- 产品推荐
- 这些文档可能帮助您