使用数据传输同步数据
本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于...
概述
增量 DDL 支持范围请参见 同步 DDL 的支持范围和使用限制 模块的文档。数据迁移项目 结构迁移 全量迁移 增量 DML 增量 DDL 全量校验 反向增量 无主键表 MySQL（RDS/PolarDB/VPC/公网/DG）->OB_MySQL（集群实例）支持 支持 支持 支持 支持 ...
PolarDB-X 2.0同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至MaxCompute。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。更多信息，请参见 创建实例 和 创建数据库。已开通MaxCompute。更多...
一键实时同步至Kafka
此时写入kafka记录的key将使用空值，只有当写入的kafka topic是单分区，才能确保变更有序写入，此外，您还可以选择单击 图标自定义主键，即使用其他非主键的一个或几个字段的联合，代替主键作为kafka记录的key。当在 设置目标Topic 页面未...
一键实时同步至Elasticsearch
步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 启动/提交执行 按钮，启动同步的运行。单击操作列的 执行详情，查看任务的详细执行过程。后续步骤 完成任务配置后，您可以对已创建的任务进行管理...
使用 mPaaS 插件
说明：如果是使用基于 mPaaS 框架创建的工程，在编辑模块时，请勿取消移动客户端框架模块。添加：表示此模块还未添加，可以点击按钮，添加此模块到当前工程。COPY：工程依赖的 SDK 会统一安装到用户机器的公共目录，并由插件自动维护。不...
从RDS同步至MaxCompute
数据同步期间，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。...
从RDS同步至MaxCompute
数据同步期间，请勿对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
console命令工具
project-t test_topic-l 3-c test_comment Connector操作 创建ODPS connector-p:project名称-t:topic名称-m:参数表示不同的同步类型，目前同步到odps的有SYSTEM_TIME、USER_DEFINE、EVENT_TIME、META_TIME四种同步类型-e:odps endpoint,请...
如何使用钉钉连接模块集成钉钉侧能力
魔笔平台提供钉钉连接模块，提供与钉钉组织架构进行数据打通的能力，本文介绍如何使用钉钉连接模块。适用场景 钉钉连接模块通过连接器接入了钉钉开放平台中和组织架构相关的API，用户可以通过调用钉钉连接模块中的集成API和钉钉进行数据的...
如何在应用中直接使用钉钉的组织架构进行组织管理
适用场景 通过使用钉钉组织架构模块，开发者可快速实现钉钉和系统组织架构模块之间的数据同步。模块介绍 钉钉组织架构模块通过引用 系统组织架构模块 和 钉钉连接模块，完成了系统组织架构模块与钉钉组织架构模块信息的连接。同时通过系统...
查看公共模块
公共模块是资源编排为您提供的可直接使用的模块，本文为您介绍如何查看公共模块。操作步骤 登录 资源编排控制台。在左侧导航栏，选择 资源>我的模块。在 我的模块 页面右上角，单击 查看公共模块。关于如何使用模块，请参见 使用模块。在 ...
创建MaxCompute数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买MaxCompute，详情请参见 开通MaxCompute。说明 建议购买MaxCompute的 地域 与创建MaxCompute数据源...
创建Hologres数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买Hologres实例并创建数据库。操作详情请参见 购买Hologres、创建数据库。说明 建议购买Hologres实例时...
如何构建自定义模块
当您需要对一个特定领域的问题创建一个完整的解决方案时，您可以尝试使用自定义模块将解决方案进行封装，以便在多个项目中复用。本文介绍如何构建一个自定义模块，包括如何构建自定义模块的各个功能部件以及如何在应用中引用和使用自定义...
PolarDB PostgreSQL版间的迁移
已选择对象 如需更改单个同步对象在目标实例中的名称，请右击 已选择对象 中的同步对象，设置方式，请参见 库表列名映射。如需批量更改同步对象在目标实例中的名称，请单击 已选择对象 方框右上方的 批量编辑，设置方式，请参见 库表列名...
GetPayAsYouGoPrice-后付费产品询价服务
Hour Config string 是 第 n 个计价模块的配置，n 的取值范围为（1~50），格式：“AA:aa,BB:bb”，其中 AA,BB 分别为计价模块属性标识，aa,bb 分别为计价模块属性的属性值。说明 可通过 DescribePricingModule 接口获取 Module 参数。...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的迁移。背景信息 PolarDB PostgreSQL版（兼容Oracle）作为一款企业级关系型数据库管理...若选择的同步对象为表或列，其他对象（如视图...
GetSubscriptionPrice-预付费产品询价服务
213213123 Config string 是 第 n 个计价模块的配置，n 的取值范围为（1~50），格式：“AA:aa,BB:bb”，其中 AA,BB 分别为计价模块属性标识，aa,bb 分别为计价模块属性的属性值。PackageCode:version_1 返回参数 名称 类型 描述 示例值 ...
添加应用
本文介绍如何创建一个全新的空白应用。操作步骤 登录 魔笔。在平台首页，单击 添加应用。在弹出的对话框中选择...创建应用的同时，会同步在模块管理中创建一个同名的主模块，您也可以在模块编辑页面对此模块进行编辑。具体请参见 模块开发。
创建IVR流程
点击IVR流程列表页面上的 添加 按钮，可进入到新建IVR的流程画布：接下来，以某客户服务中心为例，创建一个简单的IVR...本次演示未使用到的其他IVR模块可以参考 IVR模块介绍 进行配置使用，里面详细介绍了每个IVR模块的功能和配置使用方法。
全局级模块权限控制
DataWorks支持以全局模块为管控粒度，通过对用户授予不同的租户级角色实现全局模块的精细化权限控制。DataWorks为您预设部分租户角色，同时支持您自定义租户角色。本文为您介绍全局模块成员权限管理的基本操作。背景信息 进入DataWorks功能...
使用云数据库Redis版实现即时通信场景中的多端同步
消息同步模块 多端同步的核心问题在于多端数据的一致性，IM系统需要记录消息的顺序和每个端的同步点，从而实现消息的最终一致性。既然采用写扩散的方式来记录消息，系统需要：为每个用户创建一个message_inbox，用于储存该用户的消息。为每...
同步调用
同步调用是调用函数的一种方式，当您同步调用一个函数时，事件将直接触发函数，函数计算 会运行该函数并等待响应。当函数调用完成后，函数计算 会将执行结果直接返回给您，例如返回结果、执行摘要和日志输出。本文介绍同步调用的使用场景和...
同步调用
同步调用是调用函数的一种方式，当您同步调用一个函数时，事件将直接触发函数，函数计算 会运行该函数并等待响应。当函数调用完成后，函数计算 会将执行结果直接返回给您，例如返回结果、执行摘要和日志输出。本文介绍同步调用的使用场景和...
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
设置全局Spark参数
在DataWorks中，您可按照工作空间粒度指定各模块使用的SPARK参数，后续各模块将默认使用对应SPARK参数执行任务。您可参考 Spark官方文档 自定义全局Spark参数，并配置全局Spark参数的优先级是否高于指定模块内（数据开发、数据分析、运维...
管理自定义模块
本文为您介绍如何管理自定义模块。前提条件 请您先了解模块配额限制。更多信息，请参见 使用限制。创建自定义模块 登录 资源编排控制台。在左侧导航栏，选择 资源>我的模块。在 我的模块 页面，单击 创建模块。在 创建模块 页面，输入ROS...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
设置全局YARN资源队列
在DataWorks中，您可按照工作空间粒度指定各模块使用的YARN队列，后续各模块将默认使用该队列执行EMR任务。同时，可定义全局YARN资源队列优先级是否高于指定模块内配置的YARN资源队列优先级。本文为您介绍如何设置全局YARN资源队列。背景...
RDS MySQL同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 阿里云流式数据服务DataHub，帮助您快速实现使用流计算等大数据产品对数据实时分析。前提条件 已创建源实例 RDS MySQL。说明 源实例 RDS MySQL 的创建方式，...
DataWorks权限体系功能概述
DataWorks提供了完善的权限管控机制，支持在产品级与模块级对权限进行管控，其中，模块级权限按照管控对象又分为DataWorks控制台和DataWorks功能模块权限管控，您可以通过RAM Policy权限体系管理产品级及DataWorks控制台的权限；...
MySQL整库实时同步至OSS数据湖
同步任务运维 创建完成同步任务后，您可以在同步任务页面查看当前已创建的同步任务列表及各个同步任务的基本信息。您可以在操作列启动或停止某个同步任务，在更多中可以对同步任务进行编辑、查看详情等操作。已启动的任务您可以在执行概况...
什么是模块
模块是一种以透明、易管理和可重复的方式打包资源配置，以便跨资源栈模板实现包含的方法。模块可以将常见服务配置和最佳实践封装为模块化、可自定义的构建基块，供您包含在资源栈模板中。场景示例 模块可以帮助您将包含最佳实践、专家领域...
【2.0】IVR智能导航模块使用说明
本文档主要介绍云呼叫中心的IVR智能导航模块的使用方法，以及相关功能在智能语音导航控制台的配置说明，使用IVR智能导航模块需要您开通 智能语音导航 和 智能对话机器人，请到 智能语音导航控制台 参照页面提示操作开通即可。云呼叫中心...
成员管理、数据源、变更管控权限列表
Y Y N N N N N 启用角色 Y Y N N N N N 新建成员 Y Y N N N N N 删除成员 Y Y N N N N N 计算管理 计算地址校验 Y Y N N N N N 计算地址配置 Y Y N N N N N 智能引擎 自定义任务参数 Y Y N N N N N 变更管控 新建变更规则 N Y N N N N N ...
成员管理、数据源、变更管控权限列表
Y Y N N N N N 启用角色 Y Y N N N N N 新建成员 Y Y N N N N N 删除成员 Y Y N N N N N 计算管理 计算地址校验 Y Y N N N N N 计算地址配置 Y Y N N N N N 智能引擎 自定义任务参数 Y Y N N N N N 变更管控 新建变更规则 N Y N N N N N ...
一键实时同步至DataHub
选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic建立方式 选择 使用已有Topic 时，您可以在 DataHub Topic 列对应的下拉列表中选择需要使用的Topic名称。当 Topic建立方式 选择 自动建Topic 时，DataHub Topic 列显示自动...
一键实时同步至MaxCompute
步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 启动/提交执行 按钮，启动同步的运行。单击操作列的 执行详情，查看任务的详细执行过程。后续步骤 完成任务配置后，您可以对已创建的任务进行管理...
- 产品推荐
- 这些文档可能帮助您