创建Hologres数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买Hologres实例并创建数据库。操作详情请参见 购买Hologres、创建数据库。说明 建议购买Hologres实例时...
创建MaxCompute数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买MaxCompute，详情请参见 开通MaxCompute。说明 建议购买MaxCompute的 地域 与创建MaxCompute数据源...
PolarDB PostgreSQL版间的迁移
若DTS正向和反向同步任务均同步了某张表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
Kafka数据源
Kafka数据源为您提供读取和写入Kafka的双向通道，本文为您介绍DataWorks的Kafka数据同步的能力支持情况。支持的版本 支持阿里云Kafka，以及=0.10.2且的自建Kafka版本。说明 对于版本Kafka，由于Kafka不支持检索分区数据offset，并且Kafka...
阿里邮箱AD同步&认证
如只同步某根OU，不需要同步的对象请勿放置根OU下，或通过给OU的url打上nombx字符标记，AD user的WWWHomePage打上nombx字符标记，安全组的WWWHomePage打上nombx字符标记，OU下的通讯组都同步不支持单个不同步。3.同步只做新增、禁用、更新...
文档修订记录
开放平台概览 2023年4月更新记录 时间 特性 类别 描述 产品文档 2023.4.23 新增功能 数据集成 数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute，为满足您业务增长对传输资源的更高要求，MaxCompute推出了独享...
计费项
数据同步实例 链路配置费用 按量付费（含Serverless）在 增量数据采集 模块启动后开始计费（包含增量数据同步暂停期间）。重要 在增量数据同步失败期间，不会计费。Serverless实例的计费详情，请参见 Serverless实例计费方式。欠费前1个...
Logstash FAQ
本文介绍使用阿里云Logstash的常见问题。...当前阿里云Logstash的Config配置中的Ruby模块存在安全漏洞，如果Config配置中包含了Ruby模块指令，系统会提示如下错误信息，您需要重新配置Config。如果有疑问，请提交工单咨询。
添加 SDK
移动同步方式 使用 mPaaS 插件添加 诊断 模块。更多信息，参考 mPaaS 插件>编辑模块。消息推送方式 使用 mPaaS 插件添加 诊断 和 消息推送 模块。更多信息，参考 mPaaS 插件>编辑模块。基于已有工程且使用 mPaaS 插件 前置条件 已参考 基于...
什么是物模型
功能说明 物模型是物理空间中的实体（如传感器、车载装置、楼宇、工厂等）在云端的数字化表示，从属性、服务和事件三个维度，分别描述了该实体是什么、能做什么、可以对外提供哪些信息。定义了物模型的这三个维度，即完成了产品功能的定义...
物模型开发
获取默认模块（非用户自定义模块）的服务列表 LinkKit.getInstance().getDeviceThing().getServices()设备的服务调用支持同步和异步两种方式。设备属性的设置和获取也是通过该服务调用的监听方式，实现物联网平台服务的下发。异步调用 设置...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
复杂同步场景 数据同步需要支持离线-全量同步、离线-增量同步、CDC、实时同步、全库同步等多种同步场景。资源需求高 现有的数据集成和数据同步工具往往需要大量的计算资源或JDBC连接资源来完成海量小文件的实时同步，这在一定程度上加重了...
迁移数据库账号
注意事项 当前仅MySQL实例间的同步或迁移、MySQL实例同步或迁移到 PolarDB MySQL版 集群、PolarDB MySQL版 集群间的同步或迁移实例，支持将源库的账号迁移至目标库。说明 MySQL实例含RDS MySQL和自建MySQL。目标RDS MySQL实例为5.6版本时，...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
2022年
更多信息，请参见 什么是SmartMetrics？请参见 可观测可视化 Grafana 版目前支持的地域。v2.8.6.2 告警管理 联系人 页面改版 联系人 页面改版为 通知对象 页面后，新版联系人不再支持设置钉钉机器人。更多信息，请参见 联系人。不涉及 v2.8...
创建AnalyticDB for MySQL3.0数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接AnalyticDB for MySQL3.0实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买AnalyticDB for MySQL3.0实例并创建数据库，详情请参见 创建实例、创建数据库。说明 ...
创建AnalyticDB for PostgreSQL数据源
创建完成后，可在DataWorks的各功能模块使用该数据源连接AnalyticDB for PostgreSQL实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已购买AnalyticDB for PostgreSQL实例并创建数据库，详情请参见 创建实例、数据库管理。...
集成与开发概览
DMS的数据集成与开发功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。功能简介 数据集成与开发功能模块支持多种计算、存储引擎，支持结构化、半结构化、非结构化数据的实时集成、离线集成、开发、服务，能够...
入仓解决方案
源为自建MySQL或RDS MySQL的同步方案 源为PolarDB MySQL版的同步方案 源为PolarDB PostgreSQL版（兼容Oracle）的同步方案 源为PolarDB PostgreSQL版的同步方案 源为PolarDB-X的同步方案 源为Oracle的同步方案 源为自建PostgreSQL或RDS ...
常见问题
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？块网关FAQ 如何使用块网关创建文件系统并刷新缓存到iSCSI盘？块网关的数据...
发布模块
应用发布后，同时会提交一个新的版本至模块版本，并同步应用版本描述至模块版本。应用与模块之间的关系详情请参见 应用与模块。操作步骤 登录 魔笔。在模块编辑页面，单击顶部功能区的 发布，弹出 版本发布 对话框。说明 模块不支持预览。...
受众管理
也将自动同步到用户洞察模块的受众管理页面，请参见用户洞察模块 受众基本功能。受众管理 受众管理页面 我的受众 列表，展示自己通过全域标签筛选创建的受众，或本工作空间下其他用户创建的公开受众。单击 洞察，对该受众进行洞察分析，请...
简介
每新建一个应用，则针对该应用创建一个模块，该应用创建的内容都包含在该模块中，该模块名称与应用名称相同，当应用发布后，同时提交一个新的版本至模块版本，并同步应用版本描述至模块版本。在该应用中编辑时，用户所有修改，都保存在默认...
简介
模块与应用 应用是由模块与配置组成，系统每新建一个应用，则针对该应用创建一个应用主模块，该应用创建的内容都包含在该模块中，该模块名称与应用名称相同，当应用发布后，同时提交一个新的版本至模块版本，并同步应用版本描述至模块版本...
同步方案概览
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
Parameters参数说明
参数说明 Parameters的数据类型为字符串String，传入格式为JSON，需要配置如下参数：module 参数对应的模块，取值为：03：同步或迁移任务的 全量迁移 模块。04：迁移任务的 增量写入 模块。07：同步任务的 增量写入 模块。name 参数名称，...
监控任务性能
功能 说明 增量同步链路拓扑 增量同步链路主要展示链路中各模块间的数据传输情况和网络延迟信息，模块包含：源库、DTS采集模块、DTS缓存模块、DTS写入模块、目标库。相关参数解释如下：BPS：链路中模块间每秒传输的数据量，单位为MB/s。RPS...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
查询子实例间的同步延迟
常见问题 Q：binlog同步延迟突然增高或同步状态为异常是什么原因，应该怎么排查？A：如果子实例自动触发高可用切换，或对其执行重启、变更配置等操作，会引起同步延迟上升，属于正常波动，通常维持一段时间后会降低。相关文档 为子实例设置...
MySQL整库周期性增全量同步至Hive
创建同步任务 登录并进入 数据集成子模块页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 MySQL，去向数据源选择 Hive；根据同步场景...
MySQL整库实时同步至OSS数据湖
如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件。如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤...
Oracle同步至Tablestore
创建同步任务 登录并进入 数据集成子模块页面，单击 同步任务 进入同步任务页面，在页面中单击 新增任务，开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源数据源选择 Oracle，去向数据源选择 Tablestore；并...
RAM用户同步概述
本文为您介绍RAM用户同步的定义、使用流程和使用限制。什么是RAM用户同步 云SSO用户可以通过 RAM角色 或 RAM用户 访问RD账号的云资源，两种访问方式的差异如下表所示。本文主要为您介绍通过RAM用户登录的访问方式，即您可以配置RAM用户同步...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
修改同步对象
DTS支持在数据同步实例运行过程中新增或移除同步对象，无需重新配置同步实例，帮助您在降低对业务影响的情况下变更同步对象。前提条件 数据同步实例进入 增量写入 模块，且处于 运行中 或同步失败的状态。为保障DTS可以正常连接源和目标库...
MSHA产品和开源产品对比
切换数据源和延迟禁写，包括：PolarDB DRDS ✅ ❌ 通用能力 组件 功能大类 具体功能说明 商业产品 开源产品 网关 路由 条件路由（入口流量调度）✅ ❌ 注册中心同步 服务发现 跨集群的服务同步 ✅ ❌ 切流模块 命令通道 控制面和数据面的...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
创建并管理数据源
例如，同步MaxCompute数据前，需先创建MaxCompute数据源，创建完成后可在数据集成模块选择该数据源，控制同步任务读取或写入的数据库或数据仓库。背景信息 为了给您带来更为统一的产品使用体验，DataWorks于 2023年10月20日 开始逐步将...
- 产品推荐
- 这些文档可能帮助您