如何PrivateZone同步至自建DNS
本文主要介绍企业在混合云网络场景下，如何通过PrivateZone实现内网DNS记录的配置，并同步至自建DNS。业务场景 自建IDC与阿里云VPC通过专线或者VPN进行网络连通。部署在自建IDC和阿里云VPC内的业务均需要通过DNS查询进行业务间调用。因此...
配置匹配规则
本文为您介绍迁移/同步对象匹配规则的背景信息、使用限制、配置方式，以及场景示例和常见问题。背景信息 您在创建数据迁移或数据同步项目时，需要指定具体的迁移或同步的对象。数据传输提供指定对象、导入对象和匹配规则三种方式供您选择。...
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
常见错误码及排查方法
解决后重启任务。说明 针对MySQL数据库，表的上限值设置，可参考 B.3.2.10 The table is full。DTS-30011:put 2048 records error,currentRunningSQL:insert ignore into`xxx`.`yyy`(.:{id:4958981218625388545,schema:xxx.yyy,field:...
成员管理模块"，点击“账号系统同步”报"DPN.IDE....
问题描述 Dataphin"管理中中心-成员...解决方案 1.联系后端技术同学查看dataphin后台日志报如下错误，通过错误判断客户的同步账号AK有变动：2、联系Dataphin技术支持和答疑的同学，协调后台技术人员修改更新配置文件AK信息。适用于 Dataphin
多人协作
数据同步 在多人协作过程中，为了防止数据丢失及数据同步不准确的情况，有数据同步机制来解决这个问题。多人在同一页面时的同步机制。如用户A在 集成API 界面增加某个字段，并保存。用户B的 集成API 界面会同步对应数据。获取编辑权限时，...
解决方案与客户案例
数据层 数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
解决方案与客户案例
数据层：数据层解决数据库跨地域的部署与同步问题，并在灾难发生时对流量切换动作提供相应的数据质量保护策略。针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行...
DataWorks数据集成常见问题
本文将会为您介绍通过DataWorks同步数据至Hologres时，常见的问题以及对应的排查手段，以帮助您能在同步遇见问题时能快速的解决。开源DataX如何将数据同步至Hologres？报错：Holohub does not binary type of Hologres for now?报错：...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
Parameters参数说明
参数（name）可配置模块（module）说明（value）source.column.encoding 03、04、07 源数据库类型为Oracle时实际业务的写入编码，解决数据库字符集编码和业务写入字符集编码不一致并且不兼容从而导致迁移乱码问题。取值为：default GB 2312...
全增量实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：选择要同步的表 步骤四：目标表映射 步骤五：报警配置 步骤六：高级参数配置 步骤七：DDL能力配置 步骤八：资源组配置 步骤九：执行同步解决方案任务 步骤一：选择同步方案 ...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
PolarDB PostgreSQL版间的迁移
若DTS正向和反向同步任务均同步了某张表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以...
MySQL分库分表同步至Hologres（方案2.0）
步骤八：资源组配置 运行当前同步解决方案将产生多个离线同步子任务和一个实时同步子任务，您可以单击界面右上方的 资源组配置，查看并切换当前的任务所使用的离线同步资源组和实时同步资源组。说明 离线和实时同步任务推荐使用不同的资源...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
升级到2.0版本还意味着您可以与PostgreSQL社区保持同步，提供更多的资源和支持，帮助您解决问题并学习数据库的最佳实践。强烈建议您升级到 PolarDB PostgreSQL版（兼容Oracle）2.0版本，充分利用其优势。迁移评估 在您考虑进行系统迁移之前...
使用IntelliJ IDEA部署ECS应用到EDAS
部署多模块工程 实际工作中，大部分Maven工程都为多模块工程，各个项目模块可以独立开发，其中某些模块也可能会使用到其他模块的功能，这样的项目工程就是多模块工程。如果您的工程项目为Maven多模块工程，并且需要部署工程中的某个子模块...
离线同步日志分析
本文为您介绍如何查看离线同步任务执行过程中的日志详情。进入日志详情页 您可以在运维中心或DataStudio界面查看任务运行日志。模块 描述 运维中心 您可以进入 周期实例、测试实例、补数据实例 等页面，通过筛选条件过滤出需要查询的实例，...
DAS Auto Scaling弹性能力
面对这种情况，通常采用扩容数据库规格的方式来解决问题，而专业运维人员（DBA）在准备扩容方案时会至少思考如下三个问题：扩容是否能解决资源不足的问题？在数据库场景下，CPU打满只是计算资源不足的一个表征，导致这个现象的根因很多，...
一键MaxCompute任务出错恢复
查看实时任务日志，若报错信息为 InternalServerError、Exception when calling callable.Exception Msg:Read timed out 错误提示（例如图中报错），表示Tunnel服务端出现了问题，请联系MaxCompute值班同学排查，问题解决后，重启实时任务...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
Kafka数据源
实时同步：整库实时同步至Kafka 纯实时同步增量数据 内置JSON格式 字符串 UTF8编码字符串 布尔 json布尔类型 时间/日期 13位毫秒时间戳 数值 json数值 字节流 字节流会进行Base64编码后转换成UTF8编码字符串 同步解决方案：一键实时同步至...
数据同步简介
为改善或解决上述问题，数据同步应运而生。功能特性 数据同步具备以下特性：可靠同步 针对业务要求的 QoS（Quality of Service）等级为必达的业务场景而言，数据同步保证只要用户在该数据有效期内活跃并且匹配业务推送要求的条件（如客户端...
直播出现音视频不同步
概述 本文主要介绍直播出现音视频不同步的问题排查步骤。问题描述 视频播放出现音视频不同步的情况。解决方案 直播的流程是用户将视频主动推到边缘节点后进行直播，目前直播中存在音视频不同步的情况，观看直播流发现确实存在这种现象。...
2023/05/30 更新日志
新功能 一、新增电商集成模块，支持Demandware商品信息同步 Commerce Integration功能是Salesforce社交电商产品提供的集成了Salesforce Commerce产品的模块，使用该功能可以更便捷地从Salesforce Commerce 产品中将数据同步到Social ...
公告
数据质量新增知识库功能，支持记录配置问题和解决方案，便于了解该知识相关的质量问题、相关政策文件等，并可关联质量规则和治理流程中关联知识库。直连数据源创建API新增支持TDengine数据源；基于服务单元创建的API，不限数据源类型，支持...
通过SeaTunnel集成平台将数据写入OSS-HDFS服务
背景信息 SeaTunnel可稳定高效地同步百亿级数据，专注于数据集成和数据同步，主要解决数据集成领域的以下问题。数据源多样 常用的数据源有数百种，版本不兼容。随着新技术的出现，可能出现更多的数据源。用户很难找到能够全面快速支持这些...
DataStudio侧实时同步任务配置
说明 建议实时同步任务与离线同步任务运行在不同的资源组上，避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务...
7、技术如何做好缺陷管理？
在整个迭代过程中，团队以小粒度的需求为单位开发，持续地集成和测试它们，及时发现和解决问题。缺陷库存得到控制，系统始终处于接近可发布状态。这一模式更接近持续发布状态，团队对外的响应能力随之增强。缺陷趋势图从一个侧面反映了团队...
实时同步任务延迟解决方案
本文为您介绍实时同步任务延迟时的自助解决方案。确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑的迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
通过image-syncer工具迁移容器镜像
在Kubernetes集群迁移场景中，镜像仓库之间进行镜像迁移和同步是基本需求，image-syncer工具可以解决通用的容器镜像批量迁移和镜像同步复制的问题，将已有的容器镜像平滑地迁移到阿里云镜像服务ACR上。本文主要为您介绍如何通过image-...
流式数据通道概述
解决消息服务实时同步到MaxCompute的问题，支持高并发、大批量同步。使用限制 MaxCompute流式数据通道服务的使用限制如下：加锁写入的表或分区：在向MaxCompute流式写入数据期间，MaxCompute流式数据通道服务会对写入的表或分区进行加锁。...
新功能发布记录
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户 数据库至数据库的数据同步项目新增支持匹配规则能力，可以助力用户在数据同步项目中通过简单的配置通配符...
NTP服务
物联网平台提供NTP服务，为资源受限的嵌入式设备，解决无法实时地获取时间的问题。您可以通过配置C Link SDK，设备端获取UTC时间。前提条件 已 获取设备认证信息。已 下载C LinkSDK Extended。背景信息 阿里云物联网平台提供NTP（Network ...
创建并管理数据源
例如，同步MaxCompute数据前，需先创建MaxCompute数据源，创建完成后可在数据集成模块选择该数据源，控制同步任务读取或写入的数据库或数据仓库。背景信息 为了给您带来更为统一的产品使用体验，DataWorks于 2023年10月20日 开始逐步将...
全增量同步任务运维
全量离线同步 和 实时同步 区域展示当前查看的全增量同步任务中，全量离线同步 或 实时同步 子任务同步的来源数据源、当前同步速率、同步数据、同步数据的延迟情况及所使用资源组的详细信息。执行步骤 区域展示当前查看的全增量同步任务，...
DataWorks模块使用说明
数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...
- 产品推荐
- 这些文档可能帮助您