实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
自媒体：易撰
所属行业：自媒体 网站地址：易撰 客户介绍 长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...
产品简介
大数据专家服务 大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障，帮助用户...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
目标数据库连接性检查
如果目标数据库为MySQL，您可以使用MySQL客户端连接目标数据库后执行下述命令进行检查。SELECT HOST FROM mysql.user WHERE user='username',password='password';说明 将 username 和 password 替换为数据迁移任务中填写的数据库账号和...
全量数据同步
预期结果 在 离线数据同步 管理页面，选择上线状态的“信用卡客户数据上云_全量”同步任务，在 操作 列中单击 监控，跳转至 运维监控 下的 离线同步实例 页面，显示该任务实例运行完成。前往 数据查询 模块，单击 物理表查询，选择目标端...
增量数据同步
预期结果 在 离线数据同步 管理页面，选择上线状态的“信用卡客户数据上云_增量”同步任务，操作列中单击 监控，跳转至 运维监控，单击左侧导航栏中的 离线计算实例，查看今天运行的周期任务，可见增量离线周期同步任务已在设置的调度时间...
创建RDS MySQL数据订阅任务
由于使用pt-online-schema-change等类似工具执行在线DDL变更不会被订阅到，客户端在将消费到的数据写入目标表时可能会因为表结构不一致而导致写入失败。若您订阅的单行数据超过16MB，则不支持消费，否则可能会导致消费客户端内存OOM（Out ...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
配置并管理实时同步任务
编辑目标Topic结构 目前 自动建表 生成的DataHub Topic生命周期默认只有7天，并且可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标Topic时，将自动为源端字段匹配目标端可写入的字段类型。...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
配置并管理实时同步任务
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
连接数据库集群
本文介绍如何通过数据管理DMS和客户端连接 PolarDB 数据库集群。前提条件 已创建数据库集群的高权限账号或普通账号。具体操作请参见 创建数据库账号。已经将需要访问 PolarDB 集群的主机IP地址添加到白名单，如何添加白名单请参见 设置集群...
宜搭创建大屏实操
本文主要介绍如何使用企业经营管理系统中客户库表及签约表表单数据，来创建并配置企业经营管理大屏。宜搭创建大屏实操视频，请参见：宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下：登录宜搭系统，通过空白应用创建名称为 企业...
连接数据库集群
找到目标数据库，双击目标数据库即可切换到目标数据库。通过客户端连接 PolarDB 您也可以通过pgAdmin 4客户端连接 PolarDB 数据库集群。启动pgAdmin 4客户端。右击 Servers，选择 创建>服务器，如下图所示。在 创建-服务器 页面的 常规 ...
升级内核大版本
升级内核大版本后会造成客户端连接数据库服务失败，请务必修改客户端的连接地址。升级内核大版本的影响 20.8及以上版本的集群在通过数据迁移升级内核大版本时，源集群在迁移过程中可读可写，为保证迁移任务尽快完成，建议在迁移任务完成95%...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
写数据表
计算资源类型 选择需要同步到的目标数据源的类型，目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期（可选）设置目标表的留存天数，如未设置，默认将保留1...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
创建数据流
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
添加数据
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
产品架构
对于异构数据库之间的迁移，DTS会解析源数据库的DDL代码，将代码转换成目标数据库的语法，然后在目标数据库中重新创建结构对象。全量数据迁移：在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。源数据库保持运行状态...
通过DMS登录RDS数据库
请将鼠标悬浮在目标数据库所属实例上，单击实例名右侧的刷新按钮，即可刷新数据库列表，显示目标数据库。说明 除了通过RDS控制台跳转到DMS进行登录，您还可以登录DMS控制台直接录入RDS实例，录入后可以在DMS控制台快速登录数据库。详情请...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
管理数据源
本文为您介绍如何在数据源页面，查看、复制、编辑和删除目标数据源。查看数据源 创建数据源后，您可以在数据源列表查看所有已创建数据源的基本信息、详情和网络连接等信息，也可以根据数据源类型进行筛选、根据数据源的创建时间进行排序，...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录 数据资源平台控制台。在...
新建数据源
数据同步前，需要准备好数据源作为数据源端或目标端。您可以通过新建数据源，供数据同步时使用。本文介绍如何新建数据源。背景信息 数据同步支持关系型数据库、文件、消息队列等类型数据源的配置。操作步骤 登录企业数据智能平台。在页面...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
- 产品推荐
- 这些文档可能帮助您