数据源开发和生产环境隔离
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置，在配置数据源时，您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景，针对不同环境设置不同的数据源信息。在同步任务执行过程中，可由执行环境控制离线同步任务所...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
源代码仓库常见问题
容器镜像服务提供了源代码仓库（阿里云Codeup、Github、GitLab、Git、Gitee）的镜像构建功能，支持源代码修改后自动进行镜像构建。本文介绍在使用源代码仓库过程中，可能遇到的问题以及解决方法。阿里云Code项目名称修改后，无法自动构建 ...
源库连接性检查
源数据库对来源IP进行了限制 检测方法 使用命令行或客户端连接源数据库，如果连接正常，说明源数据库可能限制了DTS服务器IP地址。如果源数据库为自建MySQL，可以使用客户端连接源数据库后执行下述命令进行检查。SELECT HOST FROM mysql....
接入阿里云ECS自建数据库实例
本文介绍如何在数据库自治服务DAS中接入阿里云ECS自建数据库。前提条件 DAS目前支持接入的ECS自建数据库引擎有：MySQL PostgreSQL MongoDB Redis 说明 目前DAS仅支持接入6.0及以下版本的自建Redis。...适合比较少的ECS实例，需要设置安全组。...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
修改备份源
单击 基本信息 区域的 备份源设置，各数据库的备份源设置详情，请参见 各数据库引擎备份指导文档。设置完成后单击 下一步。在 配置备份对象 页面，将需要备份的库或者表移动到 已选择数据库对象 框中，单击 保存。在弹出的对话框中，选择...
实时同步常见问题
you need(at least one of)the SUPER,REPLICATION CLIENT privilege(s)for this operation,with command:show master status 时，可能是因为数据源没有开启对应数据库的权限。数据源配置账号需要拥有数据库的SELECT、REPLICATION SLAVE、...
如何修改备份源数据库
在特殊情况下，您可能需要修改备份计划中备份源数据库，以此使用现有备份计划来备份其他数据库。本文介绍如何修改备份计划中备份源数据库的相关属性。使用场景 原数据库迁移或下线，需切换为新数据库备份。测试阶段结束，需切换为生产数据...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
复制数据库SQL Server 2012及以上版本
您可以使用SQL命令复制数据库，您只需要使用存储过程sp_rds_copy_database指定源数据库和目的数据库即可。复制时间与数据库大小有关。说明 关于如何复制SQL Server 2008 R2版本实例的数据库，请参见 复制数据库SQL Server 2008 R2版。前提...
设置关联数据源及其启停状态
设置已关联数据源的启停状态 在 数据目的 页签，单击数据目的对应 数据源启停状态 列的 设置。在 数据源启停设置 面板，通过以下操作，设置数据源 启停状态。单个启动或停止数据源。在关联数据源列表，单击数据源对应 启停状态 列的开关。...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
跨云账号迁移云数据库Redis实例
源数据库 目标数据库 云数据库Redis实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。通过云企业网CEN接入的自建数据库。云数据库Redis实例。ECS上的自建数据库。通过专线、VPN网关或智能网关接入的自建数据库。...
迁移时源库为DB2 for LUW的注意事项及限制
特殊情况 由于源库 Db2 for LUW 为自建数据库，您还需要注意如下事项：迁移时源库进行主备切换，会导致迁移任务失败。由于DTS的延迟时间是根据迁移到目标库最后一条数据的时间戳和当前时间戳对比得出，源库长时间未执行DML操作可能导致延迟...
按应用关联
关联项说明 关联项 说明 应用 对应数据API上线时关联的应用。说明 全量新建、按应用新建、按线上API关联新建时获取到该关联项。应用需在系统设置模块创建，数据API需在统一服务模块创建并上线。服务 对应上线状态的数据API。说明 数据API需...
容器镜像仓库构建服务失败问题排查
源代码相关失败 问题现象一：源代码仓库不存在（或无权限）。解决方法：阿里云Code账户如果更改了Code的用户名，会出现无法拉取远端代码库的问题。您可以参见以下步骤：回滚更改的用户名。请重新绑定阿里云Code账户。问题现象二：拉取源...
按线上API关联
关联项说明 关联项 说明 应用 对应数据API上线时关联的应用。说明 全量新建、按应用新建、按线上API关联新建时获取到该关联项。应用需在系统设置模块创建，数据API需在统一服务模块创建并上线。服务 对应上线状态的数据API。说明 目前上报...
迁移时源库为PolarDB MySQL版的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
SQL Server迁移上云指南
停止源库的数据写入，最后一个增量日志回放成功后，将业务切换到新数据库。SQL Server实例级别迁移上云 说明 若源库为2008 R2版本，建议升级后再进行操作。使用DBS和DTS（一键上云）部署物理协议网关。使用DTS迁移上云（内部会调用OSS ...
迁移时源库为MySQL的注意事项及限制
如果迁移的源数据库类型为MySQL，如自建MySQL、RDS MySQL，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为MySQL的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：MySQL间...
按逻辑表关联
场景 对应数据开发生产状态的场景。说明 需在数据开发模块部署及运行生产场景成功。逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产场景的场景节点引用。物理表 对应数据建模模块通过逻辑表物理化...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
支持识别的OSS文件类型
序号 文件类型 序号 文件类型 1 C、C++源代码 85 Tokyo Cabinet数据库文件 2 Lua源代码 86 X3D(Extensible 3D)Model XML文件 3 Javascript源代码 87 XML文档 4 VRML虚拟现实建模语言代码 88 XML Sitemap文件 5 BCPL源代码 89 DBF数据库文件...
按指标关联
关联项说明 关联项 说明 逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产节点引用。指标 数据标准中已经创建的指标。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 ...
按单节点关联
逻辑表 对应数据建模中创建的逻辑表。说明 需在数据建模中创建逻辑表，该逻辑表需被生产节点引用。数据标准 对应数据标准模块中的数据元、数据字典、命名标准、质量函数。数据源 对应系统设置模块中添加的云计算资源。说明 数据源是拉取...
访问外部数据源
数据源绑定之后，您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景，如果多个数据源共用一个VPC下的交换机，打通其中一个数据源意味着相同交换机下的所有数据源一并打通。因此，只能打通同一Region下的...
Hive数据源
DROP TABLE 在对应数据库下删除表，并失效表的缓存。ALTER TABLE 如果是重命名，先删除旧名字的表，再用新名字创建表，否则令该表的缓存失效。ADD PARTITION 在对应表缓存的分区列表里添加分区。DROP PARTITION 在对应表缓存的分区列表里...
数据源白名单配置
说明 非阿里云数据库，请参考数据源对应的官方数据库文档。产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库...
配置SQLServer数据源
默认数据库名 此处配置的是该数据源对应的默认数据库名称。后续配置同步任务的说明如下：配置整库同步（包含实时和离线）或同步解决方案任务时，您可以选择相应RDS实例下所有具有权限的数据库。配置离线同步任务，当您选择使用多个数据库时...
配置TiDB输入组件
对于您没有同步读权限的数据源，您可以申请对应数据源的读取权限。申请数据源读取权限的具体操作，请参见 申请数据源权限。如果您还没有TiDB类型的数据源，单击 新建，创建数据源。详情请参见 创建TiDB数据源。来源表量 选择来源表量。来源...
配置TiDB输入组件
对于您没有同步读权限的数据源，您可以申请对应数据源的读取权限。申请数据源读取权限的具体操作，请参见 申请、续期和交还数据源权限。如果您还没有TiDB类型的数据源，单击 新建，创建数据源。详情请参见 创建TiDB数据源。来源表量 选择...
配置ClickHouse输入组件
对于您没有同步读权限的数据源，您可以单击数据源后的 申请，申请对应数据源的读取权限。申请数据源读取权限的具体操作，请参见 申请数据源权限。如果您还没有ClickHouse类型的数据源，单击 新建 按钮，创建数据源。具体操作，请参见 创建...
配置GBase 8a输入组件
对于您没有同步读权限的数据源，您可以申请对应数据源的读取权限。申请数据源读取权限的具体操作，请参见 管理数据源权限。如果您还没有GBase 8a类型的数据源，单击 新建，创建数据源。详情请参见 创建GBase 8a数据源。来源表量 选择来源表...
配置GBase 8a输入组件
对于您没有同步读权限的数据源，您可以申请对应数据源的读取权限。申请数据源读取权限的具体操作，请参见 申请数据源权限。如果您还没有GBase 8a类型的数据源，单击 新建，创建数据源。详情请参见 创建GBase 8a数据源。来源表量 选择来源表...
产品架构
对于异构数据库之间的迁移，DTS会解析源数据库的DDL代码，将代码转换成目标数据库的语法，然后在目标数据库中重新创建结构对象。全量数据迁移：在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到目标数据库。源数据库保持运行状态...
Check节点
前提条件 Check节点基于数据源进行校验，使用Check节点前，需先创建对应数据源，具体如下：MaxCompute分区表 已创建MaxCompute数据源并绑定至数据开发（DataStudio）。在DataWorks中，您需要先将MaxCompute项目创建为DataWorks的MaxCompute...
DBA_SOURCE
DBA_SOURCE 视图提供数据库中所有对象的源代码清单。名称 类型 说明 owner TEXT 程序所有者的用户名。schema_name TEXT 程序所属 schema 的名称。name TEXT 程序的名称。type TEXT 程序的类型，可能值包括：FUNCTION、PACKAGE、PACKAGE ...
- 产品推荐
- 这些文档可能帮助您