创建MaxCompute数据源
进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力，您可将其他数据源的数据同步至当前MaxCompute数据源，或将当前MaxCompute数据源的数据同步至其他数据源。同时，可根据需要选择离线同步、实时同步、同步...
数据导入概览
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
从Amazon RDS MySQL迁移至阿里云
DTS会自动地在阿里云RDS MySQL中创建数据库，如果待迁移的数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS MySQL中创建数据库。说明 关于阿里云RDS的定义规范和创建数据库的操作方法，请参见 创建数据库。对于...
从Amazon RDS MySQL迁移至阿里云
DTS会自动地在阿里云RDS MySQL中创建数据库，如果待迁移的数据库名称不符合阿里云RDS的定义规范，您需要在配置迁移任务之前在阿里云RDS MySQL中创建数据库。说明 关于阿里云RDS的定义规范和创建数据库的操作方法，请参见 创建数据库。对于...
产品概述
具有自动化的数据洞察、智能生成可视化作品和灵活高效的数据协同等特点，详情请参见 什么是DataV-Card可视分析创作间。子产品相关链接 DataV-Board 数据看板 产品简介 产品计费 DataV-TwinFabric 孪生仿真 产品简介 DataV-Atlas 可视分析...
云产品集成
在 DataWorks 添加 ApsaraDB For OceanBase 数据源的相关操作，请参见：什么是DataWorks 数据源概述 支持的数据源及同步方案 ApsaraDB For OceanBase数据源 实时计算 Flink 版 实时计算 Flink 版是阿里云提供的全托管 Serverless Flink ...
操作审计
使用详情可参考文档：回收站 MaxCompute表数据恢复：提供数据备份与恢复功能，系统会自动备份数据的历史版本（例如被删除或修改前的数据）并保留一定时间，相关资源可参考：备份与恢复 如何进行节点版本对比与版本回滚？您可以在数据开发...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
从Amazon RDS SQL Server全量迁移至阿里云
Amazon RDS SQL Server的数据库版本为2005、2008、2008 R2、2012、2014或2016版本。已创建阿里云RDS SQL Server实例，详情请参见 创建阿里云RDS SQL Server实例。阿里云RDS SQL Server的存储空间须大于Amazon RDS SQL Server已使用的存储...
PolarDB MySQL版迁移至RDS MySQL
特殊情况 当目标库为RDS MySQL时，DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 管理数据库。费用说明 迁移类型 链路配置...
从Amazon RDS for PostgreSQL全量迁移至阿里云
前提条件 Amazon RDS for PostgreSQL的数据库版本为9.4或以上版本。为保障DTS能够通过公网连接至Amazon RDS for PostgreSQL，需要将Amazon RDS for PostgreSQL的 Publicly accessible 设置为 Yes。已创建阿里云RDS PostgreSQL，详情请参见 ...
补数据
周、月任务如何执行补数据操作 补数据功能说明 补数据支持补历史一段时间区间的数据或者需要补未来一段时间的数据时，可以选择补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换为对应的值。将MySQL增量数据写入...
自建Oracle迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
PolarDB MySQL版迁移至RDS MySQL
特殊情况 当目标库为RDS MySQL时，DTS会自动在RDS MySQL中创建数据库，如果待迁移的数据库名称不符合RDS MySQL的定义规范，您需要在配置迁移任务之前在RDS MySQL中创建数据库。相关操作，请参见 管理数据库。费用说明 迁移类型 链路配置...
RDS MariaDB迁移至RDS PostgreSQL
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
自建Oracle间迁移
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
跨云账号迁移云数据库Redis实例
警告 选择为 忽略报错并继续执行 后，如果在迁移过程中遇到目标端的Key与源端中的Key相同，会将源端的数据覆盖写入目标端中，从而可能会导致目标端原有的数据丢失，请谨慎选择。源库对象 在 源库对象 框中单击待迁移的对象，然后单击 将其...
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
Quick BI数据可视化
Quick BI支持连接 云数据库 SelectDB ...将SelectDB数据库中的数据表或自定义的SQL添加到Quick BI，请参见 创建并管理数据集。添加可视化图表并分析数据，请参见 新建仪表板 和 可视化图表概述。钻取并深度分析数据，请参见 钻取设置与展示。
数据页面管理
我的数据分组 在 我的数据分组 页面中，您可以对不同的数据类型分成不同的组。您可以实现如下多个功能：功能 说明 新增分组 单击 我的数据分组 列表右侧的，在弹出的 新建分组 对话框中，自定义输入分组名称后单击 OK 即可新增一个数据分组...
云数据库Redis间的迁移
警告 选择为 忽略报错并继续执行 后，如果在迁移过程中遇到目标端的Key与源端中的Key相同，会将源端的数据覆盖写入目标端中，从而可能会导致目标端原有的数据丢失，请谨慎选择。源库对象 在 源库对象 框中单击待迁移对象，然后单击 将其...
自建Oracle迁移至RDS PostgreSQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
API概览
ListUserRoles 获取单个User的数据湖角色列表 获取单个User的数据湖角色列表。ListPermissions 获取权限列表 获取权限列表。CheckPermissions 对User权限进行校验 对User权限进行校验。GetCatalogSettings 获取数据湖Catalog的配置 获取...
适配组件数据
背景信息 本文以使用 静态数据源 为例，因此可以直接在组件的数据源配置区域粘贴准备好的数据。如果您的数据源为 CSV文件、数据库 等其他类型的数据，需要首先 添加数据源。如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。...
创建元数据
后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、Elasticsearch和MongoDB数据源中数据表的元数据。背景信息 HBase、Elasticsearch和MongoDB数据源为非关系型数据源，基于这三种数据源创建服务单元时无法直接...
数据标准
数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有多种不同的定义方法，给后期进行数据汇集和整合带来障碍。因此，数据处理的前奏就是数据标准化，数据标准作为一个统一的数据共识，在标准...
从Amazon RDS for PostgreSQL增量迁移至阿里云
前提条件 Amazon RDS for PostgreSQL的数据库版本为10.4或以上版本。为保障DTS能够通过公网连接Amazon RDS for PostgreSQL，需要将其 Publicly accessible 设置为 Yes。为保障DTS能够读取Amazon RDS for PostgreSQL的增量数据变更信息，...
数据加工过程卡点校验
本文为您介绍在线或离线业务系统的数据在生成过程中进行的卡点校验。在线系统卡点校验 在线业务系统产生的数据是数据仓库的重要数据来源。在线业务系统复杂多变，每次变更都会产生数据的变化。因此，数据仓库需要适应多变的业务发展，及时...
新建 Oracle 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移或数据同步项目仅支持选择指定 Schema Name 下的迁移或同步...
什么是数据库自治服务DAS
管理成本高 随着云技术的普及，企业可以更为便捷的根据不同的业务类型，使用不同的数据库，或者将数据库部署在不同的环境中，多环境和多种数据库的管理的挑战也随之而来：精通多种数据库的专业DBA是稀缺人才，招聘难。管理部署在多种环境的...
新建 MySQL 数据源
建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅支持选择指定 Database Name 下的迁移对象。备注 数据源的...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
冷数据归档
这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储成本，提升热数据读取性能，对于使用时序引擎的企业用户具有现实意义。在Lindorm时序引擎中，随着...
新建 TiDB 数据源
建议您为数据迁移项目创建一个专属的数据库用户，该用户必须具备相关的数据操作权限。详情请参见 创建 TiDB 数据库用户。如果您需要订阅 TiDB 增量日志，请准备 Kafka 数据源和 Kafka Topic。并且，请根据 TiDB 官方文档，提前创建 TiDB ...
数据服务
为什么数据服务无法连接ECS自建的数据库？是否必须开通API网关？如何配置数据源？数据服务是否支持MaxCompute（ODPS）数据源？向导模式生成API与脚本模式有何功能差异？数据服务中的API分组的作用是什么，与API网关中的分组有什么关联？...
DataWorks on EMR Serverless StarRocks最佳实践
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
数据量
数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储空间。ECS中为：购买时选择的系统盘和数据盘存储空间。数据文件空间 数据库的数据文件在...
配置Hologres输出组件
同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源并已申请Hologres数据源的同步写权限：如何创建...
- 产品推荐
- 这些文档可能帮助您