创建Hologres数据源
在数据源创建完成后，需要使用数据源配置的 访问身份 来访问对应的Hologres实例，因此，您需确保访问身份对应的阿里云账号有Hologres实例的操作权限。Hologres权限说明详情级授权指导请参见 Hologres权限模型概述。（可选）跨账号场景下的...
访问JDBC外表
云原生多模数据库Lindorm计算引擎支持访问外部JDBC数据源，您可以通过Spark SQL完成Lindorm与外部数据源之间的数据流转以及联邦计算。前提条件 已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。确保外部数据源已开通访问权限...
适配组件数据
如果您需要使用的数据源为 API，直接在数据源配置栏输入API即可。具体配置API数据源时，是否选中 服务器代理请求 等操作，详情请参见 如何配置跨域数据。操作步骤 登录 DataV控制台。在 工作台 页面中，选择已创建的数据看板，单击 编辑。...
PolarDB PostgreSQL版间的迁移
目标数据库的存储空间，需大于源数据库已使用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
MySQL分库分表同步至MaxCompute
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...
MySQL分库分表同步至MaxCompute
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：分库源表设置 分库分表解决方案同步的最小单位是逻辑表，一个逻辑表对应一套物理库表规则、一个目标base表。自动生成...
MySQL分库分表同步至Hologres（方案2.0）
说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端数据库读取数据时所使用的时区。步骤三：选择要同步的库表 此步骤中，您可以在 源端库表 区域选择 doc_mysql1 数据源下需要同步的源端表，您可以选择该MySQL...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
从ECS上的自建Redis同步至Redis实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从ECS上的自建Redis同步至Redis实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
整库迁移与批量上云
DataWorks支持您在 数据集成主站 新建整库离线同步方案，快速将来源数据源内所有表上传至目标数据源，帮助您节省大量初始化数据上云的批量任务创建时间。支持的数据源 当前DataWorks支持各类数据源的数据整库迁移至MaxCompute、OSS、...
全增量实时同步至Hologres
说明 您需要在 数据来源 区域根据业务需要定义读取源端数据库所使用的编码格式，及源端数据库读取数据时所使用的时区。步骤三：选择要同步的表 此步骤中，您可以在 源端库表 区域选择源端数据源下需要同步的表，并单击 图标，将其移动至 已...
添加用户和数据源
本次快速入门教程使用的示例数据源名称为 adbpg_dev。工作组 选择工作组，默认为 快速开始 工作组。实例 选择需要管理的实例。说明 如果选择的实例是第一次作为数据源，需要单击 一键添加白名单 将企业数据智能平台的IP地址添加到 ...
支持的数据源
数据源类别 数据库类型 阿里云数据库 RDS MySQL RDS SQL Server RDS PostgreSQL RDS MariaDB PolarDB MySQL版 PolarDB PostgreSQL版 MongoDB Redis PolarDB分布式版 自建数据库：ECS上的自建数据库 有公网IP:Port的自建数据库 通过专线/VPN...
从自建Redis集群同步至Redis集群实例
目标阿里云Redis集群实例的存储空间需大于源Redis数据库已使用的存储空间。源Redis集群的每个节点必须能够执行 psync 命令，且连接的密码一致。源Redis实例Slave和Master之间的复制超时时间参数 repl-timeout，默认为60秒,建议使用 config ...
SQL Server迁移上云指南
本文为您介绍SQL Server常见的几种迁移上云的方案，您可以根据数据源的位置、各方案使用的工具、各方案的优势与限制等，选择最适合您的上云方案。上云方案简介 上云方案 实现流程 操作步骤 物理备份上云 使用OSS（手动上云）将数据库日志...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
访问OSS数据源
云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的Python程序名为 example.py，用于读取文本文件readme.txt的第一行内容。import sys from pyspark.sql import SparkSession#初始Spark ...
数据集成支持的数据源
数据集成支持离线集成、实时集成、整库迁移集成方式。本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型...目标准数据源 MaxCompute、Kafka、Hive、DataHub 创建MaxCompute数据源 创建Kafka数据源 创建Hive数据源 创建DataHub数据源
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
管理数据源
查看数据源 创建数据源后，您可以在数据源列表查看所有已创建数据源的基本信息、详情和网络连接等信息，也可以根据数据源类型进行筛选、根据数据源的创建时间进行排序，以及模糊搜索指定数据源。登录 OceanBase 管理控制台。在左侧导航栏，...
数据集成侧同步任务配置
如果同步任务中读取和写入的数据源与使用的DataWorks资源组不在同一个时区，将会导致时间类型字段同步错误。同步库个数限制：整库离线同步仅支持同步数据源指定的默认库。一键实时同步支持同步对应RDS实例下数据源配置账号有权限的所有数据...
数据集成概述
如果同步任务中同步的数据源与使用的DataWorks资源组不在同一个时区，则会导致同步的数据有误。数据集成主要用于离线（批量）数据同步。离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件...
Quick BI连接
说明 通过公网连接Quick BI和数据库时，需要将Quick BI的IP地址添加至数据库白名单中，确保网络连通。您可以在Quick BI控制台的数据源配置界面，单击 复制白名单，获取Quick BI的IP地址。配置项 说明 显示名称 数据源名称。数据库地址 ...
数据迁移方案概览
数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景。本文将介绍数据迁移功能支持的数据库、版本和迁移类型，以及具体的配置文档。收费策略 DTS数据迁移涉及...
批量添加数据源
您可以通过 数据库备份DBS 的批量添加数据源功能，快速导入大批量同类型的数据源，便于后续对数据源进行管理与备份。功能说明 批量导入功能仅支持MySQL公网自建数据库。费用说明 添加数据源操作不会产生费用，只有在添加数据源后开启备份才...
数据集成支持的数据源
数据源类型 数据源 相关文档 来源端数据源 MySQL、Oracle、Microsoft SQL Server、OceanBase、IBM DB2、MaxCompute、FTP。创建MySQL数据源。创建Oracle数据源。创建Microsoft SQL Server数据源。创建OceanBase数据源。创建IBM DB2数据源。...
数据源管理
本文介绍数据源的一般操作，包括新建、搜索、重命名、编辑和删除等操作。新建数据源 具体操作请参见 添加数据源。搜索数据源 登录 DataV控制台。在 功能导航 模块单击 数据源，进入数据源管理页面。在数据源卡片页右上角可以做以下操作。...
调用Dataphin数据源
调用Dataphin数据源即应用调用生产环境中的Dataphin数据源。Dataphin数据源后续可以作为Quick BI的数据源，对业务数据进行展示、分析、探查和制作报表等。本文为您介绍如何调用Dataphin数据源。前提条件 在开始执行操作前，请确认您已满足...
新建 PolarDB-X 2.0 数据源
背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件...
设置数据源的账号与密码
且不同的数据库引擎需要不同的权限来进行数据库备份或恢复操作，例如进行MongoDB数据库备份操作需要拥有 Read 权限，进行恢复操作需要拥有 ReadWrite 权限。您可查看 账号权限说明 文档，确认待备份数据库的账号所需要的权限。操作步骤 ...
开发Dataphin数据源并加速数据查询
开发Dataphin数据源即将Dataphin中的逻辑表和物理表配置为供应用调用的Dataphin数据源，同时您可以为已开发的Dataphin数据源所在的计算空间添加Hologres加速计算源，以满足对查询速度有要求的业务场景。本文为您介绍如何开发Dataphin数据源...
- 产品推荐
- 这些文档可能帮助您