修改组件数据
如果您的数据源为CSV文件、数据库等其他类型的数据，需要首先添加数据源，详情请参见 添加数据源。如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据...
新建离线自定义源类型
对于非RDBMS类型的数据库，数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项，并上传读/写插件驱动包创建非RDBMS类型自定义源。集成组件生成说明 完成创建离线自定义源类型后，在集成管道的组件库中会自动生成该...
新建离线自定义源类型
对于非RDBMS类型的数据库，数据源的链接方式与配置项比较多样化。您可通过JSON定义数据源连接所需配置项，并上传读/写插件驱动包创建非RDBMS类型自定义源。集成组件生成说明 完成创建离线自定义源类型后，在集成管道的组件库中会自动生成该...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
【通知】2024年03月起DBS数据源页面功能逐步变更
为提供更高效便捷的数据备份服务以及提升产品使用体验，2024年03月起 数据库备份DBS 将逐步对 数据源 页面相关功能进行变更，变更后您可直接在 数据源 页面新增或同步数据源，配置MySQL逻辑备份（支持 阿里云RDS MySQL数据库、ECS自建MySQL...
创建Hive数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。Hive数据源基本信息配置 参数 描述 数据源...
Redis逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
数据集成侧同步任务配置
附录：高级配置 设置同步来源与规则 选择源端数据源中需要同步的库和表后，同步任务默认将源端数据库、数据表写入目标端同名schema或同名表中，如果目标端不存在该schema或表，将会自动创建。同时，您可以通过 设置表（库）名的映射规则 ...
MySQL整库实时同步至OSS数据湖
配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源、OSS数据源的网络连通测试。不同网络环境下的网络连通方案可参见：配置资源组与网络连通。数据源相关能力...
配置VPC数据源
通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是专有网络。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
DataV连接
在工作台页面，单击 数据准备>数据源，进入数据源页面，单击 新建数据源。从 类型 列表中，选择 AnalyticDB for PostgreSQL。在 网络 列表中选择连接的网络类型，并选择实例所在的区域。内网：通过 AnalyticDB PostgreSQL版 的内网地址连接...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
数据连接管理
在新版DTS控制台配置任务时，首先需要在 源库信息 或 目标库信息 区域选择 数据库类型，然后在 选择已有的数据库连接 中选择目标数据库实例。为什么选不到已录入的数据库实例？可能是您录入的数据库实例已从 数据连接管理 页面删除，或者 ...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
新建数据库SQL任务
本文为您介绍如何基于Dataphin新建数据库SQL任务。使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限...
自建数据库异地备份
本文介绍如何使用 数据库备份DBS 创建自建数据库的异地备份任务，实现异地容灾需求。本示例将位于杭州的自建MySQL数据库备份至华北2（北京）。本文也适用于其他数据库类型的自建库，例如自建Oracle、SQL Server数据库等，关于其他备份参数...
Redis备份上云
数据库备份DBS支持备份自建数据库，并支持恢复到阿里云数据库，从而实现备份上云。本文以自建Redis备份上云为例，分3个部分介绍备份上云的完整操作步骤，即先将本地自建Redis数据备份至DBS中；再将DBS中的备份数据恢复至阿里云Redis；最后...
新建数据库
操作步骤 新建数据库 您可以使用以下两种方式来新建数据库：Hologres管控台新建数据库 Hologres管控台 支持以可视化的方式新建数据库，在Hologres管控台进入对应实例的详情页，选择 数据库管理，单击 新增数据库 进行创建。说明 当前版本的...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
FineBI
单击 下一步，选择数据库，单击 外部数据库 中的 配置数据库。在 外接数据库配置 页面，按照页面提示进行参数配置。说明 此处应填写MySQL数据库的连接信息，而不是 AnalyticDB MySQL版 数据库连接信息。参数 说明 数据库类型 选择 MySQL。...
DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
使用DTS迁移单节点架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将单节点架构的自建MongoDB数据库迁移至云数据库MongoDB中。除本方法外，您也可以 使用MongoDB工具将自建数据库迁移至单节点实例。更多数据迁移或数据同步场景的解决方案，...
ECS自建数据库的灾备与安全
数据库备份DBS支持MySQL、SQL Server、PostgreSQL等阿里云数据库，以及ECS上的自建数据库、线下数据库、其他云数据库进行备份恢复操作。本文以ECS MySQL为例，介绍如何通过DBS实现ECS数据库的灾备与安全，满足实时备份、快速恢复、异地灾备...
数据库采集
说明 建议在业务低峰期采集数据库数据，通常业务低峰期采集只需要较短时间就可以完成采集。采集器对CPU要求不高，如果涉及到数据库对象的getddl操作，采集开始时CPU负载会有一些增加，负载增加量取决于源数据库规格和当前负载。采集器对源...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
通过脚本模式配置离线同步任务
本文为您介绍脚本模式配置离线同步任务的常见配置，各数据源配置存在一定差异，请以 具体数据源配置文档 为准。背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本...
通过向导模式配置离线同步任务
本文为您介绍向导模式配置离线同步任务的常规配置，各数据源配置存在一定差异，请以 具体数据源配置文档 为准。背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本...
Commons Pool 连接 OceanBase 数据库示例程序
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
创建同步任务
配置离线同步任务，当您选择使用多个数据库时，则每个数据库均需要配置一个数据源。认证选项 选择 无认证。备库设置 如果数据源具备只读实例（备库），可以在配置任务时开启 备库设置，并选择备库ID。设置备库的优势是防止干扰主库，不影响...
配置数据库审计实例
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
- 产品推荐
- 这些文档可能帮助您