元数据采集
当您需要采集已开启白名单访问控制的数据源的元数据时，则需要提前配置好数据库的白名单权限。详情请参见 元数据采集的数据源有白名单访问控制时需要配置的白名单。DataWorks目前不建议跨地域采集元数据，即DataWorks所在的地域需要与数据...
PostgreSQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
创建Hive数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。Hive数据源基本信息配置 参数 描述 数据源...
JIRA/Confluence SSO
本文为您介绍如何在 IDaaS 中配置 JIRA 单点登录。应用简介 JIRA 是 Atlassian公司出品的项目与事务跟踪工具，被广泛应用于缺陷跟踪、客户服务、需求收集、流程审批、任务跟踪、项目跟踪和敏捷管理等工作领域。JIRA中配置灵活、功能全面、...
自定义RDBMS数据库及同步数据
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 非必填，配置数据源的标签分类。生产数据源 或 生产+开发数据源 链接地址 填写数据源的链接地址。链接地址的格式为：jdbc:mysql:/{Public ...
自定义RDBMS数据库及同步数据
说明 系统支持配置 生产数据源 和 开发数据源 为相同的数据源，也可以配置为不同的数据源。标签 非必填，配置数据源的标签分类。生产数据源 或 生产+开发数据源 链接地址 填写数据源的链接地址。链接地址的格式为：jdbc:mysql:/{Public ...
D100快速入门
本文介绍了购买数据库审计D100实例后，如何快速部署和使用数据库审计服务。背景信息 数据库审计服务支持审计自建数据库和阿里云原生数据库。具体支持的数据库类型，请参见 支持的数据库类型。前提条件 已购买数据库审计D100实例。具体操作...
步骤二：实时项目规划
本文将指导您完成本教程的Ververica Flink计算源、数据源、实时项目的创建与绑定。步骤一：创建 Ververica Flink 计算源 在Dataphin首页，单击顶部菜单栏的 规划。按照下图操作指引，进入 Ververica Flink新建计算源 页面。在 新建计算源 ...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
DataV连接
但是由于VPC网络实现机制的原因，有时控制台显示的实例ID并不是DataV数据源配置VPC网络需要的实例ID。因此您需要通过 DescribeDBInstanceNetInfo-查看实例的连接地址信息 接口获取DataV需要的 AnalyticDB PostgreSQL版 VPC实例ID。域名 ...
通过脚本模式创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情，请参见 数据集成支持的数据源。步骤一：创建离线脚本 在Dataphin首页，单击顶部菜单栏的 ...
配置VPC数据源
通过专有网络VPC数据源的配置，您可以将专有网络VPC内的数据库接入到DataV中，并作为组件的数据源进行大屏展示。背景信息 了解专有网络VPC，详情请参见 什么是专有网络。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，...
通过脚本模式创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在开发配置离线集成脚本过程中读取和写入数据库。离线管道支持的数据源详情，请参见 离线集成支持的数据源。步骤一：创建离线脚本 在Dataphin首页，单击顶部菜单栏的 ...
MariaDB逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
Redis逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
RDS MySQL或自建MySQL逻辑备份
ECS上的自建数据库：备份ECS上的数据库，您还需配置源数据库实例所在的 ECS实例ID 与数据库端口号。PolarDB：备份PolarDB MySQL，您还需选择源 POLARDB实例ID。有公网IP:Port的自建数据库：可通过公网IP备份自建数据库，您还需配置源数据库...
使用DataWorks数据集成从MySQL导入数据到GDB
已完成图数据库GDB数据源配置，配置方法请参见 配置Graph Database数据源。操作步骤 配置同步任务脚本 单击目标DataWorks工作空间所在行 操作 列的 进入数据开发。创建离线同步节点，具体请参见 离线同步节点。在 选择数据源 向导下，执行...
备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
MySQL整库实时同步至OSS数据湖
配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源、OSS数据源的网络连通测试。不同网络环境下的网络连通方案可参见：配置资源组与网络连通。数据源相关能力...
开放搜索
说明 RDS数据源配置的过滤条件只能拉取符合该条件的记录，详细配置请参考 数据源过滤条件（RDS/PolarDB）。如您选择 DTS数据订阅实例，需要填写DTS实例相关信息，详情请参见 DTS实时同步。API相关信息 高性能检索版的SDK参考，请参见 SDK...
数据集成侧同步任务配置
附录：高级配置 设置同步来源与规则 选择源端数据源中需要同步的库和表后，同步任务默认将源端数据库、数据表写入目标端同名schema或同名表中，如果目标端不存在该schema或表，将会自动创建。同时，您可以通过 设置表（库）名的映射规则 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
恢复Oracle物理备份
选择原服务器的备份网关，并配置 数据库恢复目录 为数据库的原目录，若不填写，将默认为数据库的原目录。前提条件 已完成数据备份。具体操作，请参见 Oracle物理备份。准备一台服务器用于接收物理备份文件，并在服务器上安装备份网关。更多...
数据连接管理
在新版DTS控制台配置任务时，首先需要在 源库信息 或 目标库信息 区域选择 数据库类型，然后在 选择已有的数据库连接 中选择目标数据库实例。为什么选不到已录入的数据库实例？可能是您录入的数据库实例已从 数据连接管理 页面删除，或者 ...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
新建数据库SQL任务
执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限。不支持基于MySQL、Oracle数据源SQL数据更新触发调度数据源质量规则。更新信息，请参见 创建数据表质量规则。查询结果不支持全...
新建数据库SQL任务
执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限。不支持基于MySQL、Oracle数据源SQL数据更新触发调度数据源质量规则。更新信息，请参见 创建全域数据表质量规则。查询结果不...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
SQL Server逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID，配置方法请参见 通过数据库网关DG备份本地或第三方云的私网数据库到云...
新建数据库
操作步骤 新建数据库 您可以使用以下两种方式来新建数据库：Hologres管控台新建数据库 Hologres管控台 支持以可视化的方式新建数据库，在Hologres管控台进入对应实例的详情页，选择 数据库管理，单击 新增数据库 进行创建。说明 当前版本的...
自建数据库异地备份
选择 数据源类型 为待备份的数据库类型，本示例选择 MySQL。选择 备份方式 为 逻辑备份。具体操作，请参见 购买备份计划。配置备份计划 访问 备份计划，然后在上方选择 备份计划 所在的地域，本示例为华北2。找到目标备份计划ID，单击右侧 ...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
使用DTS迁移单节点架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将单节点架构的自建MongoDB数据库迁移至云数据库MongoDB中。除本方法外，您也可以 使用MongoDB工具将自建数据库迁移至单节点实例。更多数据迁移或数据同步场景的解决方案，...
数据库采集
说明 建议在业务低峰期采集数据库数据，通常业务低峰期采集只需要较短时间就可以完成采集。采集器对CPU要求不高，如果涉及到数据库对象的getddl操作，采集开始时CPU负载会有一些增加，负载增加量取决于源数据库规格和当前负载。采集器对源...
ECS自建数据库的灾备与安全
数据库备份DBS支持MySQL、SQL Server、PostgreSQL等阿里云数据库，以及ECS上的自建数据库、线下数据库、其他云数据库进行备份恢复操作。本文以ECS MySQL为例，介绍如何通过DBS实现ECS数据库的灾备与安全，满足实时备份、快速恢复、异地灾备...
- 产品推荐
- 这些文档可能帮助您