数据库配置脚本-数据库配置脚本文档介绍内容-阿里云

配置脚本代码节点

通过任务编排中的脚本代码可以实现周期性或定时运行脚本，本文介绍配置基于数据库网关的脚本代码节点。背景信息很多任务以脚本的方式存在于服务器中，脚本代码节点结合数据库网关，可以实现这些脚本的统一调度。例如：使用高级的工具...

配置数据源

单元格颜色-脚本配置 数据源过滤器 数据源过滤器用于过滤出数据源中指定的数据，目前支持数据过滤脚本过滤方法。通过数据过滤器可以将数据源返回的数据转换成您所需要的内容，并展示在组件样式上。数据过滤器的使用方法如下：使用步骤：...

设置资产数据源

在设置数据源 页面中，可修改数据源的类型和脚本、配置数据过滤器并查看数据响应结果。修改数据源的类型和脚本在设置数据源 页面中，在 数据源类型列表中可修改数据源类型。系统支持的数据源类型以及各数据源的配置详情，请参见管理...

通过DataWorks导入

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见支持的数据源及同步方案。说明数据...

通过DataWorks导入数据

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见支持的数据源及同步方案。说明数据...

数据源概述

说明数据同步基于数据源控制任务读写端数据库，您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。...

新建ArgoDB数据源

说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。配置集群配置区域的参数。参数描述 ...

生成数据库脚本

平台提供两种数据库脚本生成方式：表结构生成语句和表结构变更语句。本文为您介绍如何生成数据库脚本。操作步骤登录BizWorks，在选择平台下拉列表中选中建模平台。单击页面右上角图标或其文本框区域，在下拉列表中单击目标项目名称后...

创建TDH Inceptor数据源

说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数描述集群配置 NameNode NameNode为...

新建Paimon数据源

说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数描述 Catalog配置 Catalog类型仅...

管理数据库资产

支持加密审计的数据库需满足以下条件：数据库类型为自建数据库MySQL 5.6 加密算法为AES256-SHA和AES128-SHA（单向认证）如果您的MySQL数据库满足上述条件并配置了SSL证书，您需要打开使用SSL 开关，并在 SSL密钥处上传数据库使用的证书，...

管理数据库资产

在审计数据库前，您必须在数据库审计系统中添加要审计的数据库。本文介绍如何在数据库审计系统中管理数据库。背景信息关于数据库审计支持的数据库类型，请参见支持的数据库类型。添加数据库 您可以参考以下步骤在数据库审计系统中添加要...

使用DataWorks

在脚本中配置离线同步任务读取的数据源，以及需要同步的表信息等。{"stepType":"odps","parameter":{"partition":[],"datasource":"odps_first","envType":0,"column":["*"],"table":""},"name":"Reader","category":"reader"},stepType：...

Quick BI

您可以使用外网或VPC网络连接云数据库ClickHouse，在Quick BI中添加云数据库ClickHouse 数据源并通过Quick BI构建BI系统。本文介绍如何在Quick BI中添加云数据库ClickHouse 数据源。前提条件已创建云数据库ClickHouse 集群。具体操作...

C100快速入门

本文介绍了购买C100数据库审计实例后，通过配置向导快速部署和使用数据库审计服务的具体操作。前提条件已购买数据库审计实例。具体操作，请参见购买数据库审计实例。背景信息 数据库审计服务支持审计自建数据库和阿里云原生数据库。具体...

通过DataWorks导入

您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见支持的数据源与读写插件。说明数据...

Quick BI连接

您可以在Quick BI控制台的数据源配置界面，单击复制白名单，获取Quick BI的IP地址。配置项说明显示名称 数据源名称。数据库地址 AnalyticDB PostgreSQL版的连接地址。端口连接地址对应的端口号。数据库 AnalyticDB PostgreSQL版数据库...

数据源管理常见问题

创建完成后，在画布编辑器内添加一个组件，在组件右侧数据面板中的设置数据源模块，单击数据源类型，选择已经配置好的数据库数据源。说明如果无法使用外网或不想使用外网访问时，可以按如下步骤操作：在DataV控制台，选择我的数据>...

数据源管理常见问题

创建完成后，在画布编辑器内添加一个组件，在组件右侧数据面板中的设置数据源模块，单击数据源类型，选择已经配置好的数据库数据源。说明如果无法使用外网或不想使用外网访问时，可以按如下步骤操作：在DataV控制台，选择我的数据>...

PostgreSQL逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标网关DG实例ID。配置方法，请参见通过数据库网关DG备份本地或第三方云的私网数据库到...

配置MySQL输入

MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...

创建Hive数据源

说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。Hive数据源基本信息配置参数描述 数据源...

创建数据源

本文为您介绍如何创建数据源，您可以添加文件类数据源，也可以针对 DB 类创建数据源。创建文件类数据源 登录资金安全监控控制台，在左侧导航栏单击 数据源。在 数据源 页面上，单击新建数据源。在新建数据源 页面上，输入以下配置信息：...

MariaDB逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标网关DG实例ID。配置方法，请参见通过数据库网关DG备份本地或第三方云的私网数据库到...

Redis逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标网关DG实例ID，配置方法请参见通过数据库网关DG备份本地或第三方云的私网数据库到云...

RDS MySQL或自建MySQL逻辑备份

ECS上的自建数据库：备份ECS上的数据库，您还需配置源数据库实例所在的 ECS实例ID 与数据库端口号。PolarDB：备份PolarDB MySQL，您还需选择源 POLARDB实例ID。有公网IP:Port的自建数据库：可通过公网IP备份自建数据库，您还需配置源数据库...

备份数据库

数据库备份DBS 的批量备份功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明关于各类数据库备份方案，请参见备份方案概览。前提条件已添加数据源。如何添加数据源，请参见手动...

MySQL整库实时同步至OSS数据湖

配置数据源的操作详情请参见配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源、OSS数据源的网络连通测试。不同网络环境下的网络连通方案可参见：配置资源组与网络连通。数据源相关能力...

数据集成侧同步任务配置

附录：高级配置设置同步来源与规则选择源端数据源中需要同步的库和表后，同步任务默认将源端数据库、数据表写入目标端同名schema或同名表中，如果目标端不存在该schema或表，将会自动创建。同时，您可以通过设置表（库）名的映射规则 ...

配置并管理实时同步任务

数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...

配置安全规则

将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息审计规则支持内置规则和自定义规则。内置规则即数据库...

数据连接管理

在新版DTS控制台配置任务时，首先需要在源库信息或目标库信息区域选择 数据库类型，然后在选择已有的数据库连接中选择目标数据库实例。为什么选不到已录入的数据库实例？可能是您录入的数据库实例已从数据连接管理页面删除，或者 ...

新建数据库SQL任务

执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见申请、续期和交还数据源权限。不支持基于MySQL、Oracle数据源SQL数据更新触发调度数据源质量规则。更新信息，请参见创建数据表质量规则。查询结果不支持全...

新建数据库SQL任务

执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见申请、续期和交还数据源权限。不支持基于MySQL、Oracle数据源SQL数据更新触发调度数据源质量规则。更新信息，请参见创建全域数据表质量规则。查询结果不...

配置资源组与网络连通

在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...

SQL Server逻辑备份

无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标网关DG实例ID，配置方法请参见通过数据库网关DG备份本地或第三方云的私网数据库到云...

新建数据库

操作步骤新建数据库 您可以使用以下两种方式来新建数据库：Hologres管控台新建数据库 Hologres管控台支持以可视化的方式新建数据库，在Hologres管控台进入对应实例的详情页，选择 数据库管理，单击新增数据库 进行创建。说明当前版本的...

自建数据库异地备份

选择 数据源类型为待备份的数据库类型，本示例选择 MySQL。选择备份方式为逻辑备份。具体操作，请参见购买备份计划。配置备份计划访问备份计划，然后在上方选择备份计划所在的地域，本示例为华北2。找到目标备份计划ID，单击右侧 ...

一键实时同步至AnalyticDB for MySQL 3.0

数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...

配置并管理实时同步任务

数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...

数据库配置脚本

新品推荐