备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
一键实时同步至Elasticsearch
说明 shard数量 及 replica数量 参数，配置运行后不可更改，默认取值为 1。分区设置：您可以选择同步的数据源表的某一列作为分区列，该参数需要和 shard数量、replica数量 配合使用。默认不开启分区功能。不开启分区：不填写该参数，默认...
一键实时同步至MaxCompute
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
通过单条管道创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在配置离线单条管道过程中，为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见：支持的数据源。步骤一：创建离线单条管道 ...
一键实时同步至MaxCompute
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
通过单条管道创建集成任务
您需要在配置集成任务前，配置好您需要集成的数据源和目标数据库，以便在配置离线单条管道过程中，为您的开发组件选择数据源来控制集成任务的读取和写入数据库。离线管道支持的数据源详情请参见：数据集成支持的数据源。步骤一：创建离线单...
节点组
运行配置 运行配置 用于设置节点组的云计算资源，关键参数说明如下：参数 说明 开发计算资源 开发场景中的计算资源，用于在开发环境中运行节点组。生产计算资源 生产环境场景中的计算资源，用于在生产环境中运行节点组。说明 生产计算资源 ...
节点组
运行配置 运行配置 用于设置节点组的云计算资源，关键参数说明如下：参数 说明 开发计算资源 开发场景中的计算资源，用于在开发环境中运行节点组。生产计算资源 生产环境场景中的计算资源，用于在生产环境中运行节点组。说明 生产计算资源 ...
整库离线同步至Elasticsearch
说明 shard数量 及 replica数量 参数，配置运行后不可更改，默认取值为 1。分区设置：您可以选择同步的数据源表的某一列做为分区列，该参数需要和 shard数量、replica数量 配合使用。默认不开启分区功能。不开启分区：不填写该参数，默认...
Oracle同步至Tablestore
本实践以Oracle作为来源数据源，以Tablestore作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增Oracle数据源和Tablestore数据源，两个数据源支持的数据同步能力请参见 Oracle数据源、Tablestore数据源。已购买独享...
功能更新动态（2024年）
配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 离线研发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询。...
计费项
云电脑配置如下：规格：企业办公型-2vCPU/4GiB内存 系统盘大小：50 GiB 数据盘大小：50 GiB 假设云电脑配置的计费信息如下：企业办公型-2vCPU/4GiB内存的月价：100 元/月/台 企业办公型磁盘的月价：1 元/月/GiB 购买时长：1个月 那么该云...
发布任务
在 运行配置 页面，配置运行类型和周期后，单击 确定。支持 周期运行 和 手动运行 两种方式。选择 手动运行，手动触发后，才会进行数据的更新。选择 周期运行 并配置时间后，则每月、每周、每日或每小时会定时进行数据的更新。单击 保存并...
Kafka单表实时入湖OSS（HUDI）
目标库：选择数据写入的目标数据库，支持您单击右侧的 新建库 创建DLF元数据库。目标表：选择要写入的OSS表是 自动建表 还是 使用已有表。表名：填写或者选择要写入的OSS表名。OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。编辑...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
设置过滤条件
在配置同步或迁移任务对象时，您可以通过设置过滤条件，将源数据库中满足您需求的数据同步或迁移到目标数据库。该功能常应用于分库分表、同步或迁移部分数据等场景。前提条件 当前任务处于 配置任务对象及高级配置 阶段。进入此阶段的方法...
应用身份识别
数据库审计服务提供的审计功能，只能审计访问源的IP信息，无法溯源访问应用的具体访问源信息（例如：用户名）。如果您需要在审计日志中查看具体访问源的信息，您可以使用应用身份识别功能。本文介绍如何使用应用身份识别功能。前提条件 已...
新建层级维度逻辑表
运行配置：您可根据业务场景为该维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见：计算任务运行配置。步骤四：保存并提交逻辑...
新建层级维度逻辑表
运行配置：您可根据业务场景为该维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。详情说明，请参见：计算任务运行配置。步骤四：保存并提交逻辑...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引进入新建VIRTUAL任务...
LogHub（SLS）实时ETL同步至Hologres
任务配置 将LogHub（SLS）单Logstore中的数据同步至Hologres的数据库中。创建同步任务 进入 数据集成主站，单击 同步任务 进入同步任务页面，单击 新增任务 并开始配置同步任务。配置同步任务基本信息。任务名称：自定义。同步类型：来源端...
文档更新动态（2024年）
支持配置每个任务运行时针对每个数据库的连接，离线集成任务中配置的重试次数优先级高于数据源的配置。更新说明 配置过滤转换组件 配置脚本模式输入组件 配置脚本模式组件 配置Amazon S3输入组件 配置Amazon S3输出组件 查看及管理离线集成...
新建BLINK_DATASTREAM任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
新建BLINK_DATASTREAM任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
离线集成概述
通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。更多信息，离线集成管道通道配置。提交：将离线集成管道提交至发布中心或管理中心。更多信息，发布中心概述。去...
离线集成概述
通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。更多信息，离线集成管道通道配置。提交：将离线集成管道提交至发布中心或管理中心。更多信息，发布中心概述。去...
新建BLINK_SQL任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
Kafka实时ETL同步至Hologres
实时ETL同步方案根据来源Kafka指定Topic的内容结构对目的Hologres表结构做初始化，然后将Kafka指定Topic的存量数据同步至Hologres，同时也持续将增量数据实时同步至Hologres。本文为您介绍如何创建Kafka...实时同步任务会按照新的配置运行。
新建BLINK_SQL任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
新建FLINK_SQL任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
新建FLINK_SQL任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
新建Flink_SQL任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
文档修订记录
使用MaxCompute独享Tunnel进行数据同步 2023.4.19 新增功能 数据集成 以阿里云EMR Hive离线同步写入MaxCompute场景为例，为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。EMR Hive数据整库离线同步至MaxCompute 2023.4...
新建ARGODB_SQL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
新建SHELL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
新建SHELL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
新建FLINK_DATASTREAM任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
新建FLINK_DATASTREAM任务
运行参数：可以通过配置运行参数，控制Flink应用程序的执行行为和性能。配置说明，请参见 实时模式运行参数配置。依赖文件：配置任务依赖的资源文件。配置说明，请参见 实时模式依赖文件配置。依赖关系：配置依赖关系可帮助排查调试时快速...
新建STARROCKS_SQL任务
运行配置 您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略。未配置则默认继承租户级设置的默认值。配置说明，请参见 计算任务运行配置。在代码编写页面，保存并提交SQL任务。单击页面上的 图标，保存...
配置实时模板运行参数
Dataphin支持在实时模板中配置运行参数信息，基于当前实时模板创建的实时任务将继承所配置运行参数。本文为您介绍如何配置实时模板运行参数。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，选择...
- 产品推荐
- 这些文档可能帮助您