配置离线数据集成节点
源表配置 数据过滤 填写WHERE过滤语句。支持使用变量。推荐分片字段 默认取值为 自动。最大并发数量 选择最大并发数量，默认取值为4。说明 DMS 限制单个租户的并发Spark任务数量，超过4后，任务将会排队执行。目标表配置 导入数据前置行为 ...
宜搭创建大屏实操
本文主要介绍如何使用企业经营管理系统中客户库表及签约表表单数据，来创建并配置企业经营管理大屏。宜搭创建大屏实操视频，请参见：宜搭创建大屏实操视频。创建企业经营管理系统 操作步骤如下：登录宜搭系统，通过空白应用创建名称为 企业...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 ...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用...
数据归档至Lindorm
归档配置 是 选择需要归档数据的表。可选：输入归档数据的过滤条件。例如，gmt_modified${6_month_ago}'。说明 如果您需要使用时间变量，例如，归档6个月前的数据，可以先进行 变量配置。可选：单击 添加，添加多个源表。归档表映射 否 您...
数据归档至Lindorm
归档配置 是 选择需要归档数据的表。可选：输入归档数据的过滤条件。例如，gmt_modified${6_month_ago}'。说明 如果您需要使用时间变量，例如，归档6个月前的数据，可以先进行 变量配置。可选：单击 添加，添加多个源表。归档表映射 否 您...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
数据归档至专属存储
归档配置 是 选择需要归档数据的表。可选：输入归档数据的过滤条件。例如，gmt_modified${6_month_ago}'。说明 如果您需要使用时间变量，例如，归档6个月前的数据，可以先进行 变量配置。可选：单击 添加，添加多个源表。归档表映射 否 您...
一键MaxCompute数据同步节点
背景信息 使用一键同步MaxCompute数据至Hologres进行数据查询时，您需要先在Hologres中创建外部表，该外部表可视为MaxCompute源表（即需要同步的MaxCompute数据所在的表）与Hologres内部表的链接，通过该连接将MaxCompute源表数据同步至...
逻辑表调度配置概述
参数配置 逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。运行配置 您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间...
逻辑表调度配置概述
参数配置 逻辑表参数配置是对逻辑表中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。运行配置 您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间...
数据归档至RDS MySQL
归档配置 是 选择需要归档数据的源表。可选：输入归档数据的过滤条件。说明 如果您需要使用时间变量，例如归档6个月前的数据，可以先进行 变量配置。可选：单击添加，添加多个源表。归档表映射 否 您可以单击表名操作列下的 编辑，编辑源表...
数据归档至PolarDB MySQL版
归档配置 是 选择需要归档数据的源表。可选：输入归档数据的过滤条件。说明 如果您需要使用时间变量，例如归档6个月前的数据，可以先进行 变量配置。可选：单击添加，添加多个源表。归档表映射 否 您可以单击表名操作列下的 编辑，编辑源表...
BI分析模式数据面板功能介绍
使用BI分析模式配置组件数据是一个全新的数据配置功能，需要与您准备的数据集内容相结合，您可以使用BI分析模式，为组件自由分配所需数据集的字段内容，合理配置图表数据映射和其他数据筛选等功能。本文介绍BI分析模式下组件数据配置面板...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
背景图片层（v3.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
MySQL整库实时同步至OSS数据湖
配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源、OSS数据源的网络连通测试。不同网络环境下的网络连通方案可参见：配置资源组与网络连通。数据源相关能力...
DM（达梦）数据源
} } } Writer脚本参数 参数 描述 是否必选 默认值 datasource 输入DM数据源名称，配置数据源详情请参见 配置DM数据源。是 无 table 目标表名称，如果表的Schema信息和上述配置username不一致，请使用 schema.table 的格式填写table信息。是...
漏斗图
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
MariaDB逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤，或者在右侧页面的搜索框中通过关键词搜索出对应的库表进行添加或删除的操作。入湖配置。OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。选择元数据...
RDS MySQL或自建MySQL逻辑备份
无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建数据库，您需要提前为数据库实例配置数据库网关，并在此配置步骤选择目标 网关DG实例ID。配置方法，请参见 通过数据库网关DG备份本地或第三方云的私网数据库到...
新建元表
步骤四：配置元表属性 完成元表创建后，单击右侧 属性 按钮，可以配置元表 基本信息、元表参数、引用信息 和修改 调试测试 数据表。配置项 参数 描述 基本信息 元表名称 默认为所创建的元表名称，不支持修改。数据源 默认为所创建的数据源...
新建元表
步骤四：配置元表属性 完成元表创建后，单击右侧 属性 按钮，可以配置元表 基本信息、元表参数、引用信息 和修改 调试测试 数据表。配置项 参数 描述 基本信息 元表名称 默认为所创建的元表名称，不支持修改。数据源 默认为所创建的数据源...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
数据质量概述
规则配置 数据质量支持按表配置或按模板配置质量监控规则，详情请参见：配置规则：按表（单表）、配置规则：按模板（批量）。任务查询 在任务查询页面您可以通过表或节点搜索表历史校验记录及校验详情。配置数据质量规则去噪 去噪管理功能...
发送数字短信
数字短信是通过一套编码技术，把文本、图片、音频、视频等文件转码后通过短信发送给用户，让用户可以收到展现形式更加丰富的富媒体信息，您可以在控制台发送数字短信。前提条件 完成 阿里云账号注册 和 实名认证。已开通 多媒体短信。数字...
新增多表实时任务
在 数据源配置 区域，选择数据源，选中待同步的数据表，单击 图标，再选择是否同步系统字段。重要 任务执行时，每个表都会对内存造成一定消耗，一个任务中最多允许10张表，请谨慎配置。在 目标端配置 区域，选择目标端，并选择 表存在则不...
新增多表实时任务
在 数据源配置 区域，选择数据源，选中待同步的数据表，单击 图标，再选择是否同步系统字段。重要 任务执行时，每个表都会对内存造成一定消耗，一个任务中最多允许10张表，请谨慎配置。在 目标端配置 区域，选择目标端，并选择 表存在则不...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
ApsaraDB For OceanBase数据源
ApsaraDB for OceanBase数据源提供读取和写入ApsaraDB for OceanBase数据的双向功能，您可以使用ApsaraDB for OceanBase数据源配置同步任务同步数据。本文为您介绍DataWorks的ApsaraDB For Oceanbase数据同步能力支持情况。支持的版本 离线...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
GBase8a数据源
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
HybridDB for MySQL数据源
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视图表。HybridDB for MySQL Reader插件支持读取表和视图。表字段...
数据接口配置说明
配置数据接口 在 数据接口设置 页签中，系统默认情况下会自带配置一个数据接口示例，您可以自定义按操作配置数据接口内容。操作 说明 展开数据接口详细信息列表 单击示例数据接口右侧的 图标，即可打开当前数据接口的详细配置信息列表。...
- 产品推荐
- 这些文档可能帮助您