数据接口配置说明
配置数据接口 在 数据接口设置 页签中，系统默认情况下会自带配置一个数据接口示例，您可以自定义按操作配置数据接口内容。操作 说明 展开数据接口详细信息列表 单击示例数据接口右侧的 图标，即可打开当前数据接口的详细配置信息列表。...
安装ECShop
ECShop是一款B2C开源商城系统，可以满足您搭建个人网店或中小企业商城网站的多样化需求。本文以Linux独享虚拟主机标准增强版为例，为您介绍如何在云虚拟主机上安装ECShop 4.1。前提条件 已购买并初始化云虚拟主机。具体操作，请参见 购买和...
配置规则：按模板（批量）
还支持您按表配置数据质量规则，详情请参见 配置规则：按表（单表）。使用限制 按模板配置目前支持配置EMR（E-MapReduce）、Hologres、AnalyticDB for PostgreSQL、MaxCompute数据源的监控规则。进入按模板配置监控规则页面 登录 DataWorks...
ClickHouse数据源
ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本 支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...
加速服务
方案1：使用加速服务 注意事项 加速项与数据表之间是一一映射的关系，即：一个加速项中只包含一张数据表，一张数据表最多也只会产生一个加速项。如果在新增加速项时，选择了已配置过加速项的数据表名称，则该加速项将会初始化失败。步骤1：...
Hive数据源
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
离线同步能力说明
表数据质量监控：支持对同步后的数据进行数据质量监控，目前仅部分数据库类型支持配置数据质量监控规则。详情请参见：数据质量概述。开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境...
组件数据源配置
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
数据质量风险监控
背景信息 数据质量监控和数据资产等级对应，您可以根据以下因素细化您的监控配置，数据质量的详情请参见 数据质量概述。监控分类：数据量、主键、离散值、汇总值、业务规则和逻辑规则。监控粒度：字段级别、表级别。监控层次：ODS、CDM、...
配置示例：MaxCompute
在数据表的 监控规则 页面，单击 分区表达式 后的+，添加分区表达式。您可以选择新建分区表达式，也可以选择推荐的分区表达式：新建分区的表达式 在 添加分区 对话框中，您可以根据自身需求编辑符合语法的分区表达式。非分区表可以直接选择...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
创建数据源质量规则
本文为您介绍如何配置数据源的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员和资源负责人支持为质量规则配置调度、告警等。质量负责人、普通用户需要...
创建数据源质量规则
本文为您介绍如何配置数据源的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员和资源负责人支持为质量规则配置调度、告警等。质量负责人、普通用户需要...
文档修订记录
独享数据服务资源组 独享数据服务资源组计费说明：包年包月 2023.11.21 新增功能 数据保护伞 使用数据保护伞识别敏感数据时，可基于脱敏场景配置数据脱敏规则。数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种...
BUILD
例如，配置数据库 adb_demo1 中表 test1 的BUILD调度优先级为30，数据库 adb_demo2 中表 test2 的BUILD调度优先级为10。SET ADB_CONFIG RC_BUILD_TASK_PRIORITY_LIST=`adb_demo1.test1.30;adb_demo2.test2.10`;配置同一数据库的所有表具有...
配置数据校验
本文介绍如何使用数据传输服务DTS（Data Transmission Service）配置数据校验任务，帮助您监控源库与目标库数据的差异。您可以在同步或迁移实例的 高级配置 阶段选择相应的 数据校验方式，或者单独配置数据校验任务，以便及时发现数据不...
新功能发布记录
自定义DMS界面布局与样式 影子表同步 新增 支持根据源表的表结构创建影子表（新的数据表，表名是在源表名上增加前缀或后缀的方式生成），适用于全链路压测等场景。影子表同步 查询阈值的时间周期 优化 在用户管理中，分别新增用户的查询...
任务编排之电商打标
构建配置表consumption_records的数据，配置如下：操作步骤 创建配置表、业务表和消费券发放表，并写入数据。具体操作请参见 环境准备。新增任务流。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据开发>任务编排。...
数据质量风险监控
背景信息 数据质量监控和数据资产等级对应，您可以根据以下因素细化您的监控配置，数据质量的详情请参见 概述。监控分类：数据量、主键、离散值、汇总值、业务规则和逻辑规则。监控粒度：字段级别、表级别。监控层次：ODS、CDM、ADS三层...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
创建实时元表规则
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
创建实时元表规则
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 校验配置...
配置数据源
开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置数据源。前提条件 为了保障数据源和服务资源组之间的正常数据访问，需要完成网络连通与白名单的配置，否则将无法...
新建层级维度逻辑表
层级维度逻辑表是具有层级结构关系的维度表。例如时间层级维度逻辑表，包含日、周、月、季、年等日期数据。本文为您介绍如何新建并配置层级维度逻辑表。前提条件 已完成层级业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：...
新建层级维度逻辑表
层级维度逻辑表是具有层级结构关系的维度表。例如时间层级维度逻辑表，包含日、周、月、季、年等日期数据。本文为您介绍如何新建并配置层级维度逻辑表。前提条件 已完成层级业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：...
配置实时监控报警规则
筛选项包括：报警原因：包括业务延时过高、TPS超过范围、失败频率超过配置、数据滞留超过配置和checkpoint失败配置。接收方式：包括电话、短信、钉钉和邮件。创建人：即创建该条监控规则的用户。接收人：即每条监控规则中配置的告警接收...
计费逻辑说明
产品类型 功能介绍 计费项 计费说明 计费标准参考 智能数据建模 智能数据建模是DataWorks自研的建模产品，支持数仓规划设计、制定并沉淀企业数据标准、维度建模、数据指标定义，帮助您将建模设计产出的维度表、明细表、应用表、汇总表物化...
配置实时监控报警规则
筛选项包括：报警原因：包括业务延时过高、TPS超过范围、失败频率超过配置、数据滞留超过配置和checkpoint失败配置。接收方式：包括电话、短信、钉钉和邮件。创建人：即创建该条监控规则的用户。接收人：即每条监控规则中配置的告警接收...
运维中心入门
您可在运维中心查看发布至生产环境的任务，并执行测试、补数据等相关运维操作。本文以周期调度任务的运维为例，通过确认调度...后续步骤 您可为节点产出的表数据配置数据质量监控规则，保障表数据的产出符合预期。详情请参见数据质量入门。
数据脱敏
分区是指在创建MaxCompute数据表时指定的分区空间，用于限定不同区域，方便快速和高效地对指定内容进行查询。更多信息，请参见 分区。说明 源产品 选择RDS和PolarDB时，无需配置 源分区。源分区 为选填项，不填写则代表会对整个表中的敏感...
Tablestore数据源
否 normal isTimeseriesTable 定义了操作的数据表是否为时序数据表：false：数据表为普通的宽表。true：数据表为时序数据表。本配置仅在 newVersion:true&mode:normal 配置下生效。旧版Tablestore Reader不支持时序表，且时序表无法按列...
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
计算引擎审批策略
背景信息 您可以从 MaxCompute项目 维度或 数据保护伞分级分类 维度定义审批流程适用的数据范围，详情可参见 选择配置范围。使用限制 仅空间管理员、被授权 AliyunDataWorksFullAccess 的子账号有权限进行审批策略的操作。企业版的...
交叉透视表
本文介绍交叉透视表组件的图表样式和各配置项的含义。图表样式 交叉透视表是表格组件的一种，支持数据内容的自定义展示，能够将数据信息以表格的形式清晰地展示在可视化应用上。配置面板 搜索配置：单击 配置 面板右上角的 搜索配置，可在 ...
发送卡片短信
卡片短信是文本短信的发送能力和终端厂商的解析能力的结合，在终端侧给用户呈现出多媒体卡片+交互的展现效果。您可以选择在 控制台（群发或发测试）发送卡片短信或者 调用API（批量或单个发送）接口发送卡片短信。前提条件 完成 阿里云账号...
创建数据流
以过滤源表数据为例，配置数据处理节点。说明 除 数据输入 和 数据输出 外，其他任务类型均可作为数据处理节点。在左侧 任务类型 列表中，拖拽 数据过滤 节点到画布的空白区域。将鼠标放在 数据输入 节点上，单击节点右侧出现的空心圆点并...
读数据表
本文介绍读数据表算子的使用方法。用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择...
管理问题数据
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
- 产品推荐
- 这些文档可能帮助您