配置规则：按模板（批量）
如果您需要批量为表配置分区表达式，则可以单击 设置分区表达式 按钮为选中的表批量添加分区表达式。单击 生成规则，进入 规则验证 页面。您可以单击自定义列，按需自定义规则详情表中需要显示的内容。在 规则验证 页面您可以进行如下操作...
一键表数据同步
分区配置 选择需要同步的分区字段。当前Hologres仅支持一级分区。MaxCompute的多级分区，则在Hologres中设置一级分区，其余分区自动映射为Hologres的普通字段。索引配置 为目标表构建索引。索引的创建请参见 建表概述。SQL Script SQL ...
EMR控制台管理YARN分区
您可以直接在节点组上配置分区属性，扩容和弹性伸缩后，EMR会自动为新增节点打上Node Label，无需重新配置新节点。本文为您介绍如何在EMR控制台上管理YARN分区。背景信息 适用以下场景：集群异构 实际的环境部署中，经常会出现不同的机器...
配置逻辑表调度属性
在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期的时间配置调度，并正常执行（即会真实跑数据），通常任务默认选中该项。空跑调度：按照调度周期的...
配置逻辑表调度属性
在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期的时间配置调度，并正常执行（即会真实跑数据），通常任务默认选中该项。空跑调度：按照调度周期的...
使用区块接口
本文通过一个具体配置示例介绍配置完区块中的数据接口、事件接口及动作接口后，如何通过区块编辑器内的蓝图编辑器...区块蓝图参数中的事件动作接口，可以在蓝图编辑器内通过连线和配置逻辑节点的方法，被其他组件调用，详情请参见 功能介绍。
策略创建
配置计算逻辑 策略计算逻辑配置页面相关的名词和配置模块说明如下：条件名称：条件名称为非必填项，为方便可视化预览时直观展示策略逻辑，建议输入易于理解的内容。左变量：左变量可以选择事件字段、设备变量、自定义变量、系统变量和中间...
创建MaxCompute Sink Connector
开启 分区配置 仅当 是否开启分区能力 参数设置为 开启 时需配置此参数。DAY：time列的时间格式为YYYY-MM-DD，例如：2023-01-01。HOUR：time列的时间格式为YYYY-MM-DD HH，例如：2023-01-01 12。MINUTE：time列的时间格式为YYYY-MM-DD HH:...
使用区块接口
本文通过一个具体配置示例介绍配置完区块中的数据接口、事件接口及动作接口后，如何通过区块编辑器...区块蓝图参数中的事件动作接口，可以在蓝图编辑器内通过连线和配置逻辑节点的方法，被其他组件调用，详情请参见 蓝图编辑器详细功能介绍。
配置触发规则后的逻辑
若默认配置不能满足您的需求时，您可以自定义应用触发流控、降级或系统规则后的逻辑。本文将介绍适用于SDK应用的逻辑配置方法。背景信息 当应用触发流控、降级或系统规则时，默认抛出 BlockException 异常类的子类（触发流控规则，则抛出流...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
概述
本文介绍在蓝图编辑器中，配置逻辑节点的方法。使用逻辑节点 登录 DataV控制台。在 我的可视化 页面中，选择一个可视化应用，单击 编辑。在画布编辑器页面，单击顶部工具栏的 蓝图编辑器 图标。在蓝图编辑器页面中，单击顶部工具栏的 逻辑...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
设置逻辑表质量规则
配置逻辑表 关联字段标准 的值，具体操作，请参见 配置逻辑表关联字段标准。在 质量规则 页签，选择分区表达式（这里以MaxCompute云计算资源类型为例），具体操作，请参见 步骤二：选择需要配置规则的计算资源以及分区。说明 如果逻辑表字...
设置逻辑表质量规则
配置逻辑表 关联字段标准 的值，具体操作，请参见 配置逻辑表关联字段标准。在 质量规则 页签，选择分区表达式（这里以MaxCompute云计算资源类型为例），具体操作，请参见 步骤二：选择需要配置规则的计算资源以及分区。说明 如果逻辑表字...
config配置说明
使用方法请参考 可以绑定数据源的组件 event-logicflow 事件选择器 { name:'eventAction',title:'点击',defaultValue:'none',setter:{ type:'event-logicflow',props:{ } },} 仅允许配置逻辑流 { name:'eventAction',title:'点击',...
一键MaxCompute数据同步节点
分区配置 选择需要同步的MaxCompute表分区。说明 Hologres当前仅支持同步一级分区。MaxCompute表的多级分区，将在Hologres中被设置为一级分区，多余的分区自动映射为Hologres的普通字段。索引配置 为存放MaxCompute数据的Hologres内部表...
配置集成管道质量监控
分区表达式 若数据表为分区表，需配置分区表达式，支持 分区表达式类型 和 自定义分区表达式。分区表达式详情请参见 内置分区表达式类型。分区预算 当前时间下，根据分析表达式的推算分区。单击 确定，完成质量规则配置。说明 质量规则配置...
配置集成管道质量监控
分区表达式 若数据表为分区表，需配置分区表达式，支持 分区表达式类型 和 自定义分区表达式。分区表达式详情请参见 内置分区表达式类型。分区预算 当前时间下，根据分析表达式的推算分区。单击 确定，完成质量规则配置。说明 质量规则配置...
创建虚拟机并安装操作系统
使用UEFI模式启动操作系统，默认的分区配置存在恢复分区，会导致实例启动或者扩盘存在异常，出现读取不到系统分区的情况。需要在安装系操作统，选择磁盘的过程中，需要手动创建自定义EFI分区。手动创建自定义EFI分区。在磁盘分区加载页面，...
使用DataWorks同步iGraph数据
此处为了同步全量数据，maxcompute_partition参数填写*，可以匹配到指定MaxCompute下所有分区，MaxCompute的分区配置支持linux Shell通配符，填写规则详情请参见：MaxCompute Reader，下游数据源iGraph参数填写规则详情请参见：iGraph ...
功能介绍
并在右侧配置面板中进行配置，详情请参见 配置逻辑节点。在蓝图画布中选中某个节点，右键单击选择 删除选中，可移除该节点。重要 删除节点时，会同时删除选中的节点和边，且无法恢复，请谨慎操作。逻辑组合：在 逻辑组合 面板中，单击 图标...
逻辑表配置概述
配置逻辑表调度属性 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化...
逻辑表配置概述
配置逻辑表任务 在逻辑表任务配置页面，支持配置逻辑表任务的基本信息与调度相关属性。配置项 描述 基本信息 包括表类型、业务对象、主题域、数据时效、中文名称、描述信息、开发负责人、运维责任人，支持修改以下参数。表中文名称：创建...
创建虚拟机并安装操作系统
在 安装目标位置 页面，设备选择 选择 本地标准磁盘，分区 选择 我要配置分区，然后单击 完成。在 手动分区 页面，单击，设置 挂载点 为/、设备类型 为 标准分区、文件系统 为 ext4，然后单击 完成。在 安装信息摘要 页面，单击 网络和主机...
创建EMR表
添加分区 如果您在 物理模型设计 区域，设置 分区类型 为 分区表，则需要配置分区。您可以为当前表新建一个分区。如果为已经创建的表添加分区，会要求删除当前已经创建的表，再新建一张同名表。生产环境中禁止该操作。单击工具栏中的 图标...
配置数据质量监控
1、配置分区表达式 此步骤中，找到目标表ads_log_info_1d，并为其配置所需分区表达式$[yyyymmdd-1]，即ads_log_info_1d表每次监控规则执行时，监控其业务时间对应分区的数据是否符合数据质量校验规则，并通过关联调度节点的方式，触发该表...
逻辑表
前提条件 已配置逻辑库。更多信息，请参见 逻辑库。逻辑库中有多张表结构相同且表名前缀相同的物理表。例如，物理表名分别为test_0、test_1、test_2和test_3。生成逻辑表的规则 逻辑库中多张表结构相同且表名前缀相同的物理表，会被划分为...
配置数据质量监控
1、配置分区表达式 此步骤中，找到目标表ads_user_info_1d，并为其配置所需分区表达式 dt=$[yyyymmdd-1]，即ads_user_info_1d表每次监控规则执行时，监控其业务时间对应分区的数据是否符合数据质量校验规则，并通过关联调度节点的方式，...
配置数据质量监控
本文为您介绍如何配置表dwd_log_info_di_emr的数据质量监控规则。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。操作步骤 进入数据质量页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中...
备份方式3：使用DBS逻辑备份
本文向您介绍如何使用数据库备份DBS配置逻辑备份的操作步骤。前提条件 您需要先创建备份计划，具体操作请参见 购买备份计划。说明 购买时，数据库类型选择 MySQL、备份方式选择 逻辑备份。费用说明 当您使用数据库备份DBS备份数据时，数据...
ALTER TABLE
支持多个分区过滤子句，当多个分区过滤子句以英文逗号（,）分隔时，每个过滤子句的逻辑以OR的关系组成整体分区匹配规则。使用示例 未指定筛选条件-从表sale_detail中删除一个分区，2013年12月杭州分区的销售记录。alter table sale_detail ...
逻辑库
逻辑库是由单个或多个物理库配置而成，可便捷地进行分库分表的操作。本文介绍逻辑库的定义...在 数据管理DMS 控制台首页顶部导航栏中，单击 图标，在数据库列表搜索目标数据库，单击 操作 列下的 更多>配置逻辑库。更多信息，请参见 逻辑库。
Kudu连接器
分区信息如下：Hash分区 定义一组分区 您可以使用表属性 partition_by_hash_columns 配置分区列，表属性 partition_by_hash_buckets 配置分区个数，所有的分区列必须是主键列的子集。示例如下。CREATE TABLE mytable(col1 varchar WITH...
03配置逻辑表关联字段标准
通过关联数据标准中的标准字段，实现字段值的统一和规范化，帮助您管控治理后数据的一致性和数据质量，本文介绍如何配置逻辑表字段，关联标准字段。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已创建数据元...
配置逻辑表关联字段标准
本文介绍如何配置逻辑表关联标准字段。前提条件 已新建数据元、指标、维度以及度量等，具体操作，请参见 新建数据元、新建指标、新建维度 或 新建度量。已新建逻辑表，具体操作，请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 ...
配置逻辑表关联字段标准
本文介绍如何配置逻辑表关联标准字段。前提条件 已新建数据元、指标、维度以及度量等，具体操作，请参见 新建数据元、新建指标、新建维度 或 新建度量。已新建逻辑表，具体操作，请参见 通过Excel导入逻辑表、通过云计算资源导入逻辑表 或 ...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
GetQualityEntity
调用GetQualityEntity获取分区表达式。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
BigQuery数据源
否 无 partition 配置分区信息，可以同步特定的分区，支持一次同步多个分区。否 无 splitPk 如果已经指定了分区，则 splitPk 字段不生效。如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片。数据同步系统会启动并发任务...
- 产品推荐
- 这些文档可能帮助您