Dataphin逻辑表任务运行时间超长
问题描述 Dataphin逻辑表任务运行时长达到了50+小时，为什么运行时长会那么长时间？问题原因 该逻辑表任务存在多个物化节点或者所有上游任务没有正常调度导致的。解决方案 该逻辑表任务存在两个物化节点；且存在两个上游依赖。查看逻辑表...
逻辑流操作
本文介绍逻辑流中使用的操作，供您在编排逻辑流时选择使用。事件 操作 逻辑流类型 说明 参数 前端逻辑流 后端逻辑流 表示当前逻辑流中被传入的变量。判断 根据条件对逻辑流进行拆分和合并的元素，对应代码中的if函数。结束 表示逻辑流的...
逻辑表查询
本文介绍逻辑表查询的操作步骤。背景信息 分库分表后，需要快速地查询单个分表或查询多个分表并返回结果，可以对使用者屏蔽人为寻找分库、分表场景。用户最终使用查询操作都是被当做单个表查询，这样的操作相对较透明，也符合用户当下的...
逻辑库
为解决分库分表的场景下，查询、维护数据难的问题，DMS推出逻辑库、逻辑表的解决方案。您可以将多个（或单个）物理库配置成一个逻辑库、逻辑表，轻松查询与管理复杂、庞大的分库与分表。背景信息 分库分表场景下，业务数据按照路由算法分散...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
逻辑表
常见问题 Q：如果逻辑库下的逻辑表已经存在，不需要新建物理表，但是逻辑表不在逻辑库显示的表列表中，该如何查找？A：在 数据管理DMS 控制台首页顶部导航栏中，单击 图标，进入全局搜索页面，找到目标逻辑库，单击 操作 列下的 更多>重新...
分区热力图
库表视图 图 2.DN视图 左侧直方图：各个矩形分别代表当前实例下的逻辑库、逻辑表、逻辑分区，DN视图下代表存储节点、逻辑库、逻辑表、逻辑分区，其中表示DN节点和逻辑分区的矩形，通过长度表示拥有数据量的多少，长度越长表示数据量越多。...
物理化逻辑表
通过物理化逻辑表，可以将您在 数据资源平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，请...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
物理化逻辑表
通过物理化逻辑表，可以将您在 企业数据智能平台 中创建的逻辑表存储到对应的云计算资源中，成为云计算资源或者数据库中实际存在的表，方便实施后面的管理。本文介绍如何物理化逻辑表。前提条件 已生成待物理化逻辑表的DDL语句，具体操作，...
操作流程
新建逻辑表 手动新建逻辑表 通过可视化的形式创建逻辑表的基本信息、字段信息、关联信息，提供DDL语句新建、引用现有表字段、引用标准库字段、手动添加字段等方式快速创建逻辑表字段及字段信息功能。具体操作，请参见 手动新建逻辑表。通过...
管理治理工作台
治理工作台为您提供治理物理表、逻辑表、脚本任务和逻辑表的操作。本文为您介绍如何治理物理表、逻辑表、脚本任务和逻辑表任务。背景信息 治理工作台是面向项目管理员和开发者提供的一站式的治理功能，工作台中根据治理领域、治理对象、...
管理治理工作台
治理工作台为您提供治理物理表、逻辑表、脚本任务和逻辑表的操作。本文为您介绍如何治理物理表、逻辑表、脚本任务和逻辑表任务。背景信息 治理工作台是面向项目管理员和开发者提供的一站式的治理功能，工作台中根据治理领域、治理对象、...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
管理明细及汇总表任务字段
本文为您介绍明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）字段支持的运维操作。字段以及批量操作 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 明细及汇总表 任务字段管理...
管理逻辑组合
前提条件 已登录DataV控制台 已进入蓝图编辑器 什么是逻辑组合 逻辑组合就是封装和复用一部分节点和连线，添加到主画布的 逻辑组合节点 与 逻辑组合 是引用关系，修改逻辑组合的名字、内容，均会影响主画布上所有的逻辑节点。新增逻辑组合 ...
使用限制
本文为您介绍逻辑编排的使用限制。规则 限制数量 注释 同一区域下的编排实例上限 500 个-单个工作流的操作数上限 200 个 如需添加更多操作节点，推荐使用编排实例连接器进行嵌套扩展（公测版暂不支持）操作嵌套层级上限 5 个 如需添加更多...
新建工作流
本示例介绍了使用逻辑编排创建一个完整的工作流过程中的操作和通用的基本概念，比如添加触发器、添加操作、运行工作流等。在本示例中，我们通过一个实际案例，向您展示如何通过逻辑编排工作流自动化您的日常工作。在本示例中，构建一个...
触发网关防护规则后的限流策略
若默认配置不能满足您的需求时，您可以自定义应用触发流控、降级或系统规则后的逻辑。本文将介绍适用于SDK接入方式的逻辑配置方法。Spring Cloud Gateway 若您的网关是Spring Cloud Gateway，则默认的限流处理逻辑是返回默认的流控文本 ...
SDK配置说明
通过GraphJob的 setLoadingVertexResolverClass 和 setComputingVertexResolverClass 接口，提供图加载和迭代计算过程中的图拓扑修改的冲突处理逻辑。Partitioner Partitioner用于对图进行划分，使得计算可以分片进行。通过GraphJob的接口...
TOP SQL
实时TOP SQL-平均开销：从平均CPU开销、平均执行耗时、平均返回行、平均逻辑读、平均物理读和平均逻辑写六个方面查看实例中的TOP SQL。详细参数说明如下。表 1.实时TOP SQL-平均开销参数说明 参数 说明 平均CPU开销 SQL语句平均每次执行CPU...
逻辑结构说明
Dataphin业务模型的核心概念具有一定的逻辑结构，您可以通过了解其结构，为后期项目规划、建模等提供思路。本文为您介绍Dataphin中核心概念的逻辑结构及简要含义。Dataphin核心概念的逻辑结构如下图所示。由上图可见，Dataphin的架构包括...
创建DMS逻辑库的数据订阅任务
本文介绍如何创建数据管理DMS（Data Management）逻辑库的数据订阅任务。前提条件 已配置数据管理DMS逻辑库，具体操作请参见 逻辑库。说明 数据管理DMS逻辑库需基于多个PolarDB MySQL实例的分库建立。注意事项 类型 说明 源库限制 待订阅的...
Dataphin维度逻辑表关联的时候找不到数据域中对应的...
问题描述 本文主要讲述了维度逻辑表关联的时候找不到数据域中对应的逻辑表的解决方法。问题原因 维度逻辑表未发布，是草稿状态。解决方案 将该维度逻辑表保存，并发布。适用于 Dataphin
备份恢复概览
逻辑备份：OceanBase 的逻辑备份是一种更为抽象层次的备份手段，它侧重于按照逻辑数据结构（如表、索引、触发器、存储过程等）进行备份操作。逻辑备份具有高度的选择性，允许用户针对性地备份部分数据，比如单独备份某数据库中的特定表，...
通过向导模式创建API（Dataphin表）
前提条件 MaxCompute计算引擎下支持逻辑表创建API，需完成以下步骤：基于逻辑表生成API的场景中，需要完成逻辑表（维度逻辑表、事实逻辑表和汇总逻辑表）的创建。具体操作，请参见 规范建模概述。基于创建好的逻辑表，在集成中配置同步任务...
EditLogicDatabase-返回逻辑库详情信息
编辑逻辑库信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 Alias ...
基本介绍
一个工作流编排实例的逻辑定义至少包含一个触发器（Trigger）和需要执行的任务（Action）。目前定义只支持 JSON 语法。最外层的结构定义如下：{"schemaVersion":"${flow-schema-version}","triggers":{"${flow-trigger-definitions}"},...
汇总数据层（DWS）
查询汇总逻辑表 逻辑表运维包括 逻辑表任务 和 逻辑表实例：逻辑表任务 用于从逻辑表视角切入，为您展现逻辑表内部任务关系，详情请参见 逻辑表任务。逻辑表实例 用于查看已运行的逻辑表任务包含的节点实例及其状态，详情请参见 逻辑表实例...
创建逻辑卷
逻辑卷管理LVM（Logical Volume Manager）是Linux系统下的一种管理硬盘分区机制，在磁盘和分区之上建立一个逻辑层，可以灵活、高效地管理磁盘分区，简化了磁盘管理操作。逻辑卷的大小可以动态调整，而且不会丢失现有数据；即使新增了磁盘，...
数据建模
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层级管理：支持对逻辑...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
配置逻辑表上游依赖
调度依赖用于配置逻辑表和事实逻辑表任务节点，Dataphin通过各个节点的调度依赖的配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍如何配置逻辑表和事实逻辑表的调度依赖配置。操作步骤 请参见 数据...
触发逻辑流
使用逻辑流时有多种触发方式，包括页面触发、页面组件触发、逻辑流触发和工作流触发。本文分别介绍各种触发方式的详细操作。背景信息 触发逻辑流有以下四种方式：页面触发：在页面加载前调用逻辑流。页面组件触发：通过页面组件的事件触发...
功能简介
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层次管理：支持对逻辑表...
按逻辑表关联
根据逻辑表关联对应资源信息，手动选中逻辑表后，系统自动选中该逻辑表对应的场景节点、场景节点对应的场景、场景对应的依赖场景、场景包含的输出逻辑表和输入逻辑表、场景输出的物理表。说明 依赖场景 第一种情况：如果A场景任意场景节点...
功能简介
在数据模型管理模块对逻辑表进行层次结构设计、逻辑表定义，引用标准元素定义，保证不同的逻辑表设计人员按照统一口径进行操作，除此以外还支持：逻辑表质量配置、DDL设置、逻辑表物理化、表关系配置等功能。逻辑表层次管理：支持对逻辑表...
按线上场景关联
根据线上场景关联资源信息，手动选中场景后，系统自动选中场景的依赖场景、场景的场景节点、场景节点的逻辑表、场景的输出物理表。说明 依赖场景 第一种情况：如果A场景任意场景节点的输出表是B场景任意场景节点的输入表，那么A场景就是B...
魔笔为什么数据容器数据源选择处看不到已有逻辑流？
能作为页面数据源的逻辑流需返回实体或实体列表，不符合要求的逻辑流将会进行过滤。同时可以通过单击弹窗的添加，快速创建一个逻辑流，页面中的上下文参数类型能够带到逻辑流中。问题描述 魔笔为什么数据容器数据源选择处看不到已有逻辑流...
字段加工
用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 加工逻辑 对于需要加工的字段，需要输入字段...
- 产品推荐
- 这些文档可能帮助您