逻辑表调度配置概述
调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖 调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障...
资产全景
流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工流向。结构化模式：以不同形状的组件表示业务实体，以不同样式的连线表示实体之间的关联关系。为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部...
资产全景
流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工流向。结构化模式：以不同形状的组件表示业务实体，以不同样式的连线表示实体之间的关联关系。为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部...
计算设置概述
为了保证修改效率，系统在修改过程中不会对计算源的连通性进行校验，请谨慎确认配置的正确性，配置错误可能导致任务失败。修改完成后，建议对计算源进行手动连通性测试。修改计算设置后，配置项将在 30秒内 应用在计算源配置上。在同步完成...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
查询数据代码说明
注意事项 查询数据过程中，如果任务执行超过2小时仍然没有结束，则Dataphin会自动终止任务进程，避免占用大量运行资源，影响其他任务的运行。使用 select*语法查询汇总逻辑表会占用大量运行资源，未避免造成资源浪费。建议您开启禁止即席...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
维度层（DIM）
以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性、关联维度等定义计算逻辑和雪花模型，完成属性定义的过程并建立一致的数据分析维表。同时您可以定义维度主子关系，子维度的属性将合并至主维度使用，...
查询数据代码说明
注意事项 查询数据过程中，如果任务执行超过2小时仍然没有结束，则Dataphin会自动终止任务进程，避免占用大量运行资源，影响其他任务的运行。使用 select*语法查询汇总逻辑表会占用大量运行资源，未避免造成资源浪费。建议您开启禁止即席...
离线集成管道通道配置
配置了 容错配置 的任务运行过程中会出现如下两种情况：管道运行过程中，如果各节点累计的错误数超过容错范围，则当前管道任务会失败。管道运行过程中，如果各节点累计的错误数在容错范围内，则任务继续运行。说明 未配置时，默认为0。表示...
离线集成管道通道配置
配置了 容错配置 的任务运行过程中会出现如下两种情况：管道运行过程中，如果各节点累计的错误数超过容错范围，则当前管道任务会失败。管道运行过程中，如果各节点累计的错误数在容错范围内，则任务继续运行。说明 未配置时，默认为0。表示...
Ververica Flink实时任务资源自定义
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory开销,例如申请一定的heap_memory作为程序的缓存等，因此您可以按程序的规模来设置其大小。Off-Heap Memory 定义堆外...
Ververica Flink实时任务资源自定义
heap_memory及其内部各组成的大小可以通过JVM的一系列命令行参数来控制，在一般的blink程序中，都会需要一定的heap_memory开销,例如申请一定的heap_memory作为程序的缓存等，因此您可以按程序的规模来设置其大小。Off-Heap Memory 定义堆外...
实时模式配置概述
Checkpoint配置 实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置 State是Flink实时任务维持和管理数据...
实时研发基本流程概述
步骤二：实时项目规划 实时元表 元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的...
实时研发基本流程概述
步骤二：实时项目规划 实时元表 元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的...
明细数据层（DWD）
基于阿里巴巴方法论最佳实践，事实表（事实模型，又称事实逻辑表）作为数据仓库维度建模的核心，紧紧围绕着业务过程进行设计。业务过程是通过事实表的度量、引用的维度与业务过程有关属性的方式获取。Dataphin支持两种类型的事实表：事务型...
步骤五：规范建模
背景信息 数据建模是使用可视化视图的方式抽象表示或定义业务的过程。通过构建数据模型，可清晰的梳理出业务所参与的对象和业务活动，帮助企业全面的了解业务过程，从而改进业务流程。同时也能够推进业务从数据视角出发，消灭企业之间的...
步骤五：规范建模
背景信息 数据建模是使用可视化视图的方式抽象表示或定义业务的过程。通过构建数据模型，可清晰的梳理出业务所参与的对象和业务活动，帮助企业全面的了解业务过程，从而改进业务流程。同时也能够推进业务从数据视角出发，消灭企业之间的...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的...操作执行过程中不支持撤销提交。
API管理
通过API管理，可以快速对所属服务项目的API进行限流和告警设置。本文为您介绍如何对API进行限流和告警配置。使用限制 超级管理员、...应用调用API运行过程中，如果触发了监控告警规则，系统会给您发送告警消息，便于您及时发现并处理异常。
实时模式配置概述
Checkpoint配置 实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置 State是Flink实时任务维持和管理数据...
Dataphin PyODPS
Exception:Dataphin odps client auth check failed,not allow to operate project Test_Project 项目空间 资源 函数 操作过程中有无权限的报错时，您需要获取对应数据对象的权限。具体操作，请参见 获取待操作数据对象的权限。使用示例 ...
Dataphin PyODPS
Exception:Dataphin odps client auth check failed,not allow to operate project Test_Project 项目空间 资源 函数 操作过程中有无权限的报错时，您需要获取对应数据对象的权限。具体操作，请参见 获取待操作数据对象的权限。使用示例 ...
申请、续期和交还函数权限
背景信息 基于Dataphin数仓建模，实时计算函数在建模过程中通常会被引用，帮助您提高代码任务开发效率。实时计算函数的查询权限通过函数权限进行统一管控，当您引用跨项目函数或非您所建函数时，只需申请该函数的查询权限即可实现函数的...
Notebook概述
应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程，包括代码、运行结果与分析结论等。可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以...
Notebook概述
应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程，包括代码、运行结果与分析结论等。可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以...
申请、续期和交还函数权限
背景信息 基于Dataphin数仓建模，实时计算函数在建模过程中通常会被引用，帮助您提高代码任务开发效率。实时计算函数的查询权限通过函数权限进行统一管控，当您引用跨项目函数或非您所建函数时，只需申请该函数的查询权限即可实现函数的...
离线标签概述
功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建过程不同。描述说明如下：创建方式 描述 创建指标映射标签 将离线标签输出指标直接定义成为标签。创建行为偏好标签 通过可视化方式配置偏好规则，将行为数据加工...
创建服务项目
API发布管控 API发布到线上使用的过程中，有四种变更场景（新增必填请求参数；删减请求参数；删减返回参数；变更请求参数的数据类型），导致影响API以及关联的组合API的正常调用。因此，在API绑定应用或者被组合API引用后，API发布新版本到...
敏感数据保护
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
标签工厂新手指引
当您的应用程序需要使用标签工厂上的标签、群组服务时，您需要先创建一个应用，如营销应用、分析应用等。应用管理用于管理应用，可管理应用的管理员及成员，申请加入应用，查看应用申请的标签、群组等资产，也可查看应用已创建的服务。具体...
新建用户自定义函数
离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数，包括计算引擎源常用且系统默认支持的函数和用户自定义函数，前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。前提条件 完成资源的创建，详情请参见 创建资源。...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
敏感数据保护
生产环境敏感数据写入开发环境脱敏 当因为测试需要等原因，需要将生产环境的数据写入开发环境时，为了保护敏感数据不泄露，数据在写入的过程中，就会自动按照配置的脱敏规则脱敏，从而保证敏感数据不会流入开发环境。敏感数据的数据集成加...
新建实时计算模板
实时计算模板指进行实时数据研发过程中实时计算任务开发所提供的模板，可提高研发效率。本文为您介绍如何新建及管理实时计算模板。应用场景 基本场景下，实时计算任务需24小时不间断运行，以保证数据产出的实效性。在该要求下实时任务的...
准备RAM用户
例如，在使用Dataphin过程中，某企业规划不同的员工负责数据开发、数据运维、数据分析阶段的工作，并且企业管理者对员工间的权限控制和数据安全有要求。因此，您可以创建3个RAM用户，将RAM用户同步至Dataphin后，添加为项目空间的成员并...
创建原子指标
统计周期标识 统计周期标识可指定某一个事件（业务过程）的发生时间字段。仅支持流程事实逻辑表（df表）和维度逻辑表，不支持事件事实逻辑表（di表）（也可以理解为默认为ds分区字段）。计算逻辑 编写定义原子指标的计算逻辑。例如 count...
创建原子指标
统计周期标识 统计周期标识可指定某一个事件（业务过程）的发生时间字段。仅支持流程事实逻辑表（df表）和维度逻辑表，不支持事件事实逻辑表（di表）（也可以理解为默认为ds分区字段）。计算逻辑 编写定义原子指标的计算逻辑。例如 count...
新建BLINK_DATASTREAM任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，实时模式...
- 产品推荐
- 这些文档可能帮助您