步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
查看及管理离线模板引用
离线 模板 引用是指离线任务基于离线 模板进行创建，创建成功的 离线 任务即为该 离线 模板的引用。本文为您介绍如何查看及管理 离线 模板的引用对象。离线模板引用 对象入口 在Dataphin首页，单击顶部菜单栏中的 研发。在数据 开发 页面，...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
查看及管理离线模板引用
离线 模板 引用是指离线任务基于离线 模板进行创建，创建成功的 离线 任务即为该 离线 模板的引用。本文为您介绍如何查看及管理 离线 模板的引用对象。离线模板引用 对象入口 在Dataphin首页，单击顶部菜单栏中的 研发。在数据 开发 页面，...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
离线模式依赖文件配置
若您的实时任务的离线模式运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。本文将为您介绍如何配置任务离线模式的...
离线模式依赖文件配置
若您的实时任务的离线模式运行需要依赖外部资源文件，例如文本文件、Python文件、Jar文件等，您可以在Dataphin上传对应资源文件后，将所上传的资源文件添加到任务的依赖文件，使任务能够正常运行。本文将为您介绍如何配置任务离线模式的...
离线模式运行参数配置
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。不同计算引擎配置离线模式运行参数的操作路径相同，下图以配置Ververica Flink计算引擎的离线...
离线模式运行参数配置
操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 区域，配置任务离线模式的 资源配置 参数信息。不同计算引擎配置离线模式运行参数的操作路径相同，下图以配置Ververica Flink计算引擎的离线...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
离线数据集概述
离线数据集是通过指标映射创建离线标签的前提条件。可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工...
查看及管理离线模板历史版本
离线模板支持 创建不同的版本，创建离线任务时可基于 离线模板 不同的版本进行创建。本文为您介绍如何查看及管理离线模板历史版本。离线模板历史版本 入口 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，...
查看及管理离线模板历史版本
离线模板支持 创建不同的版本，创建离线任务时可基于 离线模板 不同的版本进行创建。本文为您介绍如何查看及管理离线模板历史版本。离线模板历史版本 入口 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，...
离线模式配置概述
对于流批一体任务的离线模式您需定义该任务实时相关的属性，包括任务资源、时间参数、Checkpoint 等。本文为您介绍流批一体任务实时模式配置的相关内容。离线模式配置入口 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入 ...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
手动运行标签
在 工作台 页面，单击 离线标签 进入离线标签列表。在 离线标签 列表中选择所需手动运行的标签并单击操作栏。在 运行 对话框中，选择所需运行的版本。单击 确定，即可运行标签。说明 手动运行时计算的是最新分区的数据。
概念建模概述
以下为通过Dataphin创建的零售业 主题域模型：一般的，零售行业最基础的三个实体为 人、货、场，围绕这个三个实体出发，可以推出最核心的三个业务对象实体，客户（消费者），商品，渠道（线下门店或线上各种渠道）。其他各种业务实体都在...
概念建模概述
以下为通过Dataphin创建的零售业 主题域模型：一般的，零售行业最基础的三个实体为 人、货、场，围绕这个三个实体出发，可以推出最核心的三个业务对象实体，客户（消费者），商品，渠道（线下门店或线上各种渠道）。其他各种业务实体都在...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
配置Alibaba Blink离线模式资源
Alibaba Blink流批一体任务离线模式的资源配置支持配置任务的资源队列和引擎版本。本文为您介绍如何配置流批一体任务离线模式的资源配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 ...
配置Alibaba Blink离线模式资源
Alibaba Blink流批一体任务离线模式的资源配置支持配置任务的资源队列和引擎版本。本文为您介绍如何配置流批一体任务离线模式的资源配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在配置面板中 资源配置 ...
离线模式运行配置
您可根据业务场景为实时任务的离线模式配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置实时模式的运行配置。操作步骤 在Dataphin...
配置任务基本信息
您可以在离线任务编辑器属性对话框中查看离线任务的基本详细和进行调度配置，包括任务的名称、ID、类型，并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，进入离线任务...
配置任务基本信息
您可以在离线任务编辑器属性对话框中查看离线任务的基本详细和进行调度配置，包括任务的名称、ID、类型，并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，进入离线任务...
离线标签概述
在您完成离线标签的创建或行为关系的定义后，您可为所创建的离线标签或行为关系创建对应的离线标签，以便后续的资产应用创建。如标签服务、画像服务的创建。功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建过程...
配置限速流程组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。在离线单条管道脚本的开发页面，按照下图操作指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
消息模板
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。使用限制 支持超级管理员和系统管理员编辑消息...
概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
Dataphin支持的数据源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据。Dataphin集成了丰富的数据引擎，支持接入MaxCompute、Hive等数据仓库，也支持对接企业传统数据库，如MySQL、...
查看历史信息
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过离线单条管道配置集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 ...
新建离线计算模板
Dataphin支持创建离线计算模板。后续在开发任务时，可以引用创建的离线计算模板以提高任务的研发效率。本文为您介绍如何创建、配置并提交离线计算模板。背景信息 当多个任务的代码逻辑相似，只有部分配置项或输入参数不同时，您可以将代码...
运行设置
为了节省调度资源，在确保不存在资源与状态冲突的前提下，您可以设置基于离线代码模板创建的模板任务是否共享运行调度资源。本文为您介绍如何开启全局共享资源开关。背景信息 为了避免不同任务运行之间产生资源或状态的冲突（如修改全局...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
查看及管理离线任务历史版本
离线计算任务历史版本介绍 离线计算任务历史版本页面为您展示当前离线计算任务的历史版本和执行信息。版本信息包括版本号、修改人、创建时间、状态、备注以及支持的管理操作；执行信息包括类型、执行人、开始时间、耗时、状态以及支持的...
查看及管理离线任务历史版本
离线计算任务历史版本介绍 离线计算任务历史版本页面为您展示当前离线计算任务的历史版本和执行信息。版本信息包括版本号、修改人、创建时间、状态、备注以及支持的管理操作；执行信息包括类型、执行人、开始时间、耗时、状态以及支持的...
查看历史信息
本文为您介绍如何下载离线单条管道脚本及查看脚本的历史版本详情。前提条件 完成离线单条管道的创建，详情请参见 通过单条管道创建集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入...
- 产品推荐
- 这些文档可能帮助您