离线模式配置概述
资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
Session集群管理概述
Session集群提供了Flink任务状态、日志和输出结果的实时查看功能，您可以通过观察任务的行为和输出来验证任务的正确性，进行迭代式地修改和调试Flink任务代码，以便快速定位和解决问题。权限说明 仅支持 超级管理员 或 系统管理员 创建...
配置Impala输出组件
如果没有权限，则需要申请数据源权限，详情请参见 申请、续期和交还数据源权限。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照下图指引，进入Impala 输出配置 对话框。序号 描述 ① 单击页面右上角的 组件...
划分主题域
主题域是联系较为紧密的数据主题的集合，是业务对象高度概括的概念层次归类，目的是便于数据的管理和应用。划分流程 通常您需要阅读各源系统的设计文档、数据字典和数据模型设计文档，研究逆向导出的物理数据模型。然后，进行跨源的主题域...
添加成员并设置角色
用户类型 用户类型即角色，数据服务中的用户类型包括 开发用户、业务应用用户、服务项目管理员 和 运维用户，不同角色的权限范围说明如下：服务项目管理员：用于管理服务项目、及管理服务项目内的资源和成员。开发用户：用于开发API和...
计算设置概述
设置Dataphin实例的计算引擎后，系统支持为项目空间添加相应的计算源，为项目空间提供计算和存储的资源。本文为您介绍Dataphin系统的计算引擎说明。权限说明 仅支持 超级管理员 或 系统管理员 配置计算引擎。计费说明 敏捷研发版不支持置...
任务运行资源说明
任务运行资源是指在Dataphin中创建任务并在运行时任务所占的计算资源，即CPU和内存的大小。本文为您介绍在Dataphin中如何自定义任务运行资源，助力您根据自身需求分配更合适的资源大小。任务资源分类 Dataphin任务按运行模式可为两大类：...
汇总数据层（DWS）
汇总数据层以分析的主题对象作为建模驱动，基于上层的应用和产品的指标需求构建公共粒度的汇总表。汇总数据层的一个表通常会对应一个统计粒度（维度或维度组合）及该粒度下若干派生指标。汇总表设计原则 聚集是指针对原始明细粒度的数据...
任务运行资源说明
任务运行资源是指在Dataphin中创建任务并在运行时任务所占的计算资源，即CPU和内存的大小。本文为您介绍在Dataphin中如何自定义任务运行资源，助力您根据自身需求分配更合适的资源大小。任务资源分类 Dataphin任务按运行模式可为两大类：...
标签上下架
在 标签上架申请 对话框中指定需要上架的市场和类目并填写提交备注。上架市场：可选上架公共市场或私有市场，分别由公共市场管理员或私有市场管理员审批。若无对应市场，您可进行对应市场的创建。详情请参见：创建市场。所属类目：标签在该...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
网络连通解决方案
数据源的版本和类型错误，请确保选择正确的数据源版本和类型。数据源的链接地址参数配置错误，请确保数据源链接地址的正确性。Hadoop体系的开源组件（如Hive、HDFS、HBase）为数据源时，为了规避Kerberos身份认证失败的问题，请确保上传...
管理Notebook单元
通过向Notebook中添加单元，您可以创建和组织内容。不同类型的单元支持不同的操作和功能。本文将为您介绍各单元的使用场景和支持的管理操作。Markdown单元 Markdown支持您使用标准的Markdown语法为Notebook添加文本内容。区域 描述 ① 操作...
配置AnalyticDB for MySQL 2.0输出组件
执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 申请、续期和交还数据源权限。同时您也可以单击 数据源 后的 新建，添加数据源。表 选择输出数据的目标表。模式 选择数据输出的模式。模式...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 系统...
管理Notebook单元
通过向Notebook中添加单元，您可以创建和组织内容。不同类型的单元支持不同的操作和功能。本文将为您介绍各单元的使用场景和支持的管理操作。Markdown单元 Markdown支持您使用标准的Markdown语法为Notebook添加文本内容。区域 描述 ① 操作...
配置OpenGauss输出组件
OpenGauss输出组件用于向OpenGauss数据源写入数据。同步其他数据源的数据至OpenGauss...映射关系 根据上游的输入和目标表的字段，可以手动选择字段映射。快速映射 包括 同行映射 和 同名映射。单击 确定，完成 OpenGauss输出组件 的属性配置。
配置Fusioninsight Flink实时模式资源
Fusioninsight Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作步骤 请参见 实时模式配置入口，进入实时模式配置页面。在实时模式...
新建及管理专题分组
权限说明 超级管理员和运营管理员支持新建及管理专题分组。新建专题分组 在Dataphin首页，单击顶部菜单栏的 资产。默认进入 目录 页面。按照下图指引，进入 专题分组管理 页面。单击 新建专题分组，在 新建专题分组 对话框中，配置参数。...
新建及管理专题分组
权限说明 超级管理员和运营管理员支持新建及管理专题分组。新建专题分组 在Dataphin首页，单击顶部菜单栏的 资产。默认进入 目录 页面。按照下图指引，进入 专题分组管理 页面。单击 新建专题分组，在 新建专题分组 对话框中，配置参数。...
配置Fusioninsight Flink离线模式资源
Fusioninsight Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本信息。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置API输出组件
配置API输出组件，可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
编辑器代码提效
助您降低开发成本，更快的交付可靠的代码和提升编码体验。本文为您介绍代码编辑器开发提效的相关操作方式。使用限制 各类型计算引擎所支持的代码提效功能不同，代码提效所支持的计算引擎和功能项详情见下表：计算引擎 表提示 表字段提示 ...
编辑器代码提效
助您降低开发成本，更快的交付可靠的代码和提升编码体验。本文为您介绍代码编辑器开发提效的相关操作方式。使用限制 各类型计算引擎所支持的代码提效功能不同，代码提效所支持的计算引擎和功能项详情见下表：计算引擎 表提示 表字段提示 ...
创建并管理标签版本
在 工作台 页面，选择需要管理的标签类型和对应标签并单击。如下图所示：新建标签版本 在版本列表对话框中，单击 新建版本。在 新建版本 对话框中，输入相关配置信息。参数 描述 是否基于版本创建 基于版本创建时将引用您所选的版本信息预...
配置开源Flink离线模式资源
开源Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 ...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
新建实时计算模板
在后续变更维护时，您可通过编辑维护实时计算模板的方式，统一维护多个实时任务，大大的节省了开发维护成本和降低了变更风险。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，进入 新建模板 ...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
调用Dataphin数据源
Dataphin数据源后续可以作为Quick BI的数据源，对业务数据进行展示、分析、探查和制作报表等。本文为您介绍如何调用Dataphin数据源。前提条件 在开始执行操作前，请确认您已满足以下条件：已完成Dataphin数据源的开发。具体操作，请参见 ...
修改日期类型
以下图为例，则表示为：修改从开始日期 2022-11-29日起每2周的周一和周二为假日，并无限次的进行重复，无结束时间。月：以月为单位，修改从某开始日期起每N月，该月某几天或第N星期下勾选的日期，并支持正数或倒数排序。结束周期支持 无限...
修改日期类型
以下图为例，则表示为：修改从开始日期 2022-11-29日起每2周的周一和周二为假日，并无限次的进行重复，无结束时间。月：以月为单位，修改从某开始日期起每N月，该月某几天或第N星期下勾选的日期，并支持正数或倒数排序。结束周期支持 无限...
Ververica Flink实时任务资源自定义
系统会自动根据您配置的资源需求，以Native K8s的模式运行作业，TM的规格和个数将会根据Slot的规格和作业并发度，由系统自动决定。本文将介绍如何在Dataphin自定义Ververica Flink实时任务的资源。Ververica Flink实时任务资源自定义入口 ...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
身份认证及访问控制
角色管理 对于添加到Dataphin的用户，管理员可以使用全局角色和项目角色管理成员的权限。全局角色 全局角色用于管理Dataphin全局功能的操作权限或者某个子模块的最高权限，例如计算设置、添加成员、管理安全制度等。当前支持的全局角色有：...
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员、运营人员的需求，沉淀出相关文档。您可以通过调查表、...
- 产品推荐
- 这些文档可能帮助您