新建汇总逻辑表
参数 描述 统计时效 支持 天（T+1）、时间（T+h）、分钟（T+m），默认 天。统计粒度 可选择当前板块下所有 已上线 的逻辑表对应的业务对象。说明 如果所选择的统计粒度已存在汇总逻辑表，则不支持进行创建。表名称 系统默认使用（_）连接所...
逻辑表运行配置
您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算...自定义：重跑次数支持输入0～10之间的整数，重跑间隔支持输入1～60之间的整数。单击 保存。
逻辑表运行配置
您可根据业务场景为维度逻辑表配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算...自定义：重跑次数支持输入0～10之间的整数，重跑间隔支持输入1～60之间的整数。单击 保存。
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算...自定义：重跑次数支持输入0～10之间的整数，重跑间隔支持输入1～60之间的整数。单击 确定。
计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算...自定义：重跑次数支持输入0～10之间的整数，重跑间隔支持输入1～60之间的整数。单击 确定。
配置逻辑表数据延迟
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在...
配置逻辑表数据延迟
使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时，不支持开启延迟数据处理。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在...
续费
在Dataphin 续费 页面，续费时长 支持选择 1个月、3个月、6个月、9个月 和 1年。请您仔细核对购买信息并阅读 智能数据构建与管理服务协议，确认无误后选中《智能数据构建与管理服务协议》。单击 去支付，支付成功后即可完成续费。说明 系统...
新建Session集群
Job Manager CPU Cores 填写Session集群的Job Manager CPU Cores大小，需要为正整数，最小仅支持1G大小的Job Manager CPU Cores，默认为1G。Job Manager Memory 填写Session集群的Job Manager Memory大小，需要为正整数，最小仅支持1G大小...
DQL操作
SELECT table1.col1,table1.col2,.table2.col1,table2.col3,.FROM table1 NATURAL JOIN table2;更多信息请参见 Join-内连接 Inner Join。Join-外连接 Outer Join SELECT select_expression,select_expression,.FROM table_reference(LEFT|...
新建汇总逻辑表
参数 描述 统计时效 支持 天（T+1）、时间（T+h）、分钟（T+m），默认 天。统计粒度 可选择当前板块下所有 已上线 的逻辑表对应的业务对象。说明 如果所选择的统计粒度已存在汇总逻辑表，则不支持进行创建。表名称 系统默认使用（_）连接所...
SQL使用限制
SQL执行计划长度 1 MB 长度限制 MaxCompute SQL生成的执行计划不能超过1 MB，否则会触发 FAILED:ODPS-0010000:System internal error-The Size of Plan is too large 报错。说明 上述MaxCompute SQL限制项均无法修改。
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
任务运行资源说明
CPU：0.5核 内存：4GB 任务默认资源 各任务类型的默认资源配置与自定义支持情况见下表所示：任务类型 默认任务资源 是否可自定义 Shell/Python CPU：0.1核 内存：256MB 是 离线管道/任务同步 CPU：0.5核 内存：1GB 是 SQL 不消耗额外资源。...
任务运行资源说明
CPU：0.5核 内存：4GB 任务默认资源 各任务类型的默认资源配置与自定义支持情况见下表所示：任务类型 默认任务资源 是否可自定义 Shell/Python CPU：0.1核 内存：256MB 是 离线管道/任务同步 CPU：0.5核 内存：1GB 是 SQL 不消耗额外资源。...
步骤七：运维补数据
并发运行组数 默认为 1 组。补数据顺序 选择 业务日期正序。暂停调度任务对应实例 选择 正常运行。空跑调度任务对应实例 选择 正常运行。单击 确定。查看补数据实例的运行结果。在左侧导航栏，选择 补数据实例。在 已提交实例 中将显示相应...
步骤七：运维补数据
并发运行组数 默认为 1 组。补数据顺序 选择 业务日期正序。暂停调度任务对应实例 选择 正常运行。空跑调度任务对应实例 选择 正常运行。单击 确定。查看补数据实例的运行结果。在左侧导航栏，选择 补数据实例。在 已提交实例 中将显示相应...
SQL使用限制
SQL执行计划长度 1 MB 长度限制 MaxCompute SQL生成的执行计划不能超过1 MB，否则会触发 FAILED:ODPS-0010000:System internal error-The Size of Plan is too large 报错。单作业最大执行时间 24小时 运行时长限制 默认情况下，SQL单个...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
调用API
Hologres 支持 Lindorm 支持 ClickHouse 支持 StarRocks 支持 TDengine 支持 SAP HANA 支持 Hbase（0.9.4/1.1.x/1.2.1/2.x）1 无上限 不支持 ElasticSearch 10000 10000 支持 逻辑表API 不涉及 10000 10000 支持 Dataphin数据源 Dataphin...
维度层（DIM）
本文为您介绍维度层的设计原则、维度表的规范、创建维度及查询维度逻辑表。维度层简介 建立一致数据分析维表，可以降低数据计算口径和算法不统一风险。以维度作为建模驱动，基于每个维度的业务含义，通过...dim_c1_lvl1（层级维度逻辑表）。
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线...自定义：重跑次数支持输入0～10之间的整数，重跑间隔支持输入1～60之间的整数。单击 确定。
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线...自定义：重跑次数支持输入0～10之间的整数，重跑间隔支持输入1～60之间的整数。单击 确定。
配置集群连接
kubectl label node${node-name} node-role.kubernetes.io/dataphin-schedule-pool=dataphin-schedule-pool kubectl taint node${node-name} dedicated=dataphin-schedule-pool:NoSchedule 步骤二：配置注册集群执行环境 1.在集群中，安装...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
创建主题域
若为空，则该主题域默认为1级（顶层）主题域。说明 主题域最多可创建5层级。英文缩写 主题域英文缩写可能引入表名中，建议控制长度，以免影响表名可读性。命名规则如下：仅支持包括字母、数字、下划线（_）。不能超过15个字符。描述信息 ...
创建主题域
若为空，则该主题域默认为1级（顶层）主题域。说明 主题域最多可创建5层级。英文缩写 主题域英文缩写可能引入表名中，建议控制长度，以免影响表名可读性。命名规则如下：仅支持包括字母、数字、下划线（_）。不能超过15个字符。描述信息 ...
步骤四：规范定义
规范定义是指以业务对象建模作为理论基础，构建总线矩阵，划分并定义主题域（数据域）、业务活动、业务对象、原子指标、业务限定、时间周期和派生指标。本文为您介绍在本教程中如何进行...本教程中派生指标为 最近1天_订单总金额_西湖龙井。
步骤四：规范定义
规范定义是指以业务对象建模作为理论基础，构建总线矩阵，划分并定义主题域（数据域）、业务活动、业务对象、原子指标、业务限定、时间周期和派生指标。本文为您介绍在本教程中如何进行...本教程中派生指标为 最近1天_订单总金额_西湖龙井。
配置HBase输出组件
[{"index":0,"type":"string"},{"index":2,"type":"string"},{"index":1,"string","value":"_"}]表示由输出字段中的第1个字段和第3个字段，使用下划线（_）组成Rowkey。输入字段 根据上游的输入，为您展示输入字段。输出字段 为您展示输出...
升级
请您仔细核对购买信息并阅读 智能数据建设与治理服务协议，确认无误后选中 智能数据建设与治理服务协议。单击 去支付，支付成功后即可开始升级开通增值功能包。正在通过升级开通增值功能包的Dataphin实例，在Dataphin管理控制台页面，显示 ...
配置开源Flink实时模式资源
并行度 默认为1，可填任意大于0的整数,-1代表自动推断。Task Manager 数量 默认为1，可填任意大于0的整数。Job Manager CPUs 该任务在Flink集群的控制单元中所占用的CPU资源大小。默认为1Gi，建议使用Gi/Mi/单位；可填数字（单位Byte），或...
配置开源Flink离线模式资源
并行度 默认为1，可填任意大于0的整数,-1代表自动推断。Task Manager 数量 默认为1，可填任意大于0的整数。Job Manager CPUs 该任务在Flink集群的控制单元中所占用的CPU资源大小。默认为1Gi，建议使用Gi/Mi/单位；可填数字（单位Byte），或...
新建虚拟维度逻辑表
虚拟维度逻辑表的数据时效默认为 T+1（天任务）。逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_virtual_自定义名称。自定义名称的命名规则如下：允许字母、数字或下划线（_）。不能超过64个字符。中文...
新建虚拟维度逻辑表
虚拟维度逻辑表的数据时效默认为 T+1（天任务）。逻辑表名 Dataphin自动填充逻辑表名，不支持修改。命名规则为<数据板块名称>.dim_virtual_自定义名称。自定义名称的命名规则如下：允许字母、数字或下划线（_）。不能超过64个字符。中文...
计费说明-半托管
统计口径：每1个离线计算任务计算1个数据处理单元。维度逻辑表 统计范围：仅统计已发布状态的维度逻辑表。统计口径：每1个维度逻辑表计算1个数据处理单元。事实逻辑表 统计范围：仅统计已发布状态的事实逻辑表。统计口径：每1个事实逻辑表...
首页配置
图片建议长宽比为16：9，支持JPG、JPEG、PNG、GIF格式且大小在1M以内。视频来源：支持视频链接或上传视频。视频链接：添加视频的链接。视频将在您的浏览器中播放，请确保网络畅通。上传视频：单击 上传 按钮，从本地选择需上传的视频。视频...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后...重要 若Checkpoint最大并行度是1时，配置该参数时，请确保两个Checkpoint之间存在1个最短时间间隔。单击 确定，完成实时模式Checkpoint配置。
到期提醒与停机策略-半托管
到期提醒 Dataphin半托管实例到期前的60天、30天、15天、1天，系统将会给您发短信，提醒您所购买的实例即将到期。请您及时备份数据或续费，避免影响正常使用。停机策略 Dataphin实例到期后，会自动停机。停机期间系统将暂停所有的任务，您...
- 产品推荐
- 这些文档可能帮助您