创建FTP数据源
connectPattern：连接模式，包括以下两种：PORT（主动模式）：客户端打开一个端口等服务器建立数据连接。PASV（被动模式）：服务器打开一个端口等客户端建立数据连接。单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。测试...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
Dataphin支持的数据源
不支持 创建Impala数据源 StarRocks 支持 支持 不支持 支持 不支持 创建StarRocks数据源 Hudi 不支持 支持 不支持 不支持 不支持 创建Hudi数据源 Doris 支持 支持 不支持 不支持 不支持 新建Doris数据源 GreenPlum 支持 不支持 不支持 不...
创建FTP数据源
connectPattern：连接模式，包括以下两种：PORT（主动模式）：客户端打开一个端口等服务器建立数据连接。PASV（被动模式）：服务器打开一个端口等客户端建立数据连接。单击 测试连接，测试数据源是否可以和Dataphin进行正常的连通。重要 ...
逻辑结构说明
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域，是对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。项目 ...
租户设置
数据建设与治理 开启后，可勾选目标租户所负责的功能模块。数据处理单元：设置数据处理单元配置数。数据处理单元配额需大于0，但不能超过剩余处理单元。规则配额：包括域内质量规则和全域质量规则，统计已开启监控的质量规则数。说明 租户...
Dataphin免费试用申请
申请信息填写完后，勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》，单击 免费试用，体验Dataphin功能。相关文档 试用开通成功后，您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程，也可按照 导入模型 来导入...
新建基线监控
基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间和承诺时间，在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
新建基线监控
基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间和承诺时间，在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
Dataphin支持的数据源
不支持 不支持 不支持 创建HDFS数据源 FTP 支持 不支持 不支持 不支持 不支持 不支持 不支持 创建FTP数据源 OSS 支持 不支持 不支持 不支持 不支持 不支持 不支持 创建OSS数据源 Amazon S3 支持 不支持 不支持 不支持 不支持 不支持 不支持...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
元数据仓库共享模型概述
业务租户：统称为 开发租户，进行数据中台建设的租户，即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 ...
明细数据层（DWD）
在事实表中，通常通过业务描述来表述粒度并定义事实表主键，但对于聚集性事实表的粒度描述（例如存在下单、支付等多个事务），可以基于多个字段拼接，形成新的字段作为事实表主键，也可以不定义主键，这样一行记录即最小粒度。在同一个事实...
技术架构选型
完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心...
常用命令
下载资源（get）不支持 删除资源（drop）不支持 函数操作 注册函数（create function）不支持 注销函数（drop function）不支持 查看函数（desc function）不支持 查看函数列表（list function）不支持 Tunnel操作 上传数据（Tunnel upload...
DQL操作
IN SUBQUERY 是 NOT EXISTS SUBQUERY 是 SCALAR SUBQUERY 是 交集、并集和补集 支持 intersect 不支持 intersect all 不支持 intersect distinct 并集 支持 union all 支持 union[distinct]补集 支持 except 支持 except all 支持 minus 不...
权限审计
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载，以此来判断授权、回收、交还...
DQL操作
IN SUBQUERY 是 NOT EXISTS SUBQUERY 是 SCALAR SUBQUERY 是 交集、并集和补集 支持 intersect 不支持 intersect all 不支持 intersect distinct 并集 支持 union all 支持 union[distinct]补集 支持 except 支持 except all 支持 minus 不...
权限审计
Dataphin支持对数据表、数据源的权限进行查看、搜索、审计与下载，及时发现不合理的授权用户并处理，确保权限体系健康，防止权限泄露。Dataphin支持对数据表、数据源的权限变更操作进行查看、搜索、审计与下载，以此来判断授权、回收、交还...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
SQL增强操作
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
DDL语句
否 查看建表语句 否 分区和列操作 功能 是否支持 添加分区 支持添加单个分区 不支持添加多个分区 删除分区 支持删除单个分区 不支持删除多个分区 不支持根据过滤条件删除分区 添加列或注释 是 修改列名 是 修改列注释 是 修改分区的更新...
常用命令
添加资源（add）不支持 查看资源列表（list）支持 为资源创建别名（alias）不支持 下载资源（get）不支持 删除资源（drop）不支持 函数操作 注册函数（create function）不支持 注销函数（drop function）不支持 查看函数（desc function）...
基本概念
弱规则 质量规则的校验结果对下游节点没有影响，同时不支持强制终止下游节点运维调度。如果弱规则校验结果异常时，则系统会告警给质量告警接收人。校验记录 资产质量规则进行周期性校验的结果记录。质量报告 数据表参与生产环境运维调度的...
数据传输加密
浏览器与服务器端访问统一使用SSL加密，即使用HTTPS...Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。私有云独立部署场景下（使用自建数据服务网关），目前不支持使用HTTPS协议访问。
变更管控概述
针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的稳定性保障。功能简介 发布管控是变更管控的子功能之一，变更管控分为变更规则和变更策略两部分。创建变更规则：...
变更管控概述
针对校验不通过的任务，根据规则配置详情，会阻断发布流程（强管控）或给出警告提示但不阻塞发布（弱管控），以增强平台的稳定性保障。功能简介 发布管控是变更管控的子功能之一，变更管控分为变更规则和变更策略两部分。创建变更规则：...
管理数据分级
支持汉字、字母、数字或下划线（_），不超过10个字符。分级缩写 数据分级的缩写。支持汉字、字母、数字或下划线（_），不超过10个字符。敏感程度 填写数据分级的敏感程度，支持输入1~100的整数。分级描述 填写分级的描述。支持汉字、字母、...
管理数据分级
支持汉字、字母、数字或下划线（_），不超过10个字符。分级缩写 数据分级的缩写。支持汉字、字母、数字或下划线（_），不超过10个字符。敏感程度 填写数据分级的敏感程度，支持输入1~100的整数。分级描述 填写分级的描述。支持汉字、字母、...
研发平台设置
开启后，用户锁定某个对象后其他用户不可编辑，直到手动释放或持锁到期，其他用户才可锁定并开始编辑。持锁时长 持锁时长内，用户无任何编辑动作，持锁排他将失效，可被其他用户获取锁。默认为 30分钟，最低为 5分钟，最高不超过 120分钟。...
研发平台设置
开启后，用户锁定某个对象后其他用户不可编辑，直到手动释放或持锁到期，其他用户才可锁定并开始编辑。持锁时长 持锁时长内，用户无任何编辑动作，持锁排他将失效，可被其他用户获取锁。默认为 30分钟，最低为 5分钟，最高不超过 120分钟。...
基本概念
免打扰 免打扰是指您可以手动选择某个时间段，系统不向您推送告警消息。例如，当告警消息在持续高频推送给您且您已知情时，您可以将告警中的告警事件设置为免打扰。来源系统 告警事件的来源模块，包括数据质量、实时计算、数据服务。
标签平台设置
重要 不建议进行修改，修改后将会影响已发布标签的正常运行。标签表时间分区字段设置 由系统默认配置，不支持编辑修改。实时事件字段设置 由系统默认配置，不支持编辑修改。服务数据源配置：该数据源将用于标签的在线服务，暂不支持配置。...
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。...不能超过1000。操作 时段超过两个时，单击 图标可删除时段。设置完成后，即可在 数据源管理 页面，查看限速生效时段以及最大并行校验规则数。
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。...不能超过1000。操作 时段超过两个时，单击 图标可删除时段。设置完成后，即可在 数据源管理 页面，查看限速生效时段以及最大并行校验规则数。
- 产品推荐
- 这些文档可能帮助您