管理API权限
如果您已购买了数据服务模块，即可使用API权限。本文为您介绍如何申请和交还API权限。前提条件 已购买数据服务模块，详情请参见 开通Dataphin。申请API权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 API权限申请 ...
资源治理概述
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。前提条件 已购买资源治理增值服务并且当前租户已开通 资源治理 模块。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对这些项目的...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
安全算法
点击 说明 按钮，查看算法函数使用说明步骤：安装资产安全策略：脱敏算法是项目内的安全函数，部分引擎需要项目安装资产安全策略之后才可以脱敏，部分引擎使用引擎自带函数，可以直接脱敏，详情请参见 项目安全策略、不同引擎支持的脱敏...
安全算法
点击 说明 按钮，查看算法函数使用说明步骤：安装资产安全策略：脱敏算法是项目内的安全函数，部分引擎需要项目安装资产安全策略之后才可以脱敏，部分引擎使用引擎自带函数，可以直接脱敏，详情请参见 项目安全策略、不同引擎支持的脱敏...
API资产详情
本文为您介绍如何查看API的资产详情。API详情 请参见 搜索数据，进入目标数据服务的详情页面。编号 描述 ① 概要信息 为您展示数据服务的名称。同时，您还可以执行如下...③ 资产信息 为您展示数据服务的 基础信息、使用信息 和 变更信息。
SQL使用限制
本文为您介绍基于Dataphin使用MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 表名、列名中不能有特殊字符，必须以字母开头，且只能使用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_...
步骤七：运维补数据
参数 描述 补数据实例名称 使用 默认配置。运行时间 选择 立即运行。业务日期 选择 按区间，区间使用 默认配置。并发运行组数 默认为 1 组。补数据顺序 选择 业务日期正序。暂停调度任务对应实例 选择 正常运行。空跑调度任务对应实例 选择...
步骤七：运维补数据
参数 描述 补数据实例名称 使用 默认配置。运行时间 选择 立即运行。业务日期 选择 按区间，区间使用 默认配置。并发运行组数 默认为 1 组。补数据顺序 选择 业务日期正序。暂停调度任务对应实例 选择 正常运行。空跑调度任务对应实例 选择...
查询数据代码说明
本文将为您介绍在Dataphin中使用代码方式查询数据时存在的限制和规则。使用限制 Dataphin最多返回10000条查询结果的记录。您可以在查询语句后增加 limit 返回条数，自定义返回记录的条数，例如 select*from ht5_out limit 20;即返回20条...
SQL使用限制
本文为您介绍基于Dataphin使用MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 表名、列名中不能有特殊字符，以字母开头，且只能用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_）。...
标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
身份认证及访问控制
在非标准协议的对接，Dataphin提供单点对接能力，使用客户的身份认证做Dataphin的管理及认证。密码管理 如果身份认证使用的是阿里云或者客户的身份认证系统时，Dataphin只保存账号信息，不会记录成员的用户密码。角色管理 对于添加到...
管理中心概述
在使用Dataphin前，超级管理员需要通过管理中心添加Dataphin成员及设置Dataphin实例的计算引擎。同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理...
Lock Table和Unlock Table
Dataphin中支持使用Lock Table和Unlock table对物理表进行锁定和解锁。例如，Insert语句执行异常后，该表或分区将被锁住无法操作，这时您可以通过unlock table语法解锁表或分区。本文为您介绍Lock Table、Unlock Table及Show Locks语法。...
函数资产详情
本文为您介绍如何查看函数的资产详情。函数详情 请参见 搜索数据，进入目标函数的详情页面。编号 描述 ① 概要信息 为您展示函数名称、描述。收藏：单击即可收藏。...③ 资产信息 为您展示函数的 基础信息、使用信息 和 变更信息。
函数资产详情
本文为您介绍如何查看函数的资产详情。函数详情 请参见 搜索数据，进入目标函数的详情页面。编号 描述 ① 概要信息 为您展示函数名称、描述。收藏：单击即可收藏。...③ 资产信息 为您展示函数的 基础信息、使用信息 和 变更信息。
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
步骤一：准备工作
使用flink_dataphin数据库/订单表 CREATE TABLE `oms_orders`(`id` bigint(20)NOT NULL AUTO_INCREMENT COMMENT '订单id',`buyer_id` bigint(20)DEFAULT NULL COMMENT '用户ID',`sku_type` char(32)DEFAULT NULL COMMENT '商品类型',`sku_...
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。...③ 资产信息 为您展示标准的 基础信息、使用信息 和 变更信息。
步骤一：准备工作
使用flink_dataphin数据库/订单表 CREATE TABLE `oms_orders`(`id` bigint(20)NOT NULL AUTO_INCREMENT COMMENT '订单id',`buyer_id` bigint(20)DEFAULT NULL COMMENT '用户ID',`sku_type` char(32)DEFAULT NULL COMMENT '商品类型',`sku_...
条件调度规则说明
普通日历：日常生活中所使用的日历（公历），支持 日期、月份、星期 做为参数值。参数值判断条件 有属于 与 不属于。公共日历：在Dataphin创建的公共日历，支持 日期类型（工作日、假期）、标签、财务周、财务月、财务日 做为参数值。标签...
管理Notebook单元
本文将为您介绍各单元的使用场景和支持的管理操作。Markdown单元 Markdown支持您使用标准的Markdown语法为Notebook添加文本内容。区域 描述 ① 操作区 单击选中添加的Markdown单元后，您可在操作区对Markdown单元进行管理。包括切换单元、...
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。...③ 资产信息 为您展示标准的 基础信息、使用信息 和 变更信息。
添加镜像源
说明 为确保功能的正常使用，需要保留至少一个镜像源。内置的镜像源已添加到网络白名单，无需进行网络白名单设置。单击 连通性测试，测试填写URL地址与Dataphin的连通性。测试成功后，单击 确定，完成镜像源添加。后续步骤 完成镜像源添加...
数据源资产详情
反馈质量问题：您可以通过该功能向当前质量负责人反馈在使用资产过程中遇到的质量问题（如连接不稳定），以通知相关负责人及时进行整改，从而推动提升资产可用性和健康度。配置详情请参见 添加并管理问题清单。您需要开通数据质量模块，且...
消息模板
使用限制 支持超级管理员和系统管理员编辑消息模板。查看消息模板 在Dataphin界面，单击页面右上角的 图标进入 告警中心 页面。在 告警中心 页面，单击左侧导航栏中 消息模板。在 消息模板 页面，单击 离线计算、实时计算、基线监控、数据...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
登录安全设置
前提条件 当您使用Dataphin自建账号体系时，可配置登录安全设置。权限说明 超级管理员和系统管理员支持修改登录安全设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 登录安全设置 页面。参数 描述 会话超时...
到期提醒与停机策略
请您及时备份数据或续费，避免影响正常使用。停机策略 Dataphin实例到期后，会自动停机。您将无法正常登录Dataphin实例，无法创建调度任务实例。如果您在实例到期后的336小时（14天）内完成续费，可以继续使用Dataphin实例且数据不会丢失。...
计算设置概述
使用限制 设置完成业务租户的计算引擎后，重新设置元仓计算引擎类型，可能导致业务租户的元数据加工不正确。建议修改元仓计算引擎类型前与Dataphin的运维团队进行确认。实时计算引擎默认为阿里云实时计算Flink，若需使用Blink，请到管理...
准备RAM用户
为保证项目数据安全，推荐您创建RAM用户并交由其他用户使用，实现对参与Dataphin项目的人员权限进行严格把控。本文为您介绍如何创建RAM用户。背景信息 在创建RAM用户前，请您了解阿里云账号和RAM用户及其在Dataphin中的用户角色及其权限，...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
创建服务项目
后续您需要通过服务项目使用数据服务。本文为您介绍如何创建服务项目。使用限制 仅支持阿里云主账号（即Dataphin中的超级管理员）创建服务项目。新建服务项目 在Dataphin首页，单击顶部菜单栏的 服务。按照下图操作指引，进入 新建服务项目...
全局角色管理
前提条件 系统内置的全局角色中以下角色需开通对应的模块方可使用全局角色功能，包括 质量管理员（需购买资产质量或标签工厂任一功能）、数据标准管理员（需购买数据标准功能）、跨租户发布使用人（需购买跨租户发布功能）、标签业务员（需...
导出发布包概述
在来源环境中，跨租户发布使用人可以根据业务需求导出来源环境中的对象为发布包文件并下载或转发至目标环境，以便目标环境的跨租户发布使用人可导入该发布包文件并发布对象。前提条件 导出发布包前，请完成跨租户发布设置，包括发布包存储...
导出发布包概述
在来源环境中，跨租户发布使用人可以根据业务需求导出来源环境中的对象为发布包文件并下载或转发至目标环境，以便目标环境的跨租户发布使用人可导入该发布包文件并发布对象。前提条件 导出发布包前，请完成跨租户发布设置，包括发布包存储...
- 产品推荐
- 这些文档可能帮助您