静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
注册调度集群
指定租户：选择可使用当前调度集群的租户，适用于需要管控资源使用范围的场景。单击 完成。后续步骤 完成调度集群注册后，还需要在指定集群完成应用安装部署等连接配置，注册的调度集群才可正常使用。具体操作，请参见 配置集群连接。
申请资产权限
上架到资产市场的标签，可以被市场成员申请至项目中进行使用。申请至项目中的标签可以选择规则组合方式加工新标签；申请至应用的标签可以创建标签离线服务、实时查询服务，进行标签应用。本文将指导您如何申请标签权限。申请标签权限 请...
API资产详情
本文为您介绍如何查看API的资产详情。API详情 请参见 搜索数据，进入目标数据服务的详情页面。编号 描述 ① 概要信息 为您展示数据服务的名称。同时，您还可以执行如下...③ 资产信息 为您展示数据服务的 基础信息、使用信息 和 变更信息。
资源监控
开启后，所有租户均可在运维中心查看当前Dataphin实例全局调度资源的分配使用情况、资源消耗趋势及租户下的待优化任务列表，帮助您进一步评估资源利用率及时进行扩缩容，并针对资源配置不合理的任务进行调优。更多信息，请参见 调度资源...
准备工作简介
如果您使用RAM用户对Dataphin进行精细的权限管理，则需要将其他人员使用的RAM用户账号同步至Dataphin中，才可以使用Dataphin。具体操作，请参见 同步RAM用户账号至Dataphin。设置Dataphin实例的计算引擎。在开始使用Dataphin前，您需要完成...
创建ID
ID code 必须以字母开头，允许小写英文字母、数字、下划线，64字符以内。责任人 负责该实体的信息设置和管理人。支持选择Dataphin成员列表的所有正常使用的成员。实体 选择ID所关联的实体名称。说明 同一个实体ID可关联多个实体。描述 填写...
函数资产详情
本文为您介绍如何查看函数的资产详情。函数详情 请参见 搜索数据，进入目标函数的详情页面。编号 描述 ① 概要信息 为您展示函数名称、描述。收藏：单击即可收藏。...③ 资产信息 为您展示函数的 基础信息、使用信息 和 变更信息。
函数资产详情
本文为您介绍如何查看函数的资产详情。函数详情 请参见 搜索数据，进入目标函数的详情页面。编号 描述 ① 概要信息 为您展示函数名称、描述。收藏：单击即可收藏。...③ 资产信息 为您展示函数的 基础信息、使用信息 和 变更信息。
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。...③ 资产信息 为您展示标准的 基础信息、使用信息 和 变更信息。
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。...③ 资产信息 为您展示标准的 基础信息、使用信息 和 变更信息。
管理API权限
如果您已购买了数据服务模块，即可使用API权限。本文为您介绍如何申请和交还API权限。前提条件 已购买数据服务模块，详情请参见 开通Dataphin。申请API权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 API权限申请 ...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
登录安全设置
本文为您介绍如何配置登录安全设置。...权限说明 超级管理员和系统管理员支持修改登录安全设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 登录安全设置 页面。...可设置的时间范围为15分钟~1440分钟（24小时）...
资源治理概述
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。前提条件 已购买资源治理增值服务，详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对这些项目的治理。...
SQL增强操作
说明 select_statement 仅支持查询使用物理表或者物理视图，不支持逻辑表和逻辑视图。查询参数化视图 支持场景包括即席查询、SQL任务、逻辑对象计算逻辑、集成来源表和目标表中过滤参数化视图。不支持查询带有表值参数的参数化视图（无法...
编码规范
重要 因为关闭使用 select*语法的权限，可能会造成已经使用了 select*和 SELECT*语法的生产任务运行失败，因此需确保生产任务中没有 select*和 SELECT*语法。您可以在全局代码搜索入口中，输入 select*和 SELECT*查询。更多信息，请参见 ...
应用场景
价值：数据建设统一：数据标准规范定义。数据研发提效：自动化代码生成。战略决策高效：数据分析准确，数据需求响应及时。推荐搭配组合：Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务，提高数据化运营...
数仓规划概述
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在您开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。功能介绍 数仓规划包括逻辑空间与物理空间...
配置限速流程组件
参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。速度上限 选择数据传输的速度上限：如果您选择 基于数据量限制，则需选择 1M/s、2M/s、5M/s、10M/s。如果您选择 基于数据条数限制，则需填写限制的条数，例如30条/s。单击确定，...
管理服务单元权限
如果您需要使用他人的服务单元生成API，则需要申请服务单元的使用权限。前提条件 已购买数据服务模块，详情请参见 开通Dataphin。申请服务单元权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 服务单元权限申请 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
编码规范
重要 因为关闭使用 select*语法的权限，可能会造成已经使用了 select*和 SELECT*语法的生产任务运行失败，因此需确保生产任务中没有 select*和 SELECT*语法。您可以在全局代码搜索入口中，输入 select*和 SELECT*查询。更多信息，请参见 ...
管理中心概述
在使用Dataphin前，超级管理员需要通过管理中心添加Dataphin成员及设置Dataphin实例的计算引擎。同时您也可以配置计算和存储资源的规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。使用限制 仅支持超级管理员在管理...
发布中心概述
使用限制 仅开发模式为Dev-Prod的项目支持发布功能。功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据...
数据源资产详情
本文为您介绍如何查看数据源的资产详情。数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。...③ 资产信息 为您展示数据源的 基础信息、使用信息 和 变更信息。
配置Spark SQL任务参数
Spark SQL配置使用Livy Spark SQL配置使用Livy时，支持以下任务参数。参数名称 描述 livy.session.driverMemory 驱动程序进程使用的内存量。livy.session.driverCores 用于驱动程序进程的核心数。livy.session.executorMemory 每个执行程序...
发布中心概述
使用限制 仅开发模式为Dev-Prod的项目支持发布功能。功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据...
数据源资产详情
本文为您介绍如何查看数据源的资产详情。数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。...③ 资产信息 为您展示数据源的 基础信息、使用信息 和 变更信息。
通知设置
使用限制 若在消息渠道中未开启邮件、钉钉群消息等相应的联系方式，则消息无法发送。消息渠道配置请参见 配置渠道设置。通知设置说明 流程控制：用于审批流程相关（如数据标准审批、发布审批、数据下载审批等）的通知。权限管理：用于权限...
配置和转交功能权限
参数 描述 审批用户 选择该租户下正常使用的用户。最长授权 支持 30天、90天、180天、长期 或自定义时间。单击 确定，完成归属我的功能权限的配置。转交功能权限 按照下图指引，进入 功能权限配置 对话框。在 功能权限归属转交 对话框，...
配置和转交功能权限
参数 描述 审批用户 选择该租户下正常使用的用户。最长授权 支持 30天、90天、180天、长期 或自定义时间。单击 确定，完成归属我的功能权限的配置。转交功能权限 按照下图指引，进入 功能权限配置 对话框。在 功能权限归属转交 对话框，...
资源治理概述
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。前提条件 已购买资源治理增值服务并且当前租户已开通 资源治理 模块。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对这些项目的...
申请、交还应用权限
如果需要使用服务单元创建API，则您选择 使用权限。权限账号 系统默认选择个人账号。有效期 账号的有效期支持选择 30天、90天、180天、长期 或 自定义。申请原因 填写申请应用的原因，不超过128字符。单击 提交。您可以在任务中心查看已...
标签平台设置
Dataphin标签平台设置为使用标签模块功能的前提条件，包含时间字段设置及提供标签在线服务的服务数据源设置，其中时间字段设置包含标签表时间分区字段设置以及实时事件时间戳字段设置。标签表时间分区字段设置包含一、二、三级分区字段设置...
配置限速流程组件
参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。速度上限 选择数据传输的速度上限：如果您选择 基于数据量限制，则需选择 1M/s、2M/s、5M/s、10M/s。如果您选择 基于数据条数限制，则需填写限制的条数，例如30条/s。单击 确认...
实时模式State配置
State是Flink实时任务维持和管理数据状态的机制。通过合理的配置Flink的State数据过期时间可以提高资源利用率、内存管理、数据一致性和...若未填写，将默认使用作业引擎版本的默认值为State数据过期时间。单击 确定，完成实时模式State配置。
- 产品推荐
- 这些文档可能帮助您