SQL使用限制
本文为您介绍基于Dataphin使用MaxCompute SQL的限制项。限制项 最大值/限制条件 分类 说明 表名长度 128字节 长度限制 表名、列名中不能有特殊字符，以字母开头，且只能用英文小写字母（a-z）、英文大写字母（A-Z）、数字和下划线（_）。...
逻辑表配置概述
物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及字段在物化表中的分布，有效的提升了自动化生成模型的数据查询效率和资源使用效率。下游对象 逻辑表的下游对象，指引用当前...
关于云市场域名更换通知
本章节说明阿里云文字识别（OCR)关于域名更换问题的通知与解答。通知：尊敬的开发者们，由于云市场即将进行服务升级，部分商品接口原域名将于2022年1月31日24:00起停止服务，请您及时将代码中的域名更换为默认域名，您可通过云市场商品详情...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
敏感数据保护
需要注意的是，脱敏保护后的数据无法展示为原值，因此推荐用在临时查询等场景，不推荐在数据交换等场景中使用。加解密方案 Dataphin支持在数据集成中针对敏感数据进行加密或者解密。Dataphin支持常见的商密和国密，如AES、RSA、SM4等算法；...
文字识别
阿里云文字识别（Optical Character Recognition，OCR）可以将图片中的文字信息转换为可编辑文本，根据客户的业务场景和需求，将产品分为了通用文字识别、个人证照识别、票据凭证识别、教育场景识别、车辆物流识别、企业资质识别、小语种...
函数操作
功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。select*from biz_cdm.biz_order where ds=...
函数操作
功能 是否支持 函数操作 是 MAX_PT 是 支持使用Dataphin项目名称进行检索数据。例如，Dataphin的项目英文名称为biz_cdm，该项目下有分区表biz_order、分区键为ds。则您可以执行以下语句查询数据。select*from biz_cdm.biz_order where ds=...
日志审计
操作审计（ActionTrail）帮助您监控并记录阿里云账号的活动，包括通过阿里云控制台、开发者工具对云上产品及服务的访问和使用行为。您可以将这些行为事件下载或保存到日志服务SLS或对象存储OSS上，然后进行行为分析、安全分析、资源变更...
API资产详情
本文为您介绍如何查看API的资产详情。API详情 请参见 搜索数据，进入目标数据服务的详情页面。编号 描述 ① 概要信息 为您展示数据服务的名称。同时，您还可以执行如下...③ 资产信息 为您展示数据服务的 基础信息、使用信息 和 变更信息。
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
静态脱敏
步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感数据（如姓名、账号、手机号等）进行脱敏处理，您可查看脱敏算法的使用说明，了解其使用方式。详情请参见 脱敏算法页面介绍。步骤三：测试脱敏算法 根据上述步骤二...
注册调度集群
指定租户：选择可使用当前调度集群的租户，适用于需要管控资源使用范围的场景。单击 完成。后续步骤 完成调度集群注册后，还需要在指定集群完成应用安装部署等连接配置，注册的调度集群才可正常使用。具体操作，请参见 配置集群连接。
申请资产权限
上架到资产市场的标签，可以被市场成员申请至项目中进行使用。申请至项目中的标签可以选择规则组合方式加工新标签；申请至应用的标签可以创建标签离线服务、实时查询服务，进行标签应用。本文将指导您如何申请标签权限。申请标签权限 在...
函数资产详情
本文为您介绍如何查看函数的资产详情。函数详情 请参见 搜索数据，进入目标函数的详情页面。编号 描述 ① 概要信息 为您展示函数名称、描述。收藏：单击即可收藏。...③ 资产信息 为您展示函数的 基础信息、使用信息 和 变更信息。
函数资产详情
本文为您介绍如何查看函数的资产详情。函数详情 请参见 搜索数据，进入目标函数的详情页面。编号 描述 ① 概要信息 为您展示函数名称、描述。收藏：单击即可收藏。...③ 资产信息 为您展示函数的 基础信息、使用信息 和 变更信息。
资源监控
开启后，所有租户均可在运维中心查看当前Dataphin实例全局调度资源的分配使用情况、资源消耗趋势及租户下的待优化任务列表，帮助您进一步评估资源利用率及时进行扩缩容，并针对资源配置不合理的任务进行调优。更多信息，请参见 调度资源...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。...③ 资产信息 为您展示标准的 基础信息、使用信息 和 变更信息。
创建ID
用于定义以及管理平台实体关联的ID类型，如消费者、商家等实体关联的手机号、邮箱等。本文将指导您如何创建ID。...后续步骤 完成ID创建后，在创建标签时您可使用该ID及对应实体进行标签开发。具体操作，请参见 离线标签概述。
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。...③ 资产信息 为您展示标准的 基础信息、使用信息 和 变更信息。
添加镜像源
说明 为确保功能的正常使用，需要保留至少一个镜像源。内置的镜像源已添加到网络白名单，无需进行网络白名单设置。单击 连通性测试，测试填写URL地址与Dataphin的连通性。测试成功后，单击 确定，完成镜像源添加。后续步骤 完成镜像源添加...
管理API权限
如果您已购买了数据服务模块，即可使用API权限。本文为您介绍如何申请和交还API权限。前提条件 已购买数据服务模块，详情请参见 开通Dataphin。申请API权限 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 API权限申请 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
登录安全设置
本文为您介绍如何配置登录安全设置。...权限说明 超级管理员和系统管理员支持修改登录安全设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 登录安全设置 页面。...可设置的时间范围为15分钟~1440分钟（24小时）...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
准备工作简介
如果您使用RAM用户对Dataphin进行精细的权限管理，则需要将其他人员使用的RAM用户账号同步至Dataphin中，才可以使用Dataphin。具体操作，请参见 同步RAM用户账号至Dataphin。设置Dataphin实例的计算引擎。在开始使用Dataphin前，您需要完成...
配置限速流程组件
参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。速度上限 选择数据传输的速度上限：如果您选择 基于数据量限制，则需选择 1M/s、2M/s、5M/s、10M/s。如果您选择 基于数据条数限制，则需填写限制的条数，例如30条/s。单击确定，...
SQL增强操作
说明 select_statement 仅支持查询使用物理表或者物理视图，不支持逻辑表和逻辑视图。查询参数化视图 支持场景包括即席查询、SQL任务、逻辑对象计算逻辑、集成来源表和目标表中过滤参数化视图。不支持查询带有表值参数的参数化视图（无法...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
发布中心概述
使用限制 仅开发模式为Dev-Prod的项目支持发布功能。功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据...
发布中心概述
使用限制 仅开发模式为Dev-Prod的项目支持发布功能。功能介绍 发布中心由 待发布对象 和 发布记录 组成：在 待发布对象 页面，记录了 集成同步、规范建模 和 数据处理 模块提交的数据对象。您可以单击数据对象操作列下的 图标，发布数据...
数据源资产详情
本文为您介绍如何查看数据源的资产详情。数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。...③ 资产信息 为您展示数据源的 基础信息、使用信息 和 变更信息。
通知设置
使用限制 若在消息渠道中未开启邮件、钉钉群消息等相应的联系方式，则消息无法发送。消息渠道配置请参见 配置渠道设置。通知设置说明 流程控制：用于审批流程相关（如数据标准审批、发布审批、数据下载审批等）的通知。权限管理：用于权限...
设置实时计算引擎
在 实时计算引擎 设置页面，选中当前 实例 需要使用的实时计算引擎。单击 保存，即可完成实时计算引擎设置。后续步骤 完成Dataphin实时计算引擎的设置后，系统支持为创建的项目空间添加相应的实时计算源，为项目空间提供计算资源。如何创建...
配置和转交功能权限
参数 描述 审批用户 选择该租户下正常使用的用户。最长授权 支持 30天、90天、180天、长期 或自定义时间。单击 确定，完成归属我的功能权限的配置。转交功能权限 按照下图指引，进入 功能权限配置 对话框。在 功能权限归属转交 对话框，...
配置和转交功能权限
参数 描述 审批用户 选择该租户下正常使用的用户。最长授权 支持 30天、90天、180天、长期 或自定义时间。单击 确定，完成归属我的功能权限的配置。转交功能权限 按照下图指引，进入 功能权限配置 对话框。在 功能权限归属转交 对话框，...
资源治理概述
Dataphin治理功能助您完成数据使用消耗的分析，全局把控计算与存储成本，提升使用效率。前提条件 已购买资源治理增值服务，详情请参见 开通Dataphin。使用说明 资源治理的统计不包括计算引擎为Hologres的项目，也不支持对这些项目的治理。...
- 产品推荐
- 这些文档可能帮助您