规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
新建基线监控
基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间和承诺时间，在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
规范定义最佳实践
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。在Dataphin中，项目可以归属至数据板块以实现规范建模功能，同一个数据板块中可能包含多个不同的项目...
新建基线监控
基线一旦建立后，会按照调度依赖关系自动识别圈定需要被纳入监控范围的任务，并按照设定的预警时间和承诺时间，在被保障对象数据可能延迟产出的情况下发送基线告警。基线范围内的任务可设置更高优先级以优先分配资源。本文为您介绍如何进行...
开通Dataphin
Dataphin实例到期停机且在14天的保留期内时，仅支持续费操作。购买Dataphin实例 Dataphin提供了多种版本和功能的组合，以适配不同场景、不同数据体量客户的诉求，支持选择 智能研发版（离线&实时）、基础研发版（离线&实时）和 敏捷研发版...
Dataphin新手引导
导入预制模型 是Dataphin内置零售行业数据模型，可快速导入体验模型建设功能。新建流程引导 帮助您从零开始逐步完成数据规划与研发步骤，了解Dataphin的基础操作步骤。单击 去导入 按钮，进入 管理中心-预制模型-模型市场 页面，详情请参见...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
用户角色和权限
权限功能是系统安全的重要基础保障，作为企业数据中台建设和数字化转型的核心产品，Dataphin提供了完整的权限体系，来帮助您构建完善安全的权限系统，保障数据安全。本文为您介绍Dataphin权限体系、用户和角色、角色权限概览等，帮助您了解...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
沙箱执行
任务调度引擎在启动任务时，会将任务运行在内置的安全沙箱内，保障任务和服务的安全性。安全沙箱提供以下能力：限制网络请求：禁止用户任务请求敏感服务，如Dataphin内部服务等。限制文件读取：禁止用户任务读写敏感文件，如/etc/hosts等...
项目资产详情
② 资产详情 为您展示项目内的数据表 名称、创建人、存储类型、数据更新时间。您也可以单击 操作 列下的 图标，在权限管理模块，申请表权限，详情请参见 申请、续期和交还表权限。③ 资产信息 为您展示项目的 项目概况 和 基本信息。
查看及管理运维监控API
在线API调用率 在指定时间段内，指定服务项目内所有API的调用总次数/在线的API总数*100%。API调用次数 在指定时间段内，指定服务项目内所有API的调用总次数。调用异常次数 在指定时间段内，指定服务项目内所有API的调用错误总次数。错误率 ...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
配置逻辑表数据延迟
维度与事实逻辑表数据延迟用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。本文为您介绍如何配置维度与事实逻辑表数据延迟。使用限制 事实逻辑表数据时效须为天时效（离线T+1）且该逻辑表设置了 事件时间 字段，才可配置是否开启数据...
项目资产详情
② 资产详情 为您展示项目内的数据表 名称、创建人、存储类型、数据更新时间。您也可以单击 操作 列下的 图标，在权限管理模块，申请表权限，详情请参见 申请、续期和交还表权限。③ 资产信息 为您展示项目的 项目概况 和 基本信息。
续费
Dataphin服务到期之后，为不影响您的正常使用，建议您在14天之内完成续费操作，期间系统将暂停所有的任务，但会为您保留数据和资源。若您14天内未完成续费，系统将会清空所有任务并释放资源，详情请参见 到期提醒与停机策略。说明 续费时不...
身份认证及访问控制
项目角色 项目角色用于管理项目内成员、数据、任务的查看和操作权限。当前支持的项目角色有：项目管理员、开发者、运维、分析师、访客。不同项目角色的权限等级不一样，可以按照实际情况进行项目角色授予，能更好保护项目内数据的安全。...
创建实体
实体指具有可区别性且独立存在的某种事物，比如人、地名、公司、设备、商品等。本文将指导您如何创建实体。操作步骤 在Dataphin首页，单击顶部菜单栏的 规划。进入 Dataphin规划 页面后，默认进入 数据架构 页面。在 标签架构 页面，按照下...
推送记录
租户内的项目绑定的实时计算引擎仅包含开源Flink计算引擎时，不支持 业务延迟过高 与 数据滞留超过配置。租户内的项目绑定的实时计算引擎同时包含Blink及开源Flink计算引擎时，则都支持。查看消息内容：支持查看推送的告警消息内容。
配置Spark SQL任务参数
spark.yarn.am.memoryOverhead-在客户端模式下为每个AM进程分配的非堆内存量。spark.driver.memory 1G 驱动程序进程使用的内存量。spark.driver.memoryOverhead-集群模式下每个驱动程序进程分配的非堆内存量。spark.executor....
身份认证及访问控制
项目角色 项目角色用于管理项目内成员、数据、任务的查看和操作权限。当前支持的项目角色有：项目管理员、开发者、运维、分析师、访客。不同项目角色的权限等级不一样，可以按照实际情况进行项目角色授予，能更好保护项目内数据的安全。...
推送记录
租户内的项目绑定的实时计算引擎仅包含开源Flink计算引擎时，不支持 业务延迟过高 与 数据滞留超过配置。租户内的项目绑定的实时计算引擎同时包含Blink及开源Flink计算引擎时，则都支持。实时集成 包括 业务延迟过高 和 失败频率超过配置。...
运维监控概述
运维监控能够帮助您根据指定时间段内和指定项目下查看API在生产环境的调用情况，以便您及时发现并处理异常。权限说明 超级管理员 支持查看及管理所有数据服务项目的API调用情况。运维用户 支持查看和管理自己所负责的所有数据服务项目的API...
通知设置
参数 描述 流程控制、权限管理、资源用量、租户管理、系统消息 选择通知消息的方式，支持选择 站内信、邮件、钉钉群消息。说明 发起审批任务或进行审批操作时将以配置的通知方式通知相关人员。邮件、钉钉群消息，您可以根据实际业务情况...
静态脱敏
静态脱敏操作指引 步骤一：安装算法包 在资产安全模块，为需使用脱敏算法的项目安装算法包，可以对项目内的安全策略进行统一的配置。配置详情请参见 项目安全策略。步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感...
静态脱敏
静态脱敏操作指引 步骤一：安装算法包 在资产安全模块，为需使用脱敏算法的项目安装算法包，可以对项目内的安全策略进行统一的配置。配置详情请参见 项目安全策略。步骤二：查看脱敏算法说明 脱敏算法运用哈希脱敏、遮盖掩码等方式对敏感...
到期提醒与停机策略
如果您在实例到期后的336小时（14天）内完成续费，可以继续使用Dataphin实例且数据不会丢失。您可以通过运维中心调度任务的补数据功能恢复历史数据。停机后系统将暂停所有的任务，但Dataphin会为您保存数据和资源336小时（14天）。如果您...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
治理效果
例如下图中展示了2023-01-25至2023-01-28时间区间内 存储优化量 和 治理率 的数据趋势，鼠标悬浮的位置展示2023-01-27当天的 治理率 为0.42%，以2023-01-27为基础的最近7天 存储优化量 为44.26KB。单击 趋势分析 后的 计算，默认展示30天...
治理效果
例如下图中展示了2023-01-25至2023-01-28时间区间内 存储优化量 和 治理率 的数据趋势，鼠标悬浮的位置展示2023-01-27当天的 治理率 为0.42%，以2023-01-27为基础的最近7天 存储优化量 为44.26KB。单击 趋势分析 后的 计算，默认展示30天...
Dataphin PyODPS
在Dataphin中使用Python时，您可以使用Dataphin PyODPS安全地访问Dataphin项目内存储在MaxCompute的数据。背景信息 Dataphin PyODPS依赖于MaxCompute的 PyODPS。前提条件 在使用Dataphin PyODPS前，请确认您已将Dataphin计算引擎设置为...
API管理
静默期 在短时间内多次告警，可以设置一个静默期，在发送告警信息后的静默期期间，系统不再重复发送相同API告警规则的信息。单击 确定，完成API的告警配置。应用调用API运行过程中，如果触发了监控告警规则，系统会给您发送告警消息，便于...
研发平台设置
持锁时长 持锁时长内，用户无任何编辑动作，持锁排他将失效，可被其他用户获取锁。默认为 30分钟，最低为 5分钟，最高不超过 120分钟。关闭对象时自动释放 关闭对象编辑选项（tab）时自动释放锁定。提交成功时自动释放 提交成功时自动释放...
研发平台设置
持锁时长 持锁时长内，用户无任何编辑动作，持锁排他将失效，可被其他用户获取锁。默认为 30分钟，最低为 5分钟，最高不超过 120分钟。关闭对象时自动释放 关闭对象编辑选项（tab）时自动释放锁定。提交成功时自动释放 提交成功时自动释放...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
通知设置
参数 描述 流程控制、权限管理、资源用量、租户管理、系统消息 选择通知消息的方式，支持选择 站内信、邮件、钉钉群消息、飞书群消息、企业微信群消息。说明 发起审批任务或进行审批操作时将以配置的通知方式通知相关人员。邮件、钉钉群...
离线标签概述
项目内标签 和 已申请的标签 页面展示基本一致，下图以 项目内标签 为例。区域 描述 ① 搜索及筛选区 只看我的：筛选当前登录账号创建的离线标签。搜索：支持通过输入标签名称、标签code、负责人或描述搜索离线标签。筛选：单击，可展开...
数据传输加密
浏览器与服务器端访问统一使用SSL加密，即使用HTTPS协议访问。Dataphin内部服务接口权限控制：内部RPC接口调用采用密钥和白名单方式进行控制，数据内容是二进制传输。公共云SaaS下的数据服务支持HTTPS协议访问。支持配置使用公有云的阿里云...
到期提醒与停机策略-半托管
特别说明，Dataphin半托管实例所依赖的云产品到期后释放时间如下，为保证Dataphin实例可用和数据不丢失，请在相关云产品规定期限内完成续费：云数据库RDS PostgreSQL实例在到期 7天 后释放实例且数据不可恢复，详见 RDS PostgreSQL欠费说明...
- 产品推荐
- 这些文档可能帮助您