应用场景
价值：数据建设统一：数据标准规范定义。数据研发提效：自动化代码生成。战略决策高效：数据分析准确，数据需求响应及时。推荐搭配组合：Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务，提高数据化运营...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
Dataphin免费试用申请
申请信息填写完后，勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》，单击 免费试用，体验Dataphin功能。相关文档 试用开通成功后，您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程，也可按照 导入模型 来导入...
划分主题域
主题域 业务过程举例 会员和店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下单、支付、发货、确认收货（交易成功）服务域 商品收藏、拜访、培训、优惠券领用 采购域 商品采购（供应...
离线视图概述
离线视图的加工方式不同，创建过程不同。描述说明如下：创建方式 描述 通过表映射创建离线视图 将物理表字段直接定义成为视图指标。通过SQL加工创建离线视图 通过SQL加工方式开发视图指标。通过表单加工创建离线视图 通过表单加工方式配置...
分析平台概述
Notebook：基于分析平台，支持您创建Notebook，记录您的分析思路与过程，包括代码、运行结果与分析结论等。更多信息，请参见 Notebook概述。SQL查询：Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据...
分析平台概述
Notebook：基于分析平台，支持您创建Notebook，记录您的分析思路与过程，包括代码、运行结果与分析结论等。更多信息，请参见 Notebook概述。SQL查询：Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据...
资产全景
流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工流向。结构化模式：以不同形状的组件表示业务实体，以不同样式的连线表示实体之间的关联关系。为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部...
资产全景
流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工流向。结构化模式：以不同形状的组件表示业务实体，以不同样式的连线表示实体之间的关联关系。为您清晰展示同一业务板块下的数据结构。全局模式 在Dataphin首页，单击顶部...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
项目管理概述
不同项目类型，创建过程不同，具体操作，请参见：创建通用项目。② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息以及项目的成员管理。同时您...
任务管理
初始化：资产治理模块每天实例化过程中状态。执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。...
任务管理
初始化：资产治理模块每天实例化过程中状态。执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。...
管理中心概述
在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 创建变更策略 变更策略是根据您已经创建好的...
项目管理概述
不同项目类型，创建过程不同，具体操作，请参见：创建通用项目。创建标签项目。② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息、项目的成员...
维度逻辑表概述
例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。本文为您介绍维度逻辑表的相关内容。前提条件 创建维度逻辑表需要已完成业务实体的创建，具体操作请参见 创建并管理业务实体。维度逻辑表配置入口 在...
Notebook概述
应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程，包括代码、运行结果与分析结论等。可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以...
Notebook概述
应用场景 记录分析过程：您可以使用Dataphin Notebook记录您的分析思路与过程，包括代码、运行结果与分析结论等。可形成完整的数据分析报告，方便您进行分析过程与结果回顾，也可分享给其他Dataphin实例的用户查看。便捷地查询数据：您可以...
维度逻辑表概述
例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。本文为您介绍维度逻辑表的相关内容。前提条件 创建维度逻辑表需要已完成业务实体的创建，具体操作请参见 创建并管理业务实体。维度逻辑表配置入口 在...
管理中心概述
在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。跨租户发布设置 跨租户发布设置用于配置跨租户发布的权限、发布文件的保留时间及获取发布凭证。跨租户发布 跨租户发布概述 跨租户发布数据用于迁移租户间的数据，以满足不同...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
实时模式Checkpoint配置
实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。本文将为您介绍如何配置实时任务的Checkpoint配置。操作步骤 请参见 实时模式配置入口，进入实时任务的...
离线标签概述
功能概述 您可根据业务需求创建所需的离线标签，离线标签的加工方式不同创建过程不同。描述说明如下：创建方式 描述 创建指标映射标签 将离线标签输出指标直接定义成为标签。创建行为偏好标签 通过可视化方式配置偏好规则，将行为数据加工...
计算设置概述
为了保证修改效率，系统在修改过程中不会对计算源的连通性进行校验，请谨慎确认配置的正确性，配置错误可能导致任务失败。修改完成后，建议对计算源进行手动连通性测试。修改计算设置后，配置项将在 30秒内 应用在计算源配置上。在同步完成...
实时模式配置概述
Checkpoint配置 实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置 State是Flink实时任务维持和管理数据...
实时研发基本流程概述
步骤二：实时项目规划 实时元表 元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的...
实时研发基本流程概述
步骤二：实时项目规划 实时元表 元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。步骤三：创建实时计算表 实时任务 通过创建Flink_SQL流任务，读取或写入元表映射的数据源中的...
查询数据代码说明
注意事项 查询数据过程中，如果任务执行超过2小时仍然没有结束，则Dataphin会自动终止任务进程，避免占用大量运行资源，影响其他任务的运行。使用 select*语法查询汇总逻辑表会占用大量运行资源，未避免造成资源浪费。建议您开启禁止即席...
实时模式配置概述
Checkpoint配置 实时任务的Checkpoint可以将任务的状态保存到持久化存储中，可有效的帮助当前任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置 State是Flink实时任务维持和管理数据...
查询数据代码说明
注意事项 查询数据过程中，如果任务执行超过2小时仍然没有结束，则Dataphin会自动终止任务进程，避免占用大量运行资源，影响其他任务的运行。使用 select*语法查询汇总逻辑表会占用大量运行资源，未避免造成资源浪费。建议您开启禁止即席...
Dataphin PyODPS
Exception:Dataphin odps client auth check failed,not allow to operate project Test_Project 项目空间 资源 函数 操作过程中有无权限的报错时，您需要获取对应数据对象的权限。具体操作，请参见 获取待操作数据对象的权限。使用示例 ...
Dataphin PyODPS
Exception:Dataphin odps client auth check failed,not allow to operate project Test_Project 项目空间 资源 函数 操作过程中有无权限的报错时，您需要获取对应数据对象的权限。具体操作，请参见 获取待操作数据对象的权限。使用示例 ...
新建用户自定义函数
离线计算函数用于管理离线计算任务代码开发过程中用到的SQL函数，包括计算引擎源常用且系统默认支持的函数和用户自定义函数，前者不支持编辑操作。本文为您介绍如何新建用户自定义函数。前提条件 完成资源的创建，详情请参见 创建资源。...
集成任务提交说明
完成集成任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的...操作执行过程中不支持撤销提交。
API管理
通过API管理，可以快速对所属服务项目的API进行限流和告警设置。本文为您介绍如何对API进行限流和告警配置。使用限制 超级管理员、...应用调用API运行过程中，如果触发了监控告警规则，系统会给您发送告警消息，便于您及时发现并处理异常。
申请、续期和交还函数权限
背景信息 基于Dataphin数仓建模，实时计算函数在建模过程中通常会被引用，帮助您提高代码任务开发效率。实时计算函数的查询权限通过函数权限进行统一管控，当您引用跨项目函数或非您所建函数时，只需申请该函数的查询权限即可实现函数的...
- 产品推荐
- 这些文档可能帮助您