上传管道脚本
在 上传创建管道开发脚本 对话框中，配置参数。参数 描述 上传文件 选择您需要上传的管道脚本。管道名称 填写管道名称。管道名称由字母、数字、下划线（_）组合组成。说明 管道名称 不能超过64个字符。调度类型 选择调度类型。系统支持的...
新建HADOOP_MR任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建ARGODB_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建IMPALA_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建ADB_PG_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建MAX_COMPUTE_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000字符以内。选择目录 选择离线计算任务的目录...
创建索引
这个限制确保索引的行为是明确界定的，如果在索引中使用用户定义的函数，必须记住在创建它的时候把函数标识为不可改变。如果您要在分区表中创建索引，那么create index命令则会基于引用的表的基础上增殖索引：如果您在CREATE INDEX命令中...
新建MAX_COMPUTE_MR任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000字符以内。单击 确定。在 代码编写 页面，...
新建STARROCKS_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建INCEPTOR_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建MAX_COMPUTE_MR任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000字符以内。单击 确定。在 代码编写 页面，...
新建MAX_COMPUTE_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。选择目录 选择离线计算任务的...
新建SPARK_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
新建HIVE_SQL任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
创建PYTHON计算任务
在Python任务代码编写页面，选择需要创建的Python任务版本后，编写代码。说明 开发Python计算任务时，通常需要根据业务场景安装所需资源包。Dataphin已经预制通用资源包至系统内，您在开发代码过程中，只需要在代码开始部分添加 import ...
创建镜像
创建自定义镜像时，请确保镜像和要使用镜像创建的云电脑属于同一个地域。例如：云电脑所属地域为 华东1（杭州），则创建的自定义镜像也在 华东1（杭州）地域。您可以使用云电脑或快照创建自定义镜像，也可以通过 服务器迁移中心 SMC...
新建SPARK_JAR_ON_HIVE任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000个字符以内。单击 确定。在 代码编写 页面，...
创建PYTHON计算任务
在Python任务代码编写页面，选择需要创建的Python任务版本后，编写Python代码。说明 开发Python计算任务时，通常需要根据业务场景安装所需资源包。Dataphin已经预制通用资源包至系统内，您在开发代码过程中，只需要在代码开始部分添加 ...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
配置Hive输入组件
如果您还没有Hive类型的数据源，单击 新建，创建数据源。具体操作，请参见 创建Hive数据源。表 选择数据同步的源表。分区 如果您选择的表是分区表，则需要您输入分区信息，例如 ds=${bizdate}。分区不在时 可选择以下策略，处理当指定分区...
配置MaxCompute输入组件
如果您还没有MaxCompute类型的数据源，单击新建，创建数据源。具体操作，请参见 创建MaxCompute数据源。表 选择数据同步的来源表。分区 如果您选择的表是分区表，则需要您输入分区信息，例如 ds=${bizdate}。同时支持填写范围分区，如/*...
配置MaxCompute输入组件
如果您还没有MaxCompute类型的数据源，单击新建，创建数据源。具体操作，请参见 创建MaxCompute数据源。表 选择数据同步的来源表。分区 如果您选择的表是分区表，则需要您输入分区信息，例如 ds=${bizdate}。同时支持填写范围分区，如/*...
配置TDH Inceptor输入组件
如果您还没有TDH Inceptor类型的数据源，单击 新建，创建数据源。具体操作，请参见 创建TDH Inceptor数据源。表 选择数据同步的来源表。分区 如果您选择的表是分区表，则需要您输入分区信息，例如 ds=${bizdate}。分区不存在时 可选择以下...
项目管理概述
② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息、项目的成员管理。同时您可以单击 进入工作区 快速进入当前项目的 开发 工作台。③ 批量...
新建用户自定义函数
实时引擎 Alibaba Blink FLINK函数 Ververica Flink FLINK函数 开源Flink FLINK函数 说明 当前项目如果绑定的为 MaxCompute外部项目，则不支持创建自定义函数。在 新建函数 对话框，配置参数。参数 描述 名称 填写名称。名称由字母，数字，...
项目管理概述
② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息以及项目的成员管理。同时您可以单击 进入工作区 快速进入当前项目的 开发 工作台。③ 批量...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引进入新建VIRTUAL任务...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。在数据 开发 页面，按照下图操作...
新建SPARK_JAR_ON_MAX_COMPUTE任务
使用模板 支持使用创建的离线代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。模板创建，请参见 新建离线计算模板。描述 填写对任务的简单描述，1000字符以内。单击 确定。在 代码编写 页面，...
查看历史信息
前提条件 完成离线单条管道的创建，详情请参见 通过单条管道创建集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入Dataphin>>。进入数据 集成 页面。在Dataphin首页，单击 研发，进入...
新建数据库SQL任务
使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限。不支持基于MySQL、Oracle数据源SQL数据更新触发...
新建数据库SQL任务
使用限制 支持存储过程的创建及执行，但是Dataphin系统将不做语法校验及解析。执行数据库SQL需要获取数据源的执行权限，不支持表级权限校验。更多信息，请参见 申请、续期和交还数据源权限。不支持基于MySQL、Oracle数据源SQL数据更新触发...
新建HOLOGRES_SQL任务
本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 ...
新建HOLOGRES_SQL任务
本文为您介绍在绑定了Hologres离线计算引擎的项目下如何创建HOLOGRES_SQL任务。背景信息 SQL离线计算任务适用于对已有数据进行加工处理，生成符合业务场景需求的数据的场景。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 ...
识别规则及识别方式
识别规则创建完成后，您可根据业务情况进行调整识别规则的扫描方式，支持定时扫描、手动扫描、实时扫描，此外，您也可配置基于血缘关系自动继承上游的分类分级，通过继承任务生成识别结果。本文为您介绍如何配置识别规则及识别结果的生成...
新建SHELL任务
若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务的简单描述，1000字符以内。单击 确定。在 代码编写 页面，编写SHELL离线计算任务的代码。单击页面右上角的 运行，可运行代码。单击页面侧...
新建SHELL任务
若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务的简单描述，1000字符以内。单击 确定。在 代码编写 页面，编写SHELL离线计算任务的代码。单击页面右上角的 运行，可运行代码。单击页面侧...
定义维度与构建总线矩阵
维度创建、发布成功后，系统会自动创建对应的维表（即维度逻辑表），并支持对维表进行添加属性、添加关联维度、添加子维度和物理化配置等操作。维表与维度一一对应，是通过丰富维度中的属性信息构建而成的。构建总线矩阵 明确每个主题域中...
查看历史信息
前提条件 完成离线单条管道的创建，详情请参见 通过离线单条管道配置集成任务。查看历史版本详情 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入Dataphin>>。进入数据 集成 页面。在Dataphin首页，单击 研发，...
- 产品推荐
- 这些文档可能帮助您