通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
数据注册与字段配置
如果是离线产出的数据源，只能创建离线指标，无法创建实时指标。上面的维度字段也不是必需的，加上维度字段可以对指标进行维度分析。比如常见的维度字段有性别、操作系统（IOS，安卓）等。这样报表的数据可以分 男女，ios 和 安卓进行查看...
消息模板
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。使用限制 支持超级管理员和系统管理员编辑消息...
通过脚本模式创建集成任务
创建离线脚本模式后，可以通过直接编写数据同步的JSON脚本来完成数据同步开发，为数据同步开发提供了更灵活的能力和更精细化的配置管理。本文为您介绍如何创建离线脚本模式。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
混合云主控模式最佳实践
混合云主控模式集群的管理节点为云上新增集群的管理节点，计算节点由线下已有计算节点和云上新增计算节点组成。本文以E-HPC云上集群将线下已有计算节点纳入管理的场景为例，介绍混合云主控模式集群（SGE调度器）的部署方案。重要 本文的...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
通过单条管道创建集成任务
离线单条管道即处理离线集成任务的一条管道脚本，可以将一个或多个来源数据源的单表或多表同步到一个或多个目标数据源中。本文为您介绍如何通过离线单条管道配置集成任务。前提条件 已完成数据源配置。您需要在配置集成任务前，配置好您...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置任务基本信息
您可以在离线任务编辑器属性对话框中查看离线任务的基本详细和进行调度配置，包括任务的名称、ID、类型，并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，进入离线任务...
配置任务基本信息
您可以在离线任务编辑器属性对话框中查看离线任务的基本详细和进行调度配置，包括任务的名称、ID、类型，并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口，进入离线任务...
限流配置
离线数据处理：对应离线计算任务、DATA_X同步任务、FLINK_SQL_BATCH任务。建模研发：仅智能研发版支持，对应所有逻辑表任务。萃取研发：仅购买萃取支持，对应所有萃取任务。并发运行数 设置并发运行数，需要结合实际限流场景进行配置。说明...
限流配置
离线数据处理：对应离线计算任务、DATA_X同步任务、FLINK_SQL_BATCH任务。建模研发：仅智能研发版支持，对应所有逻辑表任务。萃取研发：仅购买萃取支持，对应所有萃取任务。并发运行数 设置并发运行数，需要结合实际限流场景进行配置。说明...
计算节点配置说明
计算节点是处理数据代码的算法...调度配置 如果在场景上线后，需要定时调度该场景中离线计算节点，则需要在开发环境场景上线前，打开该离线节点的定时调度 的开关，设置离线节点的定时调度和依赖信息。设置后的定时调度只在生产环境场景生效。
计算节点配置说明
计算节点是处理数据代码的算法...调度配置 如果在场景上线后，需要定时调度该场景中离线计算节点，则需要在开发环境场景上线前，打开该离线节点的定时调度 的开关，设置离线节点的定时调度和依赖信息。设置后的定时调度只在生产环境场景生效。
概述
Tunnel主要用于批量上传数据至离线表，适用于离线计算的场景。DataHub DataHub数据迁移功能通过Connector实现。DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便...
新手必读
空间下流可以被实时预览、回看前需要对域名进行CNAME解析配置，否则RTMP无法推流，国标仅能添加设备，无法播放。全局模板 模板在视图计算产品中是全局模板，包括以下类型的模板 全局模板（创建、绑定、解绑）录制模板 普通录制、按需录制、...
查看资源使用情况-全托管
用量详情：为您展示当前租户下 离线同步&集成任务、离线计算任务、维度逻辑表、事实逻辑表、指标 的资源使用情况。关于数据处理单元的更多信息，请参见 数据处理单元的折算逻辑、定价说明。智能运维 基线：统计所有已创建的基线任务，不...
新建调度任务
已发布的离线模型支持配置自动化调度任务。本文主要介绍新建调度任务。前提条件 已新建离线模型且模型已发布，具体操作，请参见 新建离线模型。已创建云计算资源作为数据源，具体操作，请参见 新建计算资源。操作步骤 登录 数据资源平台...
创建通用项目
当离线计算引擎为MaxCompute时，支持使用Hologres作为查询加速引擎和配置机器学习PAI。说明 1个Hologres引擎仅支持1个场景（服务或离线引擎）/项目。Dataphin对接了 机器学习PAI，为您提供了机器学习PAI基础的算法调度能力。在机器学习平台...
基本概念
物联网边缘计算管理平台 物联网边缘计算的本地管理平台，可离线管理边缘一体机的网络配置、算法任务、终端设备等。边缘一体机关联的软硬件资源 指关联到边缘一体机的算法、应用、终端设备等资源。终端设备 指通过一定的协议或接口接入到...
文档更新动态（2024年）
支持的研发对象范围包括：集成任务、实时计算任务、离线计算任务、逻辑表、离线物理表、实时表、实时/离线计算模板、即席查询。新增说明 研发平台设置 管理中心-成员管理-项目角色管理 自定义项目角色中，拥有 成员管理-编辑 权限的角色不...
配置 MPC 项目
配置离线样本 离线样本是 MPC 项目中的原始数据，离线样本被存储在节点中且只支持在节点本地使用。如果需要在项目中使用离线样本，需要将数据授权到 MPC 项目内。在 隐私计算项目 页面，单击指定 MPC 项目右侧的 资源配置。在 资源配置 ...
查看及管理离线集成任务列表
离线计算任务列表介绍 离线计算任务列表页面主要由工具栏、筛选区、离线集成任务列表、批量操作区组成。您可以在离线集成任务列表页面查看创建的离线集成任务并进行相关管理操作。区域 描述 ① 功能区 搜索及筛选：支持通过输入集成任务ID...
查看及管理离线集成任务列表
离线计算任务列表介绍 离线计算任务列表页面主要由工具栏、筛选区、离线集成任务列表、批量操作区组成。您可以在离线集成任务列表页面查看创建的离线集成任务并进行相关管理操作。区域 描述 ① 功能区 搜索及筛选：支持通过输入集成任务ID...
查看资源使用情况-半托管
用量详情：为您展示当前租户下 离线同步&集成任务、离线计算任务、维度逻辑表、事实逻辑表、指标 的资源使用情况。关于数据处理单元的更多信息，请参见 数据处理单元的折算逻辑、定价说明。智能运维 基线：统计所有已创建的基线任务，不...
通过函数计算转存离线日志
说明 开通离线日志功能时，在函数计算中指定或者创建了函数和服务为离线日志功能服务，如果您不再需要可同步删除该函数和服务，可选择删除函数和服务，避免残留过多配置。删除函数：请参考 删除函数。删除服务：请参考 删除服务。在OSS控制...
告警事件
告警事件集中为您展示离线计算、实时计算、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线计算、实时...
告警事件
告警事件集中为您展示离线计算、实时计算、实时集成、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线...
离线模式变量配置
本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...
离线模式变量配置
本文为您介绍如何配置实时任务离线模式变量配置，并以Flink_SQL为例，讲解参数配置。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，选择需配置变量参数的任务，进入 配置 面板。在配置面板...
配置CDN触发器
CDN触发器配置完成后，每当CDN服务在指定的加速域名下生成一个离线日志文件，CDN事件就会触发 函数计算 转存CDN离线日志。本文介绍如何在 函数计算 控制台上为目标函数配置CDN触发器，包括创建触发器、配置入口参数以及编写函数代码并测试...
分析平台设置
说明 分析平台支持MaxCompute、Hadoop、星环TDH 6.x、AnalyticDB for PostgreSQL、ArgoDB类型的离线计算源。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，...
配置特征映射模板
手动配置 单击 新增离线字段，填写表单配置映射模板，然后单击 确定。离线字段名称：自定义离线字段名称，以英文字母开头。在线特征名称：选择一个在线特征，在线特征来源于当前特征组中的特征。导入离线字段 单击 导入离线字段，选择一个...
基本概念
安全配置 安全配置全称为授权安全配置，离线样本被授权到多方安全分析项目后，数据所有方在项目中按照安全级别对数据进行分列、分级的配置。数据的安全性越高，对数据支持的分析灵活度越低。当脚本文件中的逻辑超出了安全配置的限制，引擎...
通过表映射创建离线视图
Dataphin标签基于离线计算引擎，支持通过表映射方式将物理表字段直接定义成为视图指标。本文将指导您如何通过表映射创建离线视图。前提条件 创建离线视图前需先创建视图所归属的标签项目。详情请参见：创建标签项目。操作步骤 在Dataphin...
创建Hadoop计算源
Hadoop计算源用于绑定Dataphin项目空间与Hadoop项目，为Dataphin项目提供处理离线计算任务的计算源。如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。...
操作流程
设置调度信息 当离线计算节点需要按照周期输出数据时，支持通过设置节点的调度信息，实现节点中各数据被周期计算。具体操作，请参见 步骤五：设置调度信息。上线开发节点 当开发节点运行成功后，将开发节点上线至生产节点后提供生产环境的...
操作流程
设置调度信息 当离线计算节点需要按照周期输出数据时，支持通过设置节点的调度信息，实现节点中各数据被周期计算。具体操作，请参见 步骤五：设置调度信息。上线开发节点 当开发节点运行成功后，将开发节点上线至生产节点后提供生产环境的...
添加应用
说明 如果制作.zip镜像包，请参见 离线任务（JAVA）zip包制作指南、离线任务（PYTHON）zip包制作指南。镜像 镜像地址：选择镜像地址。镜像版本：选择镜像版本。环境变量 配置环境变量。配置完成后，单击 确定。添加服务编排 应用 登录 数据...
- 产品推荐
- 这些文档可能帮助您