查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
计算设置概述
修改离线计算引擎设置，系统将同步修改计算源配置。为了保证修改效率，系统在修改过程中不会对计算源的连通性进行校验，请谨慎确认配置的正确性，配置错误可能导致任务失败。修改完成后，建议对计算源进行手动连通性测试。修改计算设置后，...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
使用DataWorks（离线与实时）
离线同步 实时同步 同步解决方案 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写-说明 离线导入场景中，每个离线同步节点仅支持将单张或多张表数据导入至...
数据传输作业：数据集成
配置离线同步任务请参见 通过向导模式配置离线同步任务、通过脚本模式配置离线同步任务。注意事项 离线同步仅支持单表或分库分表数据离线同步至MaxCompute单表。在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute...
离线任务属性配置概述
注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能...
概述
使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、PySpark等。读写MaxCompute Table。引用MaxCompute中的文件资源。读写VPC环境下的服务。例如，RDS、Redis、HBase、ECS上部署的服务等。读写OSS...
离线任务属性配置概述
注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能...
使用DataWorks同步iGraph数据
您可以进入离线同步节点的编辑页面，单击右侧的 调度配置，下文将为您介绍如何在同步任务中配置节点调度属性。调度参数使用说明请参见 数据集成使用调度参数的相关说明。配置节点调度属性：用于为任务配置阶段使用的变量赋值调度参数，您在...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
离线计算任务提交说明
完成离线计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
配置字段计算转换组件
配置属性 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。输入...
离线模式配置概述
资源配置 开源Flink实时计算源 对于开源Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明，请...
离线模式配置概述
资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
新建同步目标表
参数 描述 任务名称 填写离线计算任务的名称，例如SQL。调度类型 选择任务的调度类型。调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。描述 填写对任务的简单描述。选择目录 选择离线计算任务的...
配置字段计算转换组件
配置属性 请参见 离线管道组件开发入口，进入离线管道脚本的开发页面。按照下图操作指引，进入 字段计算配置 对话框。在 字段计算配置 对话框提示，配置参数。参数 描述 步骤名称 根据当前组件的使用场景，填写组件名称。输入字段 根据上游...
查看数据安全配置
数据安全配置说明 离线样本被授权到多方安全分析项目时，数据所有方会定义离线样本的目标字段是否为关联键或分组键，并选择是否开启目标字段的保护开关，从而完成数据安全配置，关于关联键和分组键的介绍请参见 基本概念。联合分析的过程中...
通过表单加工创建离线视图
Dataphin标签基于离线计算引擎，支持通过表单加工方式配置视图指标，对来源表字段进行计数（count）、取和（sum）、取最大值（max）、取最小值（min）后定义视图指标，以供离线标签使用。本文将指导您如何通过表单加工创建离线视图。前提...
新建FLINK_SQL任务
在配置对话框中，配置FLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批 的任务配置，基于同一份代码生成不同模式下的实例。开启批处理...
新建BLINK_SQL任务
说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等...
新建BLINK_SQL任务
说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批（实时模式+离线模式）的任务配置，基于同一份代码生成不同模式下的实例。开启批处理需在任务配置页面开启离线模式并进行资源、调度依赖等...
新建Flink_SQL任务
在配置对话框中，配置FLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批 的任务配置，基于同一份代码生成不同模式下的实例。开启批处理...
新建FLINK_SQL任务
在配置对话框中，配置FLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批 的任务配置，基于同一份代码生成不同模式下的实例。开启批处理...
新建FLINK_SQL任务
在配置对话框中，配置FLINK_SQL任务 实时模式 和 离线模式 的相关配置信息。说明 Dataphin实时计算支持流批一体任务，使用统一的流批计算引擎，在一份代码上可同时配置 流+批 的任务配置，基于同一份代码生成不同模式下的实例。开启批处理...
新建离线物理表
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
消息模板
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、实时集成、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。背景信息 Dataphin中阿里云短信服务...
离线集成概述
离线集成支持多种组件，包括输入、输出与转换组件等，通过在画布上简单的拖拽、配置并组装的方式，生成离线集成单条管道。离线集成也支持脚本模式，支持更多个性化配置。同时，用户创建的自定义RDBMS数据源的输入与输出组件也会自动在创建...
创建 H5 离线包
在创建 H5 离线包资源时，您需要填写基本信息和配置信息。前置任务 您已经在配置管理页面，完成 H5 离线包相关配置。详细信息，参见 配置离线包。关于此任务 您可以选择单个创建 H5 离线包，也可以选择以批量导入 H5 离线包文件的方式一次...
推送记录
系统根据来源模块划分为不同的 告警原因：离线计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置、出错、完成、运行超时、未完成。数据质量 包括 表规则异常、字段规则异常 和 自定义规则异常。数据服务 包括 平均...
推送记录
系统根据来源模块划分为不同的 告警原因：离线计算 包括 业务延迟过高、TPS超过范围、失败超过配置比例、数据滞留超过配置、出错、完成、运行超时、未完成。数据质量 包括 表规则异常、字段规则异常 和 自定义规则异常。数据服务 包括 平均...
实时计算任务提交说明
离线模式 调度依赖 Dataphin通过各个节点的调度依赖配置结果，有序地运行业务流程中各个节点，保障业务数据有效、适时地产出。更多信息，请参见 离线模式调度配置。变量配置 变量配置是对计算任务代码中所用的变量进行检查，包括本地变量...
实时计算任务提交说明
离线模式 调度依赖 Dataphin通过各个节点的调度依赖配置结果，有序地运行业务流程中各个节点，保障业务数据有效、适时地产出。更多信息，请参见 离线模式调度配置。变量配置 变量配置是对计算任务代码中所用的变量进行检查，包括本地变量...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
查看及管理离线计算任务列表
离线计算任务列表是指在Dataphin创建的离线计算任务集合。在Dataphin的离线计算任务列表为您展示了离线任务的基本信息及相关管理操作选项，方便您查看创建的离线任务并进行管理。本文为您介绍离线计算任务列表支持的管理功能。离线 计算...
设置离线节点的调度信息
如果需要在开发环境场景上线后定时调度该场景中离线计算节点，则需要在开发环境场景上线前配置场景中离线节点的调度信息，调度配置在生产环境中生效。本文介绍如何设置开发环境场景中离线节点的调度信息。前提条件 开发环境场景画布流程中...
使用DataWorks
通过向导模式配置并运行数据同步任务 或 通过脚本模式配置并运行数据同步任务 以可视化或脚本模式配置并运行离线同步任务。确认同步结果 在目标数据源侧确认数据同步结果。添加MaxCompute数据源 具体操作请参见 创建MaxCompute数据源。添加...
功能更新动态（2024年）
支持的研发对象范围包括：集成任务、实时计算任务、离线计算任务、逻辑表、离线物理表、实时表、实时/离线计算模板、即席查询。研发平台设置 项目角色管理 自定义项目角色中，拥有 成员管理-编辑 权限的角色不可将用户配置成为项目管理员...
- 产品推荐
- 这些文档可能帮助您