DataWorks的审计事件
GetFileTypeStatistic 查询节点任务类型的分布情况。GetFileVersion 查询文件的版本详情。GetFolder 查询文件夹的详情。GetIDEEventDetail 查询开放消息。GetInstance 查询实例的详情。GetInstanceConsumeTimeRank 查询实例运行时长排行。...
GetActivityTask
ErrorMessage String 无 节点机器执行错误信息 ExpId String 3456*节点机器任务执行ID Result String SUCCESS 节点机器任务执行结果 State String FINISHED 节点机器任务状态 TaskId String 1234567890123456789 节点任务实例ID Phase ...
赋值节点
原理介绍 在DataWorks中，节点上下文参数可实现节点参数的上下游传递，赋值节点在此基础上，可将赋值节点最后一条查询结果传递给自带的输出参数（outputs），若下游节点依赖了赋值节点，则下游节点可通过添加输入参数的方式，在节点代码中...
使用DataWorks连接
MaxCompute任务节点包括：ODPS SQL节点、ODPS Spark节点、PyODPS 2节点、PyODPS 3节点、ODPS Script节点、ODPS MR节点。使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并...
ETL工作流快速体验
赋值节点应用 DataWorks MaxCompute 数据开发 标准版及以上版本 DataStudio 数据开发 模块的赋值节点支持ODPS SQL、Shell和Python三种赋值语言，通过赋值节点实现将上游节点任务的查询或输出结果提供给下游节点使用。案例配套文档：赋值...
实例指标
rerankLatency 数据节点上精排所需要时间 matchCount 数据节点匹配结果数，准确值 matchDocSize 数据节点第一阶段返回的 matchDoc 实际数量 seekCount 数据节点查询总count数，准确值 seekDocCount 数据节点上seek doc 数 phase1EmptyQps ...
任务编排
本文介绍如何使用 数据管理DMS 任务编排的单实例SQL节点，将源表中6个月前的数据（历史数据）迁移（归档）至目标表中，并删除源表中已迁移的数据。应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力，满足数据同步、数据归档、...
扩缩容
支持变更为3个查询节点，3个数据节点等 2、如果需要减少查询节点或数据节点数量，请先确保变更后的数量大于等于使用中的查询节点或数据节点数量（控制台会校验并提示）。增加、减少数据节点数量实时生效。示例：当前实例有10个查询节点，有...
实例指标
SEARCHER-NORMAL（数据节点-实例相关）指标项 含义 procCpu 数据节点CPU使用率 procMemRss 数据节点内存使用大小 procMemUsedRatio 数据节点内存使用率 diskUse 数据节点磁盘使用大小 diskUsedRatio 数据节点磁盘使用率 partitionDocCount ...
ListPipelineRunNodeOutputs-获取工作流任务节点输出
获取工作流任务节点输出。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出。请求语法 GET/api/v1/pipelineruns...
任务节点人工干预
任务节点状态 任务节点的生命周期如下：在拓扑任务中，单个任务节点可能处于以下状态之一：未执行：该节点未实例化。执行中：该节点正在执行中。执行成功：节点执行成功。在无其它人工干预操作的情况下，后续节点将被自动触发。执行失败：...
查看监控报表
FE查询任务延迟百分位数 每个FE节点上查询延迟的百分位数。FE连接数 每个FE节点的连接数。BE查询扫描行数 执行查询过程中读取的数据行总数。BE查询扫描数据量 执行查询过程中读取的字节数。BE的Tablet数量 分布在各个BE节点上的Tablet总数...
任务拓扑相关问题
问题原因 任务拓扑本身可以通过 CRON 表达式或者事件触发，但可以加入拓扑的任务节点必须符合以下要求：触发方式为事件触发 通信方式为 CALLBACK 任务节点为简单任务、集群任务或其它拓扑任务 解决方案 修改待加入拓扑的任务的触发方式或...
任务配置
将任务节点连线，形成工作流当任务流中包含多个任务节点时，连线上游节点的输出，将自动作为下游节点的输入数据集。保存工作流并发布运行。任务节点说明 下文为您说明各任务节点的配置，您可根据业务需求选择一个或多个节点构建所需任务流...
蚂蚁隐私计算服务平台的审计事件
CreateAntppcScimngDatasetVerify 创建节点文件格式校验任务。CreateAntppcScimngDatatable 创建数据表。CreateAntppcScimngFeatureGroup 创建特征组。CreateAntppcScimngFeaturerelease 发布特征。CreateAntppcScimngMember 创建机构成员...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
周期任务通用运维概述
区域 描述 ① 筛选及搜索区 快捷筛选支持通过输入节点ID或节点名称来筛选周期任务，适用于知晓节点ID或节点名称时进行快捷筛选出所需的周期任务。同时支持勾选我的任务、已暂停任务、空跑调度任务进行快捷筛选。我的任务：当前登录账号的...
周期任务通用运维概述
区域 描述 ① 筛选及搜索区 快捷筛选支持通过输入节点ID或节点名称来筛选周期任务，适用于知晓节点ID或节点名称时进行快捷筛选出所需的周期任务。同时支持勾选我的任务、已暂停任务、空跑调度任务进行快捷筛选。我的任务：当前登录账号的...
设置任务失败重跑及优先级
在执行任务之前，您可以针对任务节点的数据库设置优先级，当数据库上并发执行的任务数超过设置的额度时，将会按照优先级队列的方式排队执行任务，先执行优先级高的任务。同时，您还可以开启任务失败重跑功能，开启后，当任务失败时会自动...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
快速入门
策略及其说明如下：完成运行中的任务：任务流中其他正在运行的节点任务将会保持运行直到结束，其他的节点任务不会被运行，正在运行的任务流运行结束后，任务流将会被标记为运行失败。立即停止所有任务：在错误发生后，立即停止运行所有任务...
任务节点运维
本文介绍如何进行任务节点运维。前提条件 已创建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作组并添加成员。已添加云计算资源“data_odps_dev”，具体操作，请参见 新建云计算资源。已存在离线计算任务。操作步骤 登录 数据资源...
拓扑执行事件
在编辑拓扑任务时，您可以为任务节点添加执行事件，以支持更多的业务场景。您可以在编辑拓扑图时，单击目标节点，然后单击旁边的 图标添加执行事件。重要 对于网关节点，仅支持 等待事件。BETA 事件 仅在 BETA 触发 模式下有效。当任务节点...
自定义任务模板
实现原理 应用中心在任务执行阶段，按照RunnerConfig的描述，为用户部署任务节点（TaskWorker），并将执行上下文信息作为 payload 的一部分，传入任务节点。任务节点在收到 payload 后，会按照Steps定义的步骤进行执行。用户通过在执行上下...
自定义任务模板
实现原理 应用中心在任务执行阶段，按照RunnerConfig的描述，为用户部署任务节点（TaskWorker），并将执行上下文信息作为 payload 的一部分，传入任务节点。任务节点在收到 payload 后，会按照Steps定义的步骤进行执行。用户通过在执行上下...
查看并管理明细汇总表任务
展开子节点 展开物化节点 展开当前逻辑表任务节点的物化节点，可查看该逻辑表任务节点的物化节点名称、物化节点字段和物化代码。查看操作日志 查看当前节点的操作日志。明细及汇总表节点支持的操作 明细及汇总表DAG节点支持的操作与明细及...
查看节点任务详情
节点任务是由数据开发的节点模式开发和生产节点时产生的任务，支持查看节点任务的详情，包括节点任务的概览信息、部署/下线日志和手动运行日志。本文主要介绍如何查看节点任务的详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
配置DTS位点检查节点
DTS位点检查节点用于确认目标DTS任务同步的数据是否包含某个时间点之前的所有数据。数仓开发任务流中添加并配置DTS位点检查节点，可以预先检查DTS任务的执行情况，用以决定后续任务流节点是否继续执行。本文介绍配置DTS位点检查节点的方法...
查看并管理明细汇总表任务
展开子节点 展开物化节点 展开当前逻辑表任务节点的物化节点，可查看该逻辑表任务节点的物化节点名称、物化节点字段和物化代码。查看操作日志 查看当前节点的操作日志。明细及汇总表节点支持的操作 明细及汇总表DAG节点支持的操作与明细及...
基本概念
任务节点 节点是任务流中任务的实体承载，其可以处于任务流中的任意位置，节点之间通过边来建立依赖关系。任务节点类型如下：数据集成 数据加工 状态检查 通用 节点实例 若干个节点实例组成任务流实例，节点之间的依赖关系是基于当时运行的...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
新建补数据计划
如果离线计算任务运行失败，可通过重新调度对应时间周期的任务，补充节点数据。任务中心支持在任务流、节点任务和离线计算任务中补数据。本文以在任务流和离线计算任务中补数据为例，介绍如何新建补数据计划。在任务流中新建补数据计划 ...
元数据仓库共享模型标准访问方式
为了方便统一调整起调时间，可以给所有相关的集成任务配置一个统一的VIRTUAL（虚拟）任务节点为上游依赖，通过调整VIRTUAL（虚拟）任务节点的定时调度时间来控制整体集成任务的运行。具体操作，请参见 创建检查任务。如果您希望保证使用...
查看并管理手动实例
查看任务 进入生成当前实例节点的任务节点DAG图，查看任务节点详情、上下游节点信息及对任务节点进行运维管理。更多信息，请参见 查看并管理手动任务。查看节点脚本 查看管道任务的关联依赖图。说明 仅数据集成模块提交的手动任务支持查看...
查看开发环境节点信息
创建完节点任务以后，可以查看已创建的节点任务的基本信息、部署状态、部署日志信息和计算资源等信息。本文介绍如何查看节点任务信息。前提条件 已新建节点。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在...
查看开发环境节点信息
创建完节点任务以后，可以查看已创建的节点任务的基本信息、部署状态、部署日志信息和计算资源等信息。本文介绍如何查看节点任务信息。前提条件 已新建节点。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部...
DMS调度XIHE SQL
在任务流画布中，将鼠标放在 订单清洗 节点上，单击节点右侧的小圆圈并将拉出连接线，连接至 大额订单生成节点 节点，即可在两个任务节点间连接形成依赖任务流。步骤三：配置任务流调度 在任务流画布下方的 调度配置 区域，打开 开启调度 ...
查看并管理手动实例
查看任务 进入生成当前实例节点的任务节点DAG图，查看任务节点详情、上下游节点信息及对任务节点进行运维管理。更多信息，请参见 查看并管理手动任务。查看节点脚本 查看管道任务的关联依赖图。说明 仅数据集成模块提交的手动任务支持查看...
获取任务流运行记录的节点信息
调用GetTaskInstanceRelation接口，获取任务流运行记录的节点信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息...
数据及时性监控
基于MaxCompute的离线任务对数据产出有严格的时间要求，在确保数据准确性的前提下，还需要让数据能够及时提供服务。本文为您介绍如何使用DataWorks智能监控的规则管理功能监控数据的及时性。前提条件 如果您想使用完整的智能监控功能，需要...
- 产品推荐
- 这些文档可能帮助您