计算任务运行配置
您可根据业务场景为离线计算任务配置任务级的运行超时时间和任务运行失败时的重跑策略，杜绝因计算任务长时间资源占用造成资源浪费的同时提高计算任务运行的可靠性。本文将为您介绍如何配置离线计算任务的运行配置。操作步骤 请参见 离线...
查看运行日志
您可以通过控制台查询实例的运行日志，了解实例的运行状态。前提条件 实例类型为副本集实例或分片集群实例。重要 单节点实例可以在副本集实例列表中找到，但是不支持查看运行日志信息。注意事项 您只能查看7天内的运行日志。操作步骤 登录 ...
配置实时模板运行参数
Dataphin支持在实时模板中配置运行参数信息，基于当前实时模板创建的实时任务将继承所配置运行参数。本文为您介绍如何配置实时模板运行参数。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，选择...
K8s任务
在SchedulerX控制台 任务管理 页面可以查询历史执行记录，也可以看到Pod运行的日志 Node.js脚本 如果想通过Pod运行Node.js脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Nodejs-Script，镜像默认是node:16（也...
升级或降级运行时环境
在ECS集群中部署应用后，在后续运行、维护过程中可以升级、降级应用的运行时环境（EDAS-Container），以满足不同的功能使用需求。本文介绍在EDAS中如何升、降级应用的运行时环境。应用运行时环境 Spring Cloud、Dubbo和HSF应用都可以通过...
K8s任务
在SchedulerX控制台 任务管理 页面可以查询历史执行记录，也可以看到Pod运行的日志 Node.js脚本 如果想通过Pod运行Node.js脚本，不需要自己构建镜像，只需要在任务管理创建一个K8s任务，资源类型选择Nodejs-Script，镜像默认是node:16（也...
手工触发
方式一：流水线详情页触发 进入Flow首页>流水线列表，点击进入目标流水线详情页，单击 运行，弹出 运行配置，选择或输入代码源，输入 运行备注 后运行即可。方式二：流水线列表页触发 进入Flow首页>流水线列表，找到目标流水线，点击 运行...
配置实时模板运行参数
Dataphin支持在实时模板中配置运行参数信息，基于当前实时模板创建的实时任务将继承所配置运行参数。本文为您介绍如何配置实时模板运行参数。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引，选择...
周期任务基本运维操作
任务运行条件和问题定位 任务运行的条件 调度任务运行需要满足上游任务运行成功、当前任务定时时间已到、调度资源充足、当前任务未冻结等条件，详情请参见：调度任务运行的必要条件。任务运行问题诊断 问题现象：当任务到定时时间，但还未...
执行测试并查看测试实例
测试实例是对周期任务进行测试时产生的实例，您可以在测试实例界面，通过列表及DAG图的方式快速查看实例的详细信息。...任务运行问题定位 如果任务运行不符合预期，您可以通过 运行诊断 功能，诊断任务未运行的原因或存在的问题。
本地运行
您可以在本地使用 IDE 工具、Maven 或 Java 命令行运行工程，本文将向您介绍如何实现 SOFABoot Web 工程和 Core 工程在本地的编译与运行。编译运行 Web 工程 下载示例 Demo 请单击下载示例工程：websofademo.7z。本地 IDE 运行 主要操作...
查看并管理手动实例
手动实例是手动任务运行后产生的实例。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。重要 目前DataWorks V1.0创建的手动任务运行生成的实例显示在 手动实例 选项下，DataWorks V2.0及以上版本创建的手动任务运行...
执行补数据并查看补数据实例（旧版）
注意事项 实例运行相关 当补一个区间的数据时，在启动补数据的第一天存在一个运行失败的实例，则当天的补数据实例会被置为失败状态，第二天的实例也不会启动运行（只有当天的全部任务实例都成功，第二天的任务实例才会开始运行）。...
实时计算任务运行与管理
DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情，方便您查看目标任务的运行情况。同时，您还可以为目标任务设置监控报警，在任务运行出错时及时发现并处理异常。使用限制 DataWorks当前仅支持对EMR Spark Streaming及...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
离线管道任务运行配置
您可根据业务场景为离线管道任务配置任务级的运行超时时间和任务运行失败时的重跑策略，离线管道任务长时间资源占用造成资源浪费的同时提高离线管道任务运行的可靠性。本文将为您介绍如何配置离线管道任务的运行配置。操作步骤 请参见 离线...
附录：DAG图功能介绍
上游分析可帮助您快速找到当前节点所依赖的父节点中仍处于未运行成功状态的节点，这些节点可能处于运行中、运行失败、等待时间等、等待资源或冻结（暂停）等状态，父节点处于这些状态时将阻塞下游节点运行。示例 2_节点长时间未运行，则您...
ECI Pod生命周期
本文介绍ECI Pod（即ECI实例）的生命周期状态，您可以根据Pod状态，设计和实现符合您业务逻辑的处理逻辑。ECI已经跟Kubernetes完成对接，如果您是通过...运行终止（Terminated）容器运行终止并退出，包括运行成功终止和运行失败终止。
手动运行标签
若您的标签更新方式为手动更新，您可手动选择所需运行的版本并运行标签。本文将指导您如何手动运行标签。操作步骤 在Dataphin首页，单击顶部菜单栏的 标签。进入Dataphin 标签 页面后，默认进入 资产市场 板块页面。在 资产市场 页面，单击...
本地运行
本文向您介绍本地和分布式环境运行MapReduce的差异和MapReduce本地运行示例。各阶段介绍 本地运行前：通过在Jar命令中设置 –local 参数，在本地模拟MapReduce的运行过程，从而进行本地调试。本地运行时：客户端会从MaxCompute中下载本地...
查看并管理实时实例
运行状态 该实例目前的运行状态包括：启动中、运行中、停止中、停止、运行失败、启动失败。更多信息，请参见 实时实例运行状态说明。消费延时 任务的延迟，即数据源消费的延迟。资源消耗 运行该实例时消耗的资源。最近操作人 最近操作该...
触发流水线运行
目前支持以下几种触发方式：手工触发 代码源触发 定时触发流水线 Webhook 触发流水线 运行后，可以通过流水线的运行历史查看流水线触发信息：并发度限制 流水线默认无并发度限制，支持多个流水线实例同时运行。支持开启「并发度限制」，...
计算成本优化
第一批作业运行需占用1500CU时，资源预留了1000CU，全部运行完成第一批作业需运行1.5h，导致第一批作业在02:30才全部运行完成，作业延期30min。第二批作业运行需占用750CU时，资源预留了1000CU，全部运行完成第二批作业需运行0.75h，即在05...
错误码
E26 Enclave镜像所需内存不足 在运行 run-enclave 子命令时参数指定的内存小于Enclave镜像运行所需的最小内存，请修改参数值增加指定的内存大小使其大于Enclave镜像运行所需的最小内存。E27 Enclave可用内存不足 在运行 run-enclave 子命令...
运行选项
本文介绍基因分析平台支持的运行选项，以及对分析结果的影响。Call-Caching Call-Caching是指当用户在基因分析平台中计算作业，被检测到与之前的执行记录一致，可以直接使用之前的计算结果而无需重新计算，可以节省时间和费用。简单来说，...
获取流水线的运行历史
FlowInstance Object 运行实例 Status String SUCCESS 状态 FAIL 运行失败 SUCCESS 运行成功 RUNNING 运行中 Stages Map 阶段列表 CreateTime Long 1607448066000 运行开始时间 StatusName String 已完成 运行状态 RunningStatus String ...
配置任务监控报警规则
运行超时：设置运行超时须设置运行超过时间，支持配置的运行超时范围为 0~19999分钟，若超出范围将以输入值的临近默认值为运行时间范围。从实例运行状态变成 运行中 开始计算，经过指定时长后任务级别任务未运行结束或逻辑表存在字段仍未...
配置任务监控报警规则
运行超时：设置运行超时须设置运行超过时间，支持配置的运行超时范围为 0~19999分钟，若超出范围将以输入值的临近默认值为运行时间范围。从实例运行状态变成 运行中 开始计算，经过指定时长后任务级别任务未运行结束或逻辑表存在字段仍未...
步骤四：运行节点
运行节点，验证处理逻辑和数据的准确性。本文介绍如何运行开发节点。前提条件 已设置开发计算资源、生产计算资源、节点输入和节点输出参数，具体操作请参见 步骤三：设置运行配置参数。操作步骤 单击画布工具栏的 图标，运行节点。这里以...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
全局概览
运维监控支持查看工作组内和租户内的任务概览，包括今日失败实例、当前任务流总数、当前任务总数、今日实例总数、实例统计、历史实例运行统计，以便了解 数据资源平台 的任务全局信息。本文介绍了查看全局概览。查看全局概览 登录 数据资源...
ECI Pod生命周期
本文介绍ECI Pod（即ECI实例）的生命周期状态，您可以根据Pod状态，设计和实现符合您业务逻辑的处理逻辑。ECI已经跟Kubernetes完成对接，如果您是通过...运行终止（Terminated）容器运行终止并退出，包括运行成功终止和运行失败终止。
查看作业运行状态
计算引擎作业提交成功后，您可以通过SparkUI界面或者HDFS Shell工具查看作业运行状态。前提条件 已开通 云原生多模数据库 Lindorm 实例的计算引擎服务，具体操作请参见 开通与变配。已将客户端IP地址添加至 云原生多模数据库 Lindorm 实例...
管理工作流
例如，一个工作流每天运行一次，运行5天，则产生5条工作流实例，运行状态 列为这5条工作流实例的运行状况数量统计。状态 说明 紫色 排队中 蓝色 运行中 绿色 运行成功 红色 运行失败 编辑工作流 登录 实时计算控制台。在 Flink全托管 页签...
Dataphin逻辑表任务运行时间超长
两个物化节点中一个是7月3号运行结束的，另外一个是7月5号运行结束的，因为我们运行时长是该逻辑表实例的开始运行时间与结束运行时间之间的统计，所以这里运行时长统计50多小时。由于依赖上游的逻辑表任务在7月3号运行出现异常导致该当前...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
任务运行失败
本文汇总介绍任务运行失败的相关问题。通用参考 已配置失败重跑的任务在运行失败后未重跑，并报错 Task Run Timed Out，Killed by System！任务执行报错OSError:[Errno 7]Argument list too long.MaxCompute类型节点 ODPS-0420095:Access ...
步骤四：运行节点
运行节点，验证处理逻辑和数据的准确性。本文介绍如何运行开发节点。前提条件 已设置开发计算资源、生产计算资源、节点输入和节点输出参数，具体操作请参见 步骤三：设置运行配置参数。操作步骤 单击画布工具栏的 图标，运行节点。这里以...
全局概览
运维监控支持查看工作组内和租户内的任务概览，包括今日失败实例、当前任务流总数、当前任务总数、今日实例总数、实例统计、历史实例运行统计，以便了解 企业数据智能平台 的任务全局信息。本文介绍了查看全局概览。查看全局概览 登录企业...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
- 产品推荐
- 这些文档可能帮助您