查看并管理明细及汇总表实例
查看周期明细及汇总表列表 周期明细及汇总表任务生成实例后，为您展示当前实例对象的名称、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例、资源组及支持的操作。...
查看并管理明细及汇总表实例
查看周期明细及汇总表列表 周期明细及汇总表任务生成实例后，为您展示当前实例对象的名称、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例、资源组及支持的操作。...
查看并管理运行记录
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，...
查看并管理运行记录
运行记录为您保存近15天的即席查询、运行计算任务、逻辑数据表预览、派生指标冒烟测试、资产数据预览、OpenAPI数据查询的记录。本文为您介绍如何查看运行记录。查看运行记录 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，...
查看并管理脚本实例
脚本实例列表页面展示当前实例对象、运行状态、调度周期、业务日期、定时运行时间、开始运行时间、结束运行时间、运行时长、优先级、运维负责人、相关基线实例、资源组及支持的操作。字段 描述 实例对象 运行一个周期任务得到一个周期实例...
查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照以下操作指引，进入 ...
查看并管理手动实例
手动实例是手动任务运行后生成的实例数据。系统支持对手动实例进行运维管理，包括查看运行日志、查看手动任务、查看节点代码等。手动实例入口 请参见 运维中心入口，进入 运维 中心。在 运维 中心页面，单击左侧导航栏 手动实例，进入手动...
运行时介绍
函数计算 通过使用运行时支持多种编程语言。在创建函数时，需要选择上传代码需要的运行时环境；在更新函数时，可以通过更新函数的配置来更改或升级运行时环境。本文介绍 函数计算 支持的运行时以及运行时终止策略。背景信息 运行时执行环境...
运行时介绍
函数计算 通过使用运行时支持多种编程语言。在创建函数时，需要选择上传代码需要的运行时环境；在更新函数时，可以通过更新函数的配置来更改或升级运行时环境。本文介绍函数计算支持的运行时以及运行时终止策略。背景信息 运行时执行环境...
运行历史
运行历史面板为您展示最近三天您在数据开发界面运行过的所有任务记录，单击相应的任务，即可查看运行日志。说明 运行历史 界面只展示当前账号在数据开发（DataStudio）最近三天的运行记录。如您需查看调度任务每日运行情况，请前往 运维...
流水线统计报表
单流水线度量 默认报表 进入目标流水线运行页，点击 统计报表，可以查看当前流水线运行数据，默认包括：运行概况 所选时间段内，总共运行次数、平均耗时、每日运行次数、「运行成功、运行失败、已取消」的次数和百分比。流水线运行分布 所...
基本概念
任务流版本形态如下：编辑态版本：当前可编辑的版本，每次单击试运行（手动触发）都会保存一个编辑态版本，且每次运行都只会基于最新的、且可编辑的版本运行。发布态版本：任务流发布后会产生一个版本，每次定时触发都会运行当前最新的发布...
全局配置
您可根据租户类型和业务场景为不同的租户配置运行实例的超时时间和运行任务失败时的重跑策略，杜绝因运行实例长时间资源占用造成资源浪费的同时提高运行实例的可靠性。本文将为您介绍如何进行运行配置。生效范围 运行配置所设置的策略仅...
调试代码片段：快捷运行
DataWorks的快捷运行功能，帮助您在节点编辑页面，快速运行选中的代码片段。您可以通过该功能测试代码片段编写是否正确。本文为您介绍如何快捷运行目标代码。前提条件 已创建ODPS SQL或EMR Hive节点，并编写任务代码。创建ODPS SQL节点，...
调度依赖场景规则与示例
最近24小时 以最近24小时为依赖周期时，不同的依赖策略依赖的实例详情如下：全部实例 全部实例时，需要距离当前运行节点24小时内（最近24小时）的所有依赖实例均成功运行，当前运行节点才可以正常运行。例如，当天的业务日期为 2024-03-04...
调度依赖场景规则与示例
最近24小时 以最近24小时为依赖周期时，不同的依赖策略依赖的实例详情如下：全部实例 全部实例时，需要距离当前运行节点24小时内（最近24小时）的所有依赖实例均成功运行，当前运行节点才可以正常运行。例如，当天的业务日期为 2024-03-04...
查看并管理已提交实例
已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页，单击顶部...
归并节点
本文为您介绍归并节点的概念，以及如何新建归并节点、定义归并逻辑，并通过实践案例为您展示归并节点的调度配置和运行详情。背景信息 归并节点是DataStudio中提供的逻辑控制系列节点中的一类，可以对上游节点的运行状态进行归并，用于解决...
任务调试流程
任务代码开发完成后，您可根据需要，通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性，并在调试完成后查看运行结果。本文为您介绍任务调试的相关内容。前提条件 已完成任务开发，详情请参见 数据开发概述。背景信息 您...
查看并管理已提交实例
已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页，单击顶部...
安装Spark集群版
Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。模板示例 Spark集群版-已有专有网络VPC 在已有专有网络、交换机和安全组等资源的基础上，创建多台ECS实例。其中一台ECS实例...
SQL搜索处理
724)\tat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$validate(FlinkPlannerImpl.scala:144)\t.7 more Caused by:org.apache.calcite.sql.validate....
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
智能诊断
全链路诊断 DataWorks根据任务运行的必要条件，将依次检查上游任务的运行状态、当前任务设置的定时时间、调度资源的使用情况、当前任务的执行情况：上游依赖 智能诊断的 上游依赖 页面，为您展示当前任务的上游任务运行情况，如果上游任务...
查看并管理已生成实例
已生成实例是对周期任务发起立即运行补数据操作或待生成实例生成的可运行实例。您可以对已生成实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已生成实例。已生成 实例入口 请参见 运维中心入口，...
查看并管理已生成实例
已生成实例是对周期任务发起立即运行补数据操作或待生成实例生成的可运行实例。您可以对已生成实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已生成实例。已生成 实例入口 请参见 运维中心入口，...
SQL搜索处理
724)\tat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$validate(FlinkPlannerImpl.scala:144)\t.7 more Caused by:org.apache.calcite.sql.validate....
任务未运行
序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 紫色（冻结）：说明该实例被冻结了，任务将不会运行，并且阻塞下游，可以单击 展开详情>操作日志，在操作记录...
运维中心概述
异常统计情况，包括运行详情、运行趋势、运行失败实例数排行、运行失败实例对应任务数排行、失败报警实例数排行、延时报警实例数排行、运行状态统计、运行时长统计、失败次数统计、延时时长统计和报警排行。帮助您从全局视角管控实例的运行...
管理工作流
工作流运行状态 状态 说明 蓝色 运行中 绿色 运行成功 红色 运行失败 紫色 等待中 工作流节点运行状态 状态 说明 蓝色 运行中 绿色 运行成功 红色 运行失败 黄色 重试中 紫色 等待中 相关文档 任务编排相关概念，详情 请参见 基本概念。...
引擎运维
您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。使用限制 DataWorks目前仅支持对E-MapReduce计算引擎进行运维，并且您需要...
运维中心概述
异常统计情况，包括运行详情、运行趋势、运行失败实例数排行、运行失败实例对应任务数排行、失败报警实例数排行、延时报警实例数排行、运行状态统计、运行时长统计、失败次数统计、延时时长统计和报警排行。帮助您从全局视角管控实例的运行...
任务运行诊断
序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 说明 若上游一直处于运行中的状态，您可以参考以下解决方案。非离线同步任务一直处于运行中的状态，如果需要...
新建补数据任务
暂停调度任务对应实例 配置暂停调度的任务生成的补数据实例的运行状态：暂停运行（可能会阻断补数据进程）：即暂停调度的任务生成的补数据实例均暂停运行，会阻断下游实例正常运行。说明 适用于当前任务及其下游任务均不需要运行的场景。...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
升级安全沙箱运行时
您可以通过容器服务Kubernetes版ACK（Container Service for Kubernetes）控制台，可视化地升级您节点上的安全沙箱运行时。本文介绍安全沙箱运行时的升级原理、注意事项以及如何升级安全沙箱运行时。使用限制 仅当您的集群为安全容器集群时...
在文件存储 HDFS 版上使用Apache Spark
{SPARK_HOME}/bin/spark-shell-master yarn scala>val res=sc.textFile("dfs:/f-xxxxxxx.cn-zhangjiakou.dfs.aliyuncs.com:10290/input").flatMap(_.split("")).map((_,1)).reduceByKey(_+_)scala>res.collect.foreach(println)scala>res....
运维中心概述
运维中心功能模块 当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心对任务进行运维操作，包括周期调度任务的自动调度与手动运行、任务运行详情查看、任务运行状态监控、任务运行使用的资源监控与自动运维；...
使用Flink访问
在计算节点上安装Scala。Scala下载地址为 官方链接，其版本要与使用的Apache Spark版本相兼容。下载Apache Hadoop压缩包。Apache Hadoop下载地址为 官方链接。建议您选用的Apache Hadoop版本不低于2.7.3，本文中使用的Apache Hadoop版本为...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
- 产品推荐
- 这些文档可能帮助您