PAI-TF日志查看方式
运行状态日志 运行状态日志主要展示分布式作业的服务器运行情况。通常以 参数1/参数2/参数3/格式展示该日志，其中：参数1：表示正在计算的节点数。参数2：表示已经计算结束的节点数。参数3：表示总的计划节点数。实验进度100%表示实验已经...
停止作业
当作业运行失败或不再需要运行该作业时，您可以停止处于QUEUE或RUNNING状态的作业。本文介绍如何停止作业。前提条件 作业必须处于 QUEUE 或 RUNNING 状态。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧...
提交作业
作业是E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等。本文介绍如何使用E-HPC客户端提交作业。准备工作 提交作业前，您需要准备好作业文件，并上传到E-HPC集群中。E-HPC客户端支持以下两种方式上传作业文件：通过...
SSH远程登录ECS服务器卡顿
问题描述 SSH 远程登录ECS服务器卡顿且已无法再次...检查服务器运行的服务是否将CPU和内存占用率过高。无法远程连接，可以通过ECS控制台网页版的远程连接，直接对服务器进行操作，进行问题发现，也可以强制重启服务器。适用于 云服务器 ECS
通过控制台提交作业
E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC管理控制台提交作业。前提条件 集群和集群节点状态都为 运行中。已创建用户，具体操作，请参见 管理用户。已准备好作业文件。E-HPC支持多种...
引擎运维
通过作业的运行状态，识别运行出错的作业（例如，状态为 FAILED 的作业为运行失败的作业），单击 作业ID 或 所属DataWorks实例 名称，进入相应任务详情界面，确认并处理报错。您可以对 开始时间 或 结束时间，进行升序或降序排列，直观地...
本地调试作业
本文介绍Spark作业开发过程中，在本地上运行Spark作业并进行调试。前提条件 已开通 云原生多模数据库 Lindorm 计算引擎的外网地址。已将本地IP地址添加至Lindorm实例的白名单，具体操作请参见 设置白名单。已准备Spark作业项目。本地运行...
查询作业
提交作业后，您可以在E-HPC客户端查询作业数据，包括作业名称、作业状态、作业运行开始和结束时间，以及作业详情等，便于您了解集群运行作业的情况，及时调整作业任务。使用限制 如果集群采用标准方式部署，则仅支持具有sudo权限的用户查询...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
查看与修改作业运行状态
本文为您介绍如何查看和修改作业运行状态，以及不同状态所代表的含义。前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时，需要为阿里云账号或RAM用户授权，以进行查看与修改作业运行状态等相关操作，详情请参见 作业操作...
RerunJobs-重新运行脚本作业
调用RerunJobs重新运行一个或多个作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
运维中心
本文介绍通过运维中心管控工作流调度任务、监控任务运行状态、查看工作流记录和审计日志，便于您对工作流的管理和运维。背景信息 本文为您介绍运维中心的相关操作，具体如下：查看项目任务概览 管理工作流记录 查看审计日志 前提条件 已...
我能不能用交互方式运行作业？
BatchCompute 不支持通过交互界面的方式运行作业。
服务器重新启动后网站无法正常访问的排查思路
详细信息 服务器运行中可能因应对特定状态关闭，例如应对网络攻击，重新启动时可能发现服务器上运行的网站无法正常访问。此时应按如下问题相对应的步骤对服务器进行检查。在服务器上执行 telnet 127.0.0.1 80 命令，可以判断本机Web服务...
网络架构升级
为了提高服务质量并满足不断增长的业务需求，我们将对实时计算Flink版网络架构进行重要升级。...运行中作业 升级过程中不影响运行中的作业，默认只对新启动作业生效。提交工单进行升级后，您需要对运行中的作业进行重启，使其生效。
按量付费闲时版
通常情况下，在绑定 os_SpotQuota 的项目下发起的作业默认为Spot作业，但若在作业的Query前指定了其他运行Quota，如 默认后付费Quota，那么该作业将被识别为标准作业。同样，在未绑定 os_SpotQuota 的项目下，也可以通过在作业的Query前...
查看作业运行信息
云原生多模数据库 Lindorm 计算引擎提供了SparkUI界面，方便您查看Spark作业的运行状态、作业提交时间以及资源使用情况等详细信息。进入SparkUI界面 说明 SparkUI地址获取方法请参见 查看SparkUI地址。关于开源SparkUI界面的详细介绍请参见...
Hive开发手册
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
远程调试
服务器运行时，如果服务器与本机网络正常连通，只需加上以下调试参数：\-Xdebug-Xrunjdwp:server=y,transport=dt_socket,address=8000,suspend=y 这样可以在 IDE 中配置远程连接，只不过这个“远程”就是目标服务器，打开的端口为 8000。...
作业运行常见问题
导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体作业运行数据量大、申请资源多、作业优先级低而导致该作业出现资源等待...
项目空间运维与监控
日志监控 当我们在项目空间中运行测试作业时，若运行过程中作业报错或作业失败，在下方的调试框内会给出相应的执行日志以及错误判断信息，在运行记录当中可以查看过往的提交信息，以供用户排查作业问题，如下图：日志监控图 运行记录列表图...
Apache Log4j 0Day安全漏洞公告说明
对于已运行的作业，您可以在 其他配置 中配置 env.java.opts:'-Dlog4j2.formatMsgNoLookups=true'，具体操作请参见 如何配置作业运行参数？检查日志配置并进行修改。在日志配置的PatternLayout中，将类似${ctx:loginId} 或${ctx:loginId} ...
查看作业运行历史
通过History Server服务进入SparkUI界面查看历史作业运行时的运行状态、资源使用情况等信息。本文介绍在 云原生多模数据库 Lindorm 控制台上开通History Server服务和查看历史作业信息的方法。前提条件 已开通 云原生多模数据库 Lindorm ...
前言
镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的细节。工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，...
查看作业性能
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码是否存在问题、个别类是否初始化比较慢、个别类是否占用资源比较多等问题。本文为您介绍如何查看...
SetSchedulerInfo-设置调度器信息
SchedInterval 指调度周期，单位：秒 调度周期指运行多个作业之间时间间隔，如设置为 60，表示本次作业开始运行 60 秒后才能开始运行下次作业。默认值：60 60 SchedMaxJobs integer 否 集群调度的最大作业数。若集群排队和运行的作业数总和...
资源规划及规格选型
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
作业实例详情
本文为您介绍如何查看作业实例详情。查看作业实例详情 MaxCompute Studio支持2种方式查看MaxCompute作业实例详情。通过Logview URL或本地的Logview离线文件以只读方式打开作业详情。使用Logview查看作业的详细信息是比较常用的方式。使用...
在DataWorks运维中心查看作业运行信息
DataWorks运维中心展示 离线同步、实时同步作业的运行状态分布、数据同步进度等数据集成信息，帮助您提升任务运维效率。当您在DataStudio中完成节点开发，并提交和发布至生产环境后，即可在运维中心查看作业运行详情、监控作业运行状态等...
提交运行作业
调用SubmitFlowJob接口提交运行作业，每次只允许存在一个正在运行的实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
基础使用
本文为您介绍如何在E-MapReduce上提交Flink作业以及查看作业。背景信息 Dataflow集群中的Flink服务是以YARN模式部署的，您可以通过SSH方式登录Dataflow集群，在命令行中进行Flink作业提交。基于YARN模式部署的Dataflow集群支持以Session...
入门概述
创建集群 集群可为E-HPC计算提供计算资源，用于后续提交、调试、运行作业，查看作业结果。您可以安装GROMACS软件、PBS调度器，选择ecs.gn5-c4g1.xlarge规格的计算节点来创建集群。创建用户 您必须提前创建用户，用于在集群中提交作业时标识...
搭建LAMP开发环境（通过应用镜像）
本示例以浏览器访问 http://轻量应用服务器公网IP/phpinfo.php 的方式，查看PHP配置详情如下图所示，表示LAMP服务器运行正常。步骤三：测试访问网站 将您需要部署的Web项目文件上传至服务器的网站根目录，并修改项目文件的所属用户。本示例...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
管理资源队列
每个Flink项目空间都会有一个默认队列（default-queue）来承载作业的运行。如果您有资源隔离和管理的需求，可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。使用场景及方式 适用于有资源隔离和管理需求的场景...
查看运行事件
作业启动后，会产生运行事件。运行事件可以帮忙查看作业启动的过程中每个时间点的启动状态。本文为您介绍如何查看运行事件。操作步骤 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在 作业运维 页面，单击目标作业名称。在 ...
网站Session介绍
网站Session简单来说就是服务器给客户端的一个编号，当一台WWW服务器运行时，可能有若干个用户浏览正运行在这台服务器上的网站。当每个用户首次与这台WWW服务器建立连接时，就与这个服务器建立了一个Session，同时服务器会自动为其分配一个...
功能特性
当探测到后端服务器运行状况不佳时，会停止向其发送流量，然后将流量转发给其他正常运行的后端服务器。✔ ✔ 会话保持 CLB 提供会话保持功能。在会话的生命周期内，可以将同一客户端的请求转发到同一台后端服务器上。✔ ✔ 访问控制 CLB ...
作业编辑
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
查看启动和运行日志
在作业为运行状态时，您可以查看其启动日志和运行日志。本文为您介绍如何查看启动日志和运行日志。背景信息 类型 详情 启动日志 Flink作业启动之后的日志，即从Flink环境被初始化一直到Job Manager被启动起来中间日志。关于如何查看启动...
- 产品推荐
- 这些文档可能帮助您