作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
查看服务器信息
②：服务器运行状态、安全和监控。关于服务器状态的更多信息，请参见 实例生命周期。将鼠标悬浮在 图标上，查看服务器防火墙及其安全防护信息。如果显示 图标，则表示服务器存在以下风险，请您及时处理对应的风险项。服务器防火墙禁用或者...
API概览
提交运行作业 调用SubmitFlowJob接口提交运行作业，每次只允许存在一个正在运行的实例。暂停工作流 调用SuspendFlow接口，暂停工作流。修改工作流 调用ModifyFlow接口，修改工作流 结束工作流 调用KillFlow接口，结束工作流。创建工作流 ...
ListJobs-查询作业列表
调用ListJobs查询指定集群中的作业列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
监控作业
提交作业到E-HPC集群后，您可以在控制台查看作业监控数据，包括运行、提交、排队和完成作业数，便于您了解集群内作业的运行情况，及时调整集群规模和作业任务，提升集群工作效率。前提条件 支持作业监控的集群需满足以下条件：调度器为PBS...
使用Arm节点运行Spark作业
EMR on ACK默认部署在X86架构的节点上，您也可以通过配置，将Spark作业运行在Arm类型的弹性容器实例（ECI）上。本文为您介绍如何使用Arm节点运行Spark作业。前提条件 已在E-MapReduce on ACK控制台创建Spark集群，详情请参见 快速入门。已...
服务器软件漏洞修复建议
风险规避措施 为了确保在服务器软件漏洞修复过程中目标服务器系统的正常运行，并将异常情况发生的可能性降到最低，在漏洞修复过程中应采取以下风险规避措施：制定漏洞修复方案 漏洞修复负责人应对目标服务器运行的操作系统和应用系统进行...
资源观测
资源观测提供某段时间内，数据传输服务资源组（包括共享资源组和独享资源组）与计算资源组内各类CPU、内存、并发数等资源的使用情况，您可通过观测各指标的曲线图，优化和调整作业的执行计划及资源配置，提高作业的效率和性能。开通地域 ...
Python SDK Demo
int,page_size:int):"""打印spark集群中历史作业详情:param client:阿里云客户端:param cluster_name:运行作业的spark集群名称:param page_number:历史作业页码,编码是从1开始的:param page_size 每页返回多少作业:return:None:exception ...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
Logview诊断实践
在实际业务开发过程中，企业通常要求作业能在期望的时间节点前产出结果，并根据结果做进一步决策，这就需要作业开发人员及时关注作业运行状态，识别并优化慢作业。您可以通过MaxCompute的Logview功能诊断慢作业。本文为您介绍导致出现慢...
更新后端服务器配置
当后端服务器处于 Available 状态时，表示后端服务器运行中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
在Serverless集群中提交作业
创建Serverless集群后，您可以在集群中提交作业，系统会自动创建ECI实例来运行作业。本文介绍如何在Serverless集群中提交作业。背景信息 在Serverless集群中提交作业后，系统会自动创建ECI实例来运行作业。一个ECI实例主要包含以下几部分...
ListJobsWithFilters-查询作业详情
按照相关参数查询指定作业详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
查看作业运行状态
计算引擎作业提交成功后，您可以通过SparkUI界面或者HDFS Shell工具查看作业运行状态。前提条件 已开通 云原生多模数据库 Lindorm 实例的计算引擎服务，具体操作请参见 开通与变配。已将客户端IP地址添加至 云原生多模数据库 Lindorm 实例...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
2023-04-13版本
作业开发流程优化 作业开发页面优化为SQL开发页面，提供SQL开发的平台：提供部署上线的隔离机制，避免开发SQL影响线上正在运行的作业。对于Jar和Python作业来说，开发与线上天然隔离，且不需要使用到SQL中的UDF、Connector和Catalog等组件...
更新后端服务器配置
当后端服务器处于 Available 状态时，表示后端服务器运行中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
MaxCompute作业概述
查看作业运行信息：使用Logview查看作业运行信息、在DataWorks运维中心查看运行信息 等。作业优化：SQL调优。数据开发作业实践：使用MaxCompute分析IP来源最佳实践、PyODPS节点实现结巴中文分词 等。数据类型 MaxCompute数据开发支持三个...
Datastream JAR迁移
本文为您介绍如何将自建Flink集群上的Datastream JAR作业，迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包，包括 ...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
项目管理
创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。前提条件 已创建集群，详情请参见 创建集群。...
MapReduce支持SQL运行时执行模式
MaxCompute新增支持将MapReduce作业指定为SQL运行时（Runtime）执行模式，基于SQL运行时，MapReduce作业可以应用SQL引擎的各种新特性，实现之前不支持的功能。本文为您介绍如何将MapReduce作业指定为SQL运行时执行模式。背景信息 ...
Table/SQL JAR迁移至SQL
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
计算成本优化
按量付费项目A的作业并入后，第一批作业运行共需占用2000CU时，资源预留了1000CU，全部运行完成第一批作业需运行2h，导致第一批作业在03:00才全部运行完成，作业延期1h。按量付费项目A的作业并入后，第二批作业运行共需占用1000CU时，资源...
自动伸缩最佳实践
队列中节点数量随作业运行有如下变化：当集群有作业运行时，可以看到节点列表中自动扩容了一个计算节点在安装中，几分钟后，计算节点状态变为 运行中，此时作业开始在当前low队列的3个节点上运行。当集群没有新的作业运行时，6分钟之后，...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
使用Logview 2.0查看作业运行信息
概述 Logview是MaxCompute作业运行状态信息记录与展现的一个工具，目前支持如下功能：支持以交互式DAG图展示作业处理逻辑架构，您还可以查看相应的Operation层级。支持回放作业运行过程。支持通过Fuxi Sensor查看内存及CPU使用情况。...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群的内核版本为3.1.6.3及以上版本。已创建Job型资源组，且提交作业时选择在Job型资源组中运行。注意事项 暂不支持修改已...
数据正确性
排错流程图 检查作业中是否存在Failover 排错指引 查看Failover报错信息，分析作业运行异常原因。解决方案 解决Failover问题，使作业正常运行。检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，...
ReplaceServersInServerGroup-替换后端服务器组中的...
当后端服务器处于*Available*状态时，表示后端服务器运行中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
AddServersToServerGroup-添加后端服务器
当后端服务器处于 Available 状态时，表示后端服务器运行中。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
计算资源使用
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先级区间，如：[0,3]表示...
产品架构
您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并管理作业生命周期（比如停止已提交的作业，释放已完成的作业等）。运行环境 BatchCompute 允许用户通过自定义虚拟机镜像或者 Docker 的方式对运行环境进行高度定制，可以...
配置Alibaba Blink实时模式资源
在智能配置模式下，您无需配置相关资源，AutoPilot会自动为作业生成资源配置，并根据作业的运行情况帮您进行资源配置的调优，在确保作业处于健康的状态下，优化作业资源的使用。AutoPilot详情请参见 配置自动调优。自定义配置 即实时计算...
E-MapReduce快速入门
步骤三：查看作业运行记录 提交作业后，您可以通过YARN UI方式查看作业运行记录。（可选）步骤四：释放集群 如果不再使用该集群，可以释放集群以节约成本。步骤一：创建集群 进入创建集群页面。登录 EMR on ECS控制台。在顶部菜单栏处，...
Docker 作业提交
BatchCompute 中,提交作业时使用 docker 与普通 VM 作业基本相同，只是在设置作业参数时有稍微区别。1.DAG 作业 1.1 使用支持 Docker 的 ImageId 需要将集群描述的 ImageId 指定为 BatchCompute 的公共镜像的 Id（支持 Docker 镜像,ID 为 ...
Linux系统CPU使用率和负载高排查方法
案例二：kswapd0进程占用CPU较高 问题现象 轻量应用服务器运行卡顿，使用 top 命令查看，kswapd0进程占用了99%CPU。问题原因 出现该问题可能是系统此时在持续进行换页操作，导致占用大量CPU资源。kswapd0是虚拟内存管理中负责换页的进程，...
- 产品推荐
- 这些文档可能帮助您