小文件优化及作业诊断常见问题
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的Shell任务执行失败，在ECS服务器执行显示成功，运维中心...
数据开发常见问题
组件相关问题：Hive常见问题 Spark常见问题 Sqoop常见问题 作业问题：环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARN Application状态不一致？创建作业和执行计划的区别是什么？多个ConsumerID消费同...
作业运维（新版）
如果您是数据开发人员，作业运维功能方便您日常查看作业详情，及时发现作业的异常情况和问题，对有问题的作业及时进行处理，例如终止或批量终止作业。如果您是管理员，作业运维功能方便您日常结合配额组查看某时刻的资源负载，合理分配和...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
计费常见问题
您可以先通过账单查找出耗费较多资源的SQL作业和其具体的运行时间，并参照 查看账单详情 或 MaxCompute账单用量明细分析 进行费用分析及作业优化。长期未使用MaxCompute按量计费功能，为什么每天仍会产生费用？MaxCompute按量计费费用包含...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
文档修订记录
EMR Hive数据整库离线同步至MaxCompute 2023.4.17 优化体验 管理控制 在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。...
Node Labels特性使用
本文为您介绍YARN Node Labels特性、使用方式和常见问题。基本介绍 YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node Label，所以可以使用 Node Label将整个YARN集群划分为不相交的节点...
作业运行常见问题
作业运行时长不达预期（作业运行慢），通常由什么原因导致，如何解决？导致MaxCompute作业运行时长不达预期（作业运行慢）的原因通常可分为资源不足、作业问题、模式回退三种：资源不足 对于使用 包年包月 计算资源的作业，可能由于总体...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
使用Gang scheduling
ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源：使用弹性节点池时请保证弹性节点池的最大资源量以及节点...
E-HPC集群调度器插件
在构建出自定义调度器插件之后，即可在E-HPC控制台创建带有插件的集群，无缝衔接至E-HPC以提供对应的节点管理、作业管理、自动伸缩等能力。插件使用流程 以在E-HPC控制台提交作业为例，为您展示调度器插件在集群操作中的具体作用，插件示例...
常见问题
E-HPC在管控节点上配置作业调度器。以上流程都依赖于E-HPC服务部署。若您使用ECS管理控制台对节点进行操作，则可能会导致集群或部分节点状态异常，或集群相关资源不可使用等问题。因此不允许使用ECS管理控制台对E-HPC集群的节点进行操作。E...
智能诊断
您可以使用智能诊断功能对任务进行全链路分析，当任务运行不符合预期时，您可以使用该功能快速定位问题。功能概述 智能诊断功能可以基于以下维度对任务进行诊断分析：全链路分析：检查上游任务运行情况：上游任务运行失败时，将阻塞当前...
时间属性配置说明
重跑说明 用于定义节点生成的实例是否可以重跑，即从数据幂等性考虑，任务是否可以重跑，或者在什么情况下可以重跑。生效日期 用于定义节点正常自动调度运行的时间范围，该时间范围外，节点将不再自动调度。使用说明 调度任务的时间属性...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
Logview诊断实践
用户UDF出错，调查步骤 Result>DAG 确定出问题的UDF，查看 StdOut 或 StdError 等报错信息。其他报错，可以参见 文档错误码以及解决方案。分析运行慢作业 编译阶段 作业处于编译阶段的特征是有Logview，但还未执行计划。根据Logview的子...
EMR数据开发（旧版）停止全面支持公告
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发（旧版）项目不会受到影响，可正常使用EMR数据开发（旧版）模块，包括运行作业和工作流调度，但阿里云不再提供EMR数据开发（旧版）的用户答疑、问题解决和...
2023年
2023-09-25 全部地域 MapReduce支持SQL运行时执行模式 作业分析功能发布 MaxCompute推出作业分析功能，方便开发者定位作业资源问题。2023-09-21 全部地域 作业运维（新版）2023-08 功能名称 功能描述 发布时间 发布地域 相关文档 控制台...
使用Logview 2.0查看作业运行信息
SQLTask is optimizing query SQL作业优化Query，如果执行计划复杂，优化时间会稍长，但过长可能就是出问题了。SQLTask is splitting data sources SQL作业优化中，切分Data Sources。SQLTask is generating execution plan SQL作业生成...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
使用Azkaban调度MaxCompute
MaxCompute支持您通过Azkaban实现作业调度，帮助您高效地完成高频数据分析工作。本文以通过MaxCompute客户端执行命令（Command）的方式为例为您介绍如何使用Azkaban调度SQL作业。背景信息 Azkaban是一套作业调度系统，可以调度Command、...
2023年
作业运行常见问题 2023-08-01 新增Github公开事件数据 新说明 本文为您介绍MaxCompute公开数据集中Github公开事件数据的基本信息、如何通过MaxCompute执行Github公开事件数据查询以及Query样例和分析结果。Github公开事件数据 2023年7月...
EMR旧版数据开发迁移公告
说明 如果在作业运行过程中遇到问题，您可以随时联系阿里云EMR团队，他们会提供专业的定位分析和解决方案。阿里云EMR团队+客户 1~4周 四、完成迁移 停止EMR旧版数据开发的工作流调度，全面切换到EMR Workflow。阿里云EMR团队+客户 1~3天 ...
定期调度Zeppelin中的作业
当您在Zeppelin里完成作业开发后，您就可以通过Airflow定期调度作业。本文为您介绍如何使用Airflow调度作业。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全组规则，详情...
计算成本控制
另外，调度频繁也会引起SQL作业费用的增加，调度频繁可能会产生任务的堆积，在后付费的情况下会造成排队现象，如果任务多又出现了排队，那么第二天的账单就会异常。通过如下策略进行SQL作业计算成本控制：避免频繁调度。MaxCompute是批量...
弹性伸缩FAQ
spec:containers:name:nginx image:nginx:1.7.9#Replace it with your exactly<image_name:tags>.ports:containerPort:80 常见问题 为什么节点自动伸缩组件无法弹出节点？请检查是否存在如下几种场景：配置伸缩组的实例类型无法满足Pod的...
设置调度依赖最佳实践
配置调度依赖时，需要根据本节点输出名称作为关联项来给任务间设置依赖关系。本文将为您介绍如何配置任务调度依赖的输入输出。配置任务的本节点输入 您可以通过以下两种方式配置本节点输入：使用代码自动解析功能，解析出任务的依赖。手动...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
任务管理
任务管理就是为多任务环境中的每个任务分配一个上下文（context）（上下文（context）是指当任务被调度执行的所必不可少的一组数据，包括前任务的CPU指令地址（PC指针），当前任务的栈空间，当前任务的CPU寄存器状态等），在任务相继执行...
作业调试
背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑的正确性，而不会将数据实际写入您生产的下游中（无论您使用什么样的结果表）。使用调试功能时，您可以使用上游的线上数据或指定调试数据。调试可以包含多个SELECT或...
运维中心概述
在DataWorks实例任务中，E-MapReduce计算引擎任务会被分为若干作业有序执行，您可以使用DataWorks的引擎运维功能，查看各个E-MapReduce作业的详细信息，及时查找并清理运行有误的作业，避免该类作业阻塞下游任务，影响实例任务的正常运行。...
资源调度概述
ACS兼容Kubernetes原生调度能力，支持不同类型的工作负载混合调度，并提供弹性资源、异构资源等精细化调度能力。本文介绍ACS兼容的Kubernetes原生调度能力和任务调度能力。兼容的Kubernetes原生调度能力 ACS兼容Kubernetes原生调度能力，但...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖...填写作业名称、作业描述，作业类型选择 zeppline、单击 确定 编辑调度 Notebook、单击保存 使用作业调度Notebook有2种方式 方式一：使用OSS路径调度Notebook oss:/ddi-...
弹性伸缩FAQ
k8s.io/cluster-autoscaler/node-template/resource/{资源名}:{资源大小} 示例：k8s.io/cluster-autoscaler/node-template/resource/hugepages-1Gi:2Gi 为什么Pod无法调度到节点自动伸缩组件弹出节点？受底层资源占用计算精度约束，自动...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
- 产品推荐
- 这些文档可能帮助您