Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
使用教程（宽表模型）
Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-flink-1.12 或 vvr-4.0.7-flink-1.13 版本后重启作业，否则会在启动作业时超时报错。附加依赖文件：作业中需要使用到的附加依赖，例如临时函数等。步骤四：进行深度检查 ...
2023-10-23版本
部署作业 增强作业排序筛选能力 在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。暂无 支持RAM角色、资源目录成员、云SSO用户登录鉴权 阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源...
CDC问题
作业重启时，MySQL CDC源表会从作业停止时的位置消费，还是从作业配置的位置重新消费？MySQL CDC源表如何工作，会对数据库造成什么影响？如何跳过Snapshot阶段，只从变更数据开始读取？如何读取一个分库分表的MySQL数据库？多个CDC作业导致...
数据开发常见问题
解决方案：建议不要使用Shell类型作业开发Hive、Spark或Sqoop等作业，尽可能使用原生作业类型（例如，Hive、Spark或Sqoop等类型）进行开发，这些作业类型存在一定的关联机制，可以确保作业驱动程序本身和YARN Application状态的一致性。...
使用教程（时序模型）
本文以表格存储Tablestore中的宽表作为上游数据源为例介绍如何...Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-flink-1.12 或 vvr-4.0.7-flink-1.13 版本后重启作业，否则会在启动作业时超时报错。附加依赖文件：作业中...
监控指标说明
作业出错重启次数，不包含JM Failover次数。查看作业可用性，协助您查看作业状态。次数 不涉及 currentEmitEventTimeLag 业务延时。该延时较大时，说明作业可能在拉取数据或者处理数据上存在延时。毫秒（ms）Kafka RocketMQ SLS DataHub ...
上下游存储
全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点设置了2019-10-11 00:00:00，为什么启动位点前的分区也会被全量MaxCompute源表读取？增量MaxCompute源表监听到新分区时，如果该分区还有...
Routine Load
作业控制 您可以通过STOP、PAUSE或RESUME三个命令来控制作业的停止、暂停和重启。可以通过 HELP STOP ROUTINE LOAD;HELP PAUSE ROUTINE LOAD;以及 HELP RESUME ROUTINE LOAD;三个命令查看帮助和示例。其他说明 例行导入作业和ALTER TABLE...
数据导入常见问题
Flink如何自动重启失败的Task？如何手动停止Flink job，并且恢复Flink job至停止前的状态？Flink Connector 使用事务接口的exactly-once时，导入失败，该如何解决？flink-connector-jdbc_2.11 Sink到StarRocks时间落后8小时，该如何处理？...
集群概述
sudo权限组：适用于需要管理集群的管理员，除提交、调试作业外，还可以执行sudo命令进行安装软件、重启节点等操作。重要 root用户仅能在创建集群时初始化创建，不推荐使用root用户提交任何作业，避免作业脚本中的误操作导致E-HPC集群数据...
Jindo AuditLog使用说明
Jindo AuditLog提供块存储模式的...在E-MapReduce控制台，创建MR类型作业，作业内容示例如下。jindo auditlog-src oss:/<yourbucket>/auditlog/-ns test-type ip-day 1-top 2 返回信息如下。16 openFileStatusRequest 6 deleteFileletRequest
Jindo AuditLog使用说明
Jindo AuditLog提供块存储模式的...在E-MapReduce控制台，创建MR类型作业，作业内容示例如下。jindo auditlog-src oss:/<yourbucket>/auditlog/-ns test-type ip-day 1-top 2 返回信息如下。16 openFileStatusRequest 6 deleteFileletRequest
常见问题
集群有状态重启包括 RM Restart 和 NM Restart 两部分，ResourceManager（简称RM）负责维护应用级基础信息与状态，NodeManager（简称NM）负责维护运行时的Container信息与状态，它们持续将相关状态同步至外部存储（Zookeeper、LevelDB和...
小文件优化及作业诊断常见问题
本文为您介绍小文件优化以及作业诊断时的常见问题。问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件？如何解决小文件问题？作业诊断 执行并发插入操作报错，如何处理？运行作业时，报错ODPS-0130121，如何解决？创建的...
实时计算Blink产品公告（已停止新购）
在有限流的情况下，通过避免不必要的全图重启，提高了JobManager和Task FailOver的处理效率。StateBackend 使用NiagaraStateBackend替换RocksDBStateBackend，具备更好的读写性能。(Experimental)NiagaraStateBackend 支持计算存储分离，...
配置自动伸缩
重要 如果管控节点需要关机或者重启，请在计算节点没有作业运行，并且自动伸缩已经释放了空闲节点后再进行操作。此时，建议您先关闭自动伸缩，在管控节点重新启动后，再开启自动伸缩。操作步骤 打开 自动伸缩 页面。登录 弹性高性能计算...
自定义资源组
自定义资源组在DataWorks调度体系中使用，当前DataWorks调度体系分为一级调度资源和二级运行资源：一级调度资源：进入 运维中心 页面，单击左侧导航栏中的 周期任务运维>周期实例。右键单击相应实例的DAG图，选择 查看更多详情，即可在 ...
迁移StarRocks数据至EMR Serverless StarRocks
通常，此数值可忽略，因为迁移过程中会周期性地重试失败的作业。unknown 状态未知的作业数量。查看迁移事务状态 迁移工具会为每张表开启一个事务。您可以通过查看该事务的状态了解该表迁移的状态。其中为该表所在数据库的名称。SHOW PROC"/...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
续费降配
是否需要重启实例 降低实例规格：需要 若设置了重启时间，实例将在您设置的时间自动重启使规格配置生效。若未设置重启时间，必须在新的计费周期内手动重启实例，否则降配操作不会生效。变更公网带宽：不需要 转换数据盘计费方式：不需要 新...
续费降配
是否需要重启实例 降低实例规格：需要 若设置了重启时间，实例将在您设置的时间自动重启使规格配置生效。若未设置重启时间，必须在新的计费周期内手动重启实例，否则降配操作不会生效。变更公网带宽：不需要 转换数据盘计费方式：不需要 新...
产品架构
您可以使用这些工具向 BatchCompute 提交作业，查询作业运行状态，并管理作业生命周期（比如停止已提交的作业，释放已完成的作业等）。运行环境 BatchCompute 允许用户通过自定义虚拟机镜像或者 Docker 的方式对运行环境进行高度定制，可以...
DLA Spark快速入门
熟悉Spark的开发者都了解SparkPi，...在 作业编辑 页面，单击 创建作业模板，填写以下作业信息：新创建的作业中包含了SparkPi作业的默认配置，在 作业编辑 页面，单击 执行 即可。说明 关于作业提交的详细说明，请参见 创建和执行Spark作业。
网络架构升级
如果您想重新规划当前的网段，需要先在工作空间修改交换机到所需的网段，并设置上下游白名单，再提交工单升级，升级完毕后重启存量作业进行切换。平台功能 Session集群暂时无法升级，网络架构升级后您仍需要预留对应的IP资源给Session集群...
AnalyticDB MySQL集群状态和DTS同步作业状态
本文汇总了 AnalyticDB MySQL版 集群的状态以及集群中关于DTS同步作业状态的详情供您参考。AnalyticDB MySQL集群状态 状态 说明 Preparing 准备中 Creating 创建中 Restoring 备份恢复中 Running 运行中 Deleting 删除中 ClassChanging 变...
作业停止
如果您对作业进行了修改（例如更改SQL代码、增删改WITH参数、更改作业版本等），且希望修改生效，则需要先上线，然后停止再启动。另外，如果作业无法复用State，希望作业全新启动时，也需要停止后再启动作业。本文为您介绍如何停止作业。...
DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
通过DataWorks管理作业
作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何通过DataWorks对Lindorm计算引擎的各类作业进行开发和调度运维。前提条件 已开通Lindorm计算引擎。如何开通，请参见 开通与变配。已开通DataWorks服务。如何开通...
计量计费
本文为您介绍如何估算MaxCompute SQLML作业的费用。背景信息 通常情况下，每个算法组件由多个子任务组成。因此，计算费用时，需要先计算各算法组件下的子任务费用，再累计求和。MaxCompute SQLML作业使用了MaxCompute和 人工智能平台 PAI，...
如何管理生命周期
备份集的生命周期是指备份数据在 数据库备份DBS 中的保存周期。您可以配置备份集生命周期，DBS会根据您自定义的规则来自动进行备份集转存与过期清理。生命周期说明 备份集的生命周期范围为7天到3650天（10年），DBS会自动清理符合条件的...
EDAS监控报警功能升级说明（2020年02月13日）
如果您在应用监控页面上看到了需要重启应用的有关提示，则说明您的应用已经被迁移，请在业务允许的窗口时间内尽快重启您的应用程序。应用程序在重启之后才能启用新的监控功能。从应用重启的这个时间点开始，之前产生的监控数据需要在老的...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
YARN缺陷修复公告
背景信息 YARN-4946引入缺陷，YARN ResourceManager删除历史应用作业时增加了日志收集已完成的必要条件，但日志收集的状态没有保留到ResourceManager State Store中，所以重启后ResourceManager加载的历史应用都是未完成状态，无法被...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
作业优先级
本文为您介绍MaxCompute的包年包月作业优先级功能，并提供开启、设置和查看作业优先级的操作指导。背景信息 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。例如，系统必须在06:00点前产出...
查看历史作业实例日志
Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。背景信息 如果出现以下情况，则您需要查看历史作业实例的日志：您需要查看、搜索...
MaxCompute分区表数据导入
在日常工作中会经常需要进行数据导入，此时可以借助DataWorks的强大调度和作业编排能力，实现周期性调度，配置一个调度作业覆盖数据导入两个场景，详情请参见 DataWorks作业案例。考虑到作业较为复杂，所以可以利用DataWorks的迁移助手功能...
Dataphin一个同步任务产生两个周期实例
概述 本文主要描述了Dataphin一个同步任务产生两个周期实例的原因。详细信息 在将同步任务A发布以后，会产生了一个周期实例。当同步任务A被重新配置又发布了一次后，产生了第二个周期实例，所有两个周期实例名字一样，但是内容不一样哈。...
- 产品推荐
- 这些文档可能帮助您