ACK One概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
调度概述
ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同...
Hadoop集群迁移至DataLake集群
方案二：查看EMR Doctor集群日报 Doctor集群日报中提供当前集群计算资源、YARN调度资源、HDFS存储资源的全局分析，您可以查看集群已有数据总量、冷热数据分布情况以及集群计算任务分布情况等信息，详情请参见 查看集群日报与分析。...
ListDoctorReports-批量获取集群报告
ul>其中：<li>&Tez 任务 1518 个，加权平均分为 88，内存使用量占整体集群的 100.0%，CPU 使用量占整体集群的 100.0%，其中 209 个任务处于不健康状态，596 个任务处于亚健康状态；ul>可在下面的任务明细列表中点击''查看详情...
调优集群性能
当CPU最大使用率和CPU平均使用率长时间相差较大时，说明集群内部存在任务处理不均匀的情况（有些节点计算量较大，有些节点计算量较小，最终导致CPU使用率倾斜）。CPU使用率倾斜严重（例如1倍以上），会较大地影响集群运行的稳定性，并且会...
什么是DTS专属集群
集群节点存储：专属集群单个节点的存储空间，可配置为1024 GB~30720 GB。除系统保留空间占用一定的磁盘空间外，其余空间用于缓存专属集群运行的同步、迁移、订阅实例源端近7天的数据（DTS会自动清理7天前的数据），您需确保磁盘存储空间...
新建FLINK_SQL任务
资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory、Task Manager Memory信息。配置说明，请参见 配置Ververica Flink离线模式资源。运行参数：可以通过配置运行...
新建FLINK_SQL任务
资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory、Task Manager Memory信息。配置说明，请参见 配置Ververica Flink离线模式资源。运行参数：可以通过配置运行...
新建Flink计算源
用户名：Flink Kerberos 关闭时，需填写提交Flink任务的集群用户名。当集群存储为OSS-HDFS时时需配置如下参数：AccessKey ID、AccessKey Secret：需填写访问集群OSS的AccessKey ID和AccessKey Secret。查看AccessKey，请参见 查看AccessKey...
构建集群
使用私有构建集群 进入目标流水线编辑页面，流水线任务 构建集群 可以选择企业创建好的私有构建集群。流水线运行时，任务会随机调度到一台构建机器上并启动相应的容器环境执行。私有构建集群的构建时长和并发任务数不计入企业构建配额。...
通过kubectl实现集群应用的备份和恢复
kubectl delete backupschedule<yourBackupSchedule>-ncsdr 删除备份任务或恢复任务 使用以下内容，在待删除任务的集群中创建 deleterequest.yaml 文件。apiVersion:csdr.alibabacloud....
控制台发布记录
2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 任务管理 为了便于用户管理 PolarDB 集群的任务，及时感知集群备份恢复等长时任务的进度，提高集群运维效率，PolarDB 支持在任务列表查看当前任务进度和历史任务详情。...
Spring任务
如果业务需要自动在集群机器中选择一个运行，可在控制台编辑相应任务执行模式为单机运行。关于参数的详细信息，请参见 任务配置运行。常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致...
将报警配置功能接入注册集群
规则集类型 规则名 规则说明 Rule_Type ACK_CR_Rule_Name SLS_Event_ID critical-events集群重要事件报警规则集 集群Error事件 集群中所有Error Level异常事件触发该报警。event error-event sls.app.ack.error 集群Warn事件 集群中关键...
容器服务报警管理
报警配置功能提供统一管理容器报警场景的功能，包括容器服务异常事件报警、集群相关基础资源的关键指标报警、集群核心组件及集群中应用的指标报警。支持在创建集群时默认开启报警功能。容器服务的报警规则支持通过集群内部署CRD的方式配置...
创建源库为集群版RDS MySQL备节点的实例
本文为您介绍如何使用数据传输服务DTS（Data Transmission Service）创建源库为集群系列 RDS MySQL 的DTS实例。前提条件 已为集群系列 RDS MySQL 实例的备节点创建节点直连地址，并确保可以正常连接。更多信息，请参见 查看和管理集群节点...
实践教程概览
测试SCC集群性能 超级计算集群SCC具有无虚拟化损耗、高带宽低延迟网络的优点，可以保证高性能计算和人工智能、机器学习等应用的高度并行需求本教程介绍如何创建SCC集群，并测试SCC集群的相关性能。E-HPC事件处理 实践教程 主要内容 通过...
创建工作流集群
工作流集群 采用无服务器模式，使用阿里云弹性容器实例ECI运行工作流，通过优化Kubernetes集群参数，实现大规模工作流的高效弹性调度，同时配合抢占式ECI实例，优化成本。本文介绍如何创建 工作流集群。前提条件 已开通分布式云容器平台ACK...
新建Session集群
每个租户下可以通过Session集群资源组创建Session集群，用于Flink任务的开发调试。本文将为您介绍如何基于Session集群资源组新建Session集群。使用限制 目前一个租户仅支持创建一个Session集群。权限说明 仅支持 超级管理员 或 系统管理员 ...
Session集群管理概述
Session集群是一个适用于Flink任务快速启停的可交互集群，您可以在Session集群中实时调试和测试Flink任务。Session集群提供了Flink任务状态、日志和输出结果的实时查看功能，您可以通过观察任务的行为和输出来验证任务的正确性，进行迭代式...
为Spark集群设置元数据
完成上述配置后，向该Spark集群提交的任务，会自动连接DLF元数据。方式二：使用自建Hive Metastore元数据 进入集群的配置页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击目标集群操作列的 配置。在 配置 页签，单击 spark-defaults....
设置集群身份映射
说明 当您在DataWorks配置LDAP映射后，DataWorks上SQL类型任务（Hive、Impala、Presto、Trino）默认使用该映射账号进行认证，此时若组件未在集群开启LDAP认证，任务执行便会失败。使用限制 仅以下角色可为所有人配置身份映射：阿里云主账号...
使用ECI运行Job任务
对于短时间运行的Job任务，使用ECI来运行可以避免资源闲置浪费，在满足业务需求的同时有效降低使用成本，提升集群的弹性能力和资源利用率。背景信息 对于大多数Kubernetes集群，通常需要同时支撑在线和离线的多种负载，在线负载流量的波动...
EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
使用云原生AI监控大盘
云原生AI的监控组件能够帮助您从不同的维度（比如：集群、节点、训练任务等）监控集群的GPU资源使用情况，以及集群的各命名空间下的资源配额使用情况。本文分别从集群、节点、训练任务和资源配额维度介绍监控大盘，以及介绍如何安装和使用...
注册EMR集群至DataWorks
在DataWorks运行EMR任务时可选择多种EMR组件，不同组件运行任务时的最优配置存在差异，您在配置EMR集群时请参考 EMR集群配置建议，根据实际情况进行选择。支持的集群类型 DataWorks目前支持绑定以下类型集群，在 DataWorks操作前，请提前...
作业类型
自动集群作业 自动集群在提交作业时指定需要的实例数和实例规格，实际运行任务的时候系统自动创建集群，运行任务完成后自动释放。不在乎等待时间长，或者作业较少情况下，可以使用自动集群。组合集群作业 您有很多自动集群的作业时...
全增量数据同步
任务异常阻塞 注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，推荐修改一下源集群的日志保留时间，给增量同步出错预留一些处理的时间（hbase-site.xml 的 hbase.master.logcleaner.ttl 调...
API概览
DescribeTasks 该接口用于查看通过API生成的任务（如创建集群）进度详情。部署架构 ModifyDBClusterPrimaryZone 该接口用于变更 PolarDB 集群的主可用区。FailoverDBCluster 该接口用于手动对 PolarDB 集群进行主备切换，可以指定一个只读...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
API概览
DescribeTasks 该接口用于查看通过API生成的任务（如创建集群）进度详情。部署架构 ModifyDBClusterPrimaryZone 该接口用于变更 PolarDB 集群的主可用区。FailoverDBCluster 该接口用于手动对 PolarDB 集群进行主备切换，可以指定一个只读...
集群恢复：按备份集恢复
步骤四、释放集群 等待迁移任务完成后，原集群即已经恢复到选中的时间点。此时，若您还是想继续使用原集群，您可以释放新集群，避免产生不必要的费用。在 集群列表 页找到目标集群，单击右侧 操作 栏的 更多>释放。在弹出的 释放集群 ...
HBase数据同步与迁移
如果您想要将自建HBase或阿里云HBase中的数据迁移或同步至Lindorm 宽表引擎，可以通过LTS服务完成存量数据迁移和实时数据同步。本文介绍HBase数据同步与迁移的使用...A：没有终止任务的前提下直接释放LTS集群；同步任务暂停；任务异常阻塞。
API概览
ModifyRDSToClickhouseDb 修改同步任务 调用ModifyRDSToClickhouseDb接口修改云数据库ClickHouse社区兼容版集群的同步任务。DescribeProcessList 查看实例正在运行的查询 调用DescribeProcessList接口查询云数据库ClickHouse社区兼容版集群...
管理共享存储
如果您有更多的存储需求，可以为集群挂载新的存储资源，来缓解单个文件系统在性能、容量等方面的压力，支持更大规模集群的计算任务。本文介绍在创建E-HPC集群后，如何为集群挂载新的存储资源，以及如何卸载存储资源。前提条件 已创建存储...
API概览
DescribeTasks 获取任务列表 查看通过API生成的任务（如创建集群）进度详情。DescribeVSwitches 查询已创建的交换机 查询交换机。ModifyDBCluster 修改集群功能配置 修改PolarDB MySQL集群的功能配置。ModifyDBClusterDescription 修改集群...
云原生关系型数据库PolarDB的审计事件
DescribeBackupTasks 查询集群的备份任务详情。DescribeCharacterSetName 查看数据库支持的字符集列表。DescribeClassList 查询PolarDB集群的规格列表。DescribeCloudDBAService 查询PolarDB服务。DescribeDatabases 查询PolarDB指定集群的...
YARN指标
AppsSubmitted yarn_cluster_appsSubmitted 集群已经提交的任务数。AppsCompleted yarn_cluster_appsCompleted 集群已经完成的任务数。AppsPending yarn_cluster_appsPending 集群正在阻塞的任务数。AppsFailed yarn_cluster_appsFailed ...
容器资产管理
在 任务管理 面板的 容器暴露 页签，查看集群暴露分析任务进展和详情。查看集群暴露分析结果。在 容器资产 页面，单击目前集群名称。在集群详情页面，选择类型为 容器，并设置过滤条件 是否暴露 为 是。移动鼠标到容器 是否暴露 列 的 图标...
- 产品推荐
- 这些文档可能帮助您