Alibaba Cloud Linux 2系统的ECS实例创建大量进程失败...
本文为您介绍Alibaba Cloud Linux 2系统的ECS实例创建大量进程失败的原因及解决方案。问题描述 Alibaba Cloud Linux 2系统的ECS实例中执行系统调用（fork/clone）时，进程创建失败，返回“-1 EAGAIN(Resource temporarily unavailable)”...
Airflow调度DLA Spark作业
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark-Submit和Spark-SQL命令行来实现Airflow调度Spark任务。DLA Spark提供了命令行工具包，支持通过Spark-Submit和Spark-SQL方式来提交Spark作业。您...
使用Apache Airflow调度MaxCompute
背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），可以定义一组有依赖的作业，并按照依赖顺序依次执行作业。还支持通过Python定义子作业，并支持各种Operators操作器，灵活性大，能满足用户的...
Airflow调度Spark
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过 AnalyticDB MySQL Spark Airflow Operator、Spark-Submit命令行工具来实现Airflow调度Spark任务。本文介绍如何通过Airflow调度 AnalyticDB MySQL Spark...
Alibaba Cloud Linux 3镜像发布记录
阿里云定期发布Alibaba Cloud Linux 3镜像的更新版本，以确保用户可以获取到最新的操作系统特性、功能和安全补丁。您可以通过本文查看Alibaba Cloud Linux 3镜像最新的可用版本及更新内容。背景信息 如无特殊声明，更新内容适用于云服务器...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
内核功能与接口概述
追踪IO时延 Alibaba Cloud Linux 2所有内核版本 Alibaba Cloud Linux 3所有内核版本 Alibaba Cloud Linux优化了IO时延分析工具iostat的原始数据来源/proc/diskstats接口，增加了对设备侧的读、写及特殊IO（discard）等耗时的统计，此外还...
虚拟节点调度方案对比及介绍
例如，通过nodeSelector只能将Pod调度到Windows系统的虚拟节点，而无法实现优先调度到Windows虚拟节点，其次调度到Linux虚拟节点的逻辑。ACK Serverless集群基础版 调度方式 典型场景 优先级调度 优先缩容ECI Pod 备注 相关操作文档 ...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
Linux操作系统云虚拟主机无法通过FTP工具删除目录
通过FTP工具连接Linux操作系统云虚拟主机后，无法删除站点下的某个目录。本文介绍这种情况的原因和解决方案。问题描述 通过FTP工具连接Linux操作系统云虚拟主机后，在 远程站点 区域的文件列表中删除某个目录，但是该目录无法被删除。问题...
安装本地迁移工具
下载工具 请根据自身系统选择下载迁移工具：系统类型 下载地址 macOS ARM 64位 工具下载地址 macOS 64位 工具下载地址 Linux 64位 工具下载地址 Linux 32位 工具下载地址 Windows 64位 工具下载链接 Windows 32位 工具下载链接 安装工具 ...
Dataphin首页调度运维统计规则
问题描述 用户在使用Dataphin过程中，需要使用到调度运维工具，发现首页的调度运维统计数据和运维页面统计的数据并没有一模一样。解决方案 首页展示的是当前登录账号责任的任务。适用于 Dataphin 运维
配置blk-iocost权重限速
blk-iocost权重限速功能是Alibaba Cloud Linux对cgroup I/O子系统（blkcg）基于权重的磁盘限速功能的改进。它是一种I/O控制器，可以根据应用程序或进程的优先级为块设备上的I/O操作分配带宽，并且可以通过设置权重值来限制特定应用程序或...
Linux系统的ECS实例系统无响应，系统日志中出现“BUG:...
本文介绍Linux系统的ECS实例系统无响应，在/var/log/messages、/var/log/dmesg 等日志中出现“BUG:soft lockup – CPU#0 stuck for 61s”错误的问题原因和解决方案。问题现象 Linux系统的ECS实例出现系统无响应，在/var/log/messages、/var...
产品规格
系统环境 专业版 标准版 轻量版 Linux 依赖docker工具，且docker版本>v17.03 Linux kernel version≥2.6.32（for x86-64）Linux kernel version≥2.6.32（for ARMv7软浮点&硬浮点）Linux kernel version≥3.7.0（for ARMv8-64）Linux ...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
修改定时调度
本文介绍如何通过控制台或命令行工具修改定时调度。前提条件 成功创建定时调度 使用控制台修改定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中单击目标流程的流程名称。单击 定时调度 页签。单击目标定时...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
查询定时调度
本文介绍如何通过控制台或命令行工具查看单个定时调度或定时调度列表。使用控制台查看定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中单击目标流程的流程名称。单击 定时调度 页签。您可以查看定时调度列表...
Alibaba Cloud Linux 2镜像发布记录
阿里云定期发布Alibaba Cloud Linux 2镜像的更新版本，以确保用户可以获取到最新的操作系统特性、功能和安全补丁。您可以通过本文查看Alibaba Cloud Linux 2镜像最新的可用版本及更新内容。背景信息 如无特殊声明，更新内容适用于云服务器...
追踪IO时延
Alibaba Cloud Linux 2和Alibaba Cloud Linux 3优化了IO时延分析工具iostat的原始数据来源/proc/diskstats 接口，增加了对设备侧的读、写及特殊IO（discard）等耗时的统计，此外还提供了一个方便追踪IO时延的工具bcc。本文将分别介绍优化后...
概述
使用rsync命令行工具迁移数据 支持Linux/Windows/macOS操作系统，本地Linux或macOS系统可配置crontab向云上NAS自动备份数据。上传下载后的文件元数据不变（包括属主及权限信息）。支持数据增量同步。适用大量文件上传和下载或需要频繁上传...
迁移数据至阿里云NAS
Linux操作系统 操作系统 执行命令 CentOS 使用yum包管理器安装rsync。sudo yum install rsync Redhat Ubuntu 使用apt包管理器安装rsync。sudo apt-get install rsync Debian 说明 如果您使用的其他版本Linux，请使用对应的包管理器安装...
特性与优势
通过更新的Linux内核、用户态软件及工具包，为云上应用程序环境提供Linux社区的最新操作系统增强功能：Alibaba Cloud Linux 3选择Linux kernel 5.10 LTS，同时默认搭载GCC 10.2、binutils 2.35、glibc 2.32等基础软件。Alibaba Cloud Linux...
删除定时调度
本文介绍如何使用控制台或命令行工具删除定时调度。前提条件 成功创建定时调度 使用控制台删除定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中单击目标流程的流程名称。在目标流程的 流程 页面，单击 定时...
安装共享GPU调度组件
本文介绍如何在GPU节点上安装共享GPU组件和GPU资源查询工具，实现GPU的调度和隔离能力。前提条件 共享GPU调度目前已实行收费。在使用共享GPU调度前，需开通云原生AI套件。具体收费信息，请参见 云原生AI套件计费说明。关于云原生AI套件的更...
选择连接工具
DataWorks 使用DataWorks连接 MaxCompute Studio MaxCompute Studio 数据库管理 DBeaver连接MaxCompute DataGrip连接MaxCompute SQL Workbench/J连接MaxCompute ETL工具 使用Kettle调度MaxCompute 使用Apache Airflow调度MaxCompute 使用...
创建定时调度
使用命令行工具创建定时调度 在使用命令行工具创建定时调度前，您需要安装和配置阿里云命令行工具CLI。详细信息，请参见 什么是阿里云CLI？可选：执行以下命令查看创建定时调度API的请求参数。aliyun fnf CreateSchedule help 预期输出：...
Alibaba Cloud Linux 2使用说明
1.13.6 sudo yum install-y<packageName>-<pacakgeVersion>SCL插件方式支持的开发工具包 基于 GCC-7.3.1 的开发工具包（devtoolset-7）基于 GCC-8.2.1 的开发工具包（devtoolset-8）基于 GCC-9.1.1 的开发工具包（devtoolset-9）基于 GCC-...
安装GPU拓扑感知调度组件
激活GPU拓扑资源调度前，您需要安装并配置相关组件。本文介绍如何安装GPU拓扑感知调度相关组件以及在集群中开启GPU拓扑感知调度能力。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建...
远程连接Linux服务器
您可以通过轻量应用服务器管理控制台或者第三方客户端工具远程连接Linux服务器。本文主要介绍如何远程连接Linux服务器。前提条件 待连接的Linux轻量应用服务器的状态为 运行中。如果您需要使用密码的方式远程连接服务器，确保已设置服务器...
Linux实例系统总体负载的查询及分析
sar是Linux系统中较为全面的性能分析工具，可以从多个方面对系统的活动进行监控和报告，包括文件读写情况、系统调用使用情况、串口、CPU效率、内存使用情况、进程活动及IPC有关的活动情况等等。安装sar工具 如果您的系统中默认未安装sar...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
系统运维工具集SysAK使用说明
运维场景 阿里云通过对百万服务器运维经验进行抽象总结，进而打造出系统运维工具集SysAK，该工具集可以覆盖以下常见运维场景：日常监控：针对各种系统资源更精细化的资源监控，帮助业务运维实现细粒度的运维调度和资源控制。除此之外，还...
数据风险点监控
DataWorks智能监控 DataWorks对MaxCompute进行离线任务调度时，提供智能监控工具，对调度任务进行监控告警。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间、...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建 ACK ...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建ACK集群...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
调度任务
创建调度任务 说明 由于每次调度时都需要对所有数据表涉及的用户重新进行ID Mapping计算，为了避免频繁占用计算资源，建议您将所有数据表的调度创建为同一个任务。创建手动调度任务 操作步骤：选择工作空间>配置管理>数据接入管理>数据导入...
- 产品推荐
- 这些文档可能帮助您