云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
新建及管理动态脱敏规则
脱敏算法 带标记 的算法为高级算法，需要数据所在项目安装安全函数后才能使用，否则会被降级为默认脱敏方式（md5）。脱敏算法包括 遮盖掩码、哈希脱敏、加密 和 其他。系统内置安全算法需配置参数的算法如下：哈希脱敏 需配置脱敏密钥的...
新建及管理动态脱敏规则
脱敏算法 带标记 的算法为高级算法，需要数据所在项目安装安全函数后才能使用，否则会被降级为默认脱敏方式（md5）。脱敏算法包括 遮盖掩码、哈希脱敏、加密 和 其他。系统内置安全算法需配置参数的算法如下：哈希脱敏 需配置脱敏密钥的...
历史功能发布记录（2023年）
全部 无 云原生AI套件 GPU调度支持GPU节点动态划分MIG ACK托管集群 安装 云原生AI套件 的调度组件ack-ai-installer后，通过给GPU节点打上特殊标签，可以让GPU节点开启MIG能力以及动态划分。节点按最大支持MIG实例数上报MIG资源，每个Pod的...
安装GPU拓扑感知调度组件
激活GPU拓扑资源调度前，您需要安装并配置相关组件。本文介绍如何安装GPU拓扑感知调度相关组件以及在集群中开启GPU拓扑感知调度能力。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建...
实时算法编排
实时算法编排支持2种类型的周期调度：秒级调度和cron周期间隔。单击画布左上方的 发布 按钮。查看系统提示，单击 确定。画布进入部署页面，部署过程耗时较长，一般会持续1至2分钟，请耐心等候。部署完成后，画布进入周期运行状态。参数趋势...
使用调度器自定义参数
通过修改Kube Scheduler的自定义参数，您可以根据需要自定义调度器的行为，使得Pod的调度更符合您的期望。本文介绍如何使用调度器自定义参数。前提条件 已创建v1.20及以上版本的 ACK集群Pro版、ACK Edge集群Pro版 以及 ACK灵骏集群。具体...
通过ack-co-scheduler实现多级弹性调度
安装相关组件 使用多级弹性调度，您需要安装以下组件。ack-virtual-node：可选组件，如需使用弹性ECI能力，才需在注册集群中安装ack-virtual-node组件。ack-co-scheduler：通过该组件，您可以自定义ResourcePolicy CR对象，使用多级弹性...
GPU拓扑感知调度概述
本文简要描述了GPU拓扑分布情况，以及GPU拓扑感知调度的优势。GPU拓扑分布 下图为NVLink连接8个Tesla V100的混合立体网络拓扑。...相关文档 安装GPU拓扑感知调度组件 使用GPU拓扑感知调度（Tensorflow版）使用GPU拓扑感知调度（Pytorch版）
运维助手
若运行在独享调度资源组上的任务执行时需依赖第三方包，为保障任务可顺利执行，您需要先通过该资源组的运维助手功能，将相应的第三方包安装至独享调度资源组。DataWorks的运维助手提供了多种内置的第三方包，可直接安装使用，若内置的第三...
GPU节点调度属性标签
安装云原生AI套件的调度组件ack-ai-installer之后，您可以为GPU节点打上调度属性标签，帮助GPU节点启用共享GPU调度、GPU拓扑感知调度等能力。本文介绍GPU节点调度属性标签及如何切换标签的值。GPU节点调度属性标签说明 标签ack.node.gpu....
查询定时调度
使用命令行工具查看定时调度 在使用命令行工具创建定时调度前，您需要安装和配置阿里云命令行工具CLI。详细信息，请参见 什么是阿里云CLI？查看单个定时调度。（可选）执行以下命令查看该API的请求参数。aliyun fnf DescribeSchedule help ...
创建定时调度
使用命令行工具创建定时调度 在使用命令行工具创建定时调度前，您需要安装和配置阿里云命令行工具CLI。详细信息，请参见 什么是阿里云CLI？可选：执行以下命令查看创建定时调度API的请求参数。aliyun fnf CreateSchedule help 预期输出：...
Airflow调度DLA Spark作业
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark-Submit和Spark-SQL命令行来实现Airflow调度Spark任务。DLA Spark提供了命令行工具包，支持通过Spark-Submit和Spark-SQL方式来提交Spark作业。您...
实现虚拟节点Pod可用区打散以及亲和调度
在 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。...
使用pgcrypto及国密SM4加密算法
安装 要使用国密算法SM4，需要安装扩展模块pgcrypto。目前pgcrypto暂不支持自行创建，如需使用请 提交工单 联系技术支持进行安装。CREATE EXTENSION pgcrypto;加密 使用SM4函数加密关键字段语法如下。加密text格式数据 sm4_encrypt_text(,)...
图算法
进入【实例详情】-【图算法】-【算法分析】页面新建和编辑算法配置，如需周期调度任务，可通过定时配置进行按天调度。1）最短路径 确定边集选择，选中图中已关闭【索引优化】的边表可进行算法分析。支持选择多条边，对于部分可以用到边的...
删除定时调度
通过命令行工具删除定时调度 在使用前您需要安装和配置阿里云命令行工具CLI。可选：执行以下命令查看该API的请求参数。aliyun fnf DeleteSchedule help 预期输出：Alibaba Cloud Command Line Interface Version 3.0.45 Product:fnf...
修改定时调度
使用工具修改定时调度 在使用前您需要安装和配置阿里云命令行工具CLI。可选：执行以下命令查看该API的请求参数。aliyun fnf UpdateSchedule help 预期输出：Alibaba Cloud Command Line Interface Version 3.0.45 Product:fnf(FunctionFlow...
开启集群虚拟节点调度策略
步骤一：确认组件已安装且版本适用 虚拟节点开启调度策略依赖于Kube Scheduler以及ACK Virtual Node两个组件，且两个组件的版本需符合要求。请按照以下步骤确认组件安装情况以及版本。登录 容器服务管理控制台，在左侧导航栏选择 集群。在 ...
开启集群虚拟节点调度策略
步骤一：确认组件已安装且版本适用 虚拟节点开启调度策略依赖于Kube Scheduler以及ACK Virtual Node两个组件，且两个组件的版本需符合要求。请按照以下步骤确认组件安装情况以及版本。登录 容器服务管理控制台，在左侧导航栏选择 集群。在 ...
什么是交通云控平台
全息数字化还原：互联网数据和设备数据融合，交通评价更精准 大规模实时仿真：城市级仿真推演时间从几小时缩短到几分钟 智能优化调度方案：6年信号优化算法沉淀、5000+高速控制策略 全域多端交互协同：云边端一体化协同，海量边缘节点云端...
在Kubernetes集群中部署SchedulerX
使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维场景，一般以脚本实现居多。原生的使用方式需要将脚本打包到镜像里，在YAML文件中配置脚本命令。如果要修改脚本，需要重新构建镜像和发布。...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
Alibaba Cloud Linux 2系统中TCP拥塞控制算法BBR对...
BBR算法依赖于TCP连接的封装（pacing）功能，而TCP的封装实现有下列两种方式：若网卡设备使用qdisc的tc-fq（Fair Queue Traffic Policing）调度，则直接复用tc-fq调度中基于流的封装。若网卡设备没有使用qdisc的tc-fq调度，则TCP改用其内部...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
配置集群连接
步骤四：执行安装命令 在目标集群导入下载的描述文件并解压后执行安装命令，完成应用的安装与授权。安装命令如下：重要 执行安装命令前，请联系Dataphin部署运维团队获取自定义资源组引用的镜像文件，并在目标集群的指定机器中导入镜像。每...
在PyODPS节点中调用第三方包
背景信息 DataWorks支持可视化创建Python资源，若需要依赖开源第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务代码时引用，如果...
横向网关产品特性汇总
一致性哈希ring_hash算法：适用于需要根据Header某些字段做流量调度的场景。一致性哈希Maglev算法：适用于需要根据Header某些字段做流量调度的场景。简单来说Maglev相比ring_hash散列效果更优，Envoy默认采用该算法。会话保持Sticky ...
自主排查SSL-VPN连接问题
加密算法不一致 SSL服务端与客户端加密算法配置不一致 Authenticate/Decrypt packet error:cipher final failed 请确认客户端安装的SSL客户端证书的加密算法是否与SSL服务端的加密算法一致。如果不一致，请删除现有的SSL客户端证书及所有...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
数据开发
生产环境节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期入、输出等详细信息以及部署信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的混合编排组成的...
通过ack-co-scheduler组件实现协同调度
本文介绍通过为注册集群安装ack-co-scheduler组件的方式，以实现在您的本地集群中使用阿里云容器服务ACK的调度能力，让您能够便捷地使用容器服务对于大数据、AI等应用扩展出的差异化能力，提高应用的运行效率。前提条件 已创建注册集群，并...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
为K8s应用配置虚拟节点
在Pod进行调度时，如果没有匹配的Node节点（例如已有的ECS work节点资源不足），那么将会由virtual-kubelet-autoscaler接管，把调度失败的Pod重新调度到ECI（虚拟节点）上。安装组件，请参见 安装virtual-kubelet-autoscaler。方式六：配置...
开发PyODPS 3任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
开发PyODPS 3任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
- 产品推荐
- 这些文档可能帮助您