创建定时调度
使用命令行工具创建定时调度 在使用命令行工具创建定时调度前，您需要安装和配置阿里云命令行工具CLI。详细信息，请参见 什么是阿里云CLI？可选：执行以下命令查看创建定时调度API的请求参数。aliyun fnf CreateSchedule help 预期输出：...
Airflow调度DLA Spark作业
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark-Submit和Spark-SQL命令行来实现Airflow调度Spark任务。DLA Spark提供了命令行工具包，支持通过Spark-Submit和Spark-SQL方式来提交Spark作业。您...
数据开发常见问题
Spark：Spark常见问题 外部表：外部表常见问题 安全管理相关：权限管理常见问题 安全配置常见问题 运维管理：Information Schema常见问题 小文件优化及作业诊断常见问题 其他运维常见问题 下载数据相关：如何下载超过1万条的表数据？...
实现虚拟节点Pod可用区打散以及亲和调度
在 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署的要求。...
删除定时调度
通过命令行工具删除定时调度 在使用前您需要安装和配置阿里云命令行工具CLI。可选：执行以下命令查看该API的请求参数。aliyun fnf DeleteSchedule help 预期输出：Alibaba Cloud Command Line Interface Version 3.0.45 Product:fnf...
使用pgcrypto及国密SM4加密算法
AnalyticDB PostgreSQL版 内置加密解密模块pgcryoto并集成国密SM4加密算法，允许数据库用户以加密形式存储数据的某些列，为敏感数据增加了一层额外的保护。无密钥时，任何用户都无法读取以加密形式存储在数据库中的数据。注意事项 pgcrypto...
修改定时调度
使用工具修改定时调度 在使用前您需要安装和配置阿里云命令行工具CLI。可选：执行以下命令查看该API的请求参数。aliyun fnf UpdateSchedule help 预期输出：Alibaba Cloud Command Line Interface Version 3.0.45 Product:fnf(FunctionFlow...
ACK集群Pro版概述
更智能的容器调度：集成更强调度性能的Kube Scheduler，支持多种智能调度算法，优化在大规模数据计算、高性能数据处理等业务场景下的容器调度能力。SLA保障：提供赔付标准的SLA保障，集群API Server的可用性达到99.95%。产品计费 关于 ACK...
图算法
进入【实例详情】-【图算法】-【算法分析】页面新建和编辑算法配置，如需周期调度任务，可通过定时配置进行按天调度。1）最短路径 确定边集选择，选中图中已关闭【索引优化】的边表可进行算法分析。支持选择多条边，对于部分可以用到边的...
ACK Edge集群Pro版介绍
更智能的容器调度：集成更强调度性能的kube-scheduler，支持本地存储LVM调度，支持多种智能调度算法，支持NPU调度，优化在大规模数据计算、高性能数据处理等业务场景下的容器调度能力。SLA保障：提供赔付标准的SLA保障，集群API Server的...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
开启集群虚拟节点调度策略
开启虚拟节点调度策略后，ACK Serverless集群 中的应用可以通过使用Kubernetes原生的Pod间亲和、地域间拓扑打散或节点亲和实现高可用、低时延等能力。前提条件 已创建v1.22版本及以上的 ACK Serverless集群Pro版。具体操作，请参见 创建...
开启集群虚拟节点调度策略
开启虚拟节点调度策略后，ACK集群 ACK Serverless集群 中的应用可以通过使用Kubernetes原生的Pod间亲和、地域间拓扑打散或节点亲和实现高可用、低时延等能力。前提条件 已创建v1.22版本及以上的 ACK Serverless集群Pro版 ACK集群Pro版。...
在Kubernetes集群中部署SchedulerX
使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维场景，一般以脚本实现居多。原生的使用方式需要将脚本打包到镜像里，在YAML文件中配置脚本命令。如果要修改脚本，需要重新构建镜像和发布。...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
I-V曲线诊断
数据服务中提供光伏智能运维的IV曲线诊断算法，结合环境光强度、环境温度等影响因素，对组串式光伏发电阵列的电流-电压曲线（I-V曲线）进行分析，检测系统可能出现的故障，进而提高设备的运行效率，保障电站高效运行。本文介绍光伏智能运维...
什么是交通云控平台
交通云控平台是阿里云面向交通行业打造的，可提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力的大数据开放平台。产品介绍 交通云控平台为交通行业应用的开发提供图、数、智、控、云、视等能力，交通行业开发者可基于平台...
虚拟节点调度方案对比及介绍
常见虚拟节点调度场景 只调度到虚拟节点。在ECS节点资源不足时，将Pod调度到虚拟节点。在 ACK集群基础版 中，调度场景1推荐您使用label alibabacloud.com/eci=true 完成，调度场景2推荐您升级到 ACK集群Pro版，来获取更丰富的产品层次能力...
Alibaba Cloud Linux 2系统中TCP拥塞控制算法BBR对...
本文为您介绍Alibaba Cloud Linux 2系统中TCP拥塞控制算法BBR（Bottleneck Bandwidth and RTT）对网络性能有影响的原因及解决方案。问题描述 符合下列条件的ECS实例中，内核TCP拥塞控制算法默认为BBR算法。该算法会在CPU使用率高、网络数据...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
配置集群连接
步骤四：执行安装命令 在目标集群导入下载的描述文件并解压后执行安装命令，完成应用的安装与授权。安装命令如下：重要 执行安装命令前，请联系Dataphin部署运维团队获取自定义资源组引用的镜像文件，并在目标集群的指定机器中导入镜像。每...
自主排查SSL-VPN连接问题
加密算法不一致 SSL服务端与客户端加密算法配置不一致 Authenticate/Decrypt packet error:cipher final failed 请确认客户端安装的SSL客户端证书的加密算法是否与SSL服务端的加密算法一致。如果不一致，请删除现有的SSL客户端证书及所有...
在PyODPS节点中调用第三方包
背景信息 DataWorks支持可视化创建Python资源，若需要依赖开源第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务代码时引用，如果...
横向网关产品特性汇总
一致性哈希ring_hash算法：适用于需要根据Header某些字段做流量调度的场景。一致性哈希Maglev算法：适用于需要根据Header某些字段做流量调度的场景。简单来说Maglev相比ring_hash散列效果更优，Envoy默认采用该算法。会话保持Sticky ...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
数据开发
生产环境节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期入、输出等详细信息以及部署信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的混合编排组成的...
通过ack-co-scheduler组件实现协同调度
与原生的Kubernetes调度器相比，容器服务ACK的调度器扩展出更多其他功能，例如Gang Scheduling、CPU拓扑感知、ECI弹性调度等。本文介绍通过为注册集群安装ack-co-scheduler组件的方式，以实现在您的本地集群中使用阿里云容器服务ACK的调度...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
工作原理
本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和业务日志等。日志被广泛地应用在系统监控和故障定位中，传统的日志分析手段以分析日志...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
不同引擎支持的脱敏方式
计算引擎 脱敏方式 支持的安全算法 MaxCompute 安全策略算法包、数据库内置函数 若脱敏方式为安全策略算法包，则支持所有脱敏算法，且支持使用FPE加密算法进行脱敏。若脱敏方式为数据库内置函数，则不支持高斯、sha256、sha384、sha512、加...
为K8s应用配置虚拟节点
在Pod进行调度时，如果没有匹配的Node节点（例如已有的ECS work节点资源不足），那么将会由virtual-kubelet-autoscaler接管，把调度失败的Pod重新调度到ECI（虚拟节点）上。安装组件，请参见 安装virtual-kubelet-autoscaler。方式六：配置...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
工作原理
本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会产生各种各样的时序数据，记录了服务的各种指标随时间的变化情况。时序数据的监控分析被广泛地应用在系统监控和故障定位中。对于时序数据...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 2任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
工作原理
本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些...
开发PyODPS 2任务
注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。DataWorks运维助手中安装的Python第三方包，仅支持在DataWorks独享调度资源组本地运行PyODPS任务...
常见问题
接入常见问题 Q：项目中使用自建应用的配置文件，却没有配置移动调度中心域名的分组信息，为什么调用移动调度中心配置接口时能获取到相关 IP 信息？A：移动调度中心返回的信息包括内置应用和自建应用两部分，内置应用中会提前创建域名 IP...
- 产品推荐
- 这些文档可能帮助您