使用Gang scheduling
例如，当您提交一个包含多个任务的批量Job时，可能会出现多个任务全部调度成功或者都调度失败的情况。这种All-or-Nothing调度场景，就被称作Gang scheduling。ACK将一组需要同时调度的Pod称为PodGroup。您在提交All-or-Nothing作业时，可以...
概述
为什么需要冷启动 通常推荐系统通过协同过滤、矩阵分解或是深度学习模型来生成推荐候选集，这些召回算法一般都依赖于用户-物品行为矩阵。在真实的推荐系统中，会有源源不断的新用户、新物品加入，这些新加入系统的用户和物品由于缺乏足够...
工作流编辑
调度开启后，工作流编辑画布上方会出现 调度中 的状态提示。停止：调度状态为停止。时间属性调度 开始时间 工作流调度的开始时间。结束时间 可选，工作流调度的结束时间。调度周期 工作流调度的周期。CRON表达式 工作流调度周期的CRON表达...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
内存管理
长期运行过多的小内存会出现碎片，会隔断大内存空间。blk小内存快速申请：blk小内存算法申请的内存最小为4字节对齐，小于RHINO_CONFIG_MM_BLK_SIZE大小的内存块会优先从blk算法中申请，不够的再从通过buddy申请。内存申请时，优先从对应...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
使用 Gang Scheduling
功能介绍 作业（Job）一般会创建多个 Pod，并且这些 Pod 需要协调一致地启动运行。这要求在调度时一定要按照一组 Pod 分配资源，保障这一组 Pod 都可以申请到资源，或者一旦有一个 Pod 拿不到资源就认为整组 Pod 调度失败。这也就是调度器...
开发环境场景画布概览
当打开时，开发环境场景画布中引用配置规则的模型后，画布中会自动生成质量检测节点，画布中对应节点连线会出现 图标。单击 图标，场景画布中显示或者隐藏依赖节点。单击 图标，批量设置开发环境场景的监控配置以及告警配置信息。标识当前...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
服务介绍
执行计划，是物联网边缘计算为LE-V-B004型号边缘一体机提供的视觉算法和调度策略。在同等算力下，开通执行计划的LE-V-B004型号边缘一体机，可扩展更多IPC设备进行算法推理。背景信息 执行计划应用于社区、园区等物业管理场景，通过本地AI...
开发环境场景画布概览
当打开时，开发环境场景画布中引用配置规则的模型后，画布中会自动生成质量检测节点，画布中对应节点连线会出现 图标。单击 图标，场景画布中显示或者隐藏依赖节点。单击 图标，批量设置开发环境场景的监控配置以及告警配置信息。标识当前...
工作流使用案例
开启后，工作流编辑画布上方会出现调度中的状态提示。时间属性调度 设置工作流调度的开始时间和调度周期，在此时间范围内，系统会根据您设置的周期执行工作流。依赖属性调度 选择当前工作流的前续工作流。当前续工作流执行完成后，当前工作...
美颜特效SDK通用问题
出现原因：常见是由于纹理ID错误或生成纹理错误所致，偶尔会出现个别客户对返回后的纹理ID使用不当或使用无效纹理ID进行自身业务层的绘制而产生黑屏的问题。解决方法：美颜特效SDK 的渲染层基于OpenGL实现，只要确保传入 美颜特效SDK 接口...
阿里云CDN的五大竞争力
源站可靠性：可以配置主备源站，阿里云CDN能够持续监测主备源站的状态，在主站出现故障的时候能够及时切换到备站。价格竞争力 性能和技术强大的同时，阿里云CDN的价格同样很有竞争力：计费方式灵活多样，详细信息，请参见 计费概述。预付费...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
SSL-VPN连接常见问题
原因分类 原因 解决方案 公网链路质量不佳 如果您使用SSL-VPN连接进行长距离通信（例如美国（硅谷）到新加坡），在客户端访问VPC的过程中，则可能会出现客户端间歇性中断下线的情况。请在阿里云侧将SSL服务端的 协议 修改为 TCP（可靠性更...
DDoS高防和CDN或DCDN联动
当网站既需要访问加速，又需要进行DDoS防护时，可以使用DDoS高防和加速产品...相关文档 什么是阿里云CDN 什么是DCDN 阿里云黑洞策略 常见问题 CDN或DCDN能否和DDoS高防串联？域名既使用了CDN或DCDN加速，又使用了DDoS高防，如何配置DNS解析？
创建定时调度
说明 如果您使用的时区存在夏令时和冬令时的区分，在夏令时和冬令时切换的过程中可能会出现重复执行或少执行的情况，建议将执行时间设置在夏令时和冬令时切换的时间段外。下表为时间表达式常用示例。例如您希望工作流在北京时间12:00被调度...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
ETL工作流快速体验
调度参数常用列表 DataWorks MaxCompute 数据开发 调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数动态替换。通常，您可选择基于业务日期或定时时间获取相应的时间数据。案例配套文档...
HTTP任务
定时参数说明如下：配置项 说明 时间类型 none：无调度方式，一般通过工作流触发。cron：Cron表达式。api：通过API触发。fixed_rate：固定频率。second_delay：秒级固定延迟。onetime：一次性任务。cron表达式（仅适用于 cron 时间类型）...
权限管理与规范化数据开发
根据表血缘来配置节点调度依赖后，可以保障调度任务在运行时能取到正确的数据，避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。在DataWorks依赖配置中，上游节点的输出作为下游节点的输入，形成节点依赖关系。...
算法说明
日志服务提供智能巡检功能，用于对监控指标或业务日志等数据进行全自动、智能化、自适应的异常巡检。目前智能巡检使用流式图算法、流式分解算法...在噪声较大的情况下，由于噪声的干扰，可能会出现漏报或者错报的情况。预览示例如下图所示。
文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
HTTP任务（Serverless）
定时参数说明如下：配置名称 意义 时间类型 none：无调度方式，一般通过工作流触发。cron：Cron表达式。api：通过API触发。fixed_rate：固定频率。second_delay：秒级固定延迟。onetime：一次性任务。cron表达式（仅适用于 cron 时间类型）...
SimRank+相似度计算算法
本文介绍了推荐系统中一个常用的协同过滤算法SimRank，包括它的算法原理，及其应用在个性化推荐场景时的改进。同时，本文还描述了如何在生产环境部署SimRank+算法。算法简介 SimRank算法是一种用于衡量结构上下文中个体相似度的方法，其...
如何使单应用支持十万以上的定时任务
大部分场景下使用一个MapReduce分布式任务是可以解决的，但是如果由于报警规则的复杂程度不同而导致执行时间差异较大时，有可能出现一个报警子任务没有执行完而阻塞整个任务下次调度。所以，可以给每个报警规则配置一个定时单机任务。当...
评分卡训练
评分卡是信用风险评估领域常用的建模工具，其原理是通过分箱输入将原始变量离散化后再使用线性模型（逻辑回归或线性回归等）进行模型训练，其中包含特征选择及分数转换等功能。同时也支持在训练过程中为变量添加约束条件。说明 如果未指定...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
识别规则及识别方式
选择项目的计算源需要有访问其他项目的权限，否则可能会出现无法扫描的情况。单击 确定，完成识别规则调度周期的配置。自动继承配置 单击 自动继承配置，进入 基于血缘自动继承配置 对话框。在 基于血缘自动继承配置 对话框，配置参数。...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
常见问题
问题描述 在ACK+Virtual Node的场景下，可能会出现Pod显示已经调度到virtual-kubelet节点，但是一直没有新的事件更新的现象。这种情况下，您需要获取对应的virtual-kubelet日志，根据报错信息进行问题排查。说明 如果有新的事件产生，您...
任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
Pod诊断
节点文件系统只读状态 节点出现文件系统只读，通常是因为磁盘故障，会导致节点无法写入数据，可能造成业务异常。请尝试在节点上使用fsck命令修复文件系统，然后重启节点。节点硬件时间 检查节点硬件时钟与系统时间是否一致，时间相差超过2...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。节点伸缩（资源层弹性）：在集群的容量规划不能满足集群调度容量时，会扩容节点资源，进行调度容量的补充。两...
K8s任务
如下所示，获取SchedulerX任务参数值：优势 相较于K8s原生的Job功能，采用SchedulerX调度K8s Job具有以下显著优势：可在线编辑的脚本Pod K8s Job常用场景是用来做数据处理和运维，一般以脚本实现居多。原生的使用方式需要把脚本打包到镜像...
创建安全沙箱应用
说明 权重：设置一条软约束规则的权重，介于1~100，通过算法计算满足软约束规则的节点的权重，将Pod调度到权重最大的节点上。应用非亲和性 决定应用的Pod不与哪些Pod部署在同一拓扑域。应用非亲和性调度的场景包括：将一个服务的Pod分散...
自主排查IPsec-VPN连接问题
如果在两端均为 main（主模式）的场景下IPsec连接依旧协商不成功（部分极端场景下会出现当前问题），请尝试将两端的协商模式修改为 aggressive（野蛮模式）。NAT-T不匹配 NatTMismatch NAT穿越不匹配 ignore the packet,received ...
- 产品推荐
- 这些文档可能帮助您