调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
创建管道
使用控制台管理管道 重要 删除或暂停管道之后再提交到管道中的任务，不会被媒体处理MPS调度处理，会返回任务失败。删除或暂停管道之前已经提交的任务不受影响。但已进入处理排队中的任务将无法取消，会正常执行并收取对应的费用。提交任务 ...
调度参数典型场景配置示例
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
实现ECI Pod可用区打散或亲和调度
在ACK Pro版集群或 ACK Serverless集群Pro版 中，您可以通过Kubernetes原生调度语义实现分布式任务的跨可用区打散，以达到高可用区部署的要求，或者通过Kubernetes原生调度语义实现分布式任务在指定可用区中的亲和性部署，以达到高性能部署...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
通过函数计算节点发送邮件
因此，若要在DataWorks周期性调度处理事件函数，则在创建函数时，需要创建用于处理事件请求的事件函数。更多函数类型介绍，详情请参见 函数类型。地域限制 DataWorks目前仅支持华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。对媒体的内容、文字、语音、场景进行多模态分析，实现智能审核、内容理解、智能编辑等多种处理功能。音视频转码 把音视频码流转换...
多可用区创建实例
当您在应对突发流量，进行业务的快速水平扩容时，或者启动大量实例进行Job任务处理时，可能会遇到可用区对应规格实例库存不足或者指定的交换机IP耗尽等特殊情况，从而导致实例创建失败，影响业务。此时，您可以采用指定多可用区的方式来...
创建多可用区的ECI Pod
当您在应对突发流量，进行业务的快速水平扩容时，或者启动大量实例进行Job任务处理时，可能会遇到可用区对应规格实例库存不足或者指定的交换机IP耗尽等特殊情况，从而导致Pod创建失败。此时，您可以采用指定多可用区的方式来创建ECI Pod...
未来规划
结构化与非结构化数据如何融合异构处理，比如如何用向量处理引擎把非结构化数据变成结构化数据，高维向量、多源异构数据处理的技术。数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持...
多可用区创建Pod
当您在应对突发流量，进行业务的快速水平扩容时，或者启动大量ECI Pod进行Job任务处理时，可能会遇到可用区对应规格实例库存不足或者指定的交换机IP耗尽等特殊情况，从而导致Pod创建失败，影响业务。此时，您可以采用指定多可用区的方式来...
修改工作流集群配置
重要 指定多可用区（交换机）时，需要注意以下使用限制：指定的多个交换机必须处于同一VPC。最多可以指定10个交换机。执行以下命令，查看当前交换机。aliyun adcp DescribeHubClusterDetails-ClusterId|jq.Cluster.WorkflowConfig....
文本摘要（生成式）
洗洁精+白醋很多主妇其实都用过洗洁精来清洗油烟机，可能不得要领，清洁程度不一，小哥个人建议用清洁精+白醋，用来擦洗油烟机的面板和油盒，清洗油盒时，需要将油盒拿下来浸泡在洗洁精的温水中，浸泡半个小时左后，用抹布擦拭，可以看到...
工作流调度简介
双向集成调度 调度名称 标准执行模式工作流调用方式 快速执行模式工作流调用方式 定时调度 异步调用 同步调用 SLS调度 异步调用 同步调用 MNS调度 异步调用 同步调用 Kafka调度 异步调用 同步调用 RocketMQ调度 异步调用 同步调用 RabbitMQ...
批量创建质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的校验范围和表实际校验范围不...
批量创建质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的校验范围和表实际校验范围不...
应用管理
交换机ID：填写该地域下所属VPC的交换机ID。示例值：vsw-hp3lqeio*4ef0 安全组ID：ECI应用实例的网络配置。需填写该地域下的安全组ID。示例值：sg-hp3fe5wx*t2la。普通应用 版本 根据需求选择版本。更多信息，请参见 计费说明。专业版 日志...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
多可用区同时快速弹性扩容
这样业务应用Pod Pending后，会抢占各个可用区占位Pod，带有可用区nodeSelector的多可用区占位Pod处于Pending后，节点自动伸缩组件感知到的调度策略就从多个可用区的anti-affinity变成了可用区的nodeSelector，从而可以轻松处理发出扩容...
多可用区同时快速弹性扩容
这样业务应用Pod Pending后，会抢占各个可用区占位Pod，带有可用区nodeSelector的多可用区占位Pod处于Pending后，节点自动伸缩组件感知到的调度策略就从多个可用区的anti-affinity变成了可用区的nodeSelector，从而可以轻松处理发出扩容...
CPU拓扑感知调度
Kubernetes虽然有CPU Manager解决方案处理以上问题，但是因为CPU Manager特性是节点级别的CPU调度选择，所以无法在集群维度中选择最优的CPU Core组合。同时CPU Manager特性要求Pod是Guaranteed时（Pod中的每个容器必须指定CPU请求和CPU限制...
计算资源优化
弹性裸金属服务器具备物理机级别的完整处理器特性（例如Intel VT-x），以及物理机级别的资源隔离优势，特别适合上云部署传统非虚拟化场景的应用。GPU 云服务器 EGS（Elastic GPU Service）：GPU云服务器是基于GPU与CPU应用的计算服务器。...
使用须知
调度资源管理 调度资源 即DataWorks上的调度资源，调度资源用于执行或分发调度系统下发的任务。DataWorks的调度资源分为如下两种模式，详情请参见 查看资源组列表。默认调度资源。指DataWorks的公共资源池。当DataWorks节点并发量很高，...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
启用节点自动伸缩
当集群的容量规划无法满足应用Pod调度时，您可以使用 节点自动伸缩 方案实现节点的自动扩缩。节点自动伸缩 适用于扩容规模较小（例如开启弹性的节点池数量少于20，或对应节点池中的节点数量少于100），工作负载批次较为稳定，以单次伸缩为...
实现任务调度
在EDAS控制台中，已经无缝集成了阿里巴巴的分布式任务调度系统SchedulerX作为核心组件，以实现高效的任务调度管理功能。本文将介绍如何在您的Spring Cloud应用中使用SchedulerX实现任务调度，并部署到EDAS中，实现一个 简单Job单机版 的...
应用管理
交换机ID：填写该地域下所属VPC的交换机ID。示例值：vsw-hp3lqeio*4ef0 安全组ID：ECI应用实例的网络配置。需填写该地域下的安全组ID。示例值：sg-hp3fe5wx*t2la。普通应用 版本 根据需求选择版本。更多信息，请参见 计费说明。专业版 日志...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
负载均衡SLB产品家族介绍
产品简介 阿里云提供全托管式在线负载均衡服务，具有即开即用、超大容量、稳定可靠、弹性伸缩、按需付费等特点，适合超大规模互联网应用，如春节红包、双十一秒杀抢购、大规模在线物联网应用等高并发场景。与传统的硬件型负载均衡自建方案...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
产品优势
高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时调度任务不受影响。安全防护 多层次安全防护：支持HTTPS和VPC访问，基于阿里云的多层安全防护，可有效防止恶意攻击。多租户隔离机制：支持多...
V3.2.35版本升级通知
V3.2.35版本新增支持用户自主配置交换机多可用区、支持用户配置相关消息通知等特性功能，并优化了AD和LDAP用户同步、资产授权流程等，为您提供更好的运维体验。请您提前安排好运维工作计划，并按照指引提前做好相关技术应对预案。升级时间 ...
产品优势
对比项 X86服务器 手机农场 手机板卡 阿里云（ARM服务器虚拟化）性能 需要进行二进制指令翻译，性能损失大 与真机性能一致 性能不会超过真机 底层基于第三代神龙架构，可提供超越真机的性能 稳定性 开源软件实现，稳定性较差 消费级产品，...
- 产品推荐
- 这些文档可能帮助您