调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
创建管道
使用控制台管理管道 重要 删除或暂停管道之后再提交到管道中的任务，不会被媒体处理MPS调度处理，会返回任务失败。删除或暂停管道之前已经提交的任务不受影响。但已进入处理排队中的任务将无法取消，会正常执行并收取对应的费用。提交任务 ...
调度参数典型场景配置示例
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数
数据开发常见问题
调度配置常见问题 调度参数常见问题 典型配置场景 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 如何配置ODPS Spark节点中的时间参数？如何对不便于进行二次处理调度参数返回值的节点进行取值？如何定义调度...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
调度参数
调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间（$cyctime或者$[yyyymmddhh24miss]...
DataWorks大数据开发治理平台
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
通过函数计算节点发送邮件
因此，若要在DataWorks周期性调度处理事件函数，则在创建函数时，需要创建用于处理事件请求的事件函数。更多函数类型介绍，详情请参见 函数类型。地域限制 DataWorks目前仅支持华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口...
文档修订记录
配置代码模板 2023.6.29 新增功能 数据开发 DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。函数计算节点 2023.6.29 新增功能 管理控制 创建E-MapReduce计算引擎数据源：...
工作流调度简介
双向集成调度 调度名称 标准执行模式工作流调用方式 快速执行模式工作流调用方式 定时调度 异步调用 同步调用 SLS调度 异步调用 同步调用 MNS调度 异步调用 同步调用 Kafka调度 异步调用 同步调用 RocketMQ调度 异步调用 同步调用 RabbitMQ...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
术语表
术语 全称 中文 说明 OSS Object Storage Service 阿里云对象存储 媒体处理服务对用户存储于OSS的媒体文件进行转码，并将转码输出文件保存在MediaBucket中或者OutputBucket中。Bucket OSS Bucket OSS Bucket 遵守OSS Bucket定义，只能包括...
产品优势
高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时调度任务不受影响。安全防护 多层次安全防护：支持HTTPS和VPC访问，基于阿里云的多层安全防护，可有效防止恶意攻击。多租户隔离机制：支持多...
产品优势
对比项 X86服务器 手机农场 手机板卡 阿里云（ARM服务器虚拟化）性能 需要进行二进制指令翻译，性能损失大 与真机性能一致 性能不会超过真机 底层基于第三代神龙架构，可提供超越真机的性能 稳定性 开源软件实现，稳定性较差 消费级产品，...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。对媒体的内容、文字、语音、场景进行多模态分析，实现智能审核、内容理解、智能编辑等多种处理功能。音视频转码 把音视频码流转换...
自定义资源组
如何处理添加自定义调度资源服务器失败的情况？如何处理服务器突然终止服务且重启失败的情况？如何处理自定义调度资源下的任务长期等待资源的情况？如何暂停和初始化Agent服务？重启ECS后，如何使Agent自行恢复服务？如何处理无法启动...
实现ECI Pod可用区打散或亲和调度
已在eci-profile中配置多个期望调度的目标可用区（即配置多个交换机）。具体操作，请参见 多可用区创建Pod。使用限制 目前仅支持设置 topologyKey 为 topology.kubernetes.io/zone 的用法。不支持设置ECI Pod的交换机顺序。如果ECI Pod通过...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
计费说明-全托管
敏捷研发版定价 数据处理单元规格 调度资源 定价（CNY/月）200 8C32G 4,000 数据处理单元统计规则如下，仅统计已发布、周期调度的任务或表，不统计手动任务。数据处理单元总量=数据同步任务数+计算任务（离线）数+数据集成任务数 各版本...
创建倍速转码任务
针对带有视频流转码的任务，媒体处理MPS基于智能转码引擎和强大的云上资源调度能力，通过将视频源切分为多个较小的片段，使用多台转码机并行转码的方式提升视频流转码效率，显著缩短处理耗时。实现原理如下图：功能特性 类型 说明 加速倍数...
Spring任务
常见问题 SchedulerX接管后原Spring定时器依旧运行 由于应用中配置了自定义的Scheduler调度器导致SchedulerX覆盖自定义处理器。请排查业务应用工程中是否存在实现 org.springframework.scheduling.annotation.SchedulingConfigurer 接口的...
Second delay
通过内存网格和秒级别调度，可以不停地处理海量的数据。统计信息：SchedulerX还提供了秒级别任务的统计信息，例如当天执行了多少次，成功的次数和失败的次数，最近10次运行结果等。Second delay定时配置示例 在创建调度任务时可以使用...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
管道概述
基本概念 管道有启用、禁用两种状态，管道被暂停时，媒体处理服务不再调度此管道中的作业执行，直到管道被重新启用为止，已在执行中的作业不受影响。管道中的任务可以有多种优先级。通过API提交的任务可以自定义优先级，最高为10，最低为1...
数据消费框架原理
初始化TunnelStateMachine，用于进行Channel状态机的自动化处理。固定间隔进行Heartbeat 心跳的间隔由TunnelWorkerConfig中的heartbeatIntervalInSec参数决定。进行Heartbeat请求，从Tunnel服务端获取最新可用的Channel列表，Channel中会...
公交出行：启迪公交
智能的实时客流系统自动化分析客流情况，实时监控北京公交2万多辆公交车的运行状态，结合车辆和机具运行状态生成调度方案，助力场站调度人员实现更加合理的调度排班方案。实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务...
工作原理
场景二：从某个历史时间点开始执行定时SQL任务 在当前时间点创建定时SQL任务后，按照调度规则对历史数据进行处理，从调度的开始时间创建补运行的实例，补运行的实例依次执行直到追上数据处理进度后，再按照预定计划执行新实例。场景三：...
Second delay
通过内存网格和秒级别调度，可以不停地处理海量的数据。统计信息：SchedulerX还提供了秒级别任务的统计信息，例如当天执行了多少次，成功的次数和失败的次数，最近10次运行结果等。Second delay定时配置示例 在创建调度任务时可以使用...
调度概述
多NUMA机型的容器内存就近访问加速 虚拟交换机剩余IP状态感知调度 原生Kubernetes集群调度器对节点所属虚拟交换机是否有剩余IP不感知。在多个集群同时使用同一个虚拟交换机或多个节点同时使用同一个虚拟交换机时，可能出现Pod调度到节点上...
Second delay
通过内存网格和秒级别调度，可以不停地处理海量的数据。统计信息：SchedulerX还提供了秒级别任务的统计信息，例如当天执行了多少次，成功的次数和失败的次数，最近10次运行结果等。Second delay定时配置示例 在创建调度任务时可以使用...
实现任务调度
在EDAS控制台中，已经无缝集成了阿里巴巴的分布式任务调度系统SchedulerX作为核心组件，以实现高效的任务调度管理功能。本文将介绍如何在您的Spring Cloud应用中使用SchedulerX实现任务调度，并部署到EDAS中，实现一个 简单Job单机版 的...
任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
Pod诊断
类别 支持的异常场景 Pod诊断 Pod未被调度器处理。Pod不满足调度约束无法被调度。Pod已调度但未被Kubelet处理。Pod等待存储卷就绪。Pod被驱逐。Pod因节点磁盘空间不足被驱逐。Pod因节点内存不足被驱逐。Pod因节点磁盘索引不足被驱逐。Pod的...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
什么是SCDN
高速缓存：高性能的缓存Cache系统设计，均衡使用CPU多核处理能力，高效合理使用和控制内存，最大化SSD IOPS和吞吐。高速读写：各节点具备高速读写固态硬盘SSD存储，配合SSD加速能力，大幅减少用户访问等待时间，提高可用性。智能压缩：智能...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
多终端节点组流量调配原理及应用场景
正常情况下，北京和上海客户端的访问请求会被就近接入对应的加速地域，通过监听检查处理，再根据流量调配值和调度优先级分别转发至对应的终端节点组。为保证应用能持续稳定的对外提供服务，要求北京或上海其中任意一个地域的应用出现异常时...
智能解析调度不准问题
概述 本方法只针对使用阿里云解析DNS产品的域名，若您的域名托管在其他厂商的DNS服务器上，请联系您的DNS服务器厂商处理。使用阿里云解析DNS服务器的域名，如果您设置的智能解析线路出现调度不准的情况，可以参考如下内容进行排查。说明 ...
- 产品推荐
- 这些文档可能帮助您