附录:周期任务补数据

周期任务开发完成并提交发布后,任务会按照调度配置定时运行,如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据,可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...

PolarDB并行查询

串行优化流程中做针对并行执行的补强,例如修正table扫描方式等,这也是上面性能数据中Q6/Q12会有超线性加速比的原因。全算子统计信息推导+代价计算,补充了一系列的cost formula和cardinality estimation推导机制。自适应执行策略 在早期...

设置节点调度状态

您可以通过容器服务控制台设置节点调度状态,从而合理分配各节点的负载。操作步骤 登录 容器服务管理控制台,在左侧导航栏选择 集群。在 集群列表 页面,单击目标集群名称,然后在左侧导航栏,选择 节点管理>节点。在 节点 页面中,在目标...

kube-scheduler组件监控

队列种类如下:unschedulable:表示不可调度的Pod数量。backoff:表示backoffQ的Pod数量。active:表示activeQ的Pod数量。scheduler_pod_scheduling_attempts_bucket Histogram 调度器尝试成功调度Pod的次数,Bucket阈值为1、2、4、8、16。...

XxlJob任务

高可用 SchedulerX 2.0采用高可用架构,任务多备份机制,经历过阿里集团多年双十一、容灾演练等场景的考验,可以做到整个集群挂掉任意2个节点或者任意一个机房断电,任务调度都不会受到影响。商业报警运维 SchedulerX 2.0除了兼容XXL-JOB...

XxlJob任务

高可用 SchedulerX 2.0采用高可用架构,任务多备份机制,经历过阿里集团多年双十一、容灾演练等场景的考验,可以做到整个集群挂掉任意2个节点或者任意一个机房断电,任务调度都不会受到影响。商业报警运维 SchedulerX 2.0除了兼容XXL-JOB...

XxlJob任务

高可用 SchedulerX 2.0采用高可用架构,任务多备份机制,经历过阿里集团多年双十一、容灾演练等场景的考验,可以做到整个集群挂掉任意2个节点或者任意一个机房断电,任务调度都不会受到影响。商业报警运维 SchedulerX 2.0除了兼容XXL-JOB...

如何在SchedulerX 2.0平台上托管XXL-JOB任务

阿里巴巴商业任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口,支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码,即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...

节点自动伸缩

当Pod处于Pending状态的原因调度资源不足的时候,会触发cluster-autoscaler的模拟调度,模拟调度器会计算在配置的伸缩组中哪个伸缩组弹出节点后可以调度这些Pending的Pod。如果有伸缩组可以满足需求,那么就弹出相应的节点。模拟调度就是...

弹性伸缩FAQ

在创建实例的过程中因为虚拟、OS占用一部分。详细信息,请参见 购买实例后查看内存大小,为什么和购买时的实例规格定义不一致?需要占用一定的节点资源来运行相关组件(例如kubelet、kube-proxy、Terway、Container Runtime等)。详细...

数据开发

调度依赖配置:配置调度依赖的目的是为了保障上游表产出完成才会触发下游读取数据,而当前节点上游的数据是静态的,不需要等待产出,所以本节点的上游依赖配置为工作空间根节点,即周期依赖的上游节点配置为"使用工作空间根节点",其他...

如何在SchedulerX 2.0平台上托管ElasticJob任务

分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口,您无需修改代码,即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...

任务常见问题

jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因?开启专业版,使用链路追踪。具体操作,请参见 如何接入链路追踪。任务运行实例达到上限怎么办?问题现象:在任务管理页面,单击 运行一次,收到 任务运行实例达到上限,请稍后重试...

历史记录

1.2.3.1,2020-12-16 问题修复 修复客户端负载高把任务调度长连接打,导致任务无法继续调度的问题。1.2.2.2,2020-12-10 新特性 支持容器内采集容器真实CPU使用率。需要增加配置,以starter为例:spring.schedulerx2.enableCgroupMetrics...

Java SDK

无 1.2.3.1,2020-12-16 变更类型 功能描述 相关文档 优化 优化客户端负载高把任务调度长连接打,导致任务无法继续调度的问题。无 1.2.2.2,2020-12-10 变更类型 功能描述 相关文档 新增 支持容器内采集容器真实CPU使用率。需要增加配置...

任务常见问题

jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因?开启专业版,使用链路追踪。具体操作,请参见 如何接入链路追踪。任务运行实例达到上限怎么办?问题现象:在任务管理页面,单击 运行一次,收到 任务运行实例达到上限,请稍后重试...

任务常见问题

jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因?开启专业版,使用链路追踪。具体操作,请参见 如何接入链路追踪。任务运行实例达到上限怎么办?问题现象:在任务管理页面,单击 运行一次,收到 任务运行实例达到上限,请稍后重试...

UpdateTaskFlowSchedule-更新任务流调度配置

其中 定时调度可配置调度一次或周期调度,事件调度可配置的订阅包括任务流和任务流节点。配置更新后,将任务流重新发布并部署,新的任务流实例将按照配置的调度设置进行调度。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算...

StarRocks

DataWorks的StarRocks节点进行StarRocks任务的开发和周期性调度,以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP(Massively Parallel Processing)数据库,...

创建并使用PAI DLC节点

开发SQL代码:使用调度参数 DataWorks提供的 调度参数 实现周期调度场景下代码动态入参,您在节点任务中通过${变量名} 的方式定义代码中的变量,并在 调度配置>参数 处,为该变量赋值。调度参数支持的格式,详情请参见 调度参数支持的...

扩展MapReduce(MR2)

相比于传统的MapReudce,MaxCompute提供的扩展MapReduce模型(简称MR2)改变了底层的调度和IO模型,避免作业时冗余的IO操作。与MaxCompute相比,MR2在Map、Reduce等函数编写方式上基本一致,较大的不同点发生在执行作业时,示例请参见 ...

YARN调度

Heartbeat Driven):是面向节点的局部调度(当调度器收到每个节点心跳时触发,为当前节点选择可调度的应用),受限于心跳间隔时间与接近随机调度,可能有较大比例的节点调度因资源不足、调度需求不满足等原因未命中,调度效率较差。...

设置Pod故障处理策略

此时,Pod status.reason不会显示ContainerInstanceScheduleFailed,您也可以查看Pod status condition,通过ContainerInstanceCreated的reason和message确定当前调度周期内调度失败的原因。{"conditions":[{"lastProbeTime":"2023-03-30T...

提交节点报错:当前节点依赖的父节点输出名不存在

不是DataWorks每天调度产出的表数据,是不需要设置节点依赖关系的,这类表依赖可以删除,删除后提交节点时,会出现血缘关系与调度依赖配置不一致的提示,您确认一下,是否除了删除的非周期性生成数据表的依赖关系外,没有其他血缘与调度...

Dataphin补数据任务空跑调度了是什么原因

问题描述 Dataphin补数据任务空跑调度了是什么原因?问题原因 按当前的调度配置,补20220930(月末)的数据空跑了是正常的。补数据选择的是业务日期,而调度周期配置的是调度日期,如果补数据时选择的业务日期是20220930,那么对应的调度...

工作原理

大部分场景下,连续生成的实例的调度时间是连续处理完整的数据集。SQL时间窗口:定时SQL任务运行时,日志服务仅分析该时间范围内的数据。SQL时间窗口基于调度时间计算而得,左闭右开格式,且与实例的创建时间、执行时间无关。例如...

DataWorks任务

SchedulerX支持定时调度DataWorks任务,并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排,完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端,将具备访问DataWorks(需开通企业版)...

使用Gang scheduling

ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力,解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源:使用弹性节点池时请保证弹性节点池的最大资源量以及节点...

使用Gang scheduling

ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力,解决原生调度器无法支持All-or-Nothing作业调度的问题。本文介绍如何使用Gang scheduling。重要提示 请预留足够资源:使用弹性节点池时请保证弹性节点池的最大资源量以及节点...

DataWorks权限相关

问题原因 引擎绑定完成后,您需要对当前引擎所使用的网络环境(即所使用的独享调度资源组)进行初始操作。确保Hologres实例与DataWorks独享调度资源组的网络环境处于连通状态,否则将无法运行任务。说明 部分Hologres实例类型无需执行...

等待资源

使用公共调度资源组 通过智能诊断查看 您进入 运维中心>智能诊断,输入实例ID,对任务进行全链路分析,查看当前任务执行、排队情况,以及当前任务等待资源时,哪些任务占用了资源。快速定位长期占用资源,阻塞链路执行的任务。详情请参见...

消息 Mesh

消息 Mesh 流量调度:消息流量精细化调度上的思考和在 Mesh 上的实现与落地。消息 Mesh 简介 Service Mesh 作为云原生场景下微服务架构的基础设施(轻量级的网络代理),正受到越来越多的关注。Service Mesh 不仅负责在微服务架构的复杂...

DataWorks任务

SchedulerX支持定时调度DataWorks任务,并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排,完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端,将具备访问DataWorks(需开通企业版)...

加工数据

本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d,通过DataWorks的ODPS SQL节点加工得到目标用户画像数据,阅读本文后您了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...

DataWorks大数据开发治理平台

DataWorks为您提供函数计算节点,您通过该节点周期性调度处理事件函数,并完成与其它类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。背景信息 DataWorks 基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为...

智能诊断

智能诊断功能可以帮助您迅速定位上游任务运行失败的原因。检查是否已到达任务设置的定时运行时间。说明 在数据开发模块中定义任务的调度属性时,需要设置任务在调度环境中的预期运行时间,但任务实际运行时间可能由于上游任务运行失败等...

使用负载感知调度

ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务,这些指标将被视为 自定义指标 并产生相应费用...

依赖关系

为什么要设置调度依赖 配置调度依赖后,保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataWorks通过节点运行的状态识别到上游表的最新数据已产生,此时,下游节点再去取数)。避免下游节点取数据时,上游表...

开心消消乐使用ALB从容应对大流量和高并发场景

更低时延,更优体验:部署一套服务端,通过URL转发规则实现不同优先级业务的差异化调度,满足个性化路由转发需要。面向未来,扩展:ALB 可以作为容器的Ingress入口,容器化技术演进平滑升级。更多信息 什么是应用型负载均衡ALB 云解析...

开心消消乐使用ALB从容应对大流量和高并发场景

更低时延,更优体验:部署一套服务端,通过URL转发规则实现不同优先级业务的差异化调度,满足个性化路由转发需要。面向未来,扩展:ALB 可以作为容器的Ingress入口,容器化技术演进平滑升级。更多信息 什么是应用型负载均衡ALB 云解析...
共有155条 < 1 2 3 4 ... 155 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
批量计算 音视频通信 视觉计算服务 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用