调度概述
ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同...
设置节点调度状态
您可以通过容器服务控制台设置节点调度状态，从而合理分配各节点的负载。操作步骤 登录 容器服务管理控制台，在左侧导航栏选择 集群。在 集群列表 页面，单击目标集群名称，然后在左侧导航栏，选择 节点管理>节点。在 节点 页面中，在目标...
成本估算策略介绍
Pod成本的计算公式如下所示：权重值依据集群的调度水位确定，集群中CPU调度水位和内存调度水位的比例、权重的计算方式如下所示：CPU调度水位：内存调度水位：CPU权重：内存权重：使用示例 通过以下两种示例，展示如何选择成本估算策略。...
kube-scheduler组件监控
队列种类如下：unschedulable：表示不可调度的Pod数量。backoff：表示backoffQ的Pod数量。active：表示activeQ的Pod数量。scheduler_pod_scheduling_attempts_bucket Histogram 调度器尝试成功调度Pod的次数，Bucket阈值为1、2、4、8、16。...
数据开发：开发者
说明 若当节点查询（即使用 select 语句）非DataWorks调度节点产出的表数据，您可选择 自动解析 为否，并使用工作空间根节点来调度当前节点运行。若当前节点查询（即使用 select 语句）其他任务产出的表数据，您可通过以下方式配置当前节点...
概述
测试用的 PolarDB 集群规格为32核256 GB（独享规格）×4节点，单节点并行度 max_parallel_degree 分别设置为32和0，对比PolarDB串行执行、单节点32并行度执行、4节点128并行度执行的性能数据，具体测试步骤请参见 并行查询性能。...
消息 Mesh
消息 Mesh 流量调度：消息流量精细化调度上的思考和在 Mesh 上的实现与落地。消息 Mesh 简介 Service Mesh 作为云原生场景下微服务架构的基础设施（轻量级的网络代理），正受到越来越多的关注。Service Mesh 不仅负责在微服务架构的复杂...
配置并使用调度参数
表达式方式 用表达式定义 调度参数配置界面默认使用可视化方式定义参数，如果您习惯使用表达式定义，则可单击 用表达式定义 进行参数定义。说明 使用表达式定义时，多个参数之间使用空格分隔。当通过 用表达式定义 方式，添加、删除或修改...
调度集群管理概述
说明 资源总量为系统从自定义集群采集到的，可用于Dataphin任务调度的指定机器的可用资源总量（CPU和内存）。调度集群包括等待资源上报、等待超时、正常、异常状态。更多信息，请参见 调度集群状态。编辑：单击 可以编辑选中的调度集群。...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
创建并使用PAI DLC节点
开发SQL代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在 调度配置>参数 处，为该变量赋值。调度参数支持的格式，详情请参见 调度参数支持的...
StarRocks
DataWorks的StarRocks节点可进行StarRocks任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用StarRocks节点进行任务开发的主要流程。背景信息 StarRocks是新一代极速全场景MPP（Massively Parallel Processing）数据库，...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
扩展MapReduce（MR2）
与Hadoop Chain Mapper/Reducer对比 Hadoop Chain Mapper/Reducer也支持类似的串行化Map或Reduce操作，但和MaxCompute的扩展MapReduce（MR2）模型有本质的区别。Chain Mapper/Reducer基于传统的MapReduce模型，仅可以在原有的Mapper或...
YARN调度器
基础架构&核心流程 CapacityScheduler的主调度流程有三种触发方式：节点心跳驱动（Node-Heartbeat Driven）：是面向节点的局部调度（当调度器收到每个节点心跳时触发，为当前节点选择可调度的应用），受限于心跳间隔时间与接近随机调度，...
工作原理
大部分场景下，连续生成的实例的调度时间是连续的，可处理完整的数据集。SQL时间窗口：定时SQL任务运行时，日志服务仅分析该时间范围内的数据。SQL时间窗口基于调度时间计算而得，左闭右开格式，且与实例的创建时间、执行时间无关。例如...
CPU拓扑感知调度
ack-koordinator默认会将资源画像、精细化调度等功能的监控指标以Prometheus的格式对外透出。若您配置组件时开启了 ACK-Koordinator开启Prometheus监控指标 选项并使用了阿里云Prometheus服务，这些指标将被视为 自定义指标 并产生相应费用...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
计算资源使用
通过对Quota配置规则条件，实现满足规则条件的作业可调度到对应Quota。配额组（Quota）使用逻辑图如下所示。Project设置默认Quota Project设置默认计算Quota，即此Project发起的作业默认会使用默认Quota的资源进行计算，无需其他设置。新建...
基础监控
混部资源的总量与实际资源利用率有关，会随着节点的空闲物理资源量动态变化，是在离线混部额外提供的可调度资源，也是衡量在离线混部收益的关键指标之一。混部资源总量 分为CPU和内存两个资源维度，分别展示了集群当前可供应用混部调度的...
集群调度
ADP底座提供了集群整体的精细化调度能力，可以在一个配置文件中，以全局的视角，根据不同业务场景（例如中间件、核心业务应用、非核心业务应用等）筛选不同的Workload，然后配置统一的调度策略和资源隔离策略等。Spec定义 Workload 发布...
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
任务未运行
正常调度任务运行需要有多个条件：调度资源、定时时间、上游节点运行状态、调度属性为正常调度（未被冻结）。序号 状态类型 状态标识 运行流程图 1 运行成功状态 2 未运行状态 3 运行失败状态 4 正在运行状态 5 等待状态 6 暂停/冻结状态 ...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
开心消消乐使用ALB从容应对大流量和高并发场景
更低时延，更优体验：部署一套服务端，通过URL转发规则实现不同优先级业务的差异化调度，满足个性化路由转发需要。面向未来，可扩展：ALB 可以作为容器的Ingress入口，容器化技术演进可平滑升级。更多信息 什么是应用型负载均衡ALB 云解析...
Spring任务
通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX平台具体操作，请参见 Spring Boot应用接入SchedulerX。接入指南 接入配置 以Spring Boot接入模式为例，应用...
DataWorks On CDP/CDH使用说明
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
创建安全沙箱应用
您可以在安全沙箱Kubernetes集群中使用镜像创建一个可公网访问的nginx应用。索引 前提条件 步骤一：登录容器服务控制台 步骤二：配置应用基本信息 步骤三：配置容器（可选）步骤四：高级配置 查看结果 执行结果 前提条件 创建一个安全沙箱...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
ACK One概述
开箱即用的备份中心，提供应用和数据保护，并支持跨地域完整应用和数据一体迁移，以及应用多活部署的快速实施。提供了全域的应用分发、任务分发、流量治理能力，帮助企业客户基于自己的业务分布和数据管控诉求，全面构建安全、标准、现代化...
RunServiceSchedule-执行设备服务调度
枚举类型，取值范围：容器化场景：Start：选择并激活一个可调度云设备，启动服务 Stop：结束并释放云设备 Console：Uuid 处于调度中状态时，进行命令交互 裸金属/虚机场景：PreSchedule：预调度并锁定虚机实例 Confirm：确认调度 Cancel：...
存储多可用区部署的推荐配置
通过存储多可用区部署优化，可以帮您最大限度地减少应用发布中断，确保关键业务系统和应用在各种故障情况下能持续运行。本文介绍存储在多可用区部署时的推荐配置。背景信息 Kubernetes强大的容器编排能力，使得用户在Kubernetes上构建大...
Spring应用接入SchedulerX
如果用的是logback，需要把log4j和log4j2排除掉-><exclusions><exclusion><groupId>org.apache.logging.log4j</groupId><artifactId>log4j-api</artifactId></exclusion><exclusion><groupId>org.apache.logging.log4j</groupId>...
- 产品推荐
- 这些文档可能帮助您