什么是故障演练
故障演练是一款遵循混沌工程实验原理并融合了阿里巴巴内部实践的产品，提供丰富故障场景，能够帮助分布式系统提升容错性和可恢复性。流程 故障演练建立了一套标准的演练流程，包含准备阶段、执行阶段、检查阶段和恢复阶段。通过四阶段的...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
基本概念
您可以通过拖拽形成依赖关系，其调度周期会继承工作流任务的调度周期，无法进行单独配置。实例（Instance）实例是某个任务在某时某刻执行的一个快照。调度系统中的任务，经过调度系统、手动触发运行后，会生成一个实例。实例中会有任务的...
什么是阿里云CDN
精准的调度系统：实时获取CDN节点的健康状况，并根据用户所在位置和运营商来分配最佳接入节点，以便取得最佳接入效果。智能的传输链路：通过协议优化、连接优化等措施来降低总体时延、提高传输速度，尤其是提高弱网环境下的传输速度。高效...
调度参数配置最佳实践
背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
公共调度资源组计费说明：按量付费
DataWorks为您提供公共调度资源组用于任务调度运行。公共调度资源组的计费方式为按量计费，本文为您介绍公共调度资源组的按量计费详情。背景信息 概念介绍 公共调度资源组是DataWorks提供的公共资源组的一种，计费方式为按量计费。所有阿里...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
OSS数据离线同步至MaxCompute
带参运行 可以针对任务配置中使用的调度系统参数进行替换。提交和发布任务 试运行没有问题后，您可以保存离线节点的配置，并提交发布至运维中心，后续离线同步任务将会周期性（分钟或小时或天）将OSS的数据写入MaxCompute的表中。提交发布...
OSS数据离线同步至MaxCompute
带参运行 可以针对任务配置中使用的调度系统参数进行替换。提交和发布任务 试运行没有问题后，您可以保存离线节点的配置，并提交发布至运维中心，后续离线同步任务将会周期性（分钟或小时或天）将OSS的数据写入MaxCompute的表中。提交发布...
任务运行诊断
常见的同步任务执行问题如下：数据同步日志长时间打印WAIT 若数据同步日志长时间打印WAIT，表示DataWorks的调度系统已将同步任务下发，由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行，正在等待其他任务执行完成释放资源。...
UpdateFile
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>出错自动重跑”的”重跑间隔“配置对应。控制台中“重跑间隔”的时间单位为分钟，请在调用时注意转换时间。RerunMode String 否 ALL_ALLOWED 重跑属性。取值如下：ALL_...
数据开发功能索引
说明 如果您创建的节点没有选择调度资源组，则运行任务时，系统会先提示您选择可用的调度资源组。高级运行（带参数运行）（）：使用配置的参数运行当前节点代码。运行 代码时每次都需要手动给SQL语句中的变量进行赋值，运行 的初始赋值会...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“跨周期依赖（原上一周期）”后，依赖项选择“其他节点”时配置的内容对应。InputList String 否 project_root,project.file1,project.001_out 文件依赖的上游...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。InputList String 否 project_root,project.file1,project.001_out 文件依赖的上游文件的输出名称。...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
通过ack-co-scheduler实现多级弹性调度
units：用户自定义的调度单元。扩容时，将按照 units 下资源的顺序进行扩容；缩容时，将按照逆序进行缩容。resource：弹性资源的类型，目前支持 eci、ecs 和 idc 三种类型。nodeSelector：用 node 的 label 标识该调度单元下的节点，只对 ...
多可用区创建实例
ScheduleStrategy String VSwitchOrdered 配置了多可用区时，ECI实例的调度策略。VSwitchOrdered：按顺序调度。具体规则如下：如果ECI Pod挂载了云盘，云盘所属可用区必须和Pod一致，不符合的可用区会被过滤。按照指定的顺序尝试创建资源，...
调度参数
当前实例重跑，会用最新的参数配置：即 time1=$cyctime 如果要看调度参数变更前的实例使用的调度参数替换情况，请在日志中查看，详情参考常见问题：如何在日志中查看调度参数替换情况 如何通过日志查看当前实例执行时调度参数替换情况？...
配置并使用调度参数
执行冒烟测试 查看冒烟测试日志 确认生产环境任务的调度参数配置 为避免周期调度任务运行时，由于调度参数不符合预期，导致任务运行出现问题，建议在任务发布后，前往生产运维中心的 周期任务 界面，查看生产环境下该周期任务的调度参数...
HTTP触发器节点
如果24小时内上游任务节点没有运行完成，则触发指令会丢失，外部调度系统本次发出的调度指令失效。使用限制 HTTP触发器节点功能仅适用DataWorks企业版及以上版本，关于DataWorks版本介绍，详情请参见 DataWorks各版本详解。由于HTTP触发器...
数据开发：开发者
步骤五：定义节点调度属性 用于定义该节点的调度相关属性，周期性调度运行节点。步骤六：调试代码 您可使用DataWorks提供的代码片段快捷运行、运行、高级运行三种方式调试代码，验证代码逻辑是否正确。步骤七：保存并提交节点 节点调试无误...
节点伸缩概述
当任意一个节点的调度利用率低于所设置的调度阈值时，就会触发缩容判断。此时，节点伸缩会尝试模拟驱逐节点上的负载，判断当前节点是否可以排水。部分特殊的Pod（kube-system命名空间的非DaemonSet Pod、PDB控制的Pod等）则会跳过该节点而...
FTP Check节点
单击节点编辑区域右侧的 调度配置，配置节点的调度属性。调度属性包括 基础属性、时间属性、资源属性 和 调度依赖，详情请参见 配置基础属性、时间属性配置说明、配置资源属性 及 配置同周期调度依赖。配置检测对象及检测策略。在 选择FTP...
上传管道脚本
系统支持的调度类型包括：周期性节点：任务会参与生产环境的调度。手动节点：需要手动触发任务的运行。描述 填写管道的简单描述。选择目录 选择管道脚本的目录。系统默认选中 离线管道。单击 确定。可选：配置调度参数。如果您选择的 调度...
调度概述
ACK Scheduler是ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统。ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源...
上传管道脚本
系统支持的调度类型包括：周期性节点：任务会参与生产环境的调度。手动节点：需要手动触发任务的运行。描述 填写管道的简单描述。选择目录 选择管道脚本的目录。系统默认选中 离线管道。单击 确定。可选：配置调度参数。如果您选择的 调度...
公交出行：启迪公交
智能的实时客流系统自动化分析客流情况，实时监控北京公交2万多辆公交车的运行状态，结合车辆和机具运行状态生成调度方案，助力场站调度人员实现更加合理的调度排班方案。实时和汇总大数据分析系统，支持公交领导产生更加快速有效的业务...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
什么是SCDN
多系统联动：和阿里云其他产品形成多系统联动，与安全防御系统、刷新系统、内容管理系统等协调工作，达到各模块的最优性能。流量预测：数据化实时调度，支持节点级别流量预测，提升调度质量和准确性。访问控制 Refer防盗链：支持Refer黑白...
周期实例通用运维概述
如果需要暂停多个周期实例的运行，可以将该任务的调度属性修改为 暂停调度，详情请参见 查看并管理脚本任务。周期实例 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 周期实例 页面。...
周期实例通用运维概述
如果需要暂停多个周期实例的运行，可以将该任务的调度属性修改为 暂停调度，详情请参见 查看并管理脚本任务。周期实例 页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 周期实例 页面。...
湖仓版作业调度
提交成功：用户提交成功的调度作业数，作业提交成功后会等待调度系统执行。准备暂停：当前待暂停的作业数，用户对指定作业触发暂停操作后，将等待调度系统执行暂停。准备停止：当前待停止的作业数，用户对指定作业触发终止操作后，将等待...
调度周期：年调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行，则在上述指定日期...
离线任务调度属性配置
说明 在非指定的调度时间内，为保证下游实例正常运行，系统会生成实例后直接设置为运行成功，而不会真正执行任何逻辑，也不会占用资源。月调度：即调度任务在每月的特定几天，在特定时间点自动运行一次。您可以根据需要，单击 图标，指定...
离线任务调度属性配置
说明 在非指定的调度时间内，为保证下游实例正常运行，系统会生成实例后直接设置为运行成功，而不会真正执行任何逻辑，也不会占用资源。月调度：即调度任务在每月的特定几天，在特定时间点自动运行一次。您可以根据需要，单击 图标，指定...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
- 产品推荐
- 这些文档可能帮助您