运维中心概述
查看并管理周期任务 周期任务运维为您展示任务提交到调度系统后的调度任务列表与调度环境产生的 周期实例。周期任务面板展示当前所有的调度节点，您可以在周期任务面板修改周期调度任务使用的资源组、责任人等信息。DataWorks每晚会根据 ...
Linux系统的ECS实例系统无响应，系统日志中出现“BUG:...
soft lockup-CPU#0 stuck for 61s 问题原因 该问题通常是由于ECS实例中，系统内核长时间占用CPU资源导致出现软死锁（soft lockup）故障，内核长时间占用CPU资源可能有以下原因：系统负载过高 内核死循环或死锁 内核调度问题 内核出现故障 ...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
设计原则
面向风险的应急快恢原则 在一些场景下，即使设计了各种技术手段去提高系统的冗余、保持业务的高可用，但还是避免不了生产系统故障的发生，所以需要面对故障建立一个高效的故障应急流程机制和稳定的技术平台，实现故障风险实时发现、应急...
基本概念
完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度系统。脚本开发（Script）脚本开发是提供给数据分析使用的一个代码存储空间。脚本开发的代码无法...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
设置Pod故障处理策略
配置说明 在虚拟节点上创建ECI Pod时，可能会因为库存不足等原因导致Pod创建失败，默认情况下，系统会自动进行重调度，尝试重新创建Pod。您可以通过添加 k8s.aliyun.com/eci-fail-strategy 的Annotation来修改Pod故障处理策略，设置Pod创建...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
单实例快速恢复
为了能够快速恢复系统故障，Hologres提供了单实例快速恢复的机制。本文为您介绍单实例快速恢复的触发条件和行为。实例快速恢复逻辑说明 Hologres在 V2.0版本之前，Hologres计算节点均为容器调度（即下图中的Worker Node），资源管理器...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
应用故障自动诊断
在EDAS中进入应用总览页面时，会按照您自定义的时间段对该应用的运行情况做一个自动诊断。...数据支持：这一部分包含了得到推测结论的数据支持，不同故障原因的诊断报告中包含的分析数据将不一样。图 1.故障诊断报告示例图-RT诊断
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
调度周期：日调度
日调度即调度节点每天在指定的定时时间运行一次。新建周期任务时，默认调度时间是在 00:00~00:30 时间段随机生成。您可根据需要自行指定运行时间点。例如，指定每天13点运行一次。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
设计方案
基于稳定性支柱设计原则，整体稳定性设计方案可参考如下：架构设计原则 软件系统从所有的功能都在一个应用程序内运行的单体应用架构，到不同的功能模块分别部署在不同的服务器上的传统分布式应用架构，再到服务细分通过轻量级的通信机制...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式...
实验介绍
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
快速体验
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
基础术语
多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上调度执行，具体调度方式由调度中心根据负载进度进行调整。使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的...
工作流编辑
配置工作流调度 您可以打开工作流调度配置面板，配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。进入数据开发的项目列表页面。通过...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
配置共享GPU调度节点选卡策略
策略介绍 在共享GPU调度中，如果节点存在多张GPU卡，从节点中挑选GPU卡分配给Pod时，有两种策略可以考虑：Binpack：默认策略，调度系统先分配完节点的一张GPU卡后，再分配节点上另一张GPU卡，避免节点出现GPU资源碎片。Spread：调度系统会...
功能概览
当主系统发生故障时，业务系统切换到容灾系统，有效避免了地域性灾害导致的系统故障，保障业务的可用性，满足业务的RTO、RPO核心指标。云盘异步复制是一种基于块存储数据复制能力实现跨地域或者跨可用区数据保护的功能。更多信息，请参见 ...
功能概览
当主系统发生故障时，业务系统切换到容灾系统，有效避免了地域性灾害导致的系统故障，保障业务的可用性，满足业务的RTO/RPO核心指标。云盘异步复制是一种基于块存储数据复制能力实现跨地域或者跨可用区数据保护的功能。更多信息，请参见 云...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
- 产品推荐
- 这些文档可能帮助您