诊断项与诊断结果说明
实例操作系统异常 实例系统出现了内核错误（kernel panic）、OOM（Out of Memory）异常或内部宕机等故障。检查该实例的操作系统（Guest OS）内部是否存在内核panic、OOM异常或内部宕机等故障。这些故障可能是由于实例配置不当或用户空间的...
诊断项与诊断结果说明
实例操作系统异常 实例操作系统出现了内核Panic、OOM异常或内部宕机等故障。检查该实例的操作系统（Guest OS）内部是否存在内核Panic、OOM异常或内部宕机等故障。此类故障可能是由于实例配置不当或用户空间的程序配置不当导致的，您可以...
权限管理与规范化数据开发
开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产环境带来不稳定因素。面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute项目所有表的读写权限，可随意对表进行增加、删除和修改等操作，存在数据安全...
概览
(ECS)所有磁盘读取BPS(ECS)所有磁盘写入BPS(ECS)所有磁盘每秒读取次数(ECS)所有磁盘每秒写入次数 边界以外 连接数过高、连接数波动较大或连接数持续峰值 系统负载过高、TCP连接池不足、应用程序或者服务出现异常，某些应用程序或者服务在...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
如何修复异常DBS备份计划
如果您的DBS备份计划在使用过程中出现异常，可以通过本文提供的方法进行修复。问题描述 备份计划列表页显示DBS备份计划状态异常。问题原因 DBS备份计划状态显示异常，表示该DBS备份计划下至少存在一个异常任务，通常可能是全量备份任务异常...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
任务管理
执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。查看任务详情 在任务管理页面，单击需查看任务...
DCDN节点运维下线说明
对于这一类问题，阿里云DCDN产品的调度系统提供了对所有节点的探测监控，一旦发现节点异常下线，会实时把对应节点上的流量调度到周边正常运行的节点上。用户侧优化措施 虽然阿里云DCDN采取了多种措施来降低节点下线对用户的影响，但是由于...
工作原理
该方式主要应用于在服务出现异常后及时的发现问题和定位问题。预测将来产生的时序数据，判断时序数据未来的走势。您可通过时序预测功能实现。该方式主要应用于对服务关键指标的异常走势进行提前预警。时序预测应用场景如下：预测服务关键...
基本概念
完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度系统。脚本开发（Script）脚本开发是提供给数据分析使用的一个代码存储空间。脚本开发的代码无法...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
调度周期：小时调度
小时调度即每天指定的时间段内，调度任务按 N*1小时 的时间间隔运行一次。例如，每天00:00~03:00的时间段内，每1小时运行一次。注意事项 时间周期根据左闭右闭原则计算。例如，配置调度任务在0点~3点的时间段内，每隔1个小时运行一次。表示...
FTP Check节点
该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。本文为您介绍使用FTP Check节点的流程和注意事项。前提条件 已创建FTP数据源。已创建好业务流程，详情请参见 创建业务流程。背景信息 FTP Check节点的典型应用场景：当...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
工作原理
下探分析用于多维时序数据的根因定位，当监控的时序指标出现异常时，分析这个时序指标的各个维度，检测是哪个维度或者哪些维度的组合导致了指标异常。通过指标的各个维度进行根因定位，便于运维人员在服务异常时快速定位异常根因。例如网站...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
进入数据质量概览（新版）
质量问题表数 当日质量检测实例运行完成并出现非「通过」状态的表数，包含质量阈值校验不通过及系统校验异常情况。已检测表数：当日存在质量检测实例且实例运行已完成的表数量。运行完成包含质量校验通过、校验不通过和系统校验异常状态。...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
调度周期：日调度
调度详情 调度系统会自动为任务生成实例并运行，各业务数据加工时间如下图所示。说明 调度节点执行需要满足如下条件：上游任务执行成功。节点的定时运行时间已到。任何一个条件不满足，调度节点都无法执行，并且两个条件没有先后顺序。默认...
可选：运维SQL分析任务
建议您在调度任务出现异常或SQL分析任务发生变更时，再进行手动调度任务。设置项 说明 请选择调度周期 选择 日调度 或 小时调度。详细说明，请参见 调度周期。请选择手动日期 在最近3天内，选择时间范围，对所选时间范围内的SQL分析的调度...
配置任务调度
本文以配置任务write_result的调度周期为周调度为例，为您介绍如何设置DataWorks的调度属性和依赖属性。前提条件 已创建虚拟节点（start）和ODPS SQL节点（insert_data，详情请参见 创建业务流程。已创建同步节点 write_result 生成的同步...
概念原理
本文介绍任务调度的概念原理。任务分步 一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后才开始执行下一个步骤。例如，“对账”任务的处理步骤是：下载银行的清算文件>根据约定格式...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
实验介绍
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
快速体验
步骤 操作内容 阶段性目标 数据采集 通过 DataWorks数据集成 模块，将存储在MySQL中的用户信息数据及存储在OSS中采集的用户访问日志数据同步至MaxCompute，并提交调度系统，结合DataWorks调度参数实现周期性增量同步。学习如下内容：如何将...
基础术语
当数据量很大时，任务调度系统支持在单个执行步骤中把数据拆分成多个分片（data chunk），把一个任务的数据分散到不同的机器上运行。一个数据分片只由一个线程执行。多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上...
什么是故障演练
故障演练是一款遵循混沌工程实验原理并融合了阿里巴巴内部实践的产品，提供丰富故障场景，能够帮助分布式系统提升容错性和可恢复性。流程 故障演练建立了一套标准的演练流程，包含准备阶段、执行阶段、检查阶段和恢复阶段。通过四阶段的...
- 产品推荐
- 这些文档可能帮助您