组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
文档修订记录
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。账单数据订阅及查询分析 2024.2.21 新增功能...
工作原理
日志服务提供文本分析服务，用于对海量日志中的文本内容进行自动化和智能化的检测。本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和...
在Kubernetes集群中部署SchedulerX
如果Namespace之间需要隔离，仅调度目标Namespace下的Pod或者Job，可运行如下YAML示例代码。展开查看具体代码 apiVersion:v1 kind:ServiceAccount metadata:name:schedulerx-apiVersion:rbac.authorization.k8s.io/v1 kind:Role metadata:...
工作原理
日志服务提供下探分析功能，用于对多维时序进行自动化、智能化的根因定位。您可以根据根因定位的结果，判断是时序数据的哪些维度（单个维度和若干维度的组合）异常导致的问题，缩小问题排查范围。本文介绍下探分析的背景信息、功能、调度与...
补数据
产生原因 资源组可执行任务最大并发数有上限，如果当前任务执行并发数超过资源组所支持的最大并发数时，将会出现等待资源的情况。说明 等待资源排查，详情请参见 等待资源。为什么补数据报错调起的节点运行时间不在所选业务时间范围内？...
智能诊断
历史实例 您可以在 历史实例 页面查看如下信息：当前任务各维度指标的变化趋势：通过可视化图表方式为您展示当前任务近15天内 运行耗时、开始运行时间、等待调度资源耗时 的变化趋势。当前任务的历史实例运行情况：通过列表方式为您展示...
执行补数据并查看补数据实例（旧版）
您可在DAG图上使用可视化方式添加节点，也可在任务列表中添加节点。在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
预案管理
您可以选择添加串行步骤或导入串行步骤，操作步骤如下：添加串行步骤：单击 添加串行步骤，在右侧弹出的节点列表中选择原子操作，并根据界面提示配置原子操作信息。导入串行步骤：单击 导入串行步骤，在右侧弹出的预案列表中，从已有预案中...
数据开发
调度依赖配置：配置调度依赖的目的是为了保障上游表产出完成才会触发下游读取数据，而当前节点上游的数据是静态的，不需要等待产出，所以本节点的上游依赖可配置为工作空间根节点，即周期依赖的上游节点配置为"使用工作空间根节点"，其他...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
产品功能
企业可观测能力 SchedulerX拥有丰富的可视化能力，例如：用户大盘 任务历史执行记录 任务运行日志 任务运行堆栈 任务的链路追踪。更多信息，请参见 如何接入链路追踪。任务操作记录 强大的运维能力 启用或禁用任务 可以通过控制台动态启用...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
集群高可用架构推荐配置
节点池高可用配置 您可以基于节点的弹性伸缩、部署集、多AZ，结合K8s调度的拓扑分布约束，确保服务在不同的故障域（failure-domain）资源充足且有所隔离，从而当某一故障域出现问题时，服务仍然可以保持运行，减少单点故障的风险，提高系统...
查看统计图表
执行查询和分析语句后，您可以在 统计图表 页签中查看可视化的查询和分析结果，适用于按照API、HTTPStatus等指定维度统计数据的场景。本文介绍支持在 统计图表 页签对日志进行的常用操作。统计图表界面 统计图表支持展示多个查询分析结果，...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
概述
子查询支持 在并行查询下子查询有四种执行策略：在Leader线程中串行执行 当子查询不可并行执行时，例如2个表JOIN，在JOIN条件上引用了用户的函数，此时子查询会在Leader线程上进行串行查询。在Leader上并行执行（Leader会启动另一组Worker...
自定义资源组
不同资源组的初始化命令不同，且不可互相使用。请务必完全复制 服务器初始化 对话框中的命令，并按照顺序执行。专有网络的机器需要执行经典网络的初始化语句。时间与北京时间相差5分钟以上。确认方法如下：登录ECS。执行命令 date，查看...
云原生AI套件概述
异构计算集群概述 开启集群GPU监控 共享GPU调度概述 AI任务调度 多种调度策略支持：针对AI分布式训练等典型批量任务类型，ACK调度器扩展Kubernetes原生调度框架，支持实现多种典型批量调度策略，包括Gang Scheduling（Coscheduling）、FIFO...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
资源伸缩和系统扩展
在云上架构设计过程中，需要考虑架构的可伸缩性和可扩展性，以实现高性能的云上架构。不同的应用部署方式需要使用不同的伸缩方案，常见的伸缩方案主要有以下几种：云服务自动扩缩 在阿里云上进行自动伸缩依赖的云服务是 弹性伸缩 ESS（Auto...
任务常见问题
升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0%!磁盘已满，需要清理ECS或者容器上的磁盘空间。任务失败，报错“ClassNotFoundException”说明执行任务的Worker上没有该类，请确保Java任务配置的...
任务常见问题
升级至最新版本后，断开的长连接可自动恢复。任务失败，报错“used space beyond 90.0%!磁盘已满，需要清理ECS或者容器上的磁盘空间。任务失败，报错“ClassNotFoundException”说明执行任务的Worker上没有该类，请确保Java任务配置的...
工作原理
日志服务智能异常分析App提供模型训练和实时巡检功能，支持对日志、指标等数据进行自动化、智能化、自适应地模型训练和异常巡检。本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间...
提交节点报错：当前节点依赖的父节点输出名不存在
不是DataWorks每天调度产出的表数据，是不需要设置节点依赖关系的，这类表依赖可以删除，删除后提交节点时，会出现血缘关系与调度依赖配置不一致的提示，您可确认一下，是否除了删除的非周期性生成数据表的依赖关系外，有没有其他血缘与...
创建安全沙箱应用
您可以在安全沙箱Kubernetes集群中使用镜像创建一个可公网访问的nginx应用。索引 前提条件 步骤一：登录容器服务控制台 步骤二：配置应用基本信息 步骤三：配置容器（可选）步骤四：高级配置 查看结果 执行结果 前提条件 创建一个安全沙箱...
RunServiceSchedule-执行设备服务调度
枚举类型，取值范围：容器化场景：Start：选择并激活一个可调度云设备，启动服务 Stop：结束并释放云设备 Console：Uuid 处于调度中状态时，进行命令交互 裸金属/虚机场景：PreSchedule：预调度并锁定虚机实例 Confirm：确认调度 Cancel：...
调度概述
ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源的利用率。本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同...
调度集群管理概述
Dataphin支持连接不同调度集群，并将所有集群可用于调度的资源进行统一管理，使每个租户可以使用不同集群的资源用于创建自定义资源组，从而解决跨Region数据传输以及资源隔离等问题。使用限制 当前仅支持基于最新架构部署的客户使用调度...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
- 产品推荐
- 这些文档可能帮助您