XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
工作原理
日志服务提供文本分析服务，用于对海量日志中的文本内容进行自动化和智能化的检测。本文介绍文本分析功能的背景信息、功能介绍、基本概念、调度与执行场景、使用建议等信息。背景信息 服务在运行过程中会生成大量的日志，包括系统日志和...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
产品功能
企业可观测能力 SchedulerX拥有丰富的可视化能力，例如：用户大盘 任务历史执行记录 任务运行日志 任务运行堆栈 任务的链路追踪。更多信息，请参见 如何接入链路追踪。任务操作记录 强大的运维能力 启用或禁用任务 可以通过控制台动态启用...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
基本概念
可视化服务 创建可视化服务后，您可以通过E-HPC管理控制台远程打开云桌面或APP，进行高性能计算的图形化前后处理工作。高性能容器应用 通过高性能容器应用，您可以在E-HPC集群上通过容器应用完成高性能计算作业，利用E-HPC集群的强大算力和...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
加工数据
本文为您介绍如何将同步至MaxCompute的用户信息表ods_user_info_d及访问日志数据ods_raw_log_d，通过DataWorks的ODPS SQL节点加工得到目标用户画像数据，阅读本文后您可了解到如何通过DataWorks+MaxCompute产品组合来计算和分析已采集的...
数据开发与运维中心：数据加工
DataStudio支持智能编辑器、可视化依赖编排，调度能力经过阿里集团内调度任务、复杂业务依赖的反复验证。DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
K8s任务
如下所示，获取SchedulerX任务参数值：优势 相较于K8s原生的Job功能，采用SchedulerX调度K8s Job具有以下显著优势：可在线编辑的脚本Pod K8s Job常用场景是用来做数据处理和运维，一般以脚本实现居多。原生的使用方式需要把脚本打包到镜像...
函数计算节点
DataWorks为您提供函数计算节点，您可通过该节点周期性调度处理事件函数，并完成与其他类型节点的集成和联合调度。本文为您介绍如何使用函数计算节点。前提条件 已开通函数计算。您需要先开通函数计算服务后，才可在DataWorks使用函数计算...
开发PyODPS 2任务
在DataWorks中，您可通过PyODPS节点实现Python任务的调度运行，以及与其他作业的集成操作。注意事项 DataWorks支持可视化创建Python资源，如果您需要在 PyODPS节点中调用第三方包，请使用 独享调度资源组 并通过 运维助手 进行安装。...
产品优势
本文主要介绍SchedulerX 2.0的关键能力优势。高可用 采用高可用架构和任务多备份机制，经历阿里集团多年双十一、容灾演练，可以保障机房宕机时...可观测 提供历史记录、日志服务、查看堆栈、用户大盘、链路追踪等一站式可视化能力便于运维。
传输信道
中心调度 通过DataTrust云端节点进行中心调度。您需先登录 阿里云，购买指引，云账号信息在本地化部署时输入。暂不支持修改，如果需要修改请联系运维部署人员。网络代理 指令信息将通过代理服务器转发。在 网络代理 区域，单击 前去设置 ...
运维助手
若运行在独享调度资源组上的任务执行时需依赖第三方包，为保障任务可顺利执行，您需要先通过该资源组的运维助手功能，将相应的第三方包安装至独享调度资源组。DataWorks的运维助手提供了多种内置的第三方包，可直接安装使用，若内置的第三...
创建和使用EMR资源
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
应用管理
0 日历 您可在下拉列表中选择在 金融日 或者 工作日 调度应用。0 步骤二：通知配置 在 通知配置 向导页填写相关信息，选择 通知渠道 并设置 联系人。通知渠道 目前支持 短信、邮件、Webhook 和 电话。关于 Webhook 配置的详细信息，请参见 ...
创建安全沙箱应用
您可以在安全沙箱Kubernetes集群中使用镜像创建一个可公网访问的nginx应用。索引 前提条件 步骤一：登录容器服务控制台 步骤二：配置应用基本信息 步骤三：配置容器（可选）步骤四：高级配置 查看结果 执行结果 前提条件 创建一个安全沙箱...
Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
通用开发流程
常用引擎的使用说明：MaxCompute Hologres E-MapReduce 后续：调试代码及配置调度 任务代码开发完成后，您可根据需要执行如下操作：调试代码：根据业务需求调试运行单个任务，或调试运行整个业务流程，并在调试完成后查看运行结果，详情请...
工作原理
日志服务提供下探分析功能，用于对多维时序进行自动化、智能化的根因定位。您可以根据根因定位的结果，判断是时序数据的哪些维度（单个维度和若干维度的组合）异常导致的问题，缩小问题排查范围。本文介绍下探分析的背景信息、功能、调度与...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
服务初始化
概述 本篇将描述如何初始化开通和使用PAIRec产品及相关资源和服务，包括购买并开通PAI、DataWorks、MaxCompute、OSS，并在PAIRec中对上述资源进行绑定，以及对算法、工程同学进行权限授权操作。PAI-REC初始化流程主要分为以下几个步骤：...
查看及管理离线集成任务列表
查看批量操作记录：单击 查看批量操作记录，可查看批量 提交 或 其他操作（批量获取锁、批量下线、批量下线删除、批量移动、批量转交开发负责人、批量调度配置、批量依赖配置、批量参数配置、批量运行配置、批量通道配置）的记录信息。...
查看及管理离线集成任务列表
查看批量操作记录：单击 查看批量操作记录，可查看批量 提交 或 其他操作（批量获取锁、批量下线、批量下线删除、批量移动、批量转交开发负责人、批量调度配置、批量依赖配置、批量参数配置、批量运行配置、批量通道配置）的记录信息。...
配置学区地图单选框交互
可实现方案有两种：使用触发器控制对应散点层的显隐样式，本文使用此方案，操作步骤如下。您也可以通过转换器来实现，详情请参见 如何使用Tab列表控制组件显隐。切换散点层内的数据 data/[]，比较复杂，不建议使用此方案。操作步骤 在画布...
Hologres整库周期性增全量同步至MaxCompute
您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见 调度属性配置。完成上述所有任务配置后，单击 完成配置，完成同步任务的配置。其他参数配置详情请参见 其他高级配置。场景2：一次性全量周期性增量配置方式 当...
- 产品推荐
- 这些文档可能帮助您