创建通用项目
在机器学习平台中，创建可视化建模的工作空间时，资源选择为基于MaxCompute的计算资源组，详情请参见 人工智能平台 PAI 的AI计算资源组概述。如果您开启了机器学习，需要配置以下参数。PAI地域：选择和Dataphin实例所在地域。访问方式：...
DataWorks大数据开发治理平台
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
对接使用CDH与CDP
如果想要设置任务周期调度，单击右侧的 调度配置，在弹窗中设置时间属性、资源属性和调度依赖，完成后单击提交任务，提交成功后任务就可以按照配置周期调度运行，调度配置详情可参见 配置基础属性。在运维中心中可以查看提交的周期任务，在...
Cron
6#3 每月的第三个周五10:15触发 Cron定时调度配置示例 在创建调度任务时可以使用Cron定时调度，创建调度任务的详细操作步骤请参见 创建调度任务。本文仅介绍在创建调度任务时如何配置Cron定时调度。进入 定时配置 页签，详情请参见 创建...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
PAI灵骏智算服务概述
PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费，无需建设、调优和运维...
工作原理
日志服务提供时序预测功能，用于对时序数据进行自动化、智能化的预测。您可以根据预测结果判断时序数据未来的走势，提前感知系统或者业务关键指标的状态。本文介绍时序预测的背景信息、功能、调度与执行场景、使用建议等信息。背景信息 ...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
异构计算集群概述
阿里云容器服务ACK支持对各种异构计算资源进行统一调度和运维管理，能够显著提高异构计算集群资源的使用效率。本文介绍阿里云容器服务ACK支持的异构计算集群。背景信息 随着5G、人工智能、HPC（High Performance Computing）、边缘计算等...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。按照下图操作指引，进入...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 请参见 逻辑表任务配置入口，进入逻辑表任务配置页面。单击调度配置，进入逻辑表 调度配置 ...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
离线同步任务运维
任务调度与管理 离线同步依托DataWorks强大的调度能力，为您实现离线任务的周期性自动调度执行，同时，可以结合DataWorks调度参数，实现增量数据和全量数据写入到目标表对应分区，离线同步任务的运维操作与其他离线调度任务操作一致，支持...
资源包（专业版）
背景信息 SchedulerX针对 任务调度CU 推出了一种预付费资源包模式，帮助您以更优惠的价格享受同等的任务调度CU数量，从而减少费用支出。资源包类型与定价 SchedulerX目前只提供一种类型的资源包，即任务调度CU资源包，用于抵扣SchedulerX...
操作记录
您可以通过操作记录页面，查看应用分组、调度任务和流程的操作记录。操作步骤 登录 分布式任务调度平台，在顶部菜单栏选择地域，在左侧导航栏，单击 操作记录，在 操作记录 页面选择目标命名空间，查看操作记录。说明 操作记录 页面仅记录...
和开源产品对比
在分布式任务调度领域中，Quartz、ElasticJob和XXL-JOB是广受欢迎的开源解决方案。为了更深入地理解分布式任务调度技术并全面评估SchedulerX在此领域的优势与特点，本文将对比SchedulerX与这些主流开源产品的特性与功能。项目 Quartz ...
如何指定标签
任务调度时，机器被随机分配，所以灰度任务被分配到正常机器时，可能无法找到实现类。传统解决方案 传统解决方案下，往往会创建多个应用分组，例如为灰度机器专门配置一个Group ID。但这种解决方案具有以下局限性。正常的任务无法调度到...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照以下操作指引，进入逻辑表 调度配置 面板。...
文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
One Time
One Time即一次性任务调度，配置完成后任务将在设置的时间点执行一次，执行完成后调度平台会自动清理任务，您无需在客户端执行删除任务的操作。一次性任务调度适用于订单超时未支付、自动关闭定时日历提醒等场景。本文介绍如何通过API创建...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
基础版商业化公告（2021年07月30日）
为提供更优质的服务，阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例，如果2021年09月01日00:00:00前没有释放，那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...
识别规则及识别方式
参数 描述 扫描配置 调度周期 识别规则默认每天调度一次，可根据业务情况进行调整调度周期。调大周期可以减少资源消耗，但会有敏感数据识别滞后的风险。支持选择 日、周 和 月 调度周期。实时扫描 默认 关闭。开启 后，若新建表、表结构...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照以下操作指引，进入离线集成...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
逻辑表资源配置
您可以为当前逻辑表任务配置所属资源组，逻辑表调度时将使用该资源组资源进行任务调度。本文将为您介绍如何配置逻辑表资源。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。在数据 开发 页面，按照下图操作指引...
资源包（专业版）推出公告
阿里云分布式任务调度SchedulerX专业版于2023年02月01日推出任务调度CU预付费资源包，帮助您以更优惠的价格享受等量的任务调度CU，从而减少费用支出。更多信息，请参见 资源包（专业版）。
联系我们
如果您在使用分布式任务调度SchedulerX的过程中有任何疑问和建议，欢迎使用钉钉搜索群号 23103656 加入钉钉群与我们交流。
计算任务资源配置
您可以为计算任务配置所属资源组，任务调度时将使用该资源组资源进行任务调度。本文将为您介绍如何配置计算任务调度资源。操作步骤 请参见 离线任务属性入口，进入任务 属性 抽屉。在任务 属性 抽屉 资源配置 区域，配置任务的资源配置信息...
开通SchedulerX
背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 登录 分布式任务调度平台。首次使用并登录分布式任务调度平台，在弹出的对话框中单击 开通。在 分布式任务管理 页面，单击 立即购买。在 确认订单 页面 ...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
快速拉起X2I召回服务
在本例中，我们将准备一份X2I召回数据（假设数据表的表名为 aime_example_x2i），一份物品详情数据（假设数据表的表名为 aime_example_detail），及一份行为表（假设行为表的表名为 aime_example_expose），然后在智能召回引擎控制台上注册...
快速拉起向量召回服务
在本例中，我们将准备一份向量数据（假设数据表的表名为 aime_example_vector），一份物品详情数据（假设数据表的表名为 aime_example_detail），及一份行为表（假设行为表的表名为 aime_example_exposure），然后在智能召回引擎控制台上...
- 产品推荐
- 这些文档可能帮助您