Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
开发PyODPS 2任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
开发PyODPS 2任务
iris=DataFrame(o.get_table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
数据面安全性
非持久化环境 运行时环境提供的文件系统及内存，在函数实例释放时随之释放，用户不可使用函数实例的本地文件系统及内存持久化数据，如果用户需要持久化，可以配置阿里云 文件存储NAS 或持久化保存至 对象存储OSS。不可变代码及层（Layer）...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-03-27 功能名称 变更类型 功能描述 相关文档 日志服务 优化 支持一次性任务执行完成、任务...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
预案管理
您可以选择添加串行步骤或导入串行步骤，操作步骤如下：添加串行步骤：单击 添加串行步骤，在右侧弹出的节点列表中选择原子操作，并根据界面提示配置原子操作信息。导入串行步骤：单击 导入串行步骤，在右侧弹出的预案列表中，从已有预案中...
阿里云CDN的五大竞争力
基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，...
管理拓扑任务
在左侧导航栏选择 中间件>任务调度>任务编排。您可以在任务列表中查看已创建的拓扑任务，包括拓扑名称、调度类型、创建时间等信息。查看调度记录 在拓扑任务列表，单击目标任务名称。单击 调度记录 页签。您可以查看以下内容：请求 ID：...
管理简单任务和集群任务
触发原因：包括手动触发、定时触发、事件触发、拓扑触发。开始时间：任务执行的开始时间。结束时间：任务执行的结束时间。耗时：请求执行时长，单位为秒。客户端：订阅节点的 IP 地址。执行状态：包括执行成功、执行失败等。上下文：可查看...
优雅下线
对于数据治理过程中的无效任务或表，数据治理中心为您提供完整的下线方案，包含下线风险评估、下线通知推送、下线过程管理等全流程功能，为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等...
附录：消息格式
dagType Integer Dag的类型，取值如下：0：周期调度任务 1：手动任务 2：冒烟测试 3：补数据 4：临时业务流程 5：手动业务流程 taskType Integer 任务实例的调度类型，取值如下：0：NORMAL，正常调度任务。该任务会被日常调度。1：MANUAL，...
执行补数据并查看补数据实例（旧版）
您可在DAG图上使用可视化方式添加节点，也可在任务列表中添加节点。在当前周期任务的DAG图中，结合DAG的聚合功能，按照工作空间、所属责任人或优先级等维度将节点划分为组，直接勾选该节点组，快速添加目标类别的节点为补数据节点。实例的...
Java应用接入SchedulerX
前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Java应用客户端接入SchedulerX 在应用程序的 pom.xml 文件中添加SchedulerxWorker依赖。请参见 发布记录，schedulerx2.version ...
Java应用接入SchedulerX
前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Java应用客户端接入SchedulerX 在应用程序的 pom.xml 文件中添加SchedulerxWorker依赖。请参见 发布记录，schedulerx2.version ...
任务实例状态异常
产生原因 工作空间可能没有开启调度。解决措施 按照下图所示，在 工作空间配置 页面，检查工作空间是否开启调度。说明 如有需要请协调主账号开启工作空间调度。有周期任务，有其他周期实例，但是这个任务没有产生周期实例 问题现象 有周期...
如何接入链路追踪
在微服务分布式场景下，全链路追踪功能给业务提供了各个服务点执行情况的可视化快速分析定位能力。在定时任务场景下，业务执行链路可能比常规实时业务的执行链路更长，接入全链路追踪有助于查询任务执行耗时、分析执行异常等问题。本文介绍...
概述
子查询支持 在并行查询下子查询有四种执行策略：在Leader线程中串行执行 当子查询不可并行执行时，例如2个表JOIN，在JOIN条件上引用了用户的函数，此时子查询会在Leader线程上进行串行查询。在Leader上并行执行（Leader会启动另一组Worker...
Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
Spring应用接入SchedulerX
您可以为您的Spring应用快速接入SchedulerX，实现分布式任务调度能力。前提条件（可选）已创建命名空间。具体操作，请参见 创建命名空间。已创建资源。具体操作，请参见 创建资源。Spring应用客户端接入SchedulerX 在应用程序的 pom.xml ...
虚拟节点调度方案对比及介绍
关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如，通过nodeAffinity和podAffinity实现可用区亲和。不支持：无法对不同节点集合进行优先级编排。例如，通过...
使用调度器自定义参数
int[1,1000]100 percentageOfNodesToScore 调度时评估的可运行节点的比例。默认值为0，表示调度器会使用默认节点数百分比（基于集群规模确定的值，位于5%到50%之间）执行打分操作。int[0,100]0 开启共享 GPU 插件的打分功能，开启后同一台...
配置集群连接
操作步骤 步骤一：机器打标 登录目标集群，将可用于Dataphin任务调度的机器使用以下命令进行打标，后续使用该集群资源组的任务将在已标记的机器上执行。请替换命令中的node name信息，指向对应的集群机器。kubectl label node${node-name} ...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
MySQL节点
您可以通过创建MySQL节点，直接使用SQL语句对目标MySQL数据源进行数据开发。本文为您介绍如何创建并使用MySQL节点。...可能原因2：测试连通性使用的调度资源组，但任务执行时选错资源组，您可通过 带参运行 切换任务执行使用的调度资源组。
虚拟节点调度方案对比及介绍
方案对比及选型建议 关于表格中一些字段的说明：优先级调度：指Pod调度到不同节点集合的调度优先级是可编排的，您可以进行可控制的策略调度。例如优先调度到ECS节点，ECS节点不足使调度到虚拟节点。不支持：无法对不同节点集合进行优先级...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
Fixed rate
为解决此类精细化定时需求，可采用Fixed rate定期轮询机制，它能够简洁地表达非标准时间间隔的定期任务执行，且表达式简单，但不支持秒级别。Fixed rate定时配置示例 在创建调度任务时可以使用Fixed rate定时调度，创建调度任务的详细操作...
兼容Spring定时任务
通过对接SchedulerX任务调度可在不改变原有定时任务业务代码的情况下，可快速实现企业化运用的支持。功能优势 白屏管控和运维 提供白屏控制台可以动态新增、修改、启用、禁用任务，支持运行一次、原地重跑、重刷数据、停止任务、标记成功等...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
新建ARGODB_SQL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性及调度依赖。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本...
新建HADOOP_MR任务
参数配置 若您的任务中调用了参数变量，您可在属性中对参数进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。配置说明，请参见 参数配置及使用节点参数。调度属性（周期任务）如果离线计算任务的调度类型为 周期任务...
- 产品推荐
- 这些文档可能帮助您