加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
数据开发
不影响生产调度。提交并发布离线同步节点ods_mbr_user_info。说明 必须要提交了以后才可以在下游节点配置依赖关系的时候被搜索到，发布可以等到全部提交完后批量发布。同步地区源表 ods_t_area。新建如下MySQL到MaxCompute的离线同步任务，...
必读：简单模式和标准模式的区别
（提交->发布->生产）说明 标准模式下仅生产环境的任务才会自动调度。生产任务运维权限管控差异 开发人员可直接编辑生产任务的代码。开发人员只能在数据开发界面编辑代码并且提交，但是不能将代码直接发布到生产环境，发布生产的操作需要有...
任务冻结与解冻
说明 在数据开发（DataStudio）调度配置的调度类型里选择暂停调度或者正常调度，需重新提交发布，才会冻结或解冻生产调度的周期任务。冻结与解冻周期实例 冻结周期实例只作用于该实例，如果只解冻周期实例，周期任务仍然是冻结状态，那么...
时间属性配置说明
实例生成方式 节点提交发布生产环境调度系统时，调度节点会根据您配置的 实例生成方式 生成自动调度的 周期实例，无论哪种方式发布调度任务至生产环境，都可在运维中心的 周期任务 界面看到任务的最新依赖情况。但自动调度的 周期实例 何时...
名词解释
Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境间的资源完全隔离，并可以使用一个账号进行统一管理。Task ...
独享资源组
切换生产调度运行时使用数据集成任务执行资源组：左上角的 图标，选择 全部产品>任务运维>运维中心（工作流），进入 生产运维中心 页面，选择 周期任务。如何对资源组进行续费？在DataWorks控制台组员组列表，选择具体资源组进行续费。说明...
上传管道脚本
系统支持的调度类型包括：周期性节点：任务会参与生产环境的调度。手动节点：需要手动触发任务的运行。描述 填写管道的简单描述。选择目录 选择管道脚本的目录。系统默认选中 离线管道。单击 确定。可选：配置调度参数。如果您选择的 调度...
上传管道脚本
系统支持的调度类型包括：周期性节点：任务会参与生产环境的调度。手动节点：需要手动触发任务的运行。描述 填写管道的简单描述。选择目录 选择管道脚本的目录。系统默认选中 离线管道。单击 确定。可选：配置调度参数。如果您选择的 调度...
名词解释
Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境间的资源完全隔离，并可以使用一个账号进行统一管理。Task ...
名词解释
Job instance 即任务实例，Job每次调度会产生一个JobInstance。Namespace 即命名空间，SchedulerX提供的资源隔离服务，不同命名空间之间逻辑上天然隔离。命名空间帮助您将多个环境之间的资源完全隔离，并可以使用一个账号进行统一管理。...
创建定时调度
Input格式 定时调度会按照以下Input格式来调度您的工作流执行。{"triggerTime":"2020-01-01T00:00:00Z","triggerName":"time-trigger","payload":{"key":"value"，"key_int":1 } } triggerTime：工作流被调度的时间，一个工作流在指定的...
定时调度
Input格式 定时调度会按照以下Input格式（推送格式为CloudEvents）来调度您的工作流执行。{"datacontenttype":"application/json;charset=utf-8","aliyunaccountid":"143998900779*","aliyunpublishtime":"2022-09-21T05:00:00.035Z","data...
在Kubernetes集群中部署SchedulerX
如果要修改脚本，只需在SchedulerX控制台重新编辑脚本，下次调度会自动生效，继而提高K8s Job的开发效率。同时，使用SchedulerX的K8s任务时，您无需了解容器底层细节，可以低门槛使用容器技术。可视化任务编排 K8s中主流解决方案是使用argo...
创建安全沙箱应用
Pod的亲和性调度会尽量满足后续定义的约束条件。对于软约束规则，您可配置每条规则的权重，其他配置规则与硬约束规则相同。说明 权重：设置一条软约束规则的权重，介于1~100，通过算法计算满足软约束规则的节点的权重，将Pod调度到权重最大...
Hologres开发：周期性调度
前往DataWorks调度会产生一定的调度费用，详细收费情况，请参见 DataWorks资源组概述。如果需要实现写入更新，您需要使用 INSERT ON CONFLICT 语法。如果MaxCompute数据会定期更新，建议您在Hologres导入数据时，使用 IMPORT FOREIGN ...
切换加速区域
参数 说明 仅中国内地 如果选择 仅中国内地，代表全球用户访问均会调度至中国内地加速节点进行服务（海外用户的访问流量将会被调度至华东电信的CDN节点）。同时需要工信部备案。域名备案方法，请参见 使用限制。全球 如果选择 全球，全球...
切换加速区域
参数 说明 仅中国内地 如果选择 仅中国内地，代表全球用户访问均会调度至中国内地加速节点进行服务（海外用户的访问流量将会被调度至华东电信的DCDN节点）。同时需要工信部备案。域名备案方法，请参见 使用前必读。全球 如果选择 全球，...
新手指引
仅中国内地 海外地区+中国香港、中国澳门、中国台湾地区 全球用户访问会调度至中国内地以外的地区的CDN加速节点进行服务（中国内地用户将会被调度至日本、新加坡和中国香港的CDN节点）。全球（不包含中国内地）全球 全球用户访问将会择优...
将调度失败的Pod调度到ECI
在ACK集群中创建的Pod默认会调度到真实节点（即ECS节点）上，当ECS节点的计算资源不足时，Pod会调度失败。基于该场景，您可以在ACK集群中部署virtual-kubelet-autoscaler插件，该插件会自动将因为资源不足而调度失败的Pod二次调度到虚拟...
使用Kubernetes默认GPU调度
调度器仍然会调度某些申请GPU资源的Pod到这个节点上，导致用户业务因为在同一张GPU卡上出现资源争抢（例如GPU显存申请）而运行失败的情况。非标操作可能引发其他未知问题，例如 NVIDIA社区的已知报错。操作步骤 登录 容器服务管理控制台，...
修改工作流集群配置
如果设置PriceLimit为0.1 元/小时，则对应调度方式如下：如果ECI的CPU和Memory为2 Core 4 GiB，则系统将会调度2 Core 4 GiB且单价低于0.30 元/小时（0.10 x 2+0.10）的机型。如果ECI的CPU和Memory为4 Core 32 GiB，则系统将会调度4 Core 32...
kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
使用ECI弹性调度
当取值不为 eci、eci_only，或取值为 eci_only 但集群中不存在Virtual node时，Pod将会调度失败。在1.22.15及1.24.6版本集群中，Pod调度失败原因与PodStatus中的信息对应关系为：取值不为 eci、eci_only：requesttypemustbeeci,eci_...
计算资源使用
若作业特征匹配Quota规则，作业禁止调度到该Quota运行，会优先调度到所属项目的默认计算Quota运行，如果当前项目的默认计算Quota也是该Quota，那么会调度到当前Region下最早创建的Quota运行（包括按量计费Quota）。重要 排他模式规则和禁止...
使用eci-profile调度Pod到VNode
virtualNodeOnly Pod只会调度到VNode。说明 本文部署的eci-profile组件通过Selector CRD实现Pod自动调度。如果您之前已经部署了旧版eci-profile组件（通过ConfigMap实现），仍可以继续使用。建议您升级到Selector CRD模式，后续ConfigMap...
Kafka增量数据同步至MaxCompute
生产环境的Topic不存在：则离线同步任务配置完，提交发布后，在生产环境周期调度运行时会因为没法找到待同步的表而导致任务失败。消费群组ID 根据业务需要填写，确保在Kafka集群侧唯一，便于在Kafka集群侧统计和监控消费情况。Kafka版本 ...
Kafka增量数据同步至MaxCompute
生产环境的Topic不存在：则离线同步任务配置完，提交发布后，在生产环境周期调度运行时会因为没法找到待同步的表而导致任务失败。消费群组ID 根据业务需要填写，确保在Kafka集群侧唯一，便于在Kafka集群侧统计和监控消费情况。Kafka版本 ...
离线模式调度配置
暂停调度 暂停调度 选择 是 后，即可暂停该任务的调度，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个任务暂时不用执行，但后面还会继续使用的场景。调度周期 调度周期即在生产环境调度...
离线模式调度配置
暂停调度 暂停调度 选择 是 后，即可暂停该任务的调度，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个任务暂时不用执行，但后面还会继续使用的场景。调度周期 调度周期即在生产环境调度...
离线任务调度属性配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
离线任务调度属性配置
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始按照该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度...
配置离线管道调度
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度周期 ...
配置离线管道调度
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该任务中的代码。当一个任务被成功提交后，该任务调度将提交当天次日开始该任务的时间属性配置生成自动调度的周期实例，并根据上游依赖的实例运行结果和时间点运行。调度周期 ...
函数计算节点
您可在函数计算节点配置需要运行的服务与函数，并将该节点发布至生产调度，实现相应服务与函数的周期性执行。使用限制 功能限制 DataWorks目前仅支持调用 事件函数，不支持调用 HTTP函数。因此，若要在DataWorks周期性调度处理事件函数，则...
管理工作流
调度周期 调度周期即任务在调度场景下自动执行的周期数，用于定义在生产环境调度系统中，多久会执行一次节点中的代码逻辑。调度任务会根据调度类型及周期数生成相应的周期实例，通过周期实例的方式自动调度运行周期任务。仅 调度器 类型...
DataWorks On MaxCompute使用说明
DataWorks标准模式工作空间下，开发环境默认使用 任务执行者 个人身份执行任务，生产调度环境默认使用某云账号执行任务，即调度访问身份。详情请参见 创建MaxCompute数据源。代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产...
配置逻辑表调度属性
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该逻辑表任务。当一个逻辑表任务被成功提交后，该任务调度将按照提交当天次日开始该任务的时间属性配置，生成自动调度的周期实例。并根据上游依赖的实例运行结果和时间点运行...
配置逻辑表调度属性
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该逻辑表任务。当一个逻辑表任务被成功提交后，该任务调度将按照提交当天次日开始该任务的时间属性配置，生成自动调度的周期实例。并根据上游依赖的实例运行结果和时间点运行...
基本概念
当强规则校验结果为异常时，下游节点的运维调度会自动停止，同时当前节点的状态标识为失败并告警给质量告警接收人。弱规则 质量规则的校验结果对下游节点没有影响，同时不支持强制终止下游节点运维调度。如果弱规则校验结果异常时，则系统...
- 产品推荐
- 这些文档可能帮助您