使用Kettle调度MaxCompute
步骤四：运行作业调度流程 在创建的作业调度流程界面，单击左上角的 图标后，在 执行作业 对话框右下角单击 执行。可选：如果弹出如下对话框，单击 是，保存创建的作业调度流程，并按照提示指引命名。例如mc。通过调度流程界面的DAG图或 ...
Logview诊断实践
作业的调度顺序不仅与作业提交时间、优先级有关，还和作业所需内存或CPU资源大小能否被满足有关。查看Quota组中运行的作业。可能存在误交了低优先级的大作业（或批量提交了很多小作业），占用了大量的资源，可以和作业的负责人协商，先把...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
产品优势
短信服务可以为您提供以下服务优势，带给您安全可靠的发送体验。快速稳定 国内短信秒级可达，99%到达率。国内短信三网合一专属通道，与工信部携号转网平台实时互联。400+通道支持，可实现1秒切换...高效的调度算法解决高峰时段的业务压力。
集群概述
对于不同规模的集群，建议的管控节点配置和作业执行数量如下：集群规模 管控节点配置建议 作业建议 计算节点数≤100个 vCPU≥16核 内存≥64 GiB 排队作业数量条 未完成作业数量条 计算节点数≤500个 vCPU≥32核 内存≥128 GiB 排队作业数量...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
工作原理
一般是按照您配置的作业规则生成，在补运行或追赶延迟时会立即生成实例。执行时间 实例开始执行的时间。如果重试作业，则表示最后一次开始执行的时间。结束时间 实例执行结束的时间。如果重试任务，则表示最后一次执行结束的时间。执行状态...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。在MaxCompute中支持根据计算作业对计算资源的需求，指定匹配的Quota，...如上规则项也可以结合起来使用，实现更细粒度的作业调度控制。
工作原理
一般是按照您配置的作业规则生成，在补运行或追赶延迟时会立即生成实例。执行时间 实例开始执行的时间。如果重试作业，则表示最后一次开始执行的时间。结束时间 实例执行结束的时间。如果重试任务，则表示最后一次执行结束的时间。执行状态...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
通过控制台提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。在提交了多个作业时，对于需要优先执行的作业，您可以通过设置高优先级来优先执行。启动job array 是否启用调度器的job array功能。job array可自定义选择执行...
其他问题
当两个节点的调度周期不同时，即上游节点5分钟调度一次，下游节点20分钟调度一次，下游节点如何获取数据？为何周期调度中某个节点的实例实际运行时间和计划时间有差异？任务执行是按照业务连线的先后顺序执行，即当前一节点运行结束，后一...
算法管理
算法信息主要包括算法能力集（算法支持的视频检测及分析能力）、算法能力值（算法最多支持的可分析视频流数量）、用户自定义的算法名称及版本号以及存储算法包的OSS相关信息。算法能力集 算法能力集可以理解为算法的标签，指算法支持的视频...
使用Azkaban调度MaxCompute
步骤三：运行Flow View 运行导入的作业调度流程。步骤四：查看Flow View运行结果 查看作业调度流程运行结果。步骤一：准备作业相关文件并压缩为ZIP包 准备作业相关数据、脚本文件并保存。基于上文的假设场景，您需要准备的文件如下：源数据...
工作原理
一般是按照您配置的作业规则生成，在补运行或追赶延迟时会立即生成实例。执行时间 实例开始执行的时间。如果重试作业，则表示最后一次开始执行的时间。结束时间 实例执行结束的时间。如果重试任务，则表示最后一次执行结束的时间。执行状态...
SubmitIProductionJob-提交智能生产作业
{"Model":"gif"} ScheduleParams string 否 作业调度参数，设置任务调度配置（非必填，保持为空即可）。null NotifyUrl string 否 Callback 路径，目前仅支持 MNS 消息队列。消息队列的路径可以通过 MNS 控制台>队列列表>详情查看。mns:/...
调度依赖配置指引
DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引，避免因调度依赖配置...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
概述 本文主要介绍Dataphin中小时调度的任务能否上游依赖天调度的任务。详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时...
Dataphin天调度任务如何依赖小时调度任务
概述 本文为您介绍Dataphin中天调度任务依赖小时任务调度是如何调度的。详细信息 判断下游天任务与上游小时任务是否是同周期。同周期：判断上游小时任务是否是自依赖：上游小时任务如果不是自依赖（即小时任务本身没有配置依赖上周期）,则...
Decrypt
例如，RSA解密（RSAES_OAEP_SHA_256）时，使用公钥对明文加密时使用的摘要算法是SHA-1，或者AES_ECB解密时，密文数据长度不是16字节（AES算法块大小）的倍数。请求参数指定的密钥不是加密时使用的密钥。如果已排除上述原因，请您通过 智能...
Contextual Bandit 算法
相较A/B测试方案，能更快地收敛到最优策略 如何在一次请求中推荐多个候选物品，使用如下Multiple-Play Bandit Algorithm：算法详细描述 Bandit算法是一类用来实现Exploitation-Exploration机制的策略。根据是否考虑上下文特征，Bandit算法...
限流算法选择
服务限流中主要使用了 QPS 限流算法和令牌桶算法两种限流算法，本文对这两种算法进行介绍。QPS 限流算法 QPS 限流算法通过限制单位时间内允许通过的请求数来限流。优点：计算简单，是否限流只跟请求数相关，放过的请求数是可预知的（令牌桶...
工作原理
本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据（日志、指标）在日积月累后的数量是惊人的。例如每天产生1000万条数据，则一年为36亿条数据。一方面，长时间的数据存储需要...
PGVector
原理介绍 PGVector的索引算法是IVFFLAT（同pase插件的向量算法）。IVFFLAT是一种基于倒排索引的近似最近邻搜索算法，可以用于高效地查询向量之间的相似度。它将向量空间分为若干个划分区域，每个区域都包含一些向量，并创建倒排索引，用于...
PGVector
原理介绍 PGVector的索引算法是IVFFLAT（同pase插件的向量算法）。IVFFLAT是一种基于倒排索引的近似最近邻搜索算法，可以用于高效地查询向量之间的相似度。它将向量空间分为若干个划分区域，每个区域都包含一些向量，并创建倒排索引，用于...
PGVector
原理介绍 PGVector的索引算法是IVFFLAT（同pase插件的向量算法）。IVFFLAT是一种基于倒排索引的近似最近邻搜索算法，可以用于高效地查询向量之间的相似度。它将向量空间分为若干个划分区域，每个区域都包含一些向量，并创建倒排索引，用于...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
迁移CLB
迁移中：迁移时将MSE云原生网关的节点挂载到用户SLB的指定虚拟服务器组中，并设置新挂载节点的总权重值，例如设置为10%，然后将SLB的调度算法调整为加权轮询，此时Client请求SLB的流量就会按照权重值进行分流，会有10%的流量进入MSE云原生...
技术分析函数
技术分析的函数将广泛使用的算法应用在您的数据中。虽然这些函数主要应用在金融和投资领域，但是它们也适用于其它行业和用例。本文档主要介绍了技术分析函数的语法结构、语法说明以及使用示例。通用参数说明 除了 field key 参数，技术分析...
迁移助手与迁云服务
DataWorks迁移助手支持将开源调度引擎的作业迁移至DataWorks，支持作业跨云、跨Region、跨账号迁移，实现DataWorks作业快速克隆部署，同时DataWorks团队联合大数据专家服务团队，上线迁云服务，帮助您快速实现数据与任务的上云。...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECI资源的方式进行调度容量的...
组件参考：所有组件汇总
XGBoost训练 该组件算法在Boosting算法的基础上进行了扩展和升级，具有较好的易用性和鲁棒性，被广泛用在各种机器学习生产系统和竞赛领域。当前支持分类和回归。XGBoost预测 该组件算法在Boosting算法的基础上进行了扩展和升级，具有较好的...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
CreateSchedule-创建一个定时调度
创建一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
概述
稳定性要求较高的作业场景。PyODPS DataFrame会将作业编译至MaxCompute执行，由于MaxCompute相当稳定，而Mars相对比较新，如果对稳定性有很高要求，建议您使用PyODPS DataFrame。数据量在TB级别以上的场景，建议您使用PyODPS DataFrame。与...
- 产品推荐
- 这些文档可能帮助您