数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
文档更新动态（2022年）
更新说明 什么是Dataphin 添加派生指标和衍生指标 新建注册上挂标签 2022年07月19日 增加回收站功能 可以将删除的数据处理任务还原。新增说明 管理回收站的资源对象 2022年07月19日 实时研发新增支持Ververcia Flink引擎 支持Flink SQL流批...
功能特性
使用可视化大屏查看分析报告 预置算法组件库 支持数据源、数据预处理、特征工程、统计分析、机器学习、时间序列、推荐算法、异常检测、自然语言处理、网络分析、金融板块、视觉算法、语音算法、自定义算法等上百种PAI内置算法组件，开箱即...
横向网关产品特性汇总
一致性哈希ring_hash算法：适用于需要根据Header某些字段做流量调度的场景。一致性哈希Maglev算法：适用于需要根据Header某些字段做流量调度的场景。简单来说Maglev相比ring_hash散列效果更优，Envoy默认采用该算法。会话保持Sticky ...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
向量介绍
那么什么是向量，又如何通过向量检索呢？将物理世界产生的非结构化数据，转化为结构化的多维向量，用这些向量标识实体和实体间的关系。再计算向量之间距离，通常情况下，距离越近、相似度越高，召回相似度最高的TOP结果，完成检索。向量...
常见问题
移动调度中心高可用 Q：移动调度中心实现高可用的策略是什么？A：移动调度中心实现高可用的策略如下：移动调度中心已预先配置好自身域名和 IP，这样 App 可以拉取到 MDGC 自身的域名调度配置。移动调度中心已预先配置好域名和 IP 到公网 ...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
实时算法编排
本文为您介绍如何使用智能制造平台AICS实时算法编排模块。实时算法编排流程 新建画布。算法流程搭建。算法试运行与调试。算法发布与周期运行。参数趋势查看。新建画布 登录 工业大脑智能制造平台AICS。左侧导航栏单击 实时控制优化>实时...
数据开发常见问题
调度依赖常见问题 配置须知 什么是调度依赖？为什么要设置调度依赖？DataWorks上如何设置调度依赖？下游任务依赖上游任务的运行规则是什么？节点的输出名称的作用是什么？一个节点可以有多个输出名称吗？哪些场景不支持设置调度依赖？典型...
调度参数
本文为您介绍调度参数的相关问题。调度参数典型场景 调度参数往前取一个小时，如何处理跨天参数替换的问题 如何处理表的分区格式年月日时分秒间带空格情况：pt=yyyy-mm-dd hh24:mi:ss 节点定时时间为每天20:00，节点内参数取值为定时时间...
工作流调度简介
双向集成调度 调度名称 标准执行模式工作流调用方式 快速执行模式工作流调用方式 定时调度 异步调用 同步调用 SLS调度 异步调用 同步调用 MNS调度 异步调用 同步调用 Kafka调度 异步调用 同步调用 RocketMQ调度 异步调用 同步调用 RabbitMQ...
SimRank+相似度计算算法
本文介绍了推荐系统中一个常用的协同过滤算法SimRank，包括它的算法原理，及其应用在个性化推荐场景时的改进。同时，本文还描述了如何在生产环境部署SimRank+算法。算法简介 SimRank算法是一种用于衡量结构上下文中个体相似度的方法，其...
等待资源
为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会出现等待资源？问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务...
实现任务调度
在EDAS控制台中，已经无缝集成了阿里巴巴的分布式任务调度系统SchedulerX作为核心组件，以实现高效的任务调度管理功能。本文将介绍如何在您的Spring Cloud应用中使用SchedulerX实现任务调度，并部署到EDAS中，实现一个 简单Job单机版 的...
共享GPU调度
进一步了解，请参见：关于什么是共享GPU调度，请参见 共享GPU调度概述。关于如何开启共享GPU调度专业版，请参见 安装共享GPU调度组件。关于如何使用共享GPU调度专业版，请参见 运行共享GPU调度示例、通过共享GPU调度实现多卡共享。若ACK...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
其他问题
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
创建EMR Hive节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Impala节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Spark SQL节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Shell节点
配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情...
为什么会空跑
场景一：周月实例空跑周期 场景二：实时生成的过期实例 场景三：设置成功实例 场景四：实例属性为空跑 场景五：临时工作流中未被选择的实例 日调度任务空跑排查方法 什么是空跑？空跑的实例任务状态显示成功（正常调度），运行日志为空，无...
附录：调度器插件的常用OpenAPI说明
本文将为您介绍常用的OpenAPI会调用到插件功能中的具体功能项，帮助您了解集群调度器插件功能与常用OpenAPI之间的关联关系，从而进行自身业务的具体实现。背景信息 本文示例仅针对纯调度器插件场景，如果您的业务还需要同时配置域账号插件...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
图算法
进入【实例详情】-【图算法】-【算法分析】页面新建和编辑算法配置，如需周期调度任务，可通过定时配置进行按天调度。1）最短路径 确定边集选择，选中图中已关闭【索引优化】的边表可进行算法分析。支持选择多条边，对于部分可以用到边的...
订阅常见问题
邮件订阅时调度状态提示发送周期已设置完成，但是为什么没有收到订阅邮件？调度状态指是否会在周期内执行发送任务，未调度在周期内不会发送邮件。调度状态会按照设置的时间定时发送邮件，调度状态下会出现邮件发送成功或者失败的现象。邮件...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
调度至Arm虚拟节点
preferredDuringSchedulingIgnoredDuringExecution:weight:1 preference:matchExpressions:key:kubernetes.io/arch operator:In values:amd64 containers:name:my-container image:nginx 常见问题 为什么配置nodeAffinity优先将Pod调度到...
什么是交通云控平台
交通云控平台是阿里云面向交通行业打造的，可提供地图、数据、智能算法、云边协同、控制下发、视觉渲染六大能力的大数据开放平台。产品介绍 交通云控平台为交通行业应用的开发提供图、数、智、控、云、视等能力，交通行业开发者可基于平台...
配置路由算法
本文介绍路由算法配置的格式，及如何为逻辑表配置路由算法。背景信息 路由算法是减少路由时开销的一种算法，逻辑表配置了路由算法后，带路由字段则可以快速查询指定物理表，免去人为计算、切换物理库表的操作。路由算法的更多信息，请参见 ...
Alibaba Cloud Linux 2系统中TCP拥塞控制算法BBR对...
本文为您介绍Alibaba Cloud Linux 2系统中TCP拥塞控制算法BBR（Bottleneck Bandwidth and RTT）对网络性能有影响的原因及解决方案。问题描述 符合下列条件的ECS实例中，内核TCP拥塞控制算法默认为BBR算法。该算法会在CPU使用率高、网络数据...
常见问题
为什么实例停止之后还会执行？如何进行任务管理高级配置？机器繁忙（all workers are busy）该怎么办？任务常见问题 如何接入链路追踪？任务常见问题 应用发布过程，任务执行卡住或变慢 单击运行一次后，系统提示输入实例参数，如何处理？...
附录：消息格式
说明 上述 data 内容仅为示例，下表所列参数为调度任务状态变更事件中 data 的常用参数介绍。字段名称 字段类型 说明 finishTime Long 调度任务实例运行完成的具体时间。beginWaitTimeTime Long 调度任务实例开始等待运行的具体时间。...
索引
如何进行秒级别调度？某个时间点没有调度怎么办？SchedulerX如何设置超时时间？为什么实例停止之后还会执行？如何进行任务管理高级配置？机器繁忙该怎么办？任务执行失败，且没有错误信息 如何接入链路追踪？如何设置一次性任务？应用发布...
功能简介
生产节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期参数、输入参数、输出参数等详细信息以及运行信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的...
数据开发
生产环境节点 支持生产环境中节点任务的查看和下线，对节点的算法信息、计算资源、存储资源、调度周期入、输出等详细信息以及部署信息的查看。场景模式 场景模式适用于算法相对比较复杂，算法流程由多个节点，在一个场景内的混合编排组成的...
- 产品推荐
- 这些文档可能帮助您