创建指标质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建数据表质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
创建数据表质量规则
如果涉及到配置了该调度方式的表发生变更，则会开始执行质量规则。说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、...
模型预测
本章节为您介绍在 Designer 训练得到模型后，如何做生产化部署对新数据进行预测。背景信息 部署模型主要是为了使用模型来进行新数据的预测。按照新数据的预测时效要求，预测任务分为两类：离线预测和在线预测。对于两类需求，在Designer...
删除模型
背景信息 存在调度任务、微应用 的模型无法进行回收，需要解除后再进行回收。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，单击 模型中心。在模型列表的 操作 列，选择...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引进入新建VIRTUAL任务...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。在数据 开发 页面，按照下图操作...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
Java SDK
schedule.timestamp（执行调度时间）data.timestamp（调度数据时间）无 1.8.13，2023-09-08 功能名称 变更类型 功能描述 相关文档 执行线程模型调整 新增 执行线程模型调整。模型切换为 非共享 线程池模式。共享线程池模型下共享线程池参数...
故障发现
对于完成监控覆盖的核心业务场景，在异常上报时，通过工具自动检测或值班人员人工判断，及时识别风险或故障，以风险预警和故障通告的形式快速调度应急负责人上线处理，避免业务受损或降低业务受损程度。之所以设立7*24监控值班，是因为报警...
PAI-TF概述
PAI-TF拥有服务化、分布式调度、全局计算调度、GPU卡映射及模型在线预测等特点。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。...
使用DataWorks离线调度Designer工作流
离线调度功能是机器学习的常见场景，您需要通过离线调度功能周期性地更新模型，帮助您构建模型训练的Pipeline。PAI Designer支持与DataWorks互通，实现PAI Designer工作流的周期性调度。本文为您介绍如何使用DataWorks实现PAI Designer工作...
模型体验介绍
说明 体验模型将会消耗Tokens，费用以实际发生为主（独立部署模型除外）。各大模型收费标准请查看 模型广场介绍，部分模型 限时免费调用。示例内容：问法：阿里云百炼大模型是什么 下方图片展示选择的不同大模型回复的内容。模型调试 支持...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
快速开始计费说明
在快速开始做模型训练操作时，会在DLC平台拉起相应的训练任务，并调度DLC公共资源组来完成任务。由此会产生与DLC相关的公共资源费用，计费详情请参见 DLC计费说明。在快速开始做部署操作时，EAS平台会拉起对应的模型服务部署任务，并调度...
实现任务调度
它为您提供秒级、精准、高可靠、高可用的定时（基于Cron表达式）任务调度服务，同时提供分布式的任务执行模型，如MapReduce模型。在本地实现任务调度 创建命名为 scx-example 的Maven工程。以Spring Boot 2.1.4.RELEASE和Spring Cloud ...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端用户业务属性进行用户分组的精细化移动调度服务产品，能快速有效帮助客户达成业务分组灰度测试、A/B 测试、故障调优等目标。产品优势 移动调度中心的产品优势如下：用户级精准调度...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
可选：运维SQL分析任务
建议您在调度任务出现异常或SQL分析任务发生变更时，再进行手动调度任务。设置项 说明 请选择调度周期 选择 日调度 或 小时调度。详细说明，请参见 调度周期。请选择手动日期 在最近3天内，选择时间范围，对所选时间范围内的SQL分析的调度...
基本概念
完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度系统。脚本开发（Script）脚本开发是提供给数据分析使用的一个代码存储空间。脚本开发的代码无法...
常见问题
运维管理 容器应用服务常见问题 经典应用服务常见问题 中间件 SOFABoot 常见问题 微服务常见问题 微服务故障排查之 DRM 微服务故障排查之限流 微服务故障排查之 RPC 服务网格-故障排查 消息队列常见问题 任务调度常见问题 分布式链路跟踪...
使用EasyRec构建推荐模型
odps:/pai_online_project/tables/easyrec_demo_taobao_test_data"model_dir 模型目录，将会覆盖config配置的模型路径，一般在周期性调度时使用。oss:/examplebucket/xxx/"with_evaluator 是否在训练时使用一个Worker进行评估。通常设置8...
创建安全联邦学习任务（任务模式）
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。训练类型 仅支持特征切分。...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
Designer概述
在Designer工作流中开发测试完成的模型支持注册至模型管理，一键部署模型服务或打包成复合模型进行部署，详情请参见 模型预测概述。Designer 提供的工作流组件 Designer 为您提供百余种组件，满足多种场景的使用，组件详情请参见 组件参考...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
元数据仓库共享模型标准访问方式
元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存储在Dataphin元仓租户下的元仓项目中，产出时效为T+1。若您需访问元仓共享模型，可以通过集成任务将元仓中所需的元仓共享模型...
空间系统配置
空间管理员可以进行以下系统配置：数据导入调度、人群新建/编辑/更新、模型更新的任务并发数设置。数据银行推送任务最大并发数设置、达摩盘推送任务最大并发数设置、Kafka推送任务最大并发数设置。操作步骤：单击页面右上角，选择 工作空间...
安装共享GPU调度组件
ACK提供GPU共享调度能力，服务于共享单GPU的模型预测场景，同时也支持通过NVIDIA驱动内核态保障GPU显存的隔离。本文介绍如何在GPU节点上安装共享GPU组件和GPU资源查询工具，实现GPU的调度和隔离能力。前提条件 共享GPU调度目前已实行收费。...
调度参数配置最佳实践
背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式...
工作原理
虽然前面的实例发生延迟时，可能导致后面的实例也延迟执行，但通过追赶执行进度，可逐渐减少延迟，直到恢复准时运行。场景二：从某个历史时间点开始执行定时SQL任务 在当前时间点创建定时SQL任务后，按照调度规则对历史数据进行处理，从...
模型导出
模型导出组件实现EasyRec模型导出（export）功能。前提条件 已完成 模型训练。可视化配置参数 输入桩 输入桩（从左到右）限制数据类型/上游组件 对应PAI命令参数 是否必选 训练模型目录 OSS路径/模型训练 model_dir 是 组件参数 页签 参数 ...
管理MySQL集群
主机故障处理策略 主机故障时，系统的处理策略：自动替换主机：系统会自动替换故障主机。说明 如果故障主机是云盘主机，云盘会自动迁移计算资源以自动替换主机。如果故障主机是非云盘主机，则系统会先将故障主机上的实例迁移走，然后自动...
GPU节点调度属性标签
安装云原生AI套件的调度组件ack-ai-installer之后，您可以为GPU节点打上调度属性标签，帮助GPU节点启用共享GPU调度、GPU拓扑感知调度等能力。本文介绍GPU节点调度属性标签及如何切换标签的值。GPU节点调度属性标签说明 标签ack.node.gpu....
离线批量预测
使用 通用模型导出 组件和 导入MaxCompute离线模型 组件（推荐）使用 通用模型导出 组件将训练得到的OfflineModel格式模型导出至OSS中，然后在周期性运行的预测工作流中，在实际执行时使用 导入MaxCompute离线模型 组件从OSS中导入所需模型...
演练场景说明
故障演练场景是演练任务的核心。AHAS提供基础资源类场景和Kubernetes类场景，帮助分布式系统提升容错性和可恢复性。每一个执行阶段的演练场景都对应一个恢复阶段的演练任务。恢复阶段的演练任务目的是清除故障演练的影响，使应用或服务恢复...
- 产品推荐
- 这些文档可能帮助您