模型训练
Designer提供了丰富的建模组件，您可以使用工作流，可视化的灵活构建模型、调试模型并周期性地调度模型，以完成模型训练。本文为您介绍使用Designer训练模型的具体操作步骤。前提条件 已创建工作流。您可以根据业务需要创建空白工作流或...
服务初始化
DataWorks、MaxCompute 是基于云原生的两款大数据服务，可搭配使用，针对推荐系统中特征处理、样本生成、画像管理、模型调度、数据更新等环节，提供了易用的开发工具和稳定的数据环境。对象存储 OSS 阿里云对象存储 OSS（Object Storage ...
如何在调度任务中自动同步PAI模型至OSS
本文为您介绍如何在调度任务中，自动同步PAI模型至OSS。前提条件 在开始执行操作之前，请确认您已经完成以下准备工作：已开通OSS并创建OSS Bucket存储空间，详情请参见 开通OSS服务 和 控制台快速入门。已完成OSS访问授权，详情请参见 云...
任务中心
任务中心主要是对离线、在线模型自动化调度运行进行任务式管理，每次任务调度时，都将按照模型设置好的参数和数据自动进行运行，通过任务状态监控单次任务的健康情况。在线服务 在线服务模块展示并管理用户添加的服务，已创建的服务支持...
流程简介
数据探索主要包括首页、数据中心、算子中心、模型中心、任务中心等功能。本文介绍了数据探索的业务操作基本流程。数据探索的业务流程如下图所示。...配置调度任务/服务 任务中心主要是对 离线 模型自动化调度运行进行任务式管理。
LLM定制
定制模型介绍 为了更好的满足用户的搜索问答体验，OpenSearch智能问答版推出了LLM定制模型的功能，用户可以根据实际的业务场景需要训练专属的大模型。操作步骤 说明 LLM定制模型只支持智能问答版实例为专业版的进行创建 创建模型 1、创建...
如何定义Manifest
包括插件相关的API出入参、插件作用等关键信息，大模型会根据Manifest的信息知晓当前的插件可以完成什么（What），什么时候该调度（When），如何完成要完成的事情（How），从而完成插件的调度、调用，完成大模型和三方API的结合。...
功能简介
数据探索（Data Discovery）是一款面向业务人员的业务模型（智能数据与智能算子组装）编排、调试、运行及运营管理产品，旨在将“大数据”变成“人人都可用的大数据”。数据探索面向行业客户和业务人员，提供工具内容一体化的业务模型构建...
工作原理
日志服务智能异常分析App提供模型训练和实时巡检功能，支持对日志、指标等数据进行自动化、智能化、自适应地模型训练和异常巡检。本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间...
离线调度
通过大数据开发套件对模型进行调度。每天凌晨对广告投放进行CTR预测，甄选出符合标准的广告进行推送。本工作流数据集是通过Random算法随机生成的，因此不对工作流结果进行评估，仅介绍如何构建工作流及大数据开发套件调度。步骤一：准备...
扩展MapReduce（MR2）
相比于传统的MapReudce，MaxCompute提供的扩展MapReduce模型（简称MR2）改变了底层的调度和IO模型，可避免作业时冗余的IO操作。与MaxCompute相比，MR2在Map、Reduce等函数编写方式上基本一致，较大的不同点发生在执行作业时，示例请参见 ...
模型预测概述
在线模型服务定时自动更新 将训练获得的模型部署为在线服务后，支持在Designer模型产出组件的下游接入更新EAS服务组件，来更新在线服务，并支持将工作流提交到DataWorks进行周期性调度，实现模型服务定时自动更新。离线预测 在Designer中，...
新建离线模型
新建任务 在模型列表中，单击目标模型 操作 列的 新建任务，可将模型新建为调度任务，具体操作，请参见 新建调度任务。说明 已发布版本的模型才能新建调度任务。复制模型 在模型列表 操作 列，选择 更多>复制，输入模型名称，单击 确定。...
操作说明
插件是智能体API应用中重要的一环，结合增强大语言模型的规划调度能力和生成能力，更好地在您的业务场景中落地。我们提供两类插件：官方插件和自定义插件 官方插件 百炼平台官方提供的插件，您可以根据业务需求进行选择。官方插件名称 插件...
新建调度任务
已发布的离线模型支持配置自动化调度任务。本文主要介绍新建调度任务。前提条件 已新建离线模型且模型已发布，具体操作，请参见 新建离线模型。已创建云计算资源作为数据源，具体操作，请参见 新建计算资源。操作步骤 登录 数据资源平台...
用户洞察常见问题
设置底表的调度导入后，建议将人群、RFM模型、AIPL模型设置为跟随底层数据调度更新，这样每次数据表成功导入后，人群、RFM模型、AIPL模型都将自动更新为新的数据。哪些原因会导致数据表导入失败，AIPL模型、RFM模型、自定义标签、人群更新...
异构计算集群概述
阿里云自研的GPU共享调度将多个模型推理应用运行在同一个GPU上，能够显著降低成本。通过阿里云自研cGPU方案，在无需修改应用容器的前提下，提供GPU显存和算力的隔离能力，提高应用的稳定性。支持的GPU设备分配策略如下，更多信息，请参见 ...
人气模型
人气模型是什么 人气模型属于离线计算的模型，是淘宝搜索最基础的排序算法模型。人气模型会计算量化出每个商品的静态质量及受欢迎的程度的值，这个值称之为商品人气分。虽然人气模型来自淘宝搜索业务，但其实这个模型对于其他的搜索场景也...
模型预测
本章节为您介绍在 Designer 训练得到模型后，如何做生产化部署对新数据进行预测。背景信息 部署模型主要是为了使用模型来进行新数据的预测。按照新数据的预测时效要求，预测任务分为两类：离线预测和在线预测。对于两类需求，在Designer...
删除模型
背景信息 存在调度任务、微应用 的模型无法进行回收，需要解除后再进行回收。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，单击 模型中心。在模型列表的 操作 列，选择...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 请参见 数据开发入口，进入数据 开发 页面。在数据 开发 页面，按照下图操作指引进入新建VIRTUAL任务...
新建VIRTUAL任务
背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作步骤 在Dataphin首页，单击顶部菜单栏中的 研发。默认进入 开发 页面。在数据 开发 页面，按照下图操作...
Java SDK
schedule.timestamp（执行调度时间）data.timestamp（调度数据时间）无 1.8.13，2023-09-08 功能名称 变更类型 功能描述 相关文档 执行线程模型调整 新增 执行线程模型调整。模型切换为 非共享 线程池模式。共享线程池模型下共享线程池参数...
什么是AutoML
您在训练模型时，如果超参组合复杂度过高，需大量训练资源和手工调试工作，可以使用AutoML来节省模型调参时间，提升模型调优效率和模型质量。基础概念 超参数：是训练机器学习模型时用到的外部配置参数，在模型训练开始前设置。超参数不同...
服务定时自动部署
每执行一次定时部署调度，系统就会在原模型服务基础上，增加一个模型服务版本，作为最新的线上运行服务。home/admin/usertools/tools/eascmd64-i<yourAccessKeyID>-k<yourAccessKeySecret>-e pai-eas....
PAI-TF概述
PAI-TF拥有服务化、分布式调度、全局计算调度、GPU卡映射及模型在线预测等特点。警告 公共云GPU服务器即将过保下线，您可以继续提交CPU版本的TensorFlow任务。如需使用GPU进行模型训练，请前往DLC提交任务，具体操作请参见 创建训练任务。...
使用DataWorks离线调度Designer工作流
离线调度功能是机器学习的常见场景，您需要通过离线调度功能周期性地更新模型，帮助您构建模型训练的Pipeline。PAI Designer支持与DataWorks互通，实现PAI Designer工作流的周期性调度。本文为您介绍如何使用DataWorks实现PAI Designer工作...
实现任务调度
它为您提供秒级、精准、高可靠、高可用的定时（基于Cron表达式）任务调度服务，同时提供分布式的任务执行模型，如MapReduce模型。在本地实现任务调度 创建命名为 scx-example 的Maven工程。以Spring Boot 2.1.4.RELEASE和Spring Cloud ...
节点伸缩概述
当集群的容量规划无法满足应用Pod调度时，您可以使用ACK提供的节点伸缩功能，自动扩缩节点资源以进行调度容量的补充。ACK目前提供 节点自动伸缩 与 节点即时弹性 两种弹性方案，后者相较于前者有着更快的弹性速度、更高的交付效率和更低的...
快速开始计费说明
在快速开始做模型训练操作时，会在DLC平台拉起相应的训练任务，并调度DLC公共资源组来完成任务。由此会产生与DLC相关的公共资源费用，计费详情请参见 DLC计费说明。在快速开始做部署操作时，EAS平台会拉起对应的模型服务部署任务，并调度...
工作原理
功能介绍 时序预测作业通过SQL方式抽取或聚合时序指标，按照调度规则定时拉取数据输入预测模型，将预测结果写入到目标日志库（internal-ml-log）中，并在仪表盘中展示预测结果，帮助您快速查看时序预测的结果。基本概念 日志服务时序预测...
模型服务网格
模型服务网格（Model Service Mesh）提供了一个可扩展的、高性能的基础架构，用于将多个模型服务进行管理、部署和调度，以此更好地处理模型的部署、版本管理、路由和推理请求的负载均衡。本文介绍模型服务网格的概念和相关功能。什么是模型...
使用EasyRec构建推荐模型
odps:/pai_online_project/tables/easyrec_demo_taobao_test_data"model_dir 模型目录，将会覆盖config配置的模型路径，一般在周期性调度时使用。oss:/examplebucket/xxx/"with_evaluator 是否在训练时使用一个Worker进行评估。通常设置8...
创建安全联邦学习任务（任务模式）
调度规则 支持 日常不调度、按日调度、按周调度、按月调度 四种，配置后会按配置的周期定时跑该任务。日常不调度：配置后不运行任务。按日调度：每天运行任务。按周调度：每周运行任务。按月调度：每月运行任务。训练类型 仅支持特征切分。...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
工作原理
文本分析作业按照调度规则定时拉取数据输入文本分析模型，文本分析模型将分析结果写入目标日志库（internal-ml-log）中，并将分析结果绘制为仪表大盘，帮助您快速了解文本分析的结果。配置监控对象：配置待分析的日志字段（字段值为文本...
Designer概述
后续您也可以通过调度配置，来指定工作流是否需要周期性自动运行，实现模型定时自动更新。（可选）可视化分析 模型训练完成后，您可以使用可视化大屏快速查看分析报告，以评估模型是否满足预期要求。部署模型 模型训练完成后，您可以将其...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
元数据仓库共享模型标准访问方式
如果您希望保证使用最新数据并可以及时获取数据产出通知，可以创建检查任务（如PyODPS任务），并直接将检查任务配置为所有的集成任务的上游，检查任务检查到共享模型数据表更新后会变成运行成功，成功后可触发下游集成任务的调度。...
- 产品推荐
- 这些文档可能帮助您