轻量微调和推理ChatGLM模型实践
通过在DSW中微调和推理ChatGLM-6B模型，实现定制化、高交互性的对话系统。ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于General Language Model(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地...
配置告警规则
在 新增规则 对话框，完成自定义模型参数配置，并单击 确定。参数 说明 规则名称 输入模型的名称，建议输入有实际意义的名称以便有效识别该规则。风险级别 从下拉列表中选择模型的风险等级。资产类型 选择模型检测的资产类型，请选择 RDS。...
模型训练
该组件实现的EasyRec模型训练功能。前提条件 已开通OSS并完成授权，详情请参见 开通OSS服务 和 云产品依赖与授权：Designer。组件配置 您可以使用以下任意一种方式，配置模型训练组件参数。可视化配置参数 输入桩 输入桩（从左到右）建议...
建模优化
通过界面化的方式，实现运筹优化的数学建模，并调用求解器实现模型的求解输出。计算逻辑原理 通过依次添加序列、变量、参数、目标函数及约束等，完成数学建模，配置相应的求解属性，调用底层求解器进行模型的求解。使用流程说明 添加数据源...
常见问题
模型训练相关 1.当前百炼里面导入企业文档，进行问答，有进行FT或者某种方式的模型训练吗？有。导入文档只是通过对文档内容解析-分块-embedding向量化得到文档的向量数据库，然后在问答过程中先根据用户query进行向量检索，然后将检索结果...
Designer使用案例汇总
使用EasyRec构建推荐模型 以读取MaxCompute表数据为例，介绍如何使用EasyRec进行模型训练、配置任务例行化及部署模型。SimRank+相似度计算算法 介绍协同过滤算法SimRank的原理和其应用在个性化推荐场景时的改进，以及如何在生产环境部署...
参数配置指导
适用范围 常规训练设置：数据参数 常规训练设置：模型参数 常规训练设置：训练参数 加速开关设置：MoE稀疏训练 加速开关设置：混合精度训练 加速开关设置：模型状态切分（ZeRO，OSS，SDP，FSDP）加速开关设置：3D混合并行（Data，Tensor，...
基本概念
模型调优 全参训练 全参训练通过全量更新模型参数的方式进行学习，训练时间较长，收敛速度较慢，可实现模型新能力的学习和全局效果的优化提升。高效训练 高效训练采用低秩适应的方式，通过矩阵分解的方法，更新分解后的低秩部分参数，训练...
标准化批预测
可视化配置参数【输入桩配置】输入桩（从左到右）限制数据类型 建议上游组件 是否必选 预测输入模型 无 标准化训练 是 预测输入数据 数值类型 读数据表 读CSV文件 是【右侧参数表单】页签 参数 描述 参数设置 输出结果列列名数组 可选，...
AICS实现对SISO非积分对象的稳定控制
在仿真案例中，可以通过调整MPC模型参数来观察相应的控制效果。以下的仿真案例中，分别引入了+1的设定值变化。前半段中无模型适配，后半段将MPC模型调整至仿真过程模型的5倍。从仿真结果可以看出，由于后段出现了模型失配，MPC模型增益大于...
向量召回模型拆分
可视化配置参数 输入桩 输入桩（从左到右）限制数据类型/上游组件 对应PAI命令参数 是否必选 训练模型路径 OSS路径/模型训练 model_dir 是 组件参数 页签 参数 是否必选 描述 对应PAI命令参数 默认值 参数设置 导出类型 否 上游模型训练后...
FM算法
组件配置 Designer 提供的FM算法模板包括FM训练和FM预测组件，您可以在原PAI-Studio控制台首页的 FM算法实现推荐模型 区域，单击 从模板创建；或在 Designer 控制台 工作流模板 的 基于Alink框架的FM推荐 区域，单击 创建，快速构建FM实验...
功能简介
将业务数据沉淀为智能数据或智能算子，通过可视化的拖拉拽和简单的图形化条件设定进行模型编排，支持 离线 场景，实现简化建模复杂度、提高模型运行效能、结合智能化算法等帮助用户将数据与业务结合起来，不断积累和沉淀专家业务模型，服务...
文本摘要训练
参数设置 预训练模型 预训练模型名称，您可以在参数设置页签，选择您需要的模型名称。默认值为 alibaba-pai/mt5-title-generation-zh。批大小 训练过程中的批处理大小。INT类型，默认值为8。如果使用多机多卡，则表示每个GPU上的批处理大小...
DT-MPC v3.1
开 开 关 模型配置 模型参数 参数名 描述 默认值 范围 模型长度 模型预测长度（画布周期为单位）无 20~200 模型增益 无 无-1e7~1e7 时滞 单位：秒 无 0~1000 时间常数T1 单位：秒 无 0~1000 时间常数T2 单位：秒 无 0~1000 修改模型参数 ...
工作空间事件中心
指定模型 说明 仅 事件类型 为 模型 时支持该选项，同时您需要配置 指定模型 参数为 AI资产管理>模型管理 页面的模型，详情请参见 注册及管理模型。事件目标 钉钉通知 您需要配置 Webhook 和 加签 参数。如何获取参数值，请参见 附录：获取...
Python接口文档
目前仅支持唯一的key值 weight_adjustment，表示是否尝试调整模型参数以减小量化精度损失。该key值对应的value包括如下取值："true"：开启该选项。false"：关闭该选项。None 返回值 返回一个具有三个元素的Tuple，类型为Tuple[Any,...
基于函数计算部署Stable Diffusion实现更高质量的图像...
您可以使用 函数计算 提供的基础Stable Diffusion模型，也可以通过创建模型库上传自定义的Stable Diffusion模型实现定制化创作需求。同时，可以充分利用 函数计算 按需付费，弹性伸缩等优势，高效地为用户提供基于Stable Diffusion模型的...
高级配置：模型服务预热
为了解决模型初次请求耗时较长的问题，EAS 提供了模型预热功能，使模型服务在上线之前得到预热，从而实现模型服务上线后即可进入正常服务状态。本文介绍如何使用模型预热功能。背景信息 通常向模型发送初次请求时，不同的Runtime会进行不同...
API详情
模型概览 模型名 模型简介 qwen-vl-v1 以 Qwen-7B 语言模型初始化，添加图像模型，图像输入分辨率为448的预训练模型。qwen-vl-chat-v1 通义千问VL支持灵活的交互方式，包括多图、多轮问答、创作等能力的模型。SDK使用 前提条件 已开通服务...
ListThingModelVersion
使用说明 物模型已实现版本化管理，您导入物模型（ImportThingModelTsl）、复制其他产品物模型（CopyThingModel）或编辑更新物模型后，需调用 PublishThingModel 将物模型发布后才能被使用。一个产品的物模型每发布一次，生成一个版本。QPS...
元语功能型对话大模型V2
ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、PC甚至手机上进行推理（INT4 最低只需 400M）。在chatyuan-large-v1的原有功能的基础上，我们给模型进行了如下优化：增强了基础能力。原有上...
任务管理
10 子任务全局并发数（仅适用于拉模型）可视化MapReduce MapReduce 分片运行 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 ...
性能测试技术指南
参数化数据量 参数化数据量尽可能的多，必要的情况下，可以清除缓存或者用写代码的方式提供参数化。参数化数据分布，如果业务有明显的地域等分布的特征，需要考虑数据分布的情况。测试模型 分析 测试模型是在业务模型的基础上演变而来的，...
元语功能型对话大模型V2
ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、PC甚至手机上进行推理（INT4 最低只需 400M）。在chatyuan-large-v1的原有功能的基础上，我们给模型进行了如下优化：增强了基础能力。原有上...
使用Python开发自定义Processor
背景信息 说明 建议将模型文件和Processor的实现分开，这样在将来需要微调模型并重新部署服务时，可以重用之前的Processor包。您可以在编写预测逻辑时，使用 get_model_path()方法获取模型的存储路径，以便在预测逻辑中加载和使用该模型。...
方案实现
在前文的方案与架构基础上，本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统，并主要使用Timeline模型、基于推模式进行同步。表格存储消息（Timeline）模型是针对...
文本内容风控解决方案
pai-bert-base-zh 模型额外参数 用户自定义参数，可以配置预训练模型 pretrain_model_name_or_path，常用如下四种预训练模型：base-roberta base-bert tiny-roberta tiny-bert 模型精度排序：base-roberta>base-bert>tiny-roberta>tiny-...
通用文本向量
基于LLM底座的统一向量化模型，面向全球多个主流语种，提供高水准的向量服务，帮助用户将文本数据快速转换为高质量的向量数据。开发者可以通过以下链接，了解如何通过大模型服务平台调用通用文本向量API。快速开始 同步接口API详情 批处理...
初始化配置
本文主要介绍了如何实现三维模型的初始化配置和切换。SDK初始化 以下主要介绍三维模型通过前端引擎SDK进行初始化配置的相关示例。模型初始化 const applicationInitOptions={ config:IResolver;配置文件的加载器 publicResourceResolver:...
EasyCkpt：AI大模型高性能状态保存恢复
通过采用异步化层次化保存、重叠模型拷贝和计算、网络感知异步存储的策略，EasyCkpt实现了近0开销的模型保存机制和大模型训练全过程精度无损的模型保存与恢复的能力。EasyCkpt已经支持当前流行的两种大模型训练框架Megatron和DeepSpeed，您...
快速使用
ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、PC甚至手机上进行推理（INT4 最低只需 400M）。在chatyuan-large-v1的原有功能的基础上，给模型进行了如下优化：增强了基础能力。原有上下文...
API详情
通义法睿是以通义千问为基座经法律行业数据和知识专门训练的法律行业大模型产品，综合运用了模型精调、强化学习、RAG检索增强、法律Agent及司法专属小模型技术，具有回答法律问题、推理法律适用、推荐裁判类案、辅助案情分析、生成法律文书...
快速使用
ChatYuan-large-v2是ChatYuan系列中以轻量化实现高质量效果的模型之一，用户可以在消费级显卡、PC甚至手机上进行推理（INT4 最低只需 400M）。在chatyuan-large-v1的原有功能的基础上，给模型进行了如下优化：增强了基础能力。原有上下文...
自定义检测模型
数据安全中心DSC（Data Security Center）的自定义检测模型功能支持用户根据业务需求和安全策略来创建特定的数据检测和告警规则，帮助用户实现数据库活动精细化监控、风险预警，从而保障数据资产不受威胁。本文介绍如何创建自定义检测模型...
服务部署：控制台
场景化部署方式参数配置说明 以下是您所选部署场景的参数配置说明：ModelScope模型部署 参数 描述 模型服务信息 服务名称 参照界面提示自定义配置服务名称。选择模型 在下拉列表中选择一种可直接部署的ModelScope模型类型。关于各模型更...
功能特性
自定义组件 自动机器学习AutoML 自动超参调优HPO HPO（Hyper Parameter Optimization）是AutoML提供的对模型参数、训练参数等进行自动搜索调优的服务。AutoML工作原理 特征平台FeatureStore 任务中心 FeatureStore为您提供任务中心功能，...
文本摘要预测
当使用自有模型时，您可以将 字段设置 页签的 使用自定义模型 参数配置为 是，并配置 模型存储路径 参数为存储模型的OSS路径。单击 按钮运行工作流。工作流运行成功后，您可以在 文本摘要预测 的 预测数据输出 参数配置的OSS路径下，查看...
Llama3-8B大模型微调训练
训练结束之后，将模型参数进行量化，以便使用更少的显存进行推理。当运行 accelerate launch 命令时，会使用这些参数启动指定的Python脚本，并且根据 multi_gpu.yaml 配置文件中的设置，在计算资源允许的范围内进行训练。accelerate launch...
快速开始
text-embedding-v2是text-embedding-v1模型的升级版本,更新内容主要包括：语种扩充:text-embedding-v2模型对比text-embedding-v1模型扩展日语、韩语、德语、俄罗斯语文本向量化能力 效果提升:预训练模型底座和SFT策略优化提升embedding模型...
- 产品推荐
- 这些文档可能帮助您