使用基于英特尔CPU的c8i实例部署ChatGLM2-6B
tmux 重要 下载预训练模型耗时较长，且成功率受网络情况影响较大，建议在tmux session中下载，以避免ECS断开连接导致下载模型中断。下载ChatGLM2-6B预训练模型。git clone-depth 1 ...
快速开始
ChatGLM 说明 支持的领域/任务：aigc 目前在大模型服务平台上对外提供的ChatGLM模型服务主要包含ChatGLM2和ChatGLM3模型，均是由智谱AI出品的大规模语言模型。ChatGLM2是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型...
使用平台提供的临时存储空间
用户可以相对独立且并行的处理文件传输和模型调用，更有利于用户协调自己的网络利用和业务逻辑；临时存储空间的限制条件 出于安全合规的要求和用户信息的保护目的，对应功能有如下限制条件：在上传凭证接口中需要指明具体调用的模型名称，...
快速开始
ChatGLM 说明 支持的领域/任务：aigc 目前在灵积平台上对外提供的ChatGLM模型服务主要包含ChatGLM2和ChatGLM3模型，均是由智谱AI出品的大规模语言模型。ChatGLM2是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅...
数据安全
数据传输安全 PAI支持使用Python官方SDK或自行实现调用逻辑的方式对服务进行VPC高速直连调用，以实现模型部署服务的安全访问。通过VPC的网络隔离能力，实现数据的传输安全。同时，EAS支持HTTPS加密传输，访问服务时，将访问地址中的 http ...
使用NAS存储SD模型库并挂载NAS到PAI-EAS加载推理
在本教程中，您将学习如何将阿里云公共SD模型库转存至NAS，并将NAS挂载至阿里云模型在线服务（PAI-EAS）上实现模型的灵活切换与推理部署。背景信息 阿里云模型在线服务PAI-EAS（Elastic Algorithm Service）是一种模型在线服务平台，可支持...
常用错误码ErrorCode
1200 远程计算服务中输入的 token ID 无效 检查 token ID 是否有效以及正确输入-1201 与远程计算服务器连接错误 检查远程计算服务器地址是否正确，网络连接是否畅通-2000 输入或读取优化模型错误 检查优化模型是否正确-2001 优化模型为空 ...
大语言模型
阿里云百炼平台上提供的0.5B模型、1.8B模型、7B模型、14B模型、32B模型和72B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考 链接。...
通过Eland上传第三方NLP模型
在Elasticsearch（简称ES）机器学习中应用第三方训练模型前，需要先将训练模型导入ES中。本文介绍利用Eland工具通过在线或离线方式将Hugging Face模型上传到阿里云ES。背景信息 Eland通过将大数据处理能力与Python数据科学生态系统结合，为...
快速开始
大模型服务平台百炼提供的0.5B模型、1.8B模型、7B模型、14B模型、32B模型和72B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考链接。Qwen ...
Hologres权限模型概述
权限模型 Hologres兼容PostgreSQL 11，为用户授予实例开发权限时，可以使用标准的PostgreSQL授权语句（专家权限模型），由于PostgresQL的权限粒度较细，且授权语句比较复杂难懂，Hologres在此基础上又提供简单权限模型，提供更加便捷的权限...
快速开始
灵积平台上提供的0.5B模型、1.8B模型、7B模型、14B模型、32B模型、72B模型和110B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考 链接。...
使用模型服务网格进行多模型推理服务
当您需要同时运行多个机器学习模型并...当您需要处理大量自然语言数据或希望建立复杂的语言理解系统时，可以将大语言模型转化为推理服务。具体操作，请参见 将大语言模型转化为推理服务。当您的Pod在运行时出现异常，请参见 Pod异常问题排查。
通义千问开源系列 大语言模型
通义千问系列模型由阿里云研发。其中开源版本提供包括18亿、70亿、140亿和720亿等多个规模的版本。这些模型基于Transformer结构，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码...
API详情
灵积平台上提供的0.5B模型、1.8B模型、7B模型、14B模型、32B模型、72B模型和110B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考 链接。...
API详情
大模型服务平台百炼提供的0.5B模型、1.8B模型、7B模型、14B模型、32B模型、72B模型和110B模型基于千问开源版本，进行了针对性的推理性能优化，为广大开发者提供便捷的API服务。各个版本均对应魔搭社区开源的各个尺寸的模型版本，详细参考...
人工神经网络
人工神经网络（Artificial Neural Network，缩写ANN），简称神经网络或类神经网络，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。人工神经网络有多层和单层之分...
数据模型
receiptList List 收据列表 consensusProof byte[]共识证明 环境相关模型 MychainEnv 参数 类型 说明 identity String sdk实例名称 clientType ClientTypeEnum 网络链接类型 hashType HashTypeEnum 哈希算法类型 signType SignTypeEnum ...
应用广场介绍
应用广场 在应用广场中您可以挑选智能体API应用、官方预置完整工程链路的RAG应用、流程编排应用，以及官方最佳实践的写作应用妙笔等，通过应用快速将通义千问系列等大语言模型能力接入到业务解决方案中。类型 应用模板名称 应用模型描述 ...
通义千问
模型简介 通义千问是由阿里云自主研发的大语言模型，用于理解和分析用户输入的自然语言，在不同领域、任务内为用户提供服务和帮助。您可以通过提供尽可能清晰详细的指令来获取符合您预期的结果。通义千问VL是阿里云研发的大规模视觉语言...
快速开始
InternLM 模型 说明 支持的领域/任务：aigc 目前在灵积平台上对外提供的InternLM模型服务主要包含InternLM-7B-Chat模型，是由书生·浦语出品的大规模语言模型。InternLM系列模型是由上海人工智能实验室从头开始训练的一代开源大型语言模型...
部署KServe组件
如果需要更复杂的用例，您也可以选择构建自己的自定义模型服务器。此外，KServe还提供基本API原语，可轻松构建自定义模型服务运行时。您也可以使用其他工具（例如BentoML）来构建您自己的自定义模型服务镜像。基于Knative使用...
模型创建
Lindorm AI引擎支持导入预训练AI模型，对数据库内的数据进行分析和处理或对时序数据进行建模，执行时序分析类任务。语法 CREATE MODEL model_name FROM {table_name|(select_statement)|model_file_path|huggingface_repo|modelscope_repo}...
部署KServe组件
如果需要更复杂的用例，您也可以选择构建自己的自定义模型服务器。此外，KServe还提供基本API原语，可轻松构建自定义模型服务运行时。您也可以使用其他工具（例如BentoML）来构建您自己的自定义模型服务镜像。基于Knative使用...
不同性能压测工具对比
支持 不支持，需自己实现 不支持 不支持 是否支持使用函数生成或者二次加工压测数据 支持 支持 不支持 不支持 压测模型构造 是否支持并发模型 支持 支持 支持 支持 是否支持吞吐量模型 支持 不支持 支持 支持 是否支持流量漏斗模型 支持 不...
部署及微调Mixtral-8x7B MoE模型
模型介绍 Mixtral-8x7B是基于编码器（Decoder-Only）架构的稀疏专家混合网络（Sparse Mixture-of-Experts，SMoE）开源大语言模型，使用Apache 2.0协议发布。它的独特之处在于对于每个Token，路由器网络选择八组专家网络中的两组进行处理，...
高级配置：内存缓存本地目录
在大部分模型推理场景中，业务进程通过OSS或NAS将模型文件挂载到本地目录，进行模型读取、模型切换以及容器的扩缩容等操作时，会受网络带宽的影响，存在较大的延时问题。为了解决这个问题，EAS 提供了本地目录内存缓存加速的功能。通过将...
模型加载器
当模型层请求失败时 模型层数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的object或array类型数据。左键点击模型 当鼠标左键单击模型时抛出的事件，抛出被点击的...
快速使用
重要 虽然OpenNLU已经在大量任务上训练且具备泛化性，但由于实际NLU任务的多样性、复杂性，其在不同具体任务上的效果可能有较大差别，请谨慎评估模型效果是否符合需求。快速开始 前提条件 已开通服务并获得API-KEY：获取API-KEY。已安装...
快速使用
重要 虽然OpenNLU已经在大量任务上训练且具备泛化性，但由于实际NLU任务的多样性、复杂性，其在不同具体任务上的效果可能有较大差别，请谨慎评估模型效果是否符合需求。快速开始 前提条件 已开通服务并获得API-KEY：开通DashScope并创建API...
XGBOOST多分类
训练成功的模型保存在【项目台】-【模型管理】-【模型文件】中，保存名称为${工作流名称}_${建模组件名称}。例如，本项目中有成功建模的任务名为“xgb_criteo_10w”，其中有建模组件名字为“XGBOOST多分类”，则模型名字为“xgb_criteo_10w...
部署及微调Qwen-72B-Chat模型
通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型，它的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手...
网络洞察仪
您可以将网络洞察仪作为业务单元的网络监测件，通过配置业务相关资源，网络洞察仪将为您分析业务单元流量的实时运行状况，帮助您及时感知业务网络异常，并提供网络质量评估和事件影响面分析。基本概念 术语 说明 网络洞察仪 由用户自定义的...
混访混挂迁移示例
本文档介绍了如何使用混挂和混访方案将经典网络迁移至专有网络。前提条件 在开始使用混挂和混访迁移方案前，请确保满足以下条件：您已经注册了阿里云账号。如还未注册，请先完成账号注册。更多信息，请参见 账号注册。您已了解该迁移方案的...
API详情
重要 虽然OpenNLU已经在大量任务上训练且具备泛化性，但由于实际NLU任务的多样性、复杂性，其在不同具体任务上的效果可能有较大差别，请谨慎评估模型效果是否符合需求。模型概览 模型名 模型简介 opennlu-v1 开箱即用的文本理解大模型，...
API详情
重要 虽然OpenNLU已经在大量任务上训练且具备泛化性，但由于实际NLU任务的多样性、复杂性，其在不同具体任务上的效果可能有较大差别，请谨慎评估模型效果是否符合需求。模型概览 模型名 模型简介 opennlu-v1 开箱即用的文本理解大模型，...
模型调优
模型调优 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。...
基本概念
DashScope灵积模型服务通过标准化的API提供“模型即服务”（Model-as-a-Service，MaaS）。不同于以往以任务为中心的AI API，DashScope构建在面向未来的、以模型为中心的理念下，因此也引入了一些新的概念和术语。开发者可以通过本文了解...
模型评测
完成模型部署后，如需测试模型的效果，可在模型评测中进行评测，模型评测需要首先构建评测的数据集，构建方法类似于训练集的构建，数据格式同样是问答Pair对，对于Prompt而言往往是需要验证的问题，对于Completion而言往往是评测参考的答案...
模型训练最佳实践
创建新模型训练任务需要选择模型类型，平台支持两种模型类型，如果第一次训练模型，一般选择预置模型，如果希望基于已训练的模型进行再次训练，则可选择自定义模型，定义如下：预置模型 预置模型为未经过任何训练的原始模型，您可以通过...
- 产品推荐
- 这些文档可能帮助您