使用Hologres+PAI+LLaMA2搭建企业专属问答知识库
返回结果示例 id|embedding|metadata|document 2419815e-1407-11ee-bee5-acde48001122|{0.395261,0.123794,0.761932,0.413286,.}|{"source":"data/example_data.csv","row":1}|title:.content:.验证大模型微调效果。调用原生LLaMA-2大模型...
基于Kubeflow的Training示例
cd default-strategy-estimator-volume-pvc-6cd2979e-f925-45b7-8c25-ce67e12e2f03 说明 default-strategy-estimator-volume-pvc-6cd2979e-f925-45b7-8c25-ce67e12e2f03 需要替换为您实际生成的目录。执行以下命令，进入 master 目录。cd ...
文本内容风控解决方案
1e-5 模型选择 选择使用的预训练语言模型。pai-bert-base-zh 模型额外参数 用户自定义参数，可以配置预训练模型 pretrain_model_name_or_path，常用如下四种预训练模型：base-roberta base-bert tiny-roberta tiny-bert 模型精度排序：base...
模型训练
这也是我们 NLP 自学习平台的初衷，即帮助用户快速搭建一套解决问题的算法模型，用户只需关心模型的输入输出就好了。进入到模型中心，然后点击创建模型：在模型类型这里，我们提供了多种模型供选择，我们无法承诺一种模型一定比另一种模型...
通过阿里云百炼搭建专属大模型应用
快速入门 本文基于企业文档的大模型问答为例，带您快速搭建一个大模型应用并在自己的业务中调用。更多能力请参见 阿里云百炼快速开始。导入企业专属知识。登录 阿里云百炼控制台。在左侧导航栏，单击 应用中心>企业数据，并单击 向量数据库...
智能文创解决方案
3e-5 保存模型文件步数 表示每训练多少步，对模型进行评价，并保存当前最优模型。150 语言 表示当前文本处理的语言：zh：中文 en：英文 zh 是否从原文中拷贝文本 表示是否采用复制机制，取值如下：false：（默认值），表示不拷贝。true：...
召回定制分析器
定制召回模型按照存储容量、计算资源、模型训练收费，具体价格请参考 计费概述 快速搭建 定制召回模型从创建到使用需要经过以下三个步骤：创建并训练模型；创建自定义分析器；配置自定义分析器；创建并训练模型 在搜索算法中心>召回配置>...
AIGC文本生成视频
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ModelScope框架，实现使用文本生成视频。背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片...
部署及微调Mixtral-8x7B MoE模型
超参数 类型 默认值 是否必须 描述 learning_rate Float 1e-05 是 学习率，用于控制模型权重，调整幅度。num_train_epochs Int 5 是 训练数据集被重复使用的次数。per_device_train_batch_size Int 4 是 每个GPU在一次训练迭代中处理的样本...
DashVector x 通义千问大模型：打造基于专属知识的...
本教程演示如何使用 向量检索服务（DashVector），结合LLM大模型等能力，来打造基于垂直领域专属知识等问答服务。其中LLM大模型能力，以及文本向量生成等能力，这里基于 灵积模型服务 上的通义千问 API以及Embedding API来接入。背景及实现...
API详情
‒ 增强视觉推理和决策能力，适于搭建视觉Agent，让大模型Agent的想象力进一步扩展。‒ 升级看图做题能力，拍一拍习题图发给Qwen-VL，大模型能帮用户一步步解题。用户以文本和URL形式的图片形式输入包含多轮对话历史和当前指令的信息序列...
Diffusion中文文图生成解决方案
Diffusion文图生成解决方案基于阿里云 PAI 产品，帮助您快速搭建囊括模型离线训练和在线部署的端到端全链路构建流程，实现从文本生成图像的功能。本文为您介绍Diffusion中文文图生成解决方案的使用流程和操作步骤。背景信息 阿里云 PAI 在...
API详情
‒ 增强视觉推理和决策能力，适于搭建视觉Agent，让大模型Agent的想象力进一步扩展。‒ 升级看图做题能力，拍一拍习题图发给Qwen-VL，大模型能帮用户一步步解题。用户以文本和URL形式的图片形式输入包含多轮对话历史和当前指令的信息序列...
AIGC文本生成3D模型
本文介绍如何使用GPU云服务器搭建Stable Diffusion模型，并基于ModelScope框架和HRN人脸重建模型，实现使用文本生成3D模型。背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，...
使用基于英特尔CPU的c8i实例部署ChatGLM2-6B
本文以搭建AI对话机器人为例，介绍如何使用 基于英特尔CPU的c8i实例，基于xFasterTransformer框架 单机 部署ChatGLM2-6B语言模型。背景 信息 ChatGLM2-6B 中英对话 大模型 ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在...
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
快速开始
1）人物形象训练lora模式：基于人物形象训练模型已经得到的人物形象lora，可以继续通过人物生成写真模型完成该形象的高保真写真生成，支持多种预设风格，包括证件照、商务写真、复古风、夏日运动等风格，同时支持客户自定义风格模板上传...
如何使用Redis连接模块
适用场景 在搭建应用时，如需连接第三方Redis数据库并执行基本的数据库操作，可直接引用魔笔平台物料市场提供的Redis数据库模块。模块介绍 Redis连接模块包含三个模型：数据模型、页面模型和自定义逻辑流操作。数据模型：用于储存Redis数据...
Llama3-8B大模型微调训练
learning_rate 5e-4：设置学习率为0.0005。lr_scheduler_type linear：设置学习率调度器类型为线性。target_modules k_proj o_proj q_proj v_proj：指定在微调中需要特别关注的模型模块。output_dir lora_model/：指定输出目录路径，微调后...
使用EAIS软件包手动部署ChatGLM-6B
本文介绍如何将EAIS实例绑定到ECS实例上，然后通过安装EAIS软件包的方式手动搭建ChatGLM-6B Web服务和进行模型微调。背景信息 ChatGLM-6B是一个对话语言模型，您可以使用EAIS实例来部署ChatGLM-6B，也可以直接在GPU实例上部署。在ECS实例上...
快速开始
1）人物形象训练lora模式：基于人物形象训练模型已经得到的人物形象lora，可以继续通过人物生成写真模型完成该形象的高保真写真生成，支持多种预设风格，包括证件照、商务写真、复古风、夏日运动等风格，同时支持客户自定义风格模板上传...
Quick BI v5.0.2版本说明
智能小Q：搭建能力升级（邀测中）创建图表效果优化：模型升级，更好的理解自然语言；无需进入“创建图表”状态即可对话式创建，对话更流畅。指令集丰富，可通过对话完成复杂的报表搭建操作，提升搭建效率。新增支持多轮对话，可在上下文...
多模态检索解决方案
服务初始化接口-set_root_path POST代码示例 datas=json.dumps({"function_name":"set_root_path","function_params":{"root_path":"oss:/examplebucket/ljh-xiaoling/da_test/",},})POST返回示例（请求成功）{"request_id":"b576c16e-7fe2...
基于函数计算快速搭建低成本LLM应用
您可以基于ModelScope模型库和 函数计算 GPU实例的闲置计费功能低成本快速搭建LLM应用实现智能问答。使用资格申请 Serverless GPU闲置计费当前为邀测功能，如需体验，请 提交公测申请 或 联系我们。操作步骤 本教程使用的LLM模型为 ChatGLM...
机器阅读理解解决方案
3.5e-5 保存Checkpoint步数 表示每训练多少步，对模型进行评价，并保存当前最优模型。600 pretrainModelNameOrPath 系统提供的预训练模型名称路径选择，取值如下：自定义 hfl/macbert-base-zh（默认值）hfl/macbert-large-zh bert-base-...
使用Blade优化RetinaNet（Detectron2）模型
RetinaNet是一种One-Stage RCNN类型的检测网络，基本结构由一个Backbone、...pred1=pytorch_model(batched_inputs)pred2=optimized_model(batched_inputs)assert_allclose(pred1[0]['instances'].scores,pred2[0].scores,rtol=1e-3,atol=1e-2)
基于函数计算快速部署可切换模型的Stable Diffusion
本文介绍如何通过函数计算搭建可切换模型的Stable Diffusion，实现更高质量的图像生成。背景信息 AIGC（Artificial Intelligence Generated Content）是指人工智能生成内容。Stable Diffusion是一个可通过文本生成图像的扩散模型，基于CLIP...
同步接口API详情
7574ee8f-38a3-4b1e-9280-11c33ab46e51 Java SDK输出字段考虑兼容性为double类型，可以按照模型输出类型转换为对应精度数据。HTTP调用 说明 本模型还可通过HTTP的方式进行调用，以适用更灵活的业务开发，下方示例提供了CURL命令，其中用...
同步接口API详情
12 request_id String 本次请求的系统唯一码 7574ee8f-38a3-4b1e-9280-11c33ab46e51 java sdk输出字段考虑兼容性为double类型，可以按照模型输出类型转换为对应精度数据。HTTP调用 说明 本模型还可通过HTTP的方式进行调用，以适用更灵活的...
图像背景生成API详情
PENDING request_id String 本次请求的系统唯一码 7574ee8f-38a3-4b1e-9280-11c33ab46e51 请求示例 以下示例展示通过CURL命令来调用本模型的脚本 说明 需要使用您的API-KEY替换示例中的<your-dashscope-api-key>，代码才能正常运行。...
图像背景生成API详情
PENDING request_id String 本次请求的系统唯一码 7574ee8f-38a3-4b1e-9280-11c33ab46e51 请求示例 以下示例展示通过CURL命令来调用本模型的脚本 说明 需要使用您的API-KEY替换示例中的<your-dashscope-api-key>，代码才能正常运行。...
API详情
12 request_id String 本次请求的系统唯一码 7574ee8f-38a3-4b1e-9280-11c33ab46e51 java sdk输出字段考虑兼容性为double类型，可以按照模型输出类型转换为对应精度数据。HTTP调用 说明 本模型还可通过HTTP的方式进行调用，以适用更灵活的...
模型应用
功能描述 本文主要介绍如何使用SDK调用阿里云百炼的模型应用，包括从模型广场中创建的官方大模型应用（如通义千问-Plus、通义千问等）、自训练模型应用和官方预置应用（如营销标题生成、营销文案生成、摘要抽取、文案续写和商品评论等）。...
Llama2-7B基于DSW的全参数微调训练
本方案选择：ecs.gn7e-c16g1.4xlarge。镜像选择：建议使用Python3.9及以上版本。本方案在 官方镜像 中选择 pytorch:1.12-gpu-py39-cu113-ubuntu20.04。创建OSS Bucket存储空间和目录，用来存放训练获得的模型文件。具体操作，请参见 控制台...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
什么是表格存储
Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时，支持通过E-MapReduce SQL或者DataFrame编程方式访问 表格存储。Hive或者HadoopMR 宽表模型 使用Hive或者HadoopMR 使用Hive或者HadoopMR访问 表格存储 中的数据。函数计算 宽表模型 ...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
服务部署：EASCMD或DSW
获得训练好的模型后，您可以使用 EAS 的命令行方式快速将其部署为模型在线服务。本文为您介绍如何使用EASCMD或DSW方式部署服务。背景信息 EAS 支持以下两种命令行部署方式。本地客户端（EASCMD）部署 通过客户端工具EASCMD，您可以在自己的...
产品架构
您可以使用E-MapReduce直接对投递到OSS的数据进行外表分析。计算生态对接 支持对接主流开源流批计算引擎，包括Flink、Spark、Presto等。与阿里大数据平台生态组件有较完善的对接，包括DataWorks、DataHub、MaxCompute等。典型应用架构 根据...
使用EasyTransfer进行文本分类
为了方便用户快速搭建面向NLP场景的迁移学习模型，PAI团队推出了深度迁移学习框架EasyTransfer。使用限制 EasyTransfer仅支持如下Python版本和镜像版本：Python版本：Python 2.7或Python 3.4及其以上版本。镜像版本：选择官方镜像 ...
- 产品推荐
- 这些文档可能帮助您