转换MBR分区为GPT分区
如果该云盘目前使用的是MBR分区类型，且希望将其扩容至2 TiB以上，需要先将分区类型从MBR转换为GPT。本文为您介绍如何将Linux和Windows数据盘的MBR分区转换为GPT分区。转换Linux数据盘的分区类型 您可以参考如下操作将Linux数据盘的MBR分区...
LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
应用实践：Transformer模型训练加速
python preprocess_data.py \-input book_wiki_owtv2_small.json \-output-prefix gpt_small \-vocab gpt2-vocab.json \-dataset-impl mmap \-tokenizer-type GPT2BPETokenizer \-merge-file gpt2-merges.txt \-append-eod 将您的模型注册...
CentOS Linux停止维护后如何应对？
CentOS官方已计划停止维护CentOS Linux项目，阿里云上CentOS Linux公共镜像来源于CentOS官方，当CentOS Linux停止维护后，阿里云将会同时停止对该操作系统的支持。本文主要介绍CentOS Linux操作系统停止维护带来的影响，并针对影响提供应对...
什么是Deepytorch Inference（推理加速）
V3 1 x 3 x 640 x 640 3.87 15.70 75%yolov3 Bert-base-uncased 1 x 128,1 x 128 0.94 3.76 75%transformers Bert-large-uncased 1 x 128,1 x 128 1.33 7.11 81%transformers GPT2 1 x 128 1.49 3.82 71%transformers 易用性好 Deepytorch ...
参数配置指导
type str 否 None BertWordPieceLowerCase BertWordPieceCase GPT2BPETokenizer 分词器的类型-split str 否 969,30,1 NA 预训练、验证、测试集的划分-data-impl str 否 mmap lazy cached mmap infer 预训练indexed数据集的实现方式-data-...
交互式翻译（IMT）
蓝色字：高亮确定性高的推荐 IMT：交互式翻译模型的推荐 GPT2:基于竞品文档的译文推荐 TM高利用率：相似度>40%的TM句子都会被模型利用，提供更好的翻译 在线学习：每一次confirm的结果，都会被学习，应用到后续句子翻译 支持含html等tag的...
使用Megatron-Deepspeed训练GPT-2并生成文本
python3 tools/preprocess_data.py \-input oscar-1GB.jsonl \-output-prefix meg-gpt2 \-vocab gpt2-vocab.json \-dataset-impl mmap \-tokenizer-type GPT2BPETokenizer \-merge-file gpt2-merges.txt \-append-eod \-workers 8 如果回显...
AIACC-AGSpeed性能数据
性能数据 本示例数据以hf_GPT2、hf_Bert、resnet50，timm_efficientnet等50多个模型为例，通过FP32精度和AMP混合精度两种场景进行训练，不同场景下各模型训练后的性能数据如下所示：FP32精度训练场景 AMP混合精度场景 上述性能数据图中，横...
使用CNP性能评测
计算公式：Scalability Score=log₂（模型吞吐/模型最小评测规格吞吐）说明 示例：以GPT3-175B模型为例（MOCK数据、仅用作说明）GPUs 吞吐量 Scalability Score 理论Scalability Score 64 10 128 18 log₂(18/10)log₂ 2 256 35 log₂(35/...
应用场景
图像分割 Unet3D等模型 NLP自然语言处理 BERT、GPT2、T5等模型 AI推理 AIACC能够适用于所有AI推理场景。该工具进行AI推理的典型业务场景如下所示：场景 适用模型 配置信息 性能优化措施 视频超分推理 超分模型 T4 GPU 进行了如下性能优化，...
云盘扩容指引
直接扩容分区和文件系统 云盘扩容后容量大于2 TiB且为MBR分区：需先转换分区，然后再扩容分区和文件系统 转换MBR分区为GPT分区 扩容分区和文件系统（Linux）或者 扩容分区和文件系统（Windows）说明 除了扩容已有云盘，您还可以通过以下...
AIGC文本生成视频
背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片、视频、音频、3D模型等。本文基于阿里云GPU服务器和文本生成视频模型，采用Unet3D结构，通过从纯高斯...
快速开始
例如：Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo），超越了其他大型语言模型（如 GPT-4,Mixtral,Claude）（基于截至 2024 年 1 月的数据）。Yi-34B 模型在包括 Hugging Face Open LLM Leaderboard（预训练）和 ...
初始化概述
操作指导 初始化小于等于2 TiB的数据盘 操作系统 初始化工具 分区格式 常见文件系统 参考文档 Windows 磁盘管理 GPT（推荐）MBR NTFS 初始化小于等于2 TiB数据盘（Windows）Linux 分区：Parted 文件系统：e2fsprogs GPT（推荐）MBR ext4 ...
将大语言模型转化为推理服务
大语言模型LLM（Large Language Model）指参数数量达到亿级别的神经网络语言模型，例如GPT-3、GPT-4、PaLM、PaLM2等。当您需要处理大量自然语言数据或希望建立复杂的语言理解系统时，可以将大语言模型转化为推理服务，通过API轻松集成先进...
扩容数据盘分区
fdisk-lu 返回示例如下，可以看到vdb为数据盘，大小为150 GiB，目前只有/dev/vdb1 一个分区，大小为70 GiB，分区类型为MBR分区（Type 取值为 Linux 表示MBR分区）。执行以下命令确认已有磁盘分区的文件系统类型。df-Th 返回示例如下，可以...
扩容分区和文件系统（Linux）
Alibaba Cloud Linux 2/3版本、CentOS 6及以上版本 MBR分区 type growpart|sudo yum install-y cloud-utils-growpart sudo LC_ALL=en_US.UTF-8 growpart/dev/vdb 1 GPT分区（需安装gdisk工具）type growpart|sudo yum install-y cloud-...
参考：性能基准评测
1 12.88+-0.10 15709 混合精度训练+Zero-2 10.27+-0.08 15693 混合精度训练+Zero-3 NA NA 3D混合并行 实验环境：英文megatron gpt预训练 num-layers 24 hidden-size 2048 num-attention-heads 32 num-params 1313722368（13亿）local-rank ...
部署及微调Mixtral-8x7B MoE模型
Mixtral-8x7B是Mistral AI最新发布的大语言模型，在许多基准测试上表现优于GPT-3.5，是当前最为先进的开源大语言模型之一。PAI已对Mixtral-8x7B模型进行全面支持，开发者和企业用户可以基于PAI-快速开始（PAI-QuickStart）轻松完成对...
创建虚拟机并安装操作系统
在 新建虚拟电脑 页面，选择内存时请结合虚拟机配置及待安装的操作系统官方要求，默认内存大小为1,024 MB，本示例中以4,096 MB为例，然后单击 下一步。在 新建虚拟电脑 页面，虚拟硬盘 选择 现在创建虚拟硬盘，然后单击 创建。在 创建虚拟...
Alibaba Cloud Linux常见问题
Alibaba Cloud Linux 3.8版本镜像升级内核报错的修复方案 Alibaba Cloud Linux 3系统关闭CPU漏洞修复的方法 Alibaba Cloud Linux 3系统空载下load大于1的解决方案 Alibaba Cloud Linux 3系统的ECS实例中，使用docker-ce、epel等第三方DNF...
什么是Alibaba Cloud Linux
安全公告 Alibaba Cloud Linux 3安全公告 Alibaba Cloud Linux 2安全公告 维护周期 版本 停止支持日期 Alibaba Cloud Linux 3 2031-04-30 Alibaba Cloud Linux 2 2024-03-31 Alibaba Cloud Linux镜像 发行版 镜像名称 镜像说明 Alibaba ...
标注模板说明
RLHF训练机制包含三个主要阶段：训练产物为基于GPT-3.5的Fine-Tuned Model（SFT）。在此阶段，高质量的提示（prompt）问题和答案至关重要。答案的来源可能是多个模型的预测结果，也可能直接由人工提供。在此过程中，问题和答案构成了模型...
内核功能与接口概述
内存 文档链接 支持版本 说明 Memcg Exstat功能 Alibaba Cloud Linux 2内核版本 4.19.91-18.al7 及以上 Alibaba Cloud Linux 3所有内核版本 Alibaba Cloud Linux所支持的Memcg Exstat功能，相较于社区版内核额外在cgroup v1接口支持了...
特性与优势
Alibaba Cloud Linux 2选择Linux kernel 4.19 LTS，同时提供GCC-7.3.1/8.2.1/9.1.1的devtoolset支持。devtoolset相关使用说明，请参见 使用试验性支持的软件包。兼容CentOS/RHEL生态，CentOS/RHEL中的大多数软件无需或仅需少量改造即可在...
Alibaba Cloud Linux 2 EOL延保支持计划
将Alibaba Cloud Linux 2升级到Alibaba Cloud Linux 3 阿里云提供多种方式帮助您将Alibaba Cloud Linux 2升级到Alibaba Cloud Linux 3，包括：通过SMC操作系统迁移：具体操作，请参见 操作系统迁移（Linux）。更换操作系统：具体操作，请...
Alibaba Cloud Linux等保2.0三级版镜像FAQ
本文汇总Alibaba Cloud Linux 2和Alibaba Cloud Linux 3等保2.0三级版镜像的常见问题及解决方案。使用Alibaba Cloud Linux等保2.0三级版镜像有什么优势？Alibaba Cloud Linux等保2.0三级版镜像有哪些加固项？加固的内容是什么？Alibaba ...
在容器中使用Alibaba Cloud Linux镜像
sudo docker images 示例结果如下，表示已成功下载220901.1版本的Alibaba Cloud Linux 3 Docker镜像和最新版本的Alibaba Cloud Linux 2 Docker镜像。运行以下命令，创建Docker实例并进入。sudo docker run-it alibaba-cloud-linux-...
订阅Alibaba Cloud Linux 2安全漏洞（CVE）公告
软件包安全漏洞（CVE）修复在Alibaba Cloud Linux 2版本支持期限内会持续更新，您可以利用浏览器插件，订阅Alibaba Cloud Linux 2 CVE公告，方便快捷地查看CVE更新情况。背景信息 本文以Google Chrome浏览器为示例，安装RSS Feed Reader...
Alibaba Cloud Linux等保2.0三级版镜像概述
Alibaba Cloud Linux等保2.0三级版镜像是基于Alibaba Cloud Linux默认标准镜像进行等保加固的镜像版本，该镜像符合等保2.0三级安全保护的基本要求。什么是等保2.0三级版镜像 阿里云根据国家信息安全部发布的《GB/T22239-2019信息安全技术...
基于向量检索版+LLM构建对话式搜索
背景 随着生成式AI技术...使用Chat LLM_NAME=OpenAI OPENAI_API_KEY=*OPENAI_API_BASE=*OPENAI_EMBEDDING_ENGINE=text-embedding-ada-002 OPENAI_CHAT_ENGINE=gpt-3.5-turbo VECTOR_STORE=OpenSearch#OpenSearch信息 OPENSEARCH_ENDPOINT=ha-...
部署及微调Llama-3系列模型
Llama-3是Meta AI推出的开源大语言模型系列（接近GPT-4级别）。该系列支持15万亿tokens进行充分训练，提供Base和Instruct等多版本、多规模的开源模型，从而满足不同的计算需求。PAI已对该系列模型进行全面支持，本文以Meta-Llama-3-8B-...
Alibaba Cloud Linux 3.8版本镜像升级内核报错的修复...
影响范围 镜像ID中日期在20230727～20230925范围内且版本为如下所示的Alibaba Cloud Linux 3镜像：Alibaba Cloud Linux 3.2104 LTS 64位 Alibaba Cloud Linux 3.2104 LTS 64位 快速启动版 Alibaba Cloud Linux 3.2104 LTS 64位 等保2.0三级...
内核热补丁FAQ
Alibaba Cloud Linux 2系统的ECS实例OverlayFS的dentry泄露导致系统宕机 Alibaba Cloud Linux 2系统的ECS实例中打开Ftrace的Filter功能后异常导致系统宕机 Alibaba Cloud Linux 3系统的ECS实例中rq->nr_running在throttle场景下统计异常
Alibaba Cloud Linux伙伴招募计划
关于计划 Alibaba Cloud Linux是阿里云发布的官方操作系统，随着多年的积累和发展，已经成为阿里云上部署规模较大的操作系统，可为用户提供开箱即用的技术体验，当前已累计服务超过40万用户。而随着越来越多的用户上云，用云深度的扩大，...
修改并编译Alibaba Cloud Linux内核的rpm包
Alibaba Cloud Linux 2/3对应的rpm包下载地址如下：产品 rpm包地址 Alibaba Cloud Linux 2 https://mirrors.aliyun.com/alinux/2/plus/source/SRPMS/ Alibaba CloudLinux 3 https://mirrors.aliyun.com/alinux/3/plus/source/SRPMS/本文以...
基于RDS PostgreSQL构建由LLM驱动的专属ChatBot
import openai import psycopg2 from psycopg2.extras import DictCursor GPT_MODEL="gpt-3.5-turbo"EMBEDDING_MODEL="text-embedding-ada-002"GPT_COMPLETIONS_MODEL="text-davinci-003"MAX_TOKENS=1024#OpenAI的API Key openai.api_key='...
Alibaba Cloud Linux 2镜像发布记录
Alibaba Cloud Linux 2.1903 LTS 64位 基础镜像到最新的软件版本 兼容最新CentOS 7.9版本 内核版本更新至 4.19.91-27.1.al7.x86_64（uname-r 命令回显结果）aliyun_2_1903_x64_20G_alibase_20230308.vhd 2023-03-08 更新 Alibaba Cloud ...
如何解决Alibaba Cloud Linux 2中polkit内存泄露问题...
部分旧版本的Alibaba Cloud Linux 2操作系统中，可能出现polkit内存泄露的问题。polkit是Linux系统中一个用于控制系统范围内权限的组件，它通常作为守护进程运行，并且与系统安全相关，所以polkit内存泄露可能导致安全问题和性能下降。本文...
- 产品推荐
- 这些文档可能帮助您