LLM on DLC-Megatron on DLC最佳实践
大语言模型（LLM）是指参数数量达到亿级别的神经网络语言模型，例如：GPT-3、GPT-4、PaLM、PaLM2等。Megatron-LM 是由NVIDIA的应用深度学习研究团队开发的Transformer模型训练框架，它可以高效利用算力、显存和通信带宽，大幅提升了大语言...
应用实践：Transformer模型训练加速
python preprocess_data.py \-input book_wiki_owtv2_small.json \-output-prefix gpt_small \-vocab gpt2-vocab.json \-dataset-impl mmap \-tokenizer-type GPT2BPETokenizer \-merge-file gpt2-merges.txt \-append-eod 将您的模型注册...
什么是Deepytorch Inference（推理加速）
V3 1 x 3 x 640 x 640 3.87 15.70 75%yolov3 Bert-base-uncased 1 x 128,1 x 128 0.94 3.76 75%transformers Bert-large-uncased 1 x 128,1 x 128 1.33 7.11 81%transformers GPT2 1 x 128 1.49 3.82 71%transformers 易用性好 Deepytorch ...
参数配置指导
type str 否 None BertWordPieceLowerCase BertWordPieceCase GPT2BPETokenizer 分词器的类型-split str 否 969,30,1 NA 预训练、验证、测试集的划分-data-impl str 否 mmap lazy cached mmap infer 预训练indexed数据集的实现方式-data-...
交互式翻译（IMT）
蓝色字：高亮确定性高的推荐 IMT：交互式翻译模型的推荐 GPT2:基于竞品文档的译文推荐 TM高利用率：相似度>40%的TM句子都会被模型利用，提供更好的翻译 在线学习：每一次confirm的结果，都会被学习，应用到后续句子翻译 支持含html等tag的...
AIACC-AGSpeed性能数据
性能数据 本示例数据以hf_GPT2、hf_Bert、resnet50，timm_efficientnet等50多个模型为例，通过FP32精度和AMP混合精度两种场景进行训练，不同场景下各模型训练后的性能数据如下所示：FP32精度训练场景 AMP混合精度场景 上述性能数据图中，横...
使用CNP性能评测
计算公式：Scalability Score=log₂（模型吞吐/模型最小评测规格吞吐）说明 示例：以GPT3-175B模型为例（MOCK数据、仅用作说明）GPUs 吞吐量 Scalability Score 理论Scalability Score 64 10 128 18 log₂(18/10)log₂ 2 256 35 log₂(35/...
应用场景
图像分割 Unet3D等模型 NLP自然语言处理 BERT、GPT2、T5等模型 AI推理 AIACC能够适用于所有AI推理场景。该工具进行AI推理的典型业务场景如下所示：场景 适用模型 配置信息 性能优化措施 视频超分推理 超分模型 T4 GPU 进行了如下性能优化，...
AIGC文本生成视频
背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片、视频、音频、3D模型等。本文基于阿里云GPU服务器和文本生成视频模型，采用Unet3D结构，通过从纯高斯...
快速开始
例如：Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo），超越了其他大型语言模型（如 GPT-4,Mixtral,Claude）（基于截至 2024 年 1 月的数据）。Yi-34B 模型在包括 Hugging Face Open LLM Leaderboard（预训练）和 ...
使用Megatron-Deepspeed训练GPT-2并生成文本
python3 tools/preprocess_data.py \-input oscar-1GB.jsonl \-output-prefix meg-gpt2 \-vocab gpt2-vocab.json \-dataset-impl mmap \-tokenizer-type GPT2BPETokenizer \-merge-file gpt2-merges.txt \-append-eod \-workers 8 如果回显...
Alibaba Cloud Linux常见问题
Alibaba Cloud Linux 3.8版本镜像升级内核报错的修复方案 Alibaba Cloud Linux 3系统关闭CPU漏洞修复的方法 Alibaba Cloud Linux 3系统空载下load大于1的解决方案 Alibaba Cloud Linux 3系统的ECS实例中，使用docker-ce、epel等第三方DNF...
将大语言模型转化为推理服务
大语言模型LLM（Large Language Model）指参数数量达到亿级别的神经网络语言模型，例如GPT-3、GPT-4、PaLM、PaLM2等。当您需要处理大量自然语言数据或希望建立复杂的语言理解系统时，可以将大语言模型转化为推理服务，通过API轻松集成先进...
什么是Alibaba Cloud Linux
安全公告 Alibaba Cloud Linux 3安全公告 Alibaba Cloud Linux 2安全公告 维护周期 版本 停止支持日期 Alibaba Cloud Linux 3 2031-04-30 Alibaba Cloud Linux 2 2024-03-31 Alibaba Cloud Linux镜像 发行版 镜像名称 镜像说明 Alibaba ...
内核功能与接口概述
内存 文档链接 支持版本 说明 Memcg Exstat功能 Alibaba Cloud Linux 2内核版本 4.19.91-18.al7 及以上 Alibaba Cloud Linux 3所有内核版本 Alibaba Cloud Linux所支持的Memcg Exstat功能，相较于社区版内核额外在cgroup v1接口支持了...
特性与优势
Alibaba Cloud Linux 2选择Linux kernel 4.19 LTS，同时提供GCC-7.3.1/8.2.1/9.1.1的devtoolset支持。devtoolset相关使用说明，请参见 使用试验性支持的软件包。兼容CentOS/RHEL生态，CentOS/RHEL中的大多数软件无需或仅需少量改造即可在...
参考：性能基准评测
1 12.88+-0.10 15709 混合精度训练+Zero-2 10.27+-0.08 15693 混合精度训练+Zero-3 NA NA 3D混合并行 实验环境：英文megatron gpt预训练 num-layers 24 hidden-size 2048 num-attention-heads 32 num-params 1313722368（13亿）local-rank ...
Alibaba Cloud Linux 2 EOL延保支持计划
将Alibaba Cloud Linux 2升级到Alibaba Cloud Linux 3 阿里云提供多种方式帮助您将Alibaba Cloud Linux 2升级到Alibaba Cloud Linux 3，包括：通过SMC操作系统迁移：具体操作，请参见 操作系统迁移（Linux）。更换操作系统：具体操作，请...
AIGC文本生成3D模型
背景信息 自多态模型GPT-4发布后，AIGC（AI Generated Content，AI生成内容）时代正扑面而来，从单一的文字文本，演化到更丰富的图片、视频、音频、3D模型等。本文将基于HRN人脸重建模型，以人脸头像作为输入，利用层次化表征实现快速人脸...
初始化概述
Linux数据盘的设备名说明 Linux数据盘的设备名默认由系统分配，命名规则如下所示：I/O优化实例：通过NVMe协议挂载的数据盘设备名为/dev/nvmeXn1，例如/dev/nvme1n1、/dev/nvme2n1、/dev/nvme3n1，以此类推。关于支持NVMe协议的云盘的更多...
Alibaba Cloud Linux等保2.0三级版镜像FAQ
本文汇总Alibaba Cloud Linux 2和Alibaba Cloud Linux 3等保2.0三级版镜像的常见问题及解决方案。使用Alibaba Cloud Linux等保2.0三级版镜像有什么优势？Alibaba Cloud Linux等保2.0三级版镜像有哪些加固项？加固的内容是什么？Alibaba ...
在容器中使用Alibaba Cloud Linux镜像
sudo docker images 示例结果如下，表示已成功下载220901.1版本的Alibaba Cloud Linux 3 Docker镜像和最新版本的Alibaba Cloud Linux 2 Docker镜像。运行以下命令，创建Docker实例并进入。sudo docker run-it alibaba-cloud-linux-...
订阅Alibaba Cloud Linux 2安全漏洞（CVE）公告
软件包安全漏洞（CVE）修复在Alibaba Cloud Linux 2版本支持期限内会持续更新，您可以利用浏览器插件，订阅Alibaba Cloud Linux 2 CVE公告，方便快捷地查看CVE更新情况。背景信息 本文以Google Chrome浏览器为示例，安装RSS Feed Reader...
Alibaba Cloud Linux等保2.0三级版镜像概述
配置Alibaba Cloud Linux等保2.0三级版镜像基线检查策略 阿里云已为Alibaba Cloud Linux 2和Alibaba Cloud Linux 3等保2.0三级版镜像提供了等保合规的基线检查标准和扫描程序，您可以通过云安全中心完成相关操作。使用等保加固后的自定义...
转换MBR分区为GPT分区
Alibaba Cloud Linux 2/3版本、CentOS 6及以上版本运行以下命令。type sgdisk|sudo yum install-y gdisk Debian 8及以上版本、Ubuntu14及以上版本运行以下命令。type sgdisk|sudo apt-get install-y gdisk 运行以下命令，将MBR分区转换为...
Alibaba Cloud Linux 3.8版本镜像升级内核报错的修复...
影响范围 镜像ID中日期在20230727～20230925范围内且版本为如下所示的Alibaba Cloud Linux 3镜像：Alibaba Cloud Linux 3.2104 LTS 64位 Alibaba Cloud Linux 3.2104 LTS 64位 快速启动版 Alibaba Cloud Linux 3.2104 LTS 64位 等保2.0三级...
内核热补丁FAQ
Alibaba Cloud Linux 2系统的ECS实例OverlayFS的dentry泄露导致系统宕机 Alibaba Cloud Linux 2系统的ECS实例中打开Ftrace的Filter功能后异常导致系统宕机 Alibaba Cloud Linux 3系统的ECS实例中rq->nr_running在throttle场景下统计异常
Alibaba Cloud Linux伙伴招募计划
关于计划 Alibaba Cloud Linux是阿里云发布的官方操作系统，随着多年的积累和发展，已经成为阿里云上部署规模较大的操作系统，可为用户提供开箱即用的技术体验，当前已累计服务超过40万用户。而随着越来越多的用户上云，用云深度的扩大，...
修改并编译Alibaba Cloud Linux内核的rpm包
产品 Docker镜像地址 Alibaba Cloud Linux 2 alibaba-cloud-linux-2-registry.cn-hangzhou.cr.aliyuncs.com/alinux2/alinux2 Alibaba Cloud Linux 3 alibaba-cloud-linux-3-registry.cn-hangzhou.cr.aliyuncs.com/alinux3/alinux3 本文以...
Alibaba Cloud Linux 2镜像发布记录
Alibaba Cloud Linux 2.1903 LTS 64位 基础镜像到最新的软件版本 兼容最新CentOS 7.9版本 内核版本更新至 4.19.91-27.1.al7.x86_64（uname-r 命令回显结果）aliyun_2_1903_x64_20G_alibase_20230308.vhd 2023-03-08 更新 Alibaba Cloud ...
如何解决Alibaba Cloud Linux 2中polkit内存泄露问题...
部分旧版本的Alibaba Cloud Linux 2操作系统中，可能出现polkit内存泄露的问题。polkit是Linux系统中一个用于控制系统范围内权限的组件，它通常作为守护进程运行，并且与系统安全相关，所以polkit内存泄露可能导致安全问题和性能下降。本文...
安全公告
本文介绍Alibaba Cloud Linux定期发布的CVE（Common Vulnerabilities and Exposures）更新记录。Alibaba Cloud Linux 3安全公告 Alibaba Cloud Linux 2安全公告
部署及微调Mixtral-8x7B MoE模型
Mixtral-8x7B支持多种语言，包括法语、德语、西班牙语、意大利语和英语，支持的上下文长度为32 K 的Token，并且在所有的评估的基准测试中均达到或优于LLaMA2-70B和 GPT-3.5，特别是在数学、代码生成和多语言基准测试中，Mixtral大大优于...
Alibaba Cloud Linux 3系统空载下load大于1的解决方案
问题现象 Alibaba Cloud Linux 3操作系统在无任何负载时启用 top 命令，查看到显示的 load average 永远大于1。问题原因 因容器资源统计增强功能的统计问题，导致系统 load 统计逻辑出现误差，进而造成您在系统空载的情况下，查看到系统...
联系我们
本文介绍阿里云为Alibaba Cloud Linux提供的技术支持以及联系方式。阿里云为Alibaba Cloud Linux提供如下技术支持：按各操作系统版本的生命周期（详情请参见 维护周期），提供免费安全更新和问题修复。在保证repo源实时更新的同时，对基础...
使用Alibaba Cloud Linux等保2.0三级版镜像
您可以在创建ECS实例时，选择使用Alibaba Cloud Linux 2或者Alibaba Cloud Linux 3等保2.0三级版镜像。当您成功创建对应的ECS实例后，第一次远程连接该实例时，需要立即完成等级保护加固的配置。本文以Alibaba Cloud Linux 2为例介绍如何...
在本地虚拟机使用Alibaba Cloud Linux镜像
Alibaba Cloud Linux 3：Alibaba Cloud Linux 3 On-premise Image Alibaba Cloud Linux 2：Alibaba Cloud Linux 2 On-premise Image 步骤二：本地生成seed.img引导镜像 Alibaba Cloud Linux镜像本身不能直接启动虚拟机，需要配置引导镜像...
Alibaba Cloud Linux 2系统中systemd服务异常问题说明
如果您的Alibaba Cloud Linux 2操作系统中systemd服务运行异常，可参考文本提供的方案解决问题。问题现象 在符合以下条件的Alibaba Cloud Linux 2实例中，系统在正常运行时实例内部署的业务有概率启动失败。镜像：Alibaba Cloud Linux 2....
Alibaba Cloud Linux 2使用说明
1.13.6 sudo yum install-y<packageName>-<pacakgeVersion>SCL插件方式支持的开发工具包 基于 GCC-7.3.1 的开发工具包（devtoolset-7）基于 GCC-8.2.1 的开发工具包（devtoolset-8）基于 GCC-9.1.1 的开发工具包（devtoolset-9）基于 GCC-...
配置Alibaba Cloud Linux等保2.0三级版镜像基线检查...
阿里云已为Alibaba Cloud Linux 2和Alibaba Cloud Linux 3等保2.0三级版镜像提供了等保合规的基线检查标准和扫描程序。本文以Alibaba Cloud Linux 3为例为您介绍如何配置等保合规的基线检查策略，以实现对ECS实例进行等保合规基线检查。...
- 产品推荐
- 这些文档可能帮助您