Ascend Quickstart with SGLang Backend

Last updated: 09/25/2025.

我们在 verl 上增加对华为昇腾设备的支持。

硬件支持

Atlas 200T A2 Box16

Atlas 900 A2 PODc

Atlas 800T A3

安装

基础环境准备

software

version

Python

== 3.11

CANN

== 8.3.RC1

HDK

== 25.3.RC1

torch

== 2.6.0

torch_npu

== 2.6.0

目前，verl 框架中的 SGLang NPU 后端仅支持上述 HDK、CANN 和 PTA 版本，商业可用版本预计于 2025 年 10 月发布

为了能够在 verl 中正常使用 sglang，需使用以下命令安装 sglang、torch_memory_saver 和 verl。

sglang

# sglang
git clone https://github.com/sgl-project/sglang.git
cd sglang
mv python/pyproject.toml python/pyproject.toml.backup
mv python/pyproject_other.toml python/pyproject.toml
pip install -e "python[srt_npu]"

安装 torch_memory_saver

# torch_memory_saver
git clone https://github.com/sgl-project/sgl-kernel-npu.git
cd sgl-kernel-npu
bash build.sh  -a memory-saver
pip install output/torch_memory_saver*.whl

安装 verl

git clone https://github.com/volcengine/verl.git
cd verl
pip install --no-deps -e .
pip install -r requirements-npu.txt

其他三方库说明

software

description

transformers

v4.56.1

triton_ascend

v3.2.0

  1. sglang 依赖 transformers v4.56.1

  2. sglang 依赖 triton_ascend v3.2.0

  3. 目前暂不支持多模态模型，请卸载相关安装包 torchvision 和 timm

pip uninstall torchvision
pip uninstall timm
pip uninstall triton

pip install transformers==4.56.1
pip install -i https://test.pypi.org/simple/ triton-ascend==3.2.0.dev20250925

快速开始

在正式使用之前，建议您通过对 Qwen3-8B 模型进行 GRPO（一种强化学习算法）训练来验证环境准备和安装的正确性。

  1. 下载数据集，并将其预处理为 Parquet 格式，以包含计算 RL（强化学习）奖励所需的必要字段

python3 examples/data_preprocess/gsm8k.py --local_save_dir ~/data/gsm8k

  1. 执行训练

bash verl/examples/grpo_trainer/run_qwen3_8b_grpo_sglang_1k_npu.sh