# 升级至 vLLM >= 0.8

最后更新：05/04/2025.

## 安装

注意：这个版本的 verl+vLLM 0.8+ 支持使用 **FSDP** 进行训练，并使用 **vLLM** 进行 rollout（即生成推理的步骤）。

```bash
# Create the conda environment
conda create -n verl python==3.10
conda activate verl

# Install verl
git clone https://github.com/volcengine/verl.git
cd verl
pip3 install -e .

# Install the latest stable version of vLLM
pip3 install vllm==0.8.3

# Install flash-attn
pip3 install flash-attn --no-build-isolation

```

我们为 verl+vLLM 0.8.3 提供了一个预构建的 Docker 镜像。你可以使用以下命令直接拉取：

```bash
docker pull hiyouga/verl:ngc-th2.6.0-cu126-vllm0.8.3-flashinfer0.2.2-cxx11abi0
```

## 特性

vLLM 0.8+ 在 verl 中默认支持 cuda graph 和 V1 引擎。要启用这些特性，请记得在 bash 脚本中添加以下行：

```bash
actor_rollout_ref.rollout.enforce_eager=False \
actor_rollout_ref.rollout.free_cache_engine=True \
```

同时，如果存在，请**移除**该环境变量：

## 备注

当你直接升级到 vllm >= 0.8 时，一些依赖包的版本可能会发生变化。如果你遇到以下问题：

```bash
in <module> from torch.multiprocessing.reductions import ForkingPickler ImportError: cannot import name 'ForkingPickler' from 'torch.multiprocessing.reductions' (/opt/conda/lib/python3.11/site-packages/torch/multiprocessing/reductions.py)
```

你需要使用命令 `pip install tensordict==0.6.2` 升级 `tensordict` 到版本 0.6.2。