使用 Megatron-LM 后端添加模型
=========================================

最后更新：04/25/2025。

模型
-----------


如果使用最新版本的 verl，我们为 Megatron 后端提供了对 ``GPTModel`` 的直接支持。
你可以使用与 Megatron 预训练自定义模型相似的方式。
我们在这里列出步骤：

1. 找到 `model_initializer.py <https://github.com/volcengine/verl/blob/main/verl/models/mcore/model_initializer.py>`_
2. 如果你的模型可以通过 ``TransformerLayerSpec`` 来配置，你可以
   直接使用 ``GPTModel``。否则，请在这里实现一个新的
   ``ModelLayerSpec`` 和 ``ModelLayer``。
3. 使用正确的 ``LayerSpec``、``TransformerConfig`` 和 ``HuggingfaceConfig`` 
   作为参数来初始化 GPTModel。
4. 最后返回模型。