RoPE 缩放配置覆盖

最后更新：05/14/2025.

某些模型（例如 ``Qwen/Qwen2.5-7B-Instruct <https://huggingface.co/Qwen/Qwen2.5-7B-Instruct#processing-long-texts>``_）支持 RoPE 缩放，但却未在它们的 config.json 文件中定义。 例如，此模型支持以下配置：

{
    ...,
    "rope_scaling": {
        "factor": 4.0,
        "original_max_position_embeddings": 32768,
        "type": "yarn"
    }
}

为了支持此类模型的更长上下文，你必须在启动训练器时覆盖模型配置。

PPO 示例：

+actor_rollout_ref.model.override_config.rope_scaling.type=yarn \
+actor_rollout_ref.model.override_config.rope_scaling.factor=4.0 \
+actor_rollout_ref.model.override_config.rope_scaling.original_max_position_embeddings=32768 \

以及用于评判模型（critic model）的配置：

+critic.model.override_config.rope_scaling.type=yarn \
+critic.model.override_config.rope_scaling.factor=4.0 \
+critic.model.override_config.rope_scaling.original_max_position_embeddings=32768 \