RoPE 缩放配置覆盖
=======================================

最后更新：05/14/2025.

某些模型（例如 ``Qwen/Qwen2.5-7B-Instruct <https://huggingface.co/Qwen/Qwen2.5-7B-Instruct#processing-long-texts>``_）支持 RoPE 缩放，但却未在它们的 config.json 文件中定义。
例如，此模型支持以下配置：

.. code:: python

    {
        ...,
        "rope_scaling": {
            "factor": 4.0,
            "original_max_position_embeddings": 32768,
            "type": "yarn"
        }
    }



为了支持此类模型的更长上下文，你必须在启动训练器时覆盖模型配置。

PPO 示例：

.. code:: bash

    +actor_rollout_ref.model.override_config.rope_scaling.type=yarn \
    +actor_rollout_ref.model.override_config.rope_scaling.factor=4.0 \
    +actor_rollout_ref.model.override_config.rope_scaling.original_max_position_embeddings=32768 \


以及用于评判模型（critic model）的配置：

.. code:: bash

    +critic.model.override_config.rope_scaling.type=yarn \
    +critic.model.override_config.rope_scaling.factor=4.0 \
    +critic.model.override_config.rope_scaling.original_max_position_embeddings=32768 \