请问chord的推荐超参设置是什么

[waltonfuture]

作者您好！我最近在我自己的数据集调试chord算法。我发现chord里面可供设置的超参很多。我不太清楚如果要调试的话应该从哪里入手。请问您有什么建议吗？谢谢

另外，请问下面这个样例的yaml里面的超参是你们最终做实验用的超参吗？

algorithm:
  algorithm_type: mix_chord
  repeat_times: 8 # or 16 for better performance in math related tasks
  kl_loss_fn_args:
    kl_coef: 0.0
  sample_strategy_args:
    expert_data_ratio: 0.20
  policy_loss_fn_args: # feel free to change, we encourage you to try out different hyperparameters
    mu_warmup_steps: 200  # 0 for chord-mu and chord-phi
    mu_decay_steps: 400 # 200 for chord-mu and 0 for chord-phi
    mu_peak: 0.5 # 0.9 for chord-mu and 0.1 for chord-phi
    mu_valley: 0.02 # 0.05 for chord-mu and 0.1 for chord-phi
    enable_phi_function: true # false for chord-mu and true for chord-phi
    clip_range: 0.2
    sft_loss_agg_mode: "token-mean"
    use_dynamic_bsz: true
    ppo_mini_batch_size: 320 # 320 = 256 + 64; if you set repeat times = 16, then it shoudle be 32 * 16 + 64
    ppo_micro_batch_size_per_gpu: 4
    ngpus_trainer: 4
    train_batch_size_expert: 64
    train_batch_size_usual: 256 # 32 batchsize * 8 repeat times

谢谢！

[garyzhang99]

您好，具体的参数设置得视对应的数据集/模型情况来定，这里在经验上给出大致的参考标准如下：
假设你的SFT数据的Pattern和你要微调的模型在pattern上差不少（如果是同源模型Rejection Sampling生成的SFT数据那直接SFT再RL或者直接一个fix的 $\mu$ 值，大概怎么调performance都会还好）

• 如果以SFT数据的Pattern为主效果好，可以尝试初始使用一个较大的 $\mu$ 数值然后慢慢decay。
• 如果以模型自身RL为主的效果就很好，可以尝试fix一个较小的 $\mu$ 数值然后enable $\phi$ function。

可以从Pure RL和 $Chord-\mu$ decay对应的设定开始试。
之前看你的Setting是20000条左右的SFT和RL数据，那其实为了Performance Batchsize也可以设置大一些，比如：

algorithm:
  algorithm_type: mix_chord
  repeat_times: 8
  kl_loss_fn_args:
    kl_coef: 0.0
  sample_strategy_args:
    expert_data_ratio: 0.20
  policy_loss_fn_args: 
    mu_warmup_steps: 0
    mu_decay_steps: 200
    mu_peak: 0.9
    mu_valley: 0.02
    enable_phi_function: false
    clip_range: 0.2
    sft_loss_agg_mode: "token-mean"
    use_dynamic_bsz: true
    ppo_mini_batch_size: 640
    ppo_micro_batch_size_per_gpu: 4
    ngpus_trainer: 4
    train_batch_size_expert: 128
    train_batch_size_usual: 512 # 64 batchsize * 8 repeat times

# 后面buffer的Batchsize也要调整成64（RL batchsize大小）
buffer:
  total_epochs: 4
  batch_size: 64

你可以据此看一眼对应Reward曲线的样式，和Pure RL做个对比，然后再看后面怎么调整。

对应的参数比较复杂是因为policy loss的计算时是已经切分了micro batch的，我们计算loss时需要知道use_dynamic_bsz到train_batch_size_usual的参数，这样在后面trainer计算loss之前就平衡好当前micro batch对应的loss scale。后续我们会再看怎么改进配置方法。

mix_chord.yaml里后面的注释，是和论文中参数对应的。论文Tooluse相关的实验参数和mix_chord_toolace.yaml中设置是一致的。

[waltonfuture]

感谢您的详细回复！我去尝试一下~