Skip to content

Latest commit

 

History

History
72 lines (48 loc) · 3.78 KB

Builtin_Assessors.md

File metadata and controls

72 lines (48 loc) · 3.78 KB

内置 Assessor

NNI 提供了先进的调优算法，使用上也很简单。 下面是内置 Assessor 的介绍：

Assessor 算法简介
Medianstop (用法) Medianstop 是一种简单的提前终止策略，可参考论文。 如果 Trial X 的在步骤 S 的最好目标值比所有已完成 Trial 的步骤 S 的中位数值明显要低，就会停止运行 Trial X。
Curvefitting (用法) Curve Fitting Assessor 是一个 LPA (learning, predicting, assessing，即学习、预测、评估) 的算法。 如果预测的 Trial X 在 step S 比性能最好的 Trial要差，就会提前终止它。 此算法中采用了 12 种曲线来拟合精度。

用法

要使用 NNI 内置的 Assessor，需要在 config.yml 文件中添加 builtinAssessorName 和 classArgs。 这一节会介绍推荐的场景、参数等详细用法以及样例。

注意：参考样例中的格式来创建新的 config.yml 文件。

Median Stop Assessor

名称：Medianstop

建议场景

适用于各种性能曲线，可用到各种场景中来加速优化过程。

参数

  • optimize_mode (maximize 或 minimize, 可选, 默认值为 maximize) - 如果为 'maximize', Assessor 会在结果小于期望值时终止 Trial。 如果为 'minimize'，Assessor 会在结果大于期望值时终止 Trial。
  • start_step (int, 可选, 默认值为 0) - 只有收到 start_step 个中间结果后，才开始判断是否一个 Trial 应该被终止。

使用样例：

# config.yml
assessor:
    builtinAssessorName: Medianstop
    classArgs:
      optimize_mode: maximize
      start_step: 5

Curve Fitting Assessor

名称：Curvefitting

建议场景

适用于各种性能曲线，可用到各种场景中来加速优化过程。 更好的是，它能够处理并评估性能类似的曲线。

参数

  • epoch_num (int, 必需) - epoch 的总数。 需要此数据来决定需要预测点的总数。
  • optimize_mode (maximize 或 minimize, 可选, 默认值为 maximize) - 如果为 'maximize', Assessor 会在结果小于期望值时终止 Trial。 如果为 'minimize'，Assessor 会在结果大于期望值时终止 Trial。
  • start_step (int, 可选, 默认值为 6) - 只有收到 start_step 个中间结果后，才开始判断是否一个 Trial 应该被终止。
  • threshold (float, 可选, 默认值为 0.95) - 用来确定提前终止较差结果的阈值。 例如，如果 threshold = 0.95, optimize_mode = maximize，最好的历史结果是 0.9，那么会在 Trial 的预测值低于 0.95 * 0.9 = 0.855 时停止。

使用样例：

# config.yml
assessor:
    builtinAssessorName: Curvefitting
    classArgs:
      epoch_num: 20
      optimize_mode: maximize
      start_step: 6
      threshold: 0.95