超参数本质上是您必须手动调整且无需学习的参数。

调度可以被认为是一个超参数，以及所有调度器的参数（耐心、衰减等），甚至使用或不使用调度器的决定也可以被认为是一个超参数。

学习率调度可以通过多种方式来实现，例如 1 个周期、功率、性能。

选择方法是第一个超参数。

然后，为方法选择合适的参数值将是另一组超参数。例如 eta0、步长等。