我喜欢维基百科一般定义它的方式：

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相比之下，其他参数的值是通过训练得出的。

除了维基百科所说的，我还要补充：

超参数是与手头的数值优化问题有关的参数。超参数不会出现在您最终构建的机器学习模型中。简单地说就是控制定义你的模型的过程。例如，在许多机器学习算法中，我们在梯度下降中具有学习率（需要在学习过程开始之前按照维基百科的定义进行设置），这是一个与我们希望梯度下降进行下一步多快的值有关的值在优化过程中。

与线性回归类似，超参数例如是学习率。如果它是像 LASSO 或 Ridge 这样的正则化回归，则正则化项也是超参数。

特征数量：我不会将“特征数量”视为超参数。您可能会问自己，它是否是您可以在模型优化期间简单定义的参数？您如何预先设置特征数量？对我来说，“特征数量”是特征选择的一部分，即在您运行优化之前进行的特征工程！在构建深度神经网络之前考虑图像预处理。无论进行何种图像预处理，都不会被视为超参数，而是将其馈送到模型之前的特征工程步骤。

根据定义，超参数是算法从数据中学习所必需的输入参数。

对于标准线性回归，即OLS，没有。特征的数量/选择不是超参数，但可以被视为后处理或迭代调整过程。

另一方面，Lasso 在其损失函数本身的公式中会考虑特征的数量/选择，因此只有超参数是收缩因子，即lambda

线性回归中数据集中的特征称为参数。超参数不是来自您的数据集。它们是根据模型本身调整的。例如，分类模型中的拆分级别。

对于基本的直线线性回归，没有超参数。