我正在尝试将机器学习解决方案在线部署到客户端的应用程序中。他们要求的一件事是解决方案必须能够在线学习，因为问题可能是非平稳的，并且他们希望解决方案能够跟踪问题的非平稳性。我想了很多这个问题，下面的工作吗？
- 将神经网络的学习率（步长参数）设置为较低的固定值，以使最近的训练步骤的权重更大。
- 每天仅以小批量方式更新模型一次。小批量将包含当天的数据，与原始数据集的数据混合，以防止灾难性干扰。通过使用小批量更新，我不会倾向于将我的模型偏向于最新的示例，并且完全忘记几个月前的训练示例。
这种设置对于在线/增量机器学习是否“稳定”？另外，我是否应该设置更新步骤，以便它从我的预测变量的所有分布中统一采样数据，以便获得“均匀”更新（即，不会过度拟合到最概率的预测值）？