在 Coursera 上等待 Andrew Ng 的下一门课程时,我正在尝试在 Python 上编写一个分类器,在最后一层使用 softmax 函数来获得不同的概率。但是,当我尝试在 CIFAR-10 数据集(输入:(3072, 10000))上使用它时,我在计算指数时遇到了溢出。事实上,我有 5000、10000 或 25000 这样的数字。
我已经尝试了两件事:
- 在计算指数之前减去一个常数到矩阵,但我的数字之间有很大的差异,所以我不能这样做。
- 计算矩阵对数的指数,但它仍然溢出。
有人可以帮我避免这个问题吗?
谢谢