Jupyter笔记本运行很慢

数据挖掘 分类 朱庇特 蟒蛇
2022-03-11 13:07:11

我在我的数据上运行 RandomForestClassifier，但我的 jupyter notebook 非常慢。运行以下代码花了将近 2 个小时：

rf = RandomForestClassifier()
rf_random = RandomizedSearchCV(estimator = rf, param_distributions = 
   random_grid, n_iter = 100, cv = 3, verbose=2, random_state=42, n_jobs = -1)
rf_random.fit(X_train, y_train)

我的数据集有 30K 行和 300 个特征。

我不确定我的代码或 jupyter 笔记本配置是否有问题。我正在使用远程桌面 Windows 机器。

我真的很感激任何帮助！提前致谢

1个回答

在这种情况下，您正在运行一个运行 100 次迭代的 RandomizedSearchCV。如果您考虑这样一个事实，即每次运行 30K 行具有您 300 个特征的数据（这是相当数量的），您会看到每次运行的平均运行时间约为 1.2 分钟。

但是，如果您通过 GPU 而不是 CPU 运行 thia，则可以加快速度，因为您可以进行更快速的计算。

因此，要回答您的问题，问题不在于您的机器或 Jupyter Notebook。相反，它与您使用 RF 随机搜索算法进行了多少次迭代有关。如果减少迭代，您还将看到运行时间的减少。

其它你可能感兴趣的问题
上一篇理论问题：Data.table vs Data.frame with Big Data 下一篇XGBR 与 CatBoost 性能比较