特别是当您的主要目标是学习时，我会将其分为几个阶段：

1. 使用 matplotlib 熟悉 pandas 数据框和可视化。尝试使用 pandas 加载数据集的子集并使用 matplotlib 将它们可视化，例如绘制时间序列或字数直方图。这将在稍后派上用场，以便能够理解您将使用机器学习方法创建的预测/集群。Pandas 还提供了清理、聚合和重新采样数据的功能，这对于将多个时间序列（例如天气和时间序列）对齐到相同的采样率很有用。

2. 使用优秀的在线文档中的文章和示例来熟悉 scikit-learn。使用与您的数据相关的特征提取、降维、分类和回归方法，将它们应用于较小的子集并可视化结果。了解交叉验证并找到适用于数据子集的良好算法和参数。

3. 如果你有一个管道设置并且你想在完整的数据集上运行它，Spark 可以派上用场进行特征提取和交叉验证，因为这些任务通常可以很好地独立和并行运行。在您的机器上安装 Spark 库，并在本地模式下重现 Pyspark 示例（例如计算 Pi）。无需为此设置 Hadoop 集群，Spark 可以在本地模式下充分利用您的机器，从磁盘上的本地文件读取。一旦你开始运行，尝试将步骤 2 中昂贵的代码步骤表达为 Spark RDD 操作。由于 Spark 可以利用您机器的所有内核，您应该已经看到了加速 - 尽管与使用纯 Python 脚本相比，调试变得更加困难。

4. 使用 word2vec 特征提取来玩一些高级的东西，比如深度学习。与传统的特征提取（词袋）相比。

5. （可选）如果您想在分布式设置中体验从 Spark 获得的加速，请在 AWS 中获取一个帐户，将您的数据放在 S3 上并针对使用 Amazon EMR 实例化的多节点集群触发您的 Spark 脚本。

关于数据存储，根据我的经验，CSV 文件或类似的工作最好将数据加载到 Pandas 和 Spark 中。有用于数据库的 Spark 连接器（例如 Cassandra），但我不确定 MySQL 和 Solr。对于处理过的数据和中间结果（例如模型），我总是使用 Python 的序列化框架 pickle，因此您可以直接将对象实例返回到 Python 中，而无需解析文件格式和重新实例化对象。

实际上，深度学习可以使用 h2o 苏打水功能在 Spark 中运行。您也可以使用 h2o.deeplearning 对集群或单个节点中的数据运行深度学习。Spark 非常适合集群中的数据，因为它是分布式但在内存中, 否则 h2o 的数据修改功能有限，也无法分发数据修改。