Kaggle 笔记本与谷歌 Colab

数据挖掘 Python 卡格尔 合作实验室 不同之处
2021-10-05 17:39:08

Kaggle notebook 和 Google Colab notebook 的主要区别是什么?

要处理数据集,我的第一步是启动 Kaggle 笔记本,但随后我不禁想到使用 Colab 笔记本有什么优势。

我知道一些差异,如果我有任何误解,请纠正我:

  1. Kaggle 有一个控制台,而 Colab 没有(但我仍然不知道如何处理控制台)。
  2. Kaggle notebook 允许与 Kaggle 网站上的其他用户协作,而 Colab 允许与使用 notebook 链接的任何人协作。
  3. Kaggle 没有像 Colab 那样的“Stackoverflow”即时搜索。
  4. Kaggle 需要将数据上传到 Kaggle 的网站,而 Colab 允许使用来自 Drive 的数据。
  5. Kaggle 没有像 Colab 那样将 notebook 直接上传到 GitHub 的功能。
  6. Kaggle 的笔记本可以公开,供 Kaggle 中的所有用户查看、投票、分叉和讨论,但 Colab 的笔记本会保留在您的云端硬盘中,直到您决定与某人共享或上传到某个地方。

有什么要补充的,在技术上是有利的吗?

3个回答

像这样的两个服务之间有几个破败

我的钥匙:

  • 只有 Kaggle 支持 R,只有 Colab 支持 SWIFT
  • Colab 是 Google 的产品,因此针对 Pytorch 上的 Tensorflow 进行了优化
  • Colab 速度更快,执行时间更长(9 小时 vs 12 小时)
  • 是的,Colab 集成了 Drive,但界面很糟糕,每次笔记本重启时都必须登录

Kaggle 有更好的 UI 并且更易于使用,但 Colab 更快并且提供更多时间。

我经常使用这两个平台,可以直接指出一些差异:

  1. Kaggle 为 NVIDIA Tesla P100 基于 PCI 的 16GB GPU 提供了大约 9 小时的单次提交,而 Colab 提供了 NVIDIA Tesla K80 GPU 12GB 的 12 小时。
  2. Kaggle 的硬盘空间限制为 5 GB,而 Colab 的存储空间可能会根据可用性从 30GB 到 72GB 不等。
  3. Kaggle 提供了 TPU v3-8,而 Colab 没有在任何地方披露其 TPU 版本。
  4. 我几乎从不需要为我的任何数据科学工作安装任何第三方包,而在 Colab 中它有时会令人沮丧(依赖关系损坏和包不兼容)。

Kaggle 缺点

  1. 每周对 GPU 和 TPU 使用的限制。(虽然这个限制对于基础训练来说几乎足够了)
  2. 有限的存储空间(如果超过 5GB,您将面临内核崩溃)

Colab 缺点:

  1. 性能不一致,因为它会根据池中的可用性更改硬件资源。

我还遇到过问题,如果您使用笔记本内核超过 12 小时,Colab 会在进一步提交时减少硬件授权并降低性能。Colab 中唯一最好的东西是有时非常方便的驱动器安装设施。另一方面,如果您适应接口及其 API,那么 Kaggle 非常方便。

我是 Kaggle 和 Colab 的新手。但在这些日子里,我发现了 Kaggle 相对于 Colab 的一些优势。

  1. Kaggle 是一个很好的数据集来源,您可以非常轻松地在 Kaggle 笔记本中使用这些数据集。无需下载,只需添加即可。在 Colab 中,您需要下载数据集。但是,如果您想使用自己的数据集,则需要第一次上传。

  2. Kaggle 每周为每位用户提供 35 小时的 GPU 使用时间,并显示您使用了多少时间。Colab 没有这样的提及,但他们也限制了 GPU 的使用,他们不会说你使用了多少时间以及它可以使用多少时间。这有时会导致在决定何时使用 GPU 以及何时不使用时出现问题。

  3. Google Colab notebooks 需要在使用和训练期间打开和激活,而你可以提交一个 kaggle notebook 然后关闭它,如果你想稍后再来查看训练结果。

你可以在这里找到更多的比较。

注意: 1) Kaggle 现在提供 StackOverflow 实例搜索。2) Kaggle 和 Colab 现在都是 Google 的子公司。