用于机器学习的云计算平台

机器算法验证 r 机器学习
2022-01-23 18:55:32

我有一小部分公司提供了在亚马逊 EC2 之上构建的集群上运行 R、python 或 octave 脚本的平台。我应该添加其他名称吗?

  1. 云数
  2. 欧帕尼
  3. 数据
4个回答

我没有使用过这些公司,但这些只是其中的一些选择。但是,在 EC2 上进行设置非常简单。至少在你用足够的力和足够的频率把头撞到墙上来麻痹你的头之后。它还会增加您的疼痛阈值。现在的孩子们变得容易多了。当我开始时,我们正在做雾计算:我们没有最模糊的计算。

抛开回忆不谈...存在绕过这些供应商并自行开始的工具和资源。 JD Longsegue使用 使在 EMR 上开始使用 R 变得更加容易。

关于 Python,boto是一个允许在 EC2 上轻松启动和运行 Python 的套件。如果您愿意考虑使用 EC2 替代方案,那么在Google 的 AppEngine上启动和运行 Python 也很容易。如果你了解 Python,那么真的没有必要聘请一家公司来为你做这件事,除非你不熟悉扩展、分片、负载平衡等,即使是在概念层面。另一方面,如果您打算在此类服务上花费大量资金,那么熟悉如何使您的代码高效是一个好主意。

至于云上的 Octave,我不知道除了这三个公司之外还有什么。Monkey Analytics 曾经提供过它,但似乎它们已经消失了。我建议避免使用 Octave,而专注于 Python 或 R。

StarCluster是一种使设置更容易的资源同样,没有他们的经验,但这可能是一条有用的路线。

老实说,Ubuntu(或 Windows)和 EC2 并不难学。我不会真的为 R 推荐 Windows,因为 R 开发人员和 Windows 之间没有太多的爱。(注意:据我所知,没有真正的 Mac OS X 云服务。)一旦你有了一个远程桌面,你就开始做生意了。下一步是学习如何扩展。


更新 1:其他更通用的云管理服务包括 RightScale 和 Scalr。

更新 2:我想强调的是,学习为自己在云中设置实例和集群很重要。动手工作的好处包括:

  • 了解如何管理混合资源(多个实例、多个实例类型、大量 HD、不同的可用区或区域、各种监控工具等)
  • 如果您愿意,可以修改 GPU(查看gputools
  • 您可以更轻松地更新或回滚您选择的软件包
  • 您可以通过使用现场实例或预留实例来获得更低的成本。
  • 您可以尝试不同的 R GUI 或 IDE,这可能不是云供应商的选择。

使用托管提供程序有很多好处,例如更短的学习曲线,可能更好地支持在组之间共享资源,也许还有一些不错的小玩意儿,但我无法谈论这些好处,因为我在这些之前就开始使用 EC2来到市场。

还有用于在 EC2 上并行运行 Python 代码的PiCloud

从他们的产品页面

PiCloud 是一个集成到 Python 编程语言中的云计算平台。它使您能够利用 Amazon Web Services 的计算能力,而无需管理、维护或配置虚拟服务器。

PiCloud 通过自定义 Python 库云无缝集成到您现有的代码库中。要将函数的执行卸载到我们的服务器,您只需将所需的函数传递到云库中即可。PiCloud 将在其高性能集群上运行该功能。随着您运行更多功能,我们的集群会自动扩展以满足您的计算需求。上云从未如此简单!

您之前尝试过CloudStat吗?与其他云不同,CloudStat 仅适用于 R 语言用户。没有更多的设置。您只需登录并免费使用高达 7.5 Gb 的 RAM。

但是,使用免费帐户,您的分析将被公众查看和使用。选项是每月支付 5 美元,以使您的分析保密。

我可以推荐的一个云计算平台是Backbone,它提供了一个安全的提高生产力的云计算平台。