如何使用 Twitter Streaming API 访问最大数量的推文,而无需访问 firehose?

数据挖掘 软件开发
2021-10-02 20:55:59

Twitter 是许多应用程序的流行数据源,尤其是涉及情感分析等。我有一些我对使用 Twitter 数据感兴趣的事情,但问题是:要获取所有推文,您必须获得 Twitter 的特别许可(据我了解,从未授予)或向 Gnip 支付大笔费用之类的。

OTOH,Twitter 的 API 文档说:

很少有应用程序需要这种访问级别。创造性地使用其他资源和各种访问级别的组合可以满足几乎所有应用程序用例。

使用带有关键字跟踪的过滤器 API 似乎是其中的重要组成部分,但您显然无法枚举每个关键字。在关注很多人的许多用户帐户上使用用户流也可能是一种选择,我不确定考虑另外使用搜索 API 是否有意义。

所以这里的问题是“其他资源和访问级别的什么组合是从 Twitter 获取最大数据量的最佳方式”?

1个回答

Topsy - 该网站提供了更多的速率限制,并存档了 2006 年以来的所有推文。它的 API 提供免费试用。

一个付费的解决方案是Gnip 的完整历史搜索 API