降维的一种替代方法是使用散列技巧在整个特征集上训练分类器，而无需事先进行降维。* Vowpal Wabbit pwoject——呃，项目——是使用散列技巧加速的各种学习算法的实现计算：

VW 是机器学习中速度的精髓，能够轻松地从 terafeature 数据集中学习。通过并行学习，它在进行线性学习时可以超过任何单个机器网络接口的吞吐量，这是学习算法中的第一个。

我不知道大众汽车最终是否适合您（如果您拥有数十亿个功能，那么您的许多选择最终可能会受到软件工程考虑的影响），但希望它是指向正确方向的指针！

* 嗯，散列技巧在技术上是一种降维，但只是在非常愚蠢的意义上。

传统上，主成分分析 (PCA)用于降维（在数学意义上）。但是，如果您关心您的特征（指标或项目，在因子分析和潜在变量建模术语中）表示和测量的潜在构造（因子） ，那么探索性因子分析 (EFA)和/或验证性因子分析 (CFA)是合适的. 有关这方面的更多信息，请在交叉验证网站上查看我的答案：https ://stats.stackexchange.com/a/96160/31372 。

根据潜在构造（因素）对现象进行建模还有一个额外的好处，因为这种方法可以进一步降低维数并在更高的抽象级别上建模（但您仍然可以获得有关特征/指标的信息，如果这是需要）。

关于有偏见的样本，正如你所说的，我认为你在谈论稀疏数据。如果是这种情况，请在数据科学网站上阅读我的答案：https ://datascience.stackexchange.com/a/918/2452 。

更新：有几个人对我建议将 PCA 用于具有如此大量 (10^9) 特征的数据集表示担忧。尽管没有使用此类数据集的直接经验，但我坚持我的回答并提供现有工具和研究的一小部分（“冰山一角”），支持我的建议（特别是专注于使用 PCA 应用在云中，包括集群，应该解决体积问题，以及并行化 PCA，包括使用 GPU，应该解决时序问题）：

• mlpack - 可扩展的 ML 库（C++；提供 R 绑定）：http ://www.mlpack.org/about.html （支持 PCA 功能：http ://www.mlpack.org/doxygen.php?doc=classmlpack_1_1pca_1_1PCA.html )
• 云中的分布式和可扩展 PCA：http ://www.reef-project.org/wp-content/uploads/2014/01/2013-NIPS-BigLearn-DistributedAndScalablePCAinTheCloud.pdf
• 用于大数据分析的强大且可扩展的算法：http ://www.dtc.umn.edu/resources/bd_giannakis.pdf
• 具有并行数据汇总的大型数据集的 PCA：http ://www2.cs.uh.edu/~ordonez/w-2014-DAPD-udfsvd.pdf
• PCA 在可扩展多核架构上的并行化：http : //ieeexplore.ieee.org/xpl/articleDetails.jsp?arnumber= 5423039
• 迭代 PCA 算法的并行 GPU 实现：http : //arxiv.org/abs/0811.1081