从数据仓库到大数据结构的转变

数据挖掘 大数据 数据集
2022-02-24 14:08:12

将数据仓库中的数据传输到大数据结构所需的阶段是什么。有没有支持它的工具和方法?如何使用模式进行这种转换,如何处理不同的数据类型,例如事实和维度。将数据分离为机器、索引或唯一键的标准是什么?

1个回答

根据您的评论,将大数据集从本地系统过渡到基于云的系统既麻烦又充满挑战。但是,您可以使用 Amazon RedShift:

Amazon Redshift 是一种完全托管的 PB 级云数据仓库服务。您可以从几百 GB 的数据开始,然后扩展到 PB 或更多。

  1. 创建数据仓库的第一步是启动一组节点,称为 Amazon Redshift 集群。
  2. 配置集群后,您可以上传数据集,然后执行数据分析查询。无论数据集的大小如何,Amazon Redshift 都可以使用您现在使用的相同的基于 SQL 的工具和商业智能应用程序来提供快速的查询性能。

或者

  1. 使用 Hadoop 环境作为登陆区,从各种来源中提取数据,对其进行处理,并将处理后的数据传输到现有的数据仓库或其他存储库。
  2. 探索实现登陆区的不同方式的场景。了解区域的架构以及将其与各种环境集成的工具和技术。

在此处输入图像描述