任何人都可以用简单的语言为我解释 Apache Flume 吗?我希望用一个实际的例子而不是抽象的理论定义来解释,然后我可以更好地理解。
这有什么用途?它在大数据分析的哪个阶段使用?
学习它的先决条件是什么?
请
正如你会为非技术人员解释的那样
任何人都可以用简单的语言为我解释 Apache Flume 吗?我希望用一个实际的例子而不是抽象的理论定义来解释,然后我可以更好地理解。
这有什么用途?它在大数据分析的哪个阶段使用?
学习它的先决条件是什么?
正如你会为非技术人员解释的那样
这有什么用途?
将数据摄取到分布式数据存储(例如 HDFS)中。见图片(我没有制作图片,仅包括视觉帮助的图片)。还有其他工具也可以帮助您获取数据(提到了 Storm 和 Sqoop)。
它在大数据分析的哪个阶段使用?
它用于将数据摄取到您的分布式数据存储(例如 HDFS)中。例如,一个网络服务器正在将日志信息运行到 /var/logs/webserver.log 中。Apache Flume 可以查看该文件,从中获取所需的内容并将其发送到 HDFS。一旦数据被放入您的数据存储中,您就可以利用其他工具来分析导入的数据(例如 Hive、Pig、MR 等)
学习它的先决条件是什么?
了解如何编写脚本、编辑配置设置以及如何使用 Linux 将是入门的绝对最低要求。这组指令很旧,但起点是查看有关水槽的 hortwonworks 教程。http://hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data/
如果您希望我详细说明,我会很高兴,但我想尝试满足您对简单、简短说明的要求。
什么是 Apache Flume?
Flume的应用
水槽的应用是,
Flume用于电子商务公司分析不同地区的客户行为。
它用于将应用服务器生成的大量日志数据HDF5以更高的速度馈入。
学习它的先决条件是什么?
有关更多信息,请参阅Apache Flume