Hadoop中ZooKeeper的简单解释

数据挖掘 大数据 apache-hadoop
2022-03-02 17:49:37

谁能解释一下 ZooKeeper 和 ZooKeeper Quorum 在 BigData 结构中的作用?

如果您用一个简单的实际示例而不是抽象的理论定义来解释我,我将不胜感激。

正如你会为非技术人员解释的那样

1个回答

我注意到您在问几个与 Hadoop 生态系统相关的问题。在不知道这一点的情况下以非常简单的方式解释您所问的事情时,很难判断您知道多少。可能值得提供一些您试图理解的背景。但我离题了。

除非您正在构建一个需要协调的应用程序(想想竞争条件),否则您很可能不会直接需要 Zookeeper。Hadoop 生态系统中的许多工具确实将它用于这个确切的目的(例如 HBase)。

这可能是我能给出的最好和最简单的答案。

简而言之,ZooKeeper 为您提供了帮助构建分布式应用程序的工具。例如,假设您有一个在 10 个节点上运行的分布式 Web 服务器应用程序。比如说,你想获得总的实时命中数。一种方法是编写一个连接到 10 个节点的应用程序,从每个节点获取计数并显示总和。或者,您可以让每个 Web 服务器应用程序定期将其命中计数写入 ZooKeeper,然后查询 ZooKeeper 以获取计数。

来源:https ://10kloc.wordpress.com/2013/12/21/quick-intro-to-apache-zookeeper/

ZooKeeper Quorum 是“同一应用程序中的一组复制服务器称为仲裁,在复制模式下,仲裁中的所有服务器都具有相同配置文件的副本。”

来源:https ://zookeeper.apache.org/doc/r3.1.2/zookeeperStarted.html

关于 Zookeeper 是什么以及它如何有益的更详细答案可以在 SO ( https://stackoverflow.com/questions/3662995/explaining-apache-zookeeper ) 上找到。