大数据存多少的数据量,NameNode的主机需要多少的内存计算。下面给了一个简单的计算例子仅供参考。

大数据集群:200台主机,每台主机的磁盘容量是24 TB,总共的磁盘容量大小是4800 TB

  • 数据块大小是128M,备份数是3
  • 集群的磁盘容量:200 * 24,000,000 MB = 4,800,000,000 MB (4800 TB)
  • 每一个数据块需要的磁盘容量是:128(MB/block) * 3 = 384 MB
  • 集群可以容纳的数据块的数量:4,800,000,000 MB / 384 MB = 12,000,000 (blocks)

一般情况下,一百万的数据块需要1G的内存,那么12,000,000的数据块就需要12GB的内存