大数据主机内存计算
大数据存多少的数据量,NameNode的主机需要多少的内存计算。下面给了一个简单的计算例子仅供参考。
大数据集群:200台主机,每台主机的磁盘容量是24 TB,总共的磁盘容量大小是4800 TB
- 数据块大小是128M,备份数是3
- 集群的磁盘容量:
200 * 24,000,000 MB = 4,800,000,000 MB (4800 TB)
- 每一个数据块需要的磁盘容量是:
128(MB/block) * 3 = 384 MB
- 集群可以容纳的数据块的数量:
4,800,000,000 MB / 384 MB = 12,000,000 (blocks)
一般情况下,一百万的数据块需要1G的内存,那么
12,000,000
的数据块就需要12GB的内存
文章作者 拉斐
永久链接 https://www.7benshu.com/post/2020/09/23a89b963de6d8419ab1a5f71067a76052/
版权声明
本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。
上次更新 2020-09-23
7本书-公众号