欢迎来到梦飞服务器

网络技术

分布式存储的兴起和重要性

分布式存储最早是由Google提出的。其目的是通过廉价的服务器提供大规模、高并发场景下的Web访问问题。它采用可扩展的系统结构,使用多个存储服务器分担存储负载,使用位置服务器定位存储信息。它不仅提高了系统的可靠性、可用性和访问效率,而且易于扩展。

1.分布式存储的兴起

分布式存储的兴起与互联网的发展密切相关。互联网公司通常使用大规模分布式存储系统,因为它们的数据量大,资本积累少。

不同于传统的高端服务器、高端内存、高端处理器,互联网公司的分布式存储系统是由大量低成本、高性价比的普通PC服务器通过网络连接而成。主要原因如下

(1)互联网业务发展迅速,注重成本消耗,使得存储系统无法依靠传统的垂直扩展方式,即先买小型机,不够的时候再买中型机甚至大型机。互联网后端的分布式系统需要支持横向扩展,即通过增加普通PC服务器来增加系统的整体处理能力。

(2)普通PC服务器性价比高,故障率高,需要在软件层面实现自动容错,保证数据一致性。

(3)另外,随着服务器的不断增加,需要在软件层面实现自动负载均衡,使系统的处理能力得到线性扩展。

2.分布式存储的重要性

从单机单用户到单机多用户,再到现在的网络时代,应用系统发生了很多变化。然而,分布式系统仍然是目前讨论的热点。那么,分布式系统给我们带来了什么,或者说为什么要有分布式系统?

(1)单机处理能力升级的性价比越来越低。企业发现通过更换硬件进行垂直扩展来提高性能越来越不经济。

(2)单机处理能力存在瓶颈。在一个固定的时间点上,单个处理器有自己的性能瓶颈,也就是说即使你愿意花更多的钱去买计算能力,你也买不到;

(3)为了稳定性和可用性。如果采用点击系统,机器正常的时候一切都OK,一旦出了问题,系统就完全没用了。当然我们可以考虑容灾备份等方案,这些方案会让系统进化成分布式系统;

(4)云存储和大数据发展的必然要求。云存储和大数据是构建在分布式存储上的应用。移动终端的计算能力和存储空间有限,多设备间资源共享需求强烈,使得网盘、相册等云存储应用迅速普及。然而,云存储的核心是后端大规模分布式存储系统。大数据更进一步,它不仅需要存储海量数据,还需要通过合适的计算框架或工具对这些数据进行分析,提取有价值的部分。没有分布式存储,就不可能分析大数据。仔细分析,会发现分布式存储技术是互联网后端架构的神器。掌握了这个技能,以后就很容易理解其他技术的本质了。

腾讯云代理

梦飞科技 - 最新促销活动优惠获取

Copyright © 2003-2021 MFISP.COM. 国外vps服务器租用 香港梦飞 版权所有 粤ICP备11019662号