云平台安全-数据安全相关技术介绍(实现云安全的技术)
247
2022-07-29
分布式存储系统是我的在技术学习过程中会经常会遇到的,那么,分布式存储有哪几种类型呢?开源分布式存储有哪些优点?接下来就让小编来给大家介绍一下相关内容,要求来看看吧。
开源分布式存储
分布式存储有哪几种类型
1、HadoopHDFS(大数据分布式文件系统)
Hadoop分布式文件系统(HDFS)是一个分布式文件系统,适用于商用硬件上高数据吞吐量对大数据集的访问的需求。
该系统仿效了文件系统(GFS),数据在相同节点上以复制的方式进行存储以实现将数据合并计算的目的。
该系统的主要设计目标包括:容错,可扩展性,高效性和可靠性。
HDFS采用了MapReduce,不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是ApacheHadoop的一个子项目并且安装Hadoop。
2、OpenStack的对象存储Swift
OpenStackSwift提供一个类似AmazonS3的对象存储。其主要特点为:
所有的存储对象都有自身的元数据和一个URL,这些对象在尽可能的区域复制3次,而这些区域可被定义为一组驱动器,一个节点,一个机架等。
开发者通过一个RESTfulHTTPAPI与对象存储系统相互作用。
对象数据可以放置在集群的任何地方。
在不影响性能的情况下,集群通过增加外部节点进行扩展。这是相对全面升级,性价比更高的近线存储扩展。
数据无需迁移到一个全新的存储系统。
集群可无宕机增加新的节点。
故障节点和磁盘可无宕机调换。
开源分布式存储
分布式存储考虑因素有哪些
一致性
分布式存储系统需要使用多台服务器共同存储数据,而随着服务器数量的增加,服务器出现故障的概率也在不断增加。为了保证在有服务器出现故障的情况下系统仍然可用。一般做法是把一个数据分成多份存储在不同的服务器中。但是由于故障和并行存储等情况的存在,同一个数据的多个副本之间可能存在不一致的情况。这里称保证多个副本的数据完全一致的性质为一致性。
可用性
分布式存储系统需要多台服务器同时工作。当服务器数量增多时,其中的一些服务器出现故障是在所难免的。我们希望这样的情况不会对整个系统造成太大的影响。在系统中的一部分节点出现故障之后,系统的整体不影响客服端的读/写请求称为可用性。
分区容错性
分布式存储系统中的多台服务器通过网络进行连接。但是我们无法保证网络是一直通畅的,分布式系统需要具有一定的容错性来处理网络故障带来的问题。一个令人满意的情况是,当一个网络因为故障而分解为多个部分的时候,分布式存储系统仍然能够工作。
开源分布式存储有哪些优点
1针对小文件量身定做,随机IO性能比较高;
2支持在线扩容机制,增强系统的可扩展性;
3实现了软RAID,增强系统的并发处理能力及数据容错恢复能力;
4支持主备热倒换,提升系统的可用性;
5支持主从集群部署,其中从集群主要提供读/备功能。
好了,以上就是小编给大家介绍的关于开源分布式存储有哪些优点的全部内容了。
发表评论
暂时没有评论,来抢沙发吧~