博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
非结构化数据存储方案
阅读量:4552 次
发布时间:2019-06-08

本文共 1022 字,大约阅读时间需要 3 分钟。

ceph

官方网站:http://docs.ceph.org.cn/

简单介绍:

Ceph是一个开源的分布存储系统,同时提供对象存储、块存储和文件存储。linux内核2.6.34将ceph加入到内核中,红帽基于ceph出了redhat ceph storage.

支持TB级存储

支持高可用、容灾备份(当然了,这是存储的常见功能)

支持上百节点的负载均衡

系统架构:

OpenStack Swift

官方网站:https://docs.openstack.org/swift/latest/

简单介绍:

OpenStack的存储项目,提供了弹性可伸缩、高可用的分布式对象存储服务,适合存储大规模非结构化数据。作为一个开源的云平台,本身的存储系统制约着平台的发展,所以swift在可靠性、性能上更加优秀。

系统架构:

Swift 采用完全对称、面向资源的分布式系统架构设计,所有组件都可扩展,避免因单点失效而扩散并影响整个系统运转;通信方式采用非阻塞式 I/O 模式,提高了系统吞吐和响应能力。

HDFS

官方网站:https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

简单介绍:

HDFS全称是Hadoop distributed file system,是一个用java语言开发的分布式文件系统,有很好的伸缩性,支持10亿+的文件,上百PB数据,上千节点的集群。HDFS设计目标是==支持海量数据的批量计算==,而不是直接与用户做交互式操作。

HDFS有很多特点:

保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。

运行在廉价的机器上。

适合大数据的处理。多大?多小?HDFS默认会将文件分割成block,64M为1个block。然后将block按键值对存储在HDFS上,并将键值对的映射存到内存中。如果小文件太多,那内存的负担会很重。

GlusterFS

官方网站:https://www.gluster.org/

简单介绍:

GlusterFS是一个开源的分布式文件系统,可支持PB级数据量和几千个客户端,没有元数据服务器。红帽2011年花1.36亿$购买了GlusterFS,基于GlusterFS发布了一个商业存储系统。

外部架构:

内部架构:

 
参考:

转载于:https://www.cnblogs.com/DarrenChan/p/9494755.html

你可能感兴趣的文章
27-删除元素
查看>>
开发Android系统内置应用小记
查看>>
Struts 1之DispatchAction
查看>>
mongodb
查看>>
可以不改MD5程序内容吗?可以!
查看>>
关于weight属性使用的一些细节
查看>>
Mybatis源码研究1:从JDBC到Mybatis
查看>>
Solr
查看>>
键盘录入一串字符并取出做字符序列,计算各个字符的个数
查看>>
23 python多线程threading及线程同步
查看>>
Django之ModelForm
查看>>
简单的requestAnimationFrame动画
查看>>
hdoj-3791-二叉搜索树(二叉搜索树模板题)
查看>>
【裴蜀定理】[HAOI2011]向量
查看>>
os模块
查看>>
Windows下启动停止Oracle11g服务-为解决系统变慢而生
查看>>
基于Spring Security Oauth2的SSO单点登录+JWT权限控制实践
查看>>
null与undefind的区别(转)
查看>>
Web前端的状态管理(State Management)
查看>>
EF|CodeFirst数据并发管理
查看>>